Bitmap 在数仓中的应用
一、背景 在数据仓库的日常工作中，我们经常需要面对海量数据的存储和高效查询问题。尤其是，当业务对性能的要求越来越高、数据量持续增长时，传统的处理方式往往显得笨拙而低效。而这时候，Bitmap（位图）作为一种“看似简单却威力强大”的数据结构，逐渐展现出它的价值。简单来说，Bitmap 就像是一种用“0
HQL-计算不一样的 MUV
MUV-每月独立访客数(Monthly Unique Visitors)，用来衡量在一个月内访问应用的不重复用户总数，这个指标有助于了解应用的用户基础规模和覆盖范围。 一、问题引入 在只考虑这个指标本身计算起来是很简单的，例如用户登录表为user_logins select
count(d
复活 docker-利用 github 和 aliyun 同步 docker 镜像
2024年 9 月 13 日，好消息好消息 dockerhub 的墙解封了，当前国内可以直接拉取 dockerhub 中心仓库的镜像 技术原创：技术爬爬虾 2024 年 6 月因不可抗因素导致国内各大知名 docker 镜像源停止服务，且 dockerhub 被墙。一时间广大中小企业及其个人用户镜像
TTL——管理 clickhouse 数据的生命周期
随着时间的推移，clickhouse 中的数据逐步增长。为了查询、存储效率的提升我们可能需要计划性删除、移动或聚合历史数据。针对此类数据生命周期管理，clickhouse 提供了简单且强大的工具——TTL，该工具作用于 DDL 子句中。这篇文章将探索 TTL 以及如何使用它来解决多种数据管理任务。
开发技巧
未读
如何解决全局代理在终端不生效？
本文涉及到的背景、演示环境均为 mac，其它操作系统或环境不保证 100% 兼容，有类似需求可参考 mac 思路或与博主联系 今日在浏览大数据前沿技术时，偶然看到一篇推文介绍实时流式 sql 平台 proton 时，其官网的 Quickstart 也贴心的附上了 mac 用户的安装方式 brew t
ClickHouse 查询缓存
为了实现最佳性能，数据库需要优化其内部数据存储和处理管道的每一步。但是数据库执行的最好的工作是根本没有完成的工作！缓存是一种特别流行的技术，它通过存储早期计算的结果或远程数据来避免不必要的工作，而访问这些数据的成本往往很高。在今天的博文中，介绍一下 ClickHouse 缓存系列的最新成员——查询缓
数仓基建-构建 hive 时间维表
众所周知 hive 的时间处理异常繁琐且在一些涉及日期的统计场景中会写较长的 sql，例如：周累计、周环比等；本文将使用维表的形式降低时间处理的复杂度，提前计算好标准时间字符串未来可能需要转换的形式。 一、表设计 结合业务场景常用的时间字符串格式为 yyyyMMdd，因此我们将这种格式字段作为维表的