Hive分区与分桶的区别
请解释Hive中的分区（Partition）和分桶（Bucket）的概念、区别以及各自的使用场景。
回答
Yahuda
Hive分区（Partition）：
原理： 将表按照某个列的值划分为不同子目录，每个分区对应一个目录。
示例：
CREATE TABLE logs (
log_id INT,
message STRING
)
PARTITIONED BY (dt STRING, hour STRING);
-- HDFS路径: /user/hive/logs/dt=2024-01-01/hour=00/
特点：
- 目录结构：
/表名/分区列=值/子分区列=值/数据文件 - 查询时通过**分区剪裁（Partition Pruning）**跳过无关分区
- 适合按照日期/地区等有界维度进行数据组织
适用场景： 按日期查询、按地区过滤
Hive分桶（Bucket / Clustered By）：
原理： 将数据按照某列的Hash值取模，均匀分布到指定数量的文件中。
示例：
CREATE TABLE users (
user_id INT,
name STRING
)
CLUSTERED BY (user_id) INTO 16 BUCKETS;
特点：
- 物理上：同一个bucket列值的数据在同一个文件中
- 每个bucket文件大小均匀
- 支持Bucket Map Join（分桶间的Join）
- 对采样（Sampling）和MapJoin友好
区别对比： | 维度 | 分区 | 分桶 | |------|------|------| | 物理存储 | 不同目录 | 同一目录下的文件 | | 划分依据 | 列值（精确匹配）| 列的Hash值取模 | | 文件数量 | 等于分区数 | 固定（BUCKET数）| | 元数据存储 | MetaStore记录 | 不记录具体数据分布 | | Join优化 | 分区剪裁 | Bucket Map Join | | 适合场景 | 离散值少（日期）| 连续值多（用户ID）|
最佳实践： 分区+分桶结合使用，先分区缩小范围，再分桶优化Join。