Hive分区裁剪与谓词下推优化

1. 分区裁剪（Partition Pruning）

Static Partition Pruning（静态）

-- 编译时确定分区
SELECT * FROM orders
WHERE dt = '2024-01-01';  -- 直接定位到该分区目录
--- 只扫描1个分区而非365个

Dynamic Partition Pruning（动态，Spark特有）

-- 运行时根据子查询结果动态裁剪
SELECT /*+ DYNAMIC_PRUNING */ *
FROM orders o
JOIN limited_users u ON o.user_id = u.user_id
WHERE u.vip_level = 'gold';
-- Spark AQE动态构建裁剪条件
-- 只扫描包含gold用户的订单分区

2. 谓词下推（Predicate Pushdown）

ORC/Parquet列式存储下推

SELECT * FROM events
WHERE event_type = 'click'  -- 下推到文件读取层
  AND timestamp > '2024-01-01'
  AND user_id IN (1001, 1002);

Min-Max下推

每个Stripe/RowGroup统计信息：
- min(event_type) = 'click' 
- max(event_type) = 'view'

过滤：event_type='purchase' → 跳过该Stripe

Bloom Filter下推

文件级Bloom Filter记录包含的user_id
过滤：user_id=999999（不存在）→ 跳过整个文件

3. Hive配置

-- 分区裁剪
SET hive.input.format = org.apache.hadoop.hive.ql.io.HiveInputFormat;
SET hive.mapred.mode = strict;  -- 强制分区过滤

-- 谓词下推
SET hive.optimize.ppd = true;  -- 默认开启
SET hive.optimize.index.filter = true;  -- Bloom Filter下推

-- ORC索引
SET hive.orc.sarg.pushdown = true;
SET hive.orc.sarg.pushdown.min.max.enabled = true;
SET hive.orc.bloom.filter.enabled = true;

4. 性能提升

优化手段	数据跳过率	适用场景
分区裁剪	90-99%	按时间分区
Min-Max下推	30-70%	有序字段过滤
Bloom Filter下推	50-90%	高基数离散字段

5. 最佳实践

• 按高频过滤字段设计分区键
• 选择合适的排序键（与过滤条件一致）
• ORC格式默认开启Bloom Filter
• 避免在分区字段上使用函数（WHERE YEAR(dt)=2024 不能裁剪）