Hive数据倾斜Join优化

Hive Join数据倾斜常见表现： 某个Reducer处理大量数据（如99%的订单关联同一个用户），其他Reducer空闲。

1. MapJoin（Broadcast Join / 小表Join大表）：

• 原理： 将小表（< hive.mapjoin.smalltable.filesize，默认25MB）加载到内存，在Map端完成Join
• 优点： 完全避免Shuffle，无数据倾斜问题
• 配置：

  SET hive.auto.convert.join=true;
  SET hive.mapjoin.smalltable.filesize=25000000;
  SELECT /*+ MAPJOIN(b) */ a.*, b.name FROM large a JOIN small b ON a.id = b.id;
  

2. Bucket MapJoin（分桶Join）：

• 条件： 两张Join表在Join Key上使用相同的分桶数和分桶列
• 原理： 相同桶号的数据在同一文件中，只需Join对应桶的文件
• 优点： 大幅减少Shuffle数据量，Map端即可完成
• 配置：

  SET hive.optimize.bucketmapjoin=true;
  -- 两表都需CLUSTERED BY (id) INTO 16 BUCKETS
  

3. Sort Merge Bucket Join（SMB Join）：

• 条件： 分桶+桶内排序（SORTED BY (id)）
• 原理： 对两个桶的有序文件做Merge Join，无需额外排序

4. Skew Join（自动倾斜处理，Hive 0.10+）：

• 配置： SET hive.optimize.skewjoin=true;
• 原理： 将倾斜Key单独处理（Map Join），非倾斜Key正常Shuffle
• 阈值： hive.skewjoin.key（默认100000）超过该值的Key被视为倾斜Key

5. 手动处理倾斜Key：

• 将热点数据拆分：大表加随机前缀，小表膨胀后Join
• 先过滤异常Key单独处理

最佳实践： 优先使用MapJoin，再考虑分桶优化，最后使用SkewJoin自动处理。