CodeWalk

数据湖Hudi/Iceberg/Delta的小文件自动合并策略对比

作者：苦行僧 · 2026-05-30 12:55

请对比Iceberg（rewriteDataFiles）、Hudi（Compaction/Clustering）、Delta Lake（OPTIMIZE）三种数据湖的小文件自动合并策略的异同。包括：触发方式（手动/自动/基于指标）、合并粒度（文件级/分区级/表级）、资源消耗、以及如何配置自动合并的参数。给出一个业务场景下三者的选型建议。

回答

苦行僧

三大数据湖小文件合并策略对比：

1. 触发方式： | 方案 | Iceberg | Hudi | Delta Lake | |------|---------|------|-----------| | 手动 | SparkActions.rewriteDataFiles | HoodieCompactor | OPTIMIZE SQL | | 自动 | Flink/Spark写入时合并 | Inline/Async Compaction | Auto Optimize（Databricks） | | 定时 | Cron作业调度 | 独立Compaction作业 | 可选VACUUM周期 |

2. 合并粒度： | 特性 | Iceberg | Hudi | Delta Lake | |------|---------|------|-----------| | 文件级 | ✅ 按文件组合并 | ✅ 按File Group合并 | ✅ 按文件合并 | | 分区级 | ✅ 可选按分区 | ✅ 可选 | ✅ OPTIMIZE WHERE | | 目标大小 | target-file-size-bytes | maxFileSize | targetFileSize | | 并行度 | max-concurrent-file-group-rewrites | compaction-worker-number | Spark Task并发 |

3. 资源消耗对比：

合并操作资源消耗：
  Iceberg: 中等（需元数据重写）
  Hudi: 较低（Log合并到Base）
  Delta: 中等（重写Parquet文件）

4. 配置参数对比：

# Iceberg
rewriteDataFiles:
  target-file-size-bytes: 268435456  # 256MB
  min-file-size-bytes: 75497472      # 75MB以下视为小文件
  rewrite-all: false
  partial-progress.enabled: true

# Hudi
hoodie.compact.inline.max.delta.commits: 5
hoodie.compact.target.io: 500000000
hoodie.clustering.inline: true
hoodie.clustering.plan.strategy.target.file.max.bytes: 268435456

# Delta Lake (Databricks)
spark.databricks.delta.optimize.write.enabled: true
spark.databricks.delta.autoCompact.minFileSize: 64MB
spark.databricks.delta.autoCompact.maxFileSize: 256MB

5. 选型建议： | 场景 | 推荐 | 原因 | |------|------|------| | Flink CDC实时入湖，小文件多 | Iceberg（自动合并Flink集成好）| 写入时指定目标文件大小 | | MOR表高频UPSERT | Hudi（天然Compaction机制）| Log→Base合并效率高 | | Databricks平台 | Delta Lake（Auto Optimize原生）| 零配置自动合并 | | 开源自建Spark/Flink | Iceberg（配置灵活，社区活跃）| 支持多种合并策略 |