Apache Iceberg分区演进(Partition Evolution)机制

分区演进原理：

1. Hidden Partitioning（隐藏分区）：

   • Iceberg分区是逻辑概念，不是物理目录结构
   • 分区值通过Transform函数（year(ts)/bucket(user_id)/truncate(name)）计算
   • 分区列可以是从任意列派生，无需创建新的物理分区列

2. 元数据独立：

   • 每个Snapshot的Manifest List记录该快照使用的分区规范(Partition Spec)
   • 不同Snapshot可以有不同分区规范
   • 历史数据按旧分区存储，新数据按新分区存储

3. SQL语法：

-- 创建表时按月分区
CREATE TABLE t (id INT, ts TIMESTAMP) 
USING iceberg
PARTITIONED BY (month(ts));

-- 演进：改为按天分区
ALTER TABLE t ADD PARTITION FIELD day(ts);

-- 删除旧分区字段
ALTER TABLE t DROP PARTITION FIELD month(ts);

4. 查询流程：

   • 读取表时，Iceberg读取当前Snapshot中的所有Manifest
   • 每个Manifest记录了数据文件所属的分区规范ID(Spec ID)
   • 查询计划器根据Spec ID + 分区值进行Pruning
   • 历史数据：按旧Spec（月分区）存储
   • 新数据：按新Spec（天分区）存储
   • 查询引擎无需关心分区差异，Iceberg自动合并

5. 优势：

   • 无需重写历史数据（避免大量IO）
   • 无缝切换分区策略
   • 不影响正在运行的查询