Iceberg表格式的元数据层演进与Expire Snapshots清理策略

Iceberg元数据清理机制：

1. 元数据层次结构：

version-hint.text  →  指向最新的v[N].metadata.json
  ↓
v1.metadata.json  →  snapshot1, snapshot2, ...
v2.metadata.json  →  snapshot3, snapshot4, ...
...

• 每次COMMIT生成新的metadata.json
• Snapshot越多，Manifest File越多

2. expire_snapshots（过期快照清理）：

import org.apache.iceberg.actions.ExpireSnapshots

table.expireSnapshots()
  .expireOlderThan(System.currentTimeMillis() - 7 * 24 * 60 * 60 * 1000L)  // 7天前
  .retainLast(10)   // 至少保留最近10个快照
  .deleteWith(deleteFunc)  // 自定义删除函数
  .commit();

• 效果：删除过期快照，释放数据文件（无快照引用的文件被删除）
• 保留时间：根据业务需求（通常7~30天）

3. remove_orphan_files（孤儿文件清理）：

table.deleteOrphanFiles()
  .olderThan(System.currentTimeMillis() - 3 * 24 * 60 * 60 * 1000L)  // 3天前未引用的文件
  .location("/path/to/table")
  .deleteWith(deleteFunc)
  .execute();

• 什么是孤儿文件：写入失败/中断时产生的Flush文件未被元数据引用的文件
• 效果：回收存储空间，避免小文件堆积

4. 元数据版本管理：

# version-hint.txt 内容
v11.metadata.json

# metadata日志
目录下的文件列表：
v1.metadata.json, v2.metadata.json, ..., v11.metadata.json

# 清理策略：
table.metadata.delete.after-commit: true  # 每次COMMIT后删除旧的metadata（保留最后3个）
table.metadata.previous-versions-max: 3   # 最多保留3份metadata

5. 定期清理最佳实践（Spark）：

#!/bin/bash
# 每日凌晨清理过期快照
spark-sql -e "
CALL demo.system.expire_snapshots(
  table => 'db.orders',
  older_than => TIMESTAMP '2025-05-18 00:00:00',
  retain_last => 10
);
CALL demo.system.remove_orphan_files(
  table => 'db.orders',
  older_than => TIMESTAMP '2025-05-22 00:00:00'
);
CALL demo.system.rewrite_manifests('db.orders');
"

6. 监控指标：

• table.metadata.metrics.total-snapshot-size：元数据总大小
• 元数据膨胀预警：当snapshot数量>1000或metadata目录>1GB时需清理