流处理Exactly-Once实现原理

Exactly-Once（精确一次）：每条数据被处理且仅被处理一次，不丢不重。

一、Flink的两阶段提交（2PC）：

Flink通过TwoPhaseCommitSinkFunction实现端到端Exactly-Once。

流程：

1. 预提交（Pre-Commit）：Checkpoint触发时，Sink在本地预提交事务，写入临时数据
2. 提交（Commit）：Checkpoint全局完成后，JobManager通知所有Sink提交事务，数据永久可见
3. 回滚（Abort）：如果Checkpoint失败，Sink回滚事务，数据不可见

前提：

• Sink端支持事务（如Kafka Producer支持事务、MySQL支持XA）
• 事务在Checkpoint边界完成

配置：

// Kafka Sink Exactly-Once
val kafkaProducer = new FlinkKafkaProducer<>(
    "topic",
    new KafkaSerializationSchema<...>(){...},
    properties,
    Semantic.EXACTLY_ONCE  // 使用2PC
)
// 需配置：transactional.id前缀

二、幂等输出（Idempotent Output）：

原理： 即使同一数据被写入多次，最终结果相同

实现方式：

1. 天然幂等操作：SET key = value（覆盖同Key）、INSERT OVERWRITE
2. 唯一键约束：MySQL ON DUPLICATE KEY UPDATE、HBase Put（同RowKey覆盖）
3. 版本号/时间戳：写入时携带上次更新时间，判断是否已处理

三、常见端到端Exactly-Once方案：

Source	Flink	Sink	实现方式
Kafka	Flink	Kafka	2PC（Kafka事务）
Kafka	Flink	MySQL	幂等+事务（idempotent upsert）
Kafka	Flink	HDFS	幂等（文件系统重命名）
Kafka	Flink	Redis	幂等（SET覆盖）

注意：

• Exactly-Once有性能开销（事务同步、额外网络RTT）
• 对延迟敏感场景可降级为At-Least-Once+幂等去重
• 需要在吞吐、延迟、一致性三者间权衡