Kafka消息可靠性保证
Kafka如何保证消息的可靠性？请从生产者端（ACKS配置、幂等性、事务）、Broker端（副本ISR机制、Leader选举）、消费者端（Offset提交、自动/手动提交）三个层面详细说明。如何配置Kafka实现端到端的Exactly-Once语义？
回答
Yahuda
1. 生产者端可靠性
ACKS配置
acks=0 # 不等确认，最快但可能丢数据
acks=1 # Leader确认（默认），不会丢数据但Leader宕机会丢
acks=-1(all) # 所有ISR副本都确认，最安全
幂等性生产者
enable.idempotence=true
# 原理：每条消息带ProducerID + 序列号
# Broker去重，保证Exactly-Once发送
# 需同时设置acks=all + retries>0
事务性生产者
transactional.id=my-transaction-id
# 支持跨分区原子写入
# 协调器记录事务状态
# 配合幂等性实现端到端Exactly-Once
2. Broker端可靠性
ISR机制
min.insync.replicas=2 # 最少同步副本数
# 配合acks=all，保证写入至少2个副本
# replica.lag.time.max.ms=10000（10秒不同步移出ISR）
Leader选举
# 优先副本选举
auto.leader.rebalance.enable=true
# unclean.leader.election.enable=false
# 禁止不同步副本被选为Leader（保证数据不丢失但降低可用性）
3. 消费者端可靠性
Offset提交
// 手动提交（推荐）
consumer.commitSync(); // 同步提交，失败重试
consumer.commitAsync(); // 异步提交，配合回调
// 自动提交
enable.auto.commit=false // 关闭自动提交
处理语义：
at-most-once：先提交Offset再处理消息
at-least-once：先处理消息再提交Offset（默认，推荐）
exactly-once：配合事务性生产者
4. Exactly-Once配置
# 生产者
enable.idempotence=true
acks=all
transactional.id=txn-id
# Broker
min.insync.replicas=2
# 消费者
isolation.level=read_committed # 只读取已提交消息
enable.auto.commit=false
# Flink/Spark写入Kafka
# 使用两阶段提交Sink
5. 监控指标
kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions
kafka.server:type=ReplicaManager,name=IsrExpands
consumer-lag（消费延迟）