Kafka幂等性和事务机制
请解释Kafka的幂等性（Idempotent）和事务（Transaction）机制，以及它们分别解决什么问题。
回答
小字辈
幂等性（Idempotent Producer）：
解决的问题： Producer重试时可能产生重复消息。
工作原理：
- 每个Producer在初始化时从Broker获取一个Producer ID（PID）
- 每条消息附带Sequence Number（序列号，从0递增）
- Broker根据
<PID, Partition, SeqNum>去重 - 如果Broker收到
SeqNum = 5但已经处理过SeqNum = 5的消息，则丢弃
开启方法：
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true);
注意： 开启幂等性后，acks自动设为all，retries设为Integer.MAX_VALUE
事务（Transactional Producer）：
解决的问题： 实现Exactly-Once语义，保证跨分区、跨Topic的原子写入。
工作原理：
- Producer初始化时注册Transaction ID（transactional.id）
- Producer向Broker申请Transaction Coordinator标记事务开始
- 所有写入先标记为未提交（Pending），数据对消费者不可见
- 提交时Broker在WAL中写入事务提交标记
- 消费者设置
isolation.level=read_committed才能读取已提交的消息
事务API示例：
producer.initTransactions();
try {
producer.beginTransaction();
producer.send(new ProducerRecord<>("topic1", key1, value1));
producer.send(new ProducerRecord<>("topic2", key2, value2));
producer.commitTransaction();
} catch (Exception e) {
producer.abortTransaction();
}
对比表：
| 特性 | 幂等性 | 事务 |
|------|--------|------|
| 去重范围 | 单个Partition内 | 跨Partition、跨Topic |
| 原子性 | ❌ | ✅ |
| 配置 | enable.idempotence=true | transactional.id="xxx" |
| 性能开销 | 小 | 较大（多轮RPC） |
| 语义 | At-Least-Once→Exactly-Once | 端到端Exactly-Once |