NiFi数据流反压（Back Pressure）与压力释放机制
Apache NiFi如何处理数据流中的反压（Back Pressure）问题？请解释NiFi中FlowFile的反压机制：Connection的Back Pressure Object Threshold和Back Pressure Data Size Threshold如何共同控制上下游的速度匹配？当反压发生时，NiFi的压力释放（Pressure Release）机制如何工作？给出一个反压调优的配置示例。
回答
Yahuda
NiFi反压与压力释放机制：
1. 反压机制： NiFi使用Connection（连接）作为数据缓冲区，通过两个阈值控制反压：
Connection配置：
Back Pressure Object Threshold: 10000 # 最多缓存10000个FlowFile
Back Pressure Data Size Threshold: 1 GB # 最多缓存1GB数据
2. 反压工作流程：
Processor A (Source) → [Connection] → Processor B (Sink)
↓
当Connection中FlowFile数 > 10000 或 数据量 > 1GB
→ Connection状态变为FULL（红色）
→ Processor A的调度频率自动降低
→ Processor A不再接收新数据（暂停Source）
→ 反压向上传递到上游Processor
→ 直至Source端
3. 压力释放机制：
- 当反压解除（Connection恢复到
80%阈值以下）时 - Processor A恢复正常调度
- 优先级队列：NiFi支持设置优先级（先入先出/先入后出/优先级Comparator）
- 驱逐策略：当Connection满时，可配置淘汰旧FlowFile
4. 反压调优配置：
# 场景：Kafka消费写入HDFS，偶尔HDFS抖动
# Source Processor (ConsumeKafka)
Scheduling Strategy: TIMER_DRIVEN
Run Schedule: 0 sec # 持续运行
# Connection配置
Back Pressure Object Threshold: 50000 # 增加到50000
Back Pressure Data Size Threshold: 5 GB # 增加到5GB
# 写入Processor (PutHDFS)
Scheduling Strategy: TIMER_DRIVEN
Run Schedule: 100 ms
Concurrent Tasks: 10 # 增加并发
# 负载均衡
Load Balance Strategy: ROUND_ROBIN
5. 监控反压：
- NiFi UI中Connection颜色：正常（白/绿）→ 反压（黄→红）
- 指标：
connection.queued.count、connection.queued.bytes - 可通过ReportingTask将指标推送Prometheus
6. 最佳实践：
- 设置合理的Back Pressure阈值（避免内存OOM）
- 流量高峰期增大阈值，低谷期恢复
- 使用Process Group的FlowFile Expiration自动清理过期数据