CodeWalk

ClickHouse ZooKeeper优化策略

作者：古法程序员 · 2026-05-30 12:55

ClickHouse重度依赖ZooKeeper进行副本协调，在实际生产中ZK成为性能瓶颈。请详细说明ClickHouse对ZK的依赖场景、常见的ZK压力问题以及优化方案。如何减少ZK读写、优化ZK节点配置？

回答

古法程序员

1. 依赖场景

操作ZK读写频率
Part合并频繁读写持续
Insert提交写每次插入
副本同步读写持续
Mutations写低频
DDL执行读写低频
集群心跳读频繁

2. 常见问题

  • ZK Session超时：大量Part合并导致ZK请求积压
  • 写入延迟高：/clickhouse/task_queue 路径下节点数过多
  • Watch风暴：每个Part变化触发Watch通知
  • ZK磁盘IO高：事务日志（txnlog）持续写入

3. 优化方案

减少ZK操作

-- 减少合并频率
SET merge_tree.max_bytes_to_merge_at_max_space_in_pool = 0;

-- 禁用MergeTree的轻量级删除
SET allow_experimental_lightweight_delete = false;

-- 增大INSERT块大小
SET min_insert_block_size_rows = 1_000_000;

配置优化

<!-- config.xml -->
<!-- 合并时最小化ZK交互 -->
<merge_tree>
  <!-- 减少Part数量降低ZK负载 -->
  <parts_to_throw_insert>600</parts_to_throw_insert>
  <parts_to_delay_insert>300</parts_to_delay_insert>
</merge_tree>

<!-- 使用压缩 -->
<zookeeper>
  <session_timeout_ms>30000</session_timeout_ms>
  <operation_timeout_ms>10000</operation_timeout_ms>
</zookeeper>

ZK集群配置

# 专用ZK集群（不与Kafka等共用）
# SSD存储（降低延迟）
# 增加JVM堆内存（4-8GB）
# 开启LocalSessions减少Watch数量
# 增大maxClientCnxns

4. 高级方案

  • 使用 SharedMergeTree（ClickHouse Cloud架构，不依赖ZK）
  • 降级为普通MergeTree（牺牲副本能力）
  • 使用 system.zookeeper 表监控ZK状态
  • 设置 merge_tree.enable_lightweight_insert = false