ClickHouse-Benchmark基准测试实战：从原理到性能调优

1次阅读

共计 2113 个字符，预计需要花费 6 分钟才能阅读完成。

在 ClickHouse 性能评估中，开发者常遇到三大典型问题：

测试数据失真：使用随机生成的测试数据，无法反映真实查询特征。比如 ORDER BY 字段缺乏区分度，导致 MergeTree 引擎的索引效率被高估
并发控制缺陷：未考虑连接池限制或线程竞争，可能出现：
并发数超过 max_threads 导致查询排队
未设置 –delay 参数引发热点 Key 冲突
监控盲区：仅关注查询耗时，忽略以下关键指标：
磁盘 IO 利用率（特别是 NVMe SSD 的队列深度）
内存 Swap 使用率
Zookeeper 在分布式场景下的延迟

工具	适用场景	ClickHouse 适配性
JMeter	HTTP 接口压测	需要自定义 JDBC 插件
YCSB	通用 NoSQL 基准测试	缺乏对 MergeTree 特性支持
clickhouse-benchmark	原生 CLI 工具	支持所有查询语法

clickhouse-benchmark \
  --concurrency=16 \          # 并发连接数（建议为 CPU 核数 2 倍）--iterations=1000 \         # 总查询次数
  --query="SELECT * FROM hits WHERE EventDate='2023-01-01'" \
  --delay=100 \               # 单位毫秒，防止突发流量
  --randomize \               # 打乱查询执行顺序
  --host=ch01.example.com

通过 JSON 配置文件实现多查询混合负载：

// queries.json
{
  "queries": [
    {"query": "SELECT count() FROM logs WHERE level='ERROR'","weight": 0.3
    },
    {"query": "SELECT avg(duration) FROM traces",
      "weight": 0.7
    }
  ]
}

执行时添加 --config=queries.json 参数即可实现加权随机查询。

# generate_tpch.py
from pyhive import presto
import subprocess

# 通过 Presto 生成标准数据
conn = presto.connect('presto-coordinator:8080')
cursor = conn.cursor()
cursor.execute('CALL tpch.sf10()')  # 10GB 规模

# 导出为 CSV
subprocess.run([
  'clickhouse-client',
  '--query', "INSERT INTO tpch.orders FORMAT CSVWithNames",
  '--input_format_with_names_use_header', '1'
], stdin=open('orders.csv'))

-- 从生产环境采样 1% 数据（保留分布特征）CREATE TABLE test.hits_sample
ENGINE = MergeTree
ORDER BY (EventDate, UserID)
AS SELECT * FROM prod.hits
SAMPLE 0.01

# monitor.py
import psutil, time

def collect_metrics():
    while True:
        cpu = psutil.cpu_percent(interval=1)
        mem = psutil.virtual_memory().used / (1024**3)  # GB
        disk_io = psutil.disk_io_counters().read_time
        print(f"{time.time()},{cpu},{mem:.2f},{disk_io}")
        time.sleep(0.5)

CPU 瓶颈：当 util > 70% 且 loadavg > core_count*2
内存瓶颈：当 used 接近 total 且 swap 开始增长
IO 瓶颈：await 时间 > svctm 的 2 倍

副本同步控制：

<!-- config.xml -->
<yandex>
  <distributed_ddl>
    <path>/clickhouse/task_queue/ddl</path>
    <profile>default</profile>
  </distributed_ddl>
</yandex>