- 主题:elasticsearch和clickhouse的选择
日志要实时入ES？
一般不是ELK套装吗，logstash负责收集，然后指入es
【 在 lichehuo 的大作中提到: 】
: 目前我们的日志是存在es中的，平时没什么量的情况下，一切都ok。但是当给客户演示2w或者3wtps压测的时候，一秒的日志量达到了几百G，这个时候写入es就遇到瓶颈了。
: 我简单的测试了一下，es7.6版本极限也就是一次写入10几M，而且响应时间10+s了。升级到7.10+以上，可以写入30M，但是响应时间也是3+s。对于压测的日志量，这个响应时间不可接受。
: 压缩率也对比了一下，也是ch完胜。
: ...................
--
FROM 115.171.45.*
如果瓶颈在写入ES的话，建议看看ES的benchmark，印象中肯定不止几十M/秒
另外，看你前面的回复，单机ES，每秒几百G日志
不知道机器配置如何，以单块HDD写稿120M/s计算，12块硬盘也才1.4G/s，不知道几百G怎么搞
【 在 lichehuo 的大作中提到: 】
: 打日志的网络区域一般是SF，而写入日志的地方一般是MGMT，两个网络区域只有几台机器互通，所以ELK那套行不通，我们是走的EVENT，日志采集之后打包走EVENT从SF到MGMT，相当于自己实现采集，自己实现入es
--
FROM 115.171.45.*
写入ES，磁盘很可能比cpu先到瓶颈
15台机器，每台机器12块硬盘1.4G/s，15台机器也到不了几百G/s
【 在 lichehuo 的大作中提到: 】
: 可能我没说清楚，我单机去测ch和es，这个时候最多几十M而已。压测几万tps时候，我们日志是采样了，es集群规模是15台16C32G的机器。
--
FROM 115.171.206.*