目前我们的日志是存在es中的,平时没什么量的情况下,一切都ok。但是当给客户演示2w或者3wtps压测的时候,一秒的日志量达到了几百G,这个时候写入es就遇到瓶颈了。
我简单的测试了一下,es7.6版本极限也就是一次写入10几M,而且响应时间10+s了。升级到7.10+以上,可以写入30M,但是响应时间也是3+s。对于压测的日志量,这个响应时间不可接受。
压缩率也对比了一下,也是ch完胜。
查询耗时,没有拿上百G,上T的日志来比,可能在量大起来的情况下,es应该比ch强。但是考虑到我们的日志查询都是最基本的匹配查询,es有点大材小用了。
考虑换成clickhouse,粗略扫了一眼它的文档,感觉运维起来有点麻烦。es毕竟成熟,社区活跃。
版上有大神用过ch吗?能给一些意见或者建议吗
--
FROM 113.116.198.*