你们这打的啥日志，3wtps一秒钟日志量几百G，先精简下日志吧
【 在 lichehuo 的大作中提到: 】
: 标  题: elasticsearch和clickhouse的选择
: 发信站: 水木社区 (Sun Oct  9 09:52:47 2022), 站内
:
: 目前我们的日志是存在es中的，平时没什么量的情况下，一切都ok。但是当给客户演示2w或者3wtps压测的时候，一秒的日志量达到了几百G，这个时候写入es就遇到瓶颈了。
: 我简单的测试了一下，es7.6版本极限也就是一次写入10几M，而且响应时间10+s了。升级到7.10+以上，可以写入30M，但是响应时间也是3+s。对于压测的日志量，这个响应时间不可接受。
: 压缩率也对比了一下，也是ch完胜。
: 查询耗时，没有拿上百G，上T的日志来比，可能在量大起来的情况下，es应该比ch强。但是考虑到我们的日志查询都是最基本的匹配查询，es有点大材小用了。
: 考虑换成clickhouse，粗略扫了一眼它的文档，感觉运维起来有点麻烦。es毕竟成熟，社区活跃。
: 版上有大神用过ch吗？能给一些意见或者建议吗
: --
:
: ※ 来源:·水木社区 http://www.mysmth.net·[FROM: 113.116.198.*]
--
FROM 114.253.39.*