- 主题:elasticsearch和clickhouse的选择
为什么 ？
【 在 lichehuo 的大作中提到: 】
: 老板不给用kafka。。。
--
FROM 47.152.112.*
15台 几个 master coordinator data nodes ？
硬盘 是什么 ？
【 在 lichehuo 的大作中提到: 】
: 可能我没说清楚，我单机去测ch和es，这个时候最多几十M而已。压测几万tps时候，我们日志是采样了，es集群规模是15台16C32G的机器。
--
FROM 47.152.112.*
现在 还有 不用 SSD 的企业级 吗？
转盘根本顶不住大量数据啊
【 在 lokta 的大作中提到: 】
: 有钱就上ssd了。
: 现在clickhouse可以用ssd
: apache doris还专门支持ssd和hdd混用。
: ...................
--
FROM 47.152.112.*
一个nvme ssd 也就1.xGB/s
一般的网卡 也就是 10Gb/S
【 在 lichehuo 的大作中提到: 】
: 精简了，现在降到一秒2G左右了
--
FROM 47.152.112.*
300GB / 30K 所以一个任务会产生 10MB 的 日志？
现在的日志都很琐碎 假如你们的没那么琐碎 10K 一行
一个任务 1000 行 日志？
【 在 lichehuo 的大作中提到: 】
: 目前我们的日志是存在es中的，平时没什么量的情况下，一切都ok。但是当给客户演示2w或者3wtps压测的时候，一秒的日志量达到了几百G，这个时候写入es就遇到瓶颈了。
: 我简单的测试了一下，es7.6版本极限也就是一次写入10几M，而且响应时间10+s了。升级到7.10+以上，可以写入30M，但是响应时间也是3+s。对于压测的日志量，这个响应时间不可接受。
: 压缩率也对比了一下，也是ch完胜。
: ...................
--
FROM 47.152.112.*
我没见过这么狂野的假蛙
【 在 JulyClyde 的大作中提到: 】
: 你没见过java吗？
--
FROM 47.152.112.*