- 主题:elasticsearch和clickhouse的选择
【 在 jimmycmh 的大作中提到: 】
: 日志要实时入ES？
: 一般不是ELK套装吗，logstash负责收集，然后指入es
:
打日志的网络区域一般是SF，而写入日志的地方一般是MGMT，两个网络区域只有几台机器互通，所以ELK那套行不通，我们是走的EVENT，日志采集之后打包走EVENT从SF到MGMT，相当于自己实现采集，自己实现入es
--
FROM 113.116.181.*
你的3w tps业务也是在单机容器上测试的吗?
【 在 lichehuo 的大作中提到: 】
: 我这是测试，单机容器版的，非生产
--
FROM 111.202.160.*
如果瓶颈在写入ES的话，建议看看ES的benchmark，印象中肯定不止几十M/秒
另外，看你前面的回复，单机ES，每秒几百G日志
不知道机器配置如何，以单块HDD写稿120M/s计算，12块硬盘也才1.4G/s，不知道几百G怎么搞
【 在 lichehuo 的大作中提到: 】
: 打日志的网络区域一般是SF，而写入日志的地方一般是MGMT，两个网络区域只有几台机器互通，所以ELK那套行不通，我们是走的EVENT，日志采集之后打包走EVENT从SF到MGMT，相当于自己实现采集，自己实现入es
--
FROM 115.171.45.*
估计是没加中间层，N个客户端往ES单条裸写
【 在 jimmycmh 的大作中提到: 】
: 如果瓶颈在写入ES的话，建议看看ES的benchmark，印象中肯定不止几十M/秒
: 另外，看你前面的回复，单机ES，每秒几百G日志
: 不知道机器配置如何，以单块HDD写稿120M/s计算，12块硬盘也才1.4G/s，不知道几百G怎么搞
: ...................
--
修改:oldwatch FROM 116.233.92.*
FROM 116.233.92.*
【 在 SankHeart 的大作中提到: 】
: 你的3w tps业务也是在单机容器上测试的吗?
肯定不是呀
--
FROM 113.116.181.*
【 在 jimmycmh 的大作中提到: 】
: 如果瓶颈在写入ES的话，建议看看ES的benchmark，印象中肯定不止几十M/秒
: 另外，看你前面的回复，单机ES，每秒几百G日志
: 不知道机器配置如何，以单块HDD写稿120M/s计算，12块硬盘也才1.4G/s，不知道几百G怎么搞
: ...................
可能我没说清楚，我单机去测ch和es，这个时候最多几十M而已。压测几万tps时候，我们日志是采样了，es集群规模是15台16C32G的机器。
--
FROM 113.116.181.*
写入ES，磁盘很可能比cpu先到瓶颈
15台机器，每台机器12块硬盘1.4G/s，15台机器也到不了几百G/s
【 在 lichehuo 的大作中提到: 】
: 可能我没说清楚，我单机去测ch和es，这个时候最多几十M而已。压测几万tps时候，我们日志是采样了，es集群规模是15台16C32G的机器。
--
FROM 115.171.206.*
每秒几百G？？？
【 在 lichehuo 的大作中提到: 】
: 目前我们的日志是存在es中的，平时没什么量的情况下，一切都ok。但是当给客户演示2w或者3wtps压测的时候，一秒的日志量达到了几百G，这个时候写入es就遇到瓶颈了。
: 我简单的测试了一下，es7.6版本极限也就是一次写入10几M，而且响应时间10+s了。升级到7.10+以上，可以写入30M，
: ..................
发自「今日水木 on iPhone 1」
--
FROM 124.64.18.*
【 在 jimmycmh 的大作中提到: 】
: 写入ES，磁盘很可能比cpu先到瓶颈
: 15台机器，每台机器12块硬盘1.4G/s，15台机器也到不了几百G/s
:
是的，写不了，所以我采样了
--
FROM 113.116.181.*
有钱就上ssd了。
现在clickhouse可以用ssd
apache doris还专门支持ssd和hdd混用。
近期数据入ssd，超过时间自动迁移到hdd。
【 在 jimmycmh 的大作中提到: 】
: 如果瓶颈在写入ES的话，建议看看ES的benchmark，印象中肯定不止几十M/秒
: 另外，看你前面的回复，单机ES，每秒几百G日志
: 不知道机器配置如何，以单块HDD写稿120M/s计算，12块硬盘也才1.4G/s，不知道几百G怎么搞
: ...................
--
FROM 58.42.245.*