- 主题:最近看大数据方面的选型,轮子太多了
现在有官方的clickhouse flink sinker了么?
【 在 lambo 的大作中提到: 】
: kafka + flink + clickhouse
: --
发自「今日水木 on iPhone 8」
--
FROM 223.104.96.*
数据清洗吧,还有一些实时的统计指标。
虽然clickhouse有直接接kafka的功能,但是我试过,
一旦遇到字段不符合定义,直接退出。
所以还需要整一个etl。不知道最新版的改进了没有。
【 在 MyWorkLife (我是谁) 的大作中提到: 】
: 用flink的目的是啥呢,
: clickhouse的查询还不够满足实时性?
--
FROM 223.104.96.*
读写是真的快。
压缩率是真的高。
稳定是真的稳定。我搭了一个7节点的clickshoue,除了因为zk日志解压导致挂掉之外,整个集群稳定运行了2年。。一直在入库。
缺点也是有的:
查询的都是范围查询,无法像hbase一样,根据一个rowid来取。
很多sql不兼容,写sql得写专用的来进行数据分析,写得累死。。。官方说将来会考虑兼容标准的sql语法。
扩容困难,加机器麻烦,还得修改配置。表的迁移也很麻烦。原来3shard的表扩到6shard的表需要先建新表,然后倒腾旧表到新表去。
自定义函数不会写,因为是c++。。。不如hive的udf好弄。
所以,大家不考虑下doris么?
【 在 Xjt (Voldemort) 的大作中提到: 】
: 为啥都在推clickhouse呢?
: 太奇怪了。到底优势在哪里呢?
--
修改:lokta FROM 223.104.96.*
FROM 223.104.96.*