- 主题:flink的布隆表达式的问题
用布隆过滤器做去重
但是因为keyBy比较细，所以导致会生成很多的布隆过滤器
直接就oom了
这种情况有什么比较好的办法来处理吗
--
FROM 180.167.95.*
keyBy比较细是啥意思？
【 在 guestking (无) 的大作中提到: 】
: 用布隆过滤器做去重
: 但是因为keyBy比较细，所以导致会生成很多的布隆过滤器
: 直接就oom了
: ...................
--
FROM 114.247.175.*
就是keyby之后，会分出很多个组
比如按用户来keyby
【 在 eventvwr (精光互撸娃) 的大作中提到: 】
: keyBy比较细是啥意思？
--
FROM 180.167.95.*
每个key一个bloomfilter？用bloomfilter干啥？
【 在 guestking 的大作中提到: 】
: 就是keyby之后，会分出很多个组
: 比如按用户来keyby
:
--
修改:archmind FROM 123.58.117.*
FROM 123.58.117.*
是啊，本来就是每个keyby维护自己的状态
【 在 archmind (archmind) 的大作中提到: 】
: 每个key一个bloomfilter？
--
FROM 180.167.95.*
那key多了肯定爆，只能加资源
【 在 guestking 的大作中提到: 】
: 是啊，本来就是每个keyby维护自己的状态
:
--
FROM 123.58.117.*
是啊，所以很头疼，加资源也是无底洞
这种情况是不是就不该用布隆过滤器啊
【 在 archmind (archmind) 的大作中提到: 】
: 那key多了肯定爆，只能加资源
--
FROM 180.167.95.*
过滤什么玩意，直接用状态不行？
【 在 guestking (无) 的大作中提到: 】
: 是啊，所以很头疼，加资源也是无底洞
: 这种情况是不是就不该用布隆过滤器啊
--
FROM 222.128.87.*
为了去重
【 在 sayinger (言者) 的大作中提到: 】
: 过滤什么玩意，直接用状态不行？
--
FROM 180.167.95.*
去重完全可以直接用状态吧，如果有时效性因素的话，状态的过期也比较好控制
【 在 guestking (无) 的大作中提到: 】
: 为了去重
--
FROM 222.128.87.*