求问如何从10亿个字符串里快速取数据

水木社区手机版

主题:求问如何从10亿个字符串里快速取数据
38楼|jimmycmh|2024-05-14 15:08:51|展开
这个问题瓶颈不在查key，而在于读value

20000个随机读，缓存不够落在磁盘上的话，HDD的响应太慢

【在 chunhui 的大作中提到: 】
: 如果不用现成的kv数据库自己弄，其实不用把字符串加载到内存，只把key加载到内存即可。key指向数据文件的便宜位置。
: 这样内存不需要很多，查找速度飞快，找到key之后根据偏移位置再读字符串。
--
FROM 115.171.245.*
39楼|jimmycmh|2024-05-14 15:09:52|展开
这点数据量，改SSD，随便用个数据库应该都不慢啊。不用kv，普通mysql就够用

【在 chemphy123 的大作中提到: 】
: 我有10亿个字符串，每个大概100个字符。
: 这些数据存磁盘上，gzip压缩后大概有18G。
: 需求是，一次按id号从中取20000个字符串出来。
: ...................
--
FROM 115.171.245.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版