水木社区手机版
首页
|版面-编程技术(Programming)|
新版wap站已上线
返回
1/1
|
转到
主题:求问如何从10亿个字符串里快速取数据
35楼
|
chunhui
|
2024-05-14 13:34:26
|
展开
如果不用现成的kv数据库自己弄,其实不用把字符串加载到内存,只把key加载到内存即可。key指向数据文件的便宜位置。
这样内存不需要很多,查找速度飞快,找到key之后根据偏移位置再读字符串。
【 在 ewenqing 的大作中提到: 】
: value进行压缩,全load到内存里面,用hashmap查试试,可能一个hashmap不够,量大就慢,那就分片,多线程查
--
FROM 111.196.132.*
48楼
|
chunhui
|
2024-06-13 17:33:28
|
展开
赞
【 在 abettor 的大作中提到: 】
: 你是对的
: 我亲自写程序验证了, 10亿条数据仅需把offset存储到内存, 查询2万条平均耗时300ms以下.
: 机器: m1 16GB
: ...................
--
FROM 111.196.134.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版