水木社区手机版
首页
|版面-编程技术(Programming)|
新版wap站已上线
返回
1/1
|
转到
主题:求问如何从10亿个字符串里快速取数据
12楼
|
chrstl
|
2024-05-13 13:21:20
|
展开
不压缩100GB,现在好点的ssd顺序读取8000MB/s (要多线程)
大概13秒读完一遍,这就比3分钟快了十多倍了
【 在 chemphy123 的大作中提到: 】
: 我有10亿个字符串,每个大概100个字符。
: 这些数据存磁盘上,gzip压缩后大概有18G。
: 需求是,一次按id号从中取20000个字符串出来。
: ...................
--
FROM 183.158.187.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版