我有10亿个字符串，每个大概100个字符。
这些数据存磁盘上，gzip压缩后大概有18G。

需求是，一次按id号从中取20000个字符串出来。
这20000个id号是分散的，不集中。

我尝试了用h5py按hdf5格式存储和读取，试了多种途径，速度都比较慢，大概在3分钟左右。
hdf5取连续的20000数据比较快，但是从10亿个数据里取分散的20000个数据就比较慢。

求问有没有好方法，快速取数据。

我隐隐约约觉得这是大数据查询里面常碰到的场景，求大神赐教
--
修改:chemphy123 FROM 180.168.176.*
FROM 180.168.176.*

多谢大神指点。

我是想本地用redis的，机器内存有128G ，redis能够完成我的需求场景吗？

请问redis载入内存是啥意思，是整个库的key和value全部进内存吗？



【 在 xuanqing 的大作中提到: 】
: 具体实现你其实不用管的
: 想快就要进内存, 内存不够就要分批整, 自然就快不起来
: 随机查询快, 本地小内存运行, 通用软件
: ...................
--
FROM 180.168.176.*

Duckdb这么快？

我捣鼓了一下午的rocksdb-python,
当数据库是1亿记录的时候，取20000数据还比较快，可以秒出。
但是当数据库得到10亿记录的时候，取20000数据就慢了，达到1分10秒。

我晚上再测测DuckDB,DUCKDB号称继承了sqlite的优点，如果速度快的话，还是蛮爽的。


【 在 lokta 的大作中提到: 】
: 试了下DUCKDB，查询时间7,8秒
: 放parquet会更慢点，但是更省内存。
: 作分析够用了，但是如果是作为查询服务得用其他方法。
: ...................
--
FROM 180.168.176.*

多谢，纯粹科研用的，就我自己一个人用，一天只请求一百次左右。

【 在 iidev9 的大作中提到: 】
: 先确定一下你的业务场景：
: 这些数据是用作科研分析，就你们一个小团队内部用，还是用在商业服务里，要求每秒处理n多请求？
--
FROM 180.168.176.*

求问大佬duckdb，一般需要create index吗？

我测了几个，如果create index，并不会加速。

以前用mysql的时候，我记得create index会加快搜索速度十倍。

这个duckdb不知道是什么原理

【 在 lokta 的大作中提到: 】
: 试了下DUCKDB，查询时间7,8秒
: 放parquet会更慢点，但是更省内存。
: 作分析够用了，但是如果是作为查询服务得用其他方法。
: ...................
--
FROM 180.168.176.*