DataFrame只保存数值,简单字符串和bool型,
要求:
1. 能跨语言(至少C++要能读),
2. 读写效率高
3. 能追加(不必须,有了最好)
4. 数据能压缩(不必须,有了最好。写的时候慢点不要紧,但读的时候效率不能有大影响)
现在我用的是csv,但是效率特别低,pickle不能用,因为C++不好读。
之前试过msgpack,效率还行,但是好像有版本不兼容的问题,升级版本后读出问题了。
还有什么值得推荐的吗?sqlite3? hdf5?
数据量单个csv在1~5G左右。
谢谢。
--
修改:Madlee FROM 222.67.194.*
FROM 222.67.194.*