DataFrame只保存数值，简单字符串和bool型，

要求：
1. 能跨语言（至少C++要能读），
2. 读写效率高
3. 能追加（不必须，有了最好）
4. 数据能压缩（不必须，有了最好。写的时候慢点不要紧，但读的时候效率不能有大影响）

现在我用的是csv，但是效率特别低，pickle不能用，因为C++不好读。
之前试过msgpack，效率还行，但是好像有版本不兼容的问题，升级版本后读出问题了。
还有什么值得推荐的吗？sqlite3？ hdf5？

数据量单个csv在1~5G左右。

谢谢。
--
修改:Madlee FROM 222.67.194.*
FROM 222.67.194.*

sqlite很好

【 在 Madlee 的大作中提到: 】
: DataFrame只保存数值，简单字符串和bool型，
: 要求：
: 1. 能跨语言（至少C++要能读），
: ...................
--
FROM 106.39.50.*

有自带函数pandas.DataFrame.to_json
--
FROM 171.88.97.*

df.to_* 一堆格式，满足你这个需求的应该不少，比如hdf5, parquet

https://pandas.pydata.org/pandas-docs/stable/reference/io.html

【 在 Madlee 的大作中提到: 】
: DataFrame只保存数值，简单字符串和bool型，
: 要求：
: 1. 能跨语言（至少C++要能读），
: ...................
--
FROM 124.126.138.*

谢谢，parquet好像比较好，我再比较一下。

【 在 maming 的大作中提到: 】
: df.to_* 一堆格式，满足你这个需求的应该不少，比如hdf5, parquet
: https://pandas.pydata.org/pandas-docs/stable/reference/io.html
:
--
FROM 222.67.194.*