不一定非要一次搞定吧
可以程序dump原样不动
每天起个定时任务归档zip就好了
关键是这些数据之后会怎么用呢
要是只是存起来备查怎么处理都好搞定吧
要是很经常会随机读取就要想想怎么整个好读取和索引的结构
【 在 Madlee 的大作中提到: 】
: 本质是这样,有一些程序每天会生成数万个小文件,每个大小在数百k,都是二进制的double矩阵数据。想要比较好的管理起来。如果用数据库的话,很多人的建议是不要把小文件放进数据库。如果用文件系统的话小文件又太多,所以想把每天生成的小文件分类打包到几个不同的zip文件里
:
: 数据是程序生成的,所以不是必须写成文件,可以直接dump进zip文件里。现在的问题是生成的时候,zip压缩的速度太慢,所以想有没有方法可以加速这个速度。
: ...................
--
FROM 123.123.205.*