单开一个进程写入,不要多次写入,搞个内存缓冲区。
进程内存档文件我建议不要使用zip,自己设计一个解构,然后次日压缩
【 在 Madlee 的大作中提到: 】
:
: 本质是这样,有一些程序每天会生成数万个小文件,每个大小在数百k,都是二进制的double矩阵数据。想要比较好的管理起来。如果用数据库的话,很多人的建议是不要把小文件放进数据库。如果用文件系统的话小文件又太多,所以想把每天生成的小文件分类打包到几个不同的zip文件里。
: 数据是程序生成的,所以不是必须写成文件,可以直接dump进zip文件里。现在的问题是生成的时候,zip压缩的速度太慢,所以想有没有方法可以加速这个速度。
: 或者有其它更合理的方法来管理这些数据?
:
#发自zSMTH@CDU.MP
--
FROM 111.18.38.*