zip不可能并行吧
【 在 Madlee 的大作中提到: 】
: multiprocessing生成的数据，希望都写到同一个zip文件里，ZIP_LZMA方式压缩，现在发现瓶颈在写入。有办法并行写入zip文件吗？
: 谢谢。
--
FROM 139.227.19.*

【 在 Madlee 的大作中提到: 】
: multiprocessing生成的数据，希望都写到同一个zip文件里，ZIP_LZMA方式压缩，现在发现瓶颈在写入。有办法并行写入zip文件吗？
: 谢谢。

这个不太行， 也没有意义， zip文件就像像归档的磁带， 是顺序存储的， 随机存储性能很差。
一定要并行， 那还不如各自压缩成包， 最好在用只存储不压缩的方式， 归档到一个zip里面。
如果， 一定要并行，  还是用kv数据库吧， 平行性好多了。
--
FROM 124.126.1.*

就一个文件，并行写入没有意义啊

【 在 Madlee 的大作中提到: 】
: multiprocessing生成的数据，希望都写到同一个zip文件里，ZIP_LZMA方式压缩，现在发现瓶颈在写入。有办法并行写入zip文件吗？
: 谢谢。
--
FROM 223.72.88.*

问题就是压缩的太慢了。想找个能快速压缩的办法。
看来好像不行，我再看看其它办法。

【 在 callmebbser 的大作中提到: 】
: multiprocessing并行分别在同一个目录下输出各自的数据文件，都输出完再来一个进程
: 对该目录压缩。
:
: ...................
--
FROM 101.224.254.*

zip 不是固实压缩。可以随机访问。楼主的需求可以做到。但不好做。

主要原因是在压缩之前，并不知道最终压缩得到多少字节。

如果是 tar 就做不到了。

事实上 7zip 官方就实现了多线程地压缩与解压缩。

【 在 poggy 的大作中提到: 】
: 这个不太行， 也没有意义， zip文件就像像归档的磁带， 是顺序存储的， 随机存储性能很差。
: 一定要并行， 那还不如各自压缩成包， 最好在用只存储不压缩的方式， 归档到一个zip里面。
: 如果， 一定要并行，  还是用kv数据库吧， 平行性好多了。
: ...................
--
FROM 117.28.110.*