主进程建一个大share memory,给每个文件分配位置,开多进程读文件往那个share meory写。
【 在 VANGE 的大作中提到: 】
: 多谢,研究了下发现没法搞定,现在我多了一次读写:一万个文件并发执行读取和筛选等动作,结果写入硬盘,得到一万个清洗后的新文件,然后再串行读这一万个结构完全相同的新文件。以上方案能提高一部分效率,但还没有完全达到预期
: 想问问python下还有没有其他方案,能提高大量同类文件的读取效率,谢谢!
:
: ...................
--
修改:maming FROM 106.120.131.*
FROM 106.120.131.*