水木社区手机版
首页
|版面-Python的自由天空(Python)|
新版wap站已上线
展开
|
楼主
|
同主题展开
|
溯源
|
返回
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
主题:Re: 请教并发读取数据并写入同一个变量/文件
VANGE
|
2020-10-16 08:59:31
|
多谢,研究了下发现没法搞定,现在我多了一次读写:一万个文件并发执行读取和筛选等动作,结果写入硬盘,得到一万个清洗后的新文件,然后再串行读这一万个结构完全相同的新文件。以上方案能提高一部分效率,但还没有完全达到预期
想问问python下还有没有其他方案,能提高大量同类文件的读取效率,谢谢!
【 在 Palmtenor 的大作中提到: 】
: multi-Process多个进程之间不共享内存,读取的结果要用pickle汇总到主进程
:
--
FROM 14.103.161.*
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版