- 主题:两个独立的python程序,一个写数到硬盘,一个读取,怎么能加快
这辆程序都是多进程,都很费cpu,搞得cpu动不动100%,怎么能加快运行速度呢,买个更强的cpu?双cpu?
--
FROM 221.235.86.*
数据很多,几千个文件,能直接共享硬盘么?
【 在 sah166 的大作中提到: 】
: 单个程序cpu100%占用的话,用两台吧,中间用网络通讯
:
: 【 在 formydream 的大作中提到: 】
: ....................
--
FROM 221.235.86.*
我需要的其实是类似于两个电脑同时操作一个硬盘。两个程序计算量都挺大
【 在 misslost 的大作中提到: 】
: 那就是cpu-bound的场景啦?
: 不过cpu是多核的,你这个100%是说单核全占呢,还是全部core都占满呢。如果都是多进程都能用满多核的,那么,增加核心或者提高主频应该可以吧
: 【 在 formydream 的大作中提到: 】
: ....................
--
FROM 27.18.12.*
几千个文件同时读写,用数据库速度肯定没直接读文件快
【 在 dukenuke 的大作中提到: 】
: 现在的网络其实能跑赢硬盘,共享磁盘也是可以的。
: 10G网卡速度就能超过几乎所有机械硬盘及阵列的存取速度。就算用NVME也几乎跑不赢40G网卡。再说还有更快的100G网络。
:
: ....................
--
FROM 119.103.182.*
而且我的文件都是csv,每个2000-3000列,数据库不支持。
【 在 dukenuke 的大作中提到: 】
: 现在的网络其实能跑赢硬盘,共享磁盘也是可以的。
: 10G网卡速度就能超过几乎所有机械硬盘及阵列的存取速度。就算用NVME也几乎跑不赢40G网卡。再说还有更快的100G网络。
:
: ....................
--
FROM 119.103.182.*
觉得用内存数据库比较好
【 在 wwwfish 的大作中提到: 】
: 读写csv是性能瓶颈
: 【 在 formydream 的大作中提到: 】
: : 而且我的文件都是csv,每个2000-3000列,数据库不支持。
: ....................
--
FROM 221.235.85.*