- 主题:两个独立的python程序,一个写数到硬盘,一个读取,怎么能加快
而且我的文件都是csv,每个2000-3000列,数据库不支持。
【 在 dukenuke 的大作中提到: 】
: 现在的网络其实能跑赢硬盘,共享磁盘也是可以的。
: 10G网卡速度就能超过几乎所有机械硬盘及阵列的存取速度。就算用NVME也几乎跑不赢40G网卡。再说还有更快的100G网络。
:
: ....................
--
FROM 119.103.182.*
传递中间结果用内存
--
FROM 119.248.226.*
好奇共享文件系统两个程序怎么做同步的,比如读的程序怎么知道什么时候该自己了?
【 在 formydream 的大作中提到: 】
: 这辆程序都是多进程,都很费cpu,搞得cpu动不动100%,怎么能加快运行速度呢,买个更强的cpu?双cpu?
--
FROM 125.168.196.*
一定要写硬盘吗?
【 在 formydream 的大作中提到: 】
: 这辆程序都是多进程,都很费cpu,搞得cpu动不动100%,怎么能加快运行速度呢,买个更强的cpu?双cpu?
: --
:
发自「今日水木 on PCT-AL10」
--
FROM 140.207.23.*
csv的读写都很低效。改成数据库可以快很多。如果用hdf5一类的格式读写,应该会更快。
【 在 formydream 的大作中提到: 】
: 而且我的文件都是csv,每个2000-3000列,数据库不支持。
: :
--
FROM 117.136.0.*
用时序数据库,宽表,列多没问题。dolphindb了解下。
【 在 formydream 的大作中提到: 】
: 而且我的文件都是csv,每个2000-3000列,数据库不支持。
: --
发自「今日水木 on VOG-AL00」
--
FROM 124.160.217.*
数据库没问题吧,CVS才慢。
--
FROM 124.64.127.*
文件总共有多大?不是特别大的话,可以用内存虚拟一个硬盘(比如16G虚拟盘),然后把文件复制到这个虚拟盘中进行操作
【 在 formydream (xXx) 的大作中提到: 】
: 几千个文件同时读写,用数据库速度肯定没直接读文件快
--
FROM 219.239.238.*
CSV文件带来的操作会有很多全文件扫描
肯定快不了
要想加快,考虑增加内存并在内存里操作
【 在 formydream () 的大作中提到: 】
: 而且我的文件都是csv,每个2000-3000列,数据库不支持。
: 【 在 dukenuke 的大作中提到: 】
--
FROM 221.222.21.*
读写csv是性能瓶颈
【 在 formydream 的大作中提到: 】
: 而且我的文件都是csv,每个2000-3000列,数据库不支持。
: --
发自「今日水木 on iPhone XS」
--
FROM 223.72.93.*