瓶颈在IO吗?
PCIE4的ssd怎么样，单盘写入5~7G/s
或者ramdisk?
【 在 hongbaoshu 的大作中提到: 】
: 每天生成100G临时数据 需要和 数据库的10G固定数据做join groupby 计算，临时文件每次导入DB要很久用完还要删，有没有内存数据可以做到相同功能 导入很快呢？  
: --  
:

发自「今日水木 on Android」
--
FROM 124.64.22.*

把数据库放本地? 有条件也可以上万兆网卡。
【 在 hongbaoshu 的大作中提到: 】
: 不是IO吧 因为数据走网络，100G数据 0.1G/s 也就1000sec，20分钟。现在数据库写入就要3小时  
: --

发自「今日水木 on Android」
--
FROM 124.64.22.*

方法1：可以把数据库里的10G数据导到数据库外，通过其他数据分析软件进行join groupby，单机内存足够大可以单机，不够的话可以spark或其他分布式系统

方法2：如果只是内连接的话，可以先把10G固定数据hash-split到若干个数据库实例（为加速可以分布到多台机器），然后把临时数据同样hash-split并上传到对应的数据库，接下来在多个数据库同时执行join-groupby，最后把多个数据库的结果合并

【 在 hongbaoshu 的大作中提到: 】
: 每天生成100G临时数据 需要和 数据库的10G固定数据做join groupby 计算，临时文件每次导入DB要很久用完还要删，有没有内存数据可以做到相同功能 导入很快呢？
--
FROM 221.218.209.*

现在是sqlserver 目前方案是把纵表转成大宽表减少条数

【 在 lixunhuansk 的大作中提到: 】
: 现在用的什么数据库?
: 把事务隔离级别调到最低.
: 数据库存储换SSD.
: ...................
--
FROM 123.113.226.*

那你要给出更多明确的信息.
无非单机优化 集群优化.
越是有效果的 优化, 越针对具体问题.

【 在 hongbaoshu 的大作中提到: 】
: 把条数从亿减少到百万，但是写入和join还是要10分钟  不知道业界有没有更快的方案
:
--
FROM 49.7.47.*