- 主题:请问有没有带JOIN GROUP功能的内存数据库
每天生成100G临时数据 需要和 数据库的10G固定数据做join groupby 计算,临时文件每次导入DB要很久用完还要删,有没有内存数据可以做到相同功能 导入很快呢?
--
FROM 124.207.9.*
不是IO吧 因为数据走网络,100G数据 0.1G/s 也就1000sec,20分钟。现在数据库写入就要3小时
【 在 wudashu 的大作中提到: 】
: 瓶颈在IO吗?
: PCIE4的ssd怎么样,单盘写入5~7G/s
: 或者ramdisk?
: ...................
--
FROM 124.207.9.*
现在是sqlserver 目前方案是把纵表转成大宽表减少条数
【 在 lixunhuansk 的大作中提到: 】
: 现在用的什么数据库?
: 把事务隔离级别调到最低.
: 数据库存储换SSD.
: ...................
--
FROM 123.113.226.*
把条数从亿减少到百万,但是写入和join还是要10分钟 不知道业界有没有更快的方案
【 在 lixunhuansk 的大作中提到: 】
: 现在用的什么数据库?
: 把事务隔离级别调到最低.
: 数据库存储换SSD.
: ...................
--
FROM 123.113.226.*