Java如何在5到15秒内插入2万到10万条数据？

水木社区手机版

主题:Java如何在5到15秒内插入2万到10万条数据？
10楼|chzhang7901|2022-11-03 12:09:14|只看此ID
偶然看到这个
springboot利用ThreadPoolTaskExecutor多线程批量插入百万级数据
https://mp.weixin.qq.com/s/MEHXdgiICOo9au94HuGhaw

【在 townhope 的大作中提到: 】
: PostgreSQL下，只能用Java和MyBatis；
: 比如2万条分成20个线程每个线程1000条数据
: 有人说写成1个语句最高效 ->
: ...................
--
FROM 223.104.41.*
11楼|guestking|2022-11-03 13:45:15|只看此ID
就是多线程，用了springboot里面的线程池管理类
【在 chzhang7901 的大作中提到: 】
: 偶然看到这个
: springboot利用ThreadPoolTaskExecutor多线程批量插入百万级数据
: https://mp.weixin.qq.com/s/MEHXdgiICOo9au94HuGhaw
: ...................
--
FROM 180.167.95.*
12楼|hongyan2022|2022-11-05 01:33:26|只看此ID
100K 行如果一行只有50 bytes，才5MB 如果没什么索引没什么已有数据.... 简直是一个文本文件批量提交就完全可以应付了

小小的笔记本如果库结构不复杂也可以轻松应付半个百万行

【在 townhope 的大作中提到: 】
: PostgreSQL下，只能用Java和MyBatis；
: 比如2万条分成20个线程每个线程1000条数据
: 有人说写成1个语句最高效 ->
: ...................
--
FROM 13.56.31.*
13楼|vid|2023-01-27 16:39:09|只看此ID
不要那么多线程，单线程batch，加上insertwritebatch，一秒就可以几万条。
【在 townhope 的大作中提到: 】
: PostgreSQL下，只能用Java和MyBatis；
:
: 比如2万条分成20个线程每个线程1000条数据
: ...................
--来自微微水木3.5.12
--
FROM 117.136.38.*