- 主题:问个分批处理的sql问题
order_time > '上次最后一条数据的order_time-1' limit 1000
对重复取的数据 处理下或者幂等
再考虑处理下 如果同一秒>=1000条的场景
【 在 ota (哦天啊) 的大作中提到: 】
: 一张表1000w条数据, 每天生单会insertOrUpdate 50w条,
: 需求期望要select出生单时间是昨天的所有数据做处理.因为数据有点多,所以想用limit分批取.
: 生单时间做了索引,
: ...................
--
FROM 106.11.255.*
加一个唯一id,snowflake id,确保更新的时候也一起更新。
--
FROM 223.104.3.*
嗯可以解决批量更新update time落在同一毫秒的问题对吧
不过我这边一个case,根据业务时间来检索,这个时间有索引,但可能是很早之前插入的没更新过
【 在 agedloser 的大作中提到: 】
--
FROM 114.242.250.*
产生数据的系统能改么?
如果能改, 把新数据存一份到中间表中
这样中间表可能最多会有1天多时间的数据
你处理完的数据就删除
这样你可以每次取定量的数据
不用担心会漏
【 在 ota 的大作中提到: 】
: 一张表1000w条数据, 每天生单会insertOrUpdate 50w条,
: 需求期望要select出生单时间是昨天的所有数据做处理.因为数据有点多,所以想用limit分批取.
: 生单时间做了索引,
: ...................
--
FROM 183.134.153.*