- 主题:有大佬用python存过ctp的全市场数据没
我自己搞了一下，用多个协程来并行接收存储数据，但是数据老是重复，不知道大佬用的是什么方案
--
FROM 112.45.102.*
这个怪不到python吧，也许你的脚本程序有bug，或者数据本来就是重复的，你没有进行去重处理。
--
FROM 171.221.52.*
【 在 sal0nbus 的大作中提到: 】
: 我自己搞了一下，用多个协程来并行接收存储数据，但是数据老是重复，不知道大佬用的是什么方案
不是开盘时间， 发送重复数据是正常的。
你要全市场数据干嘛？ 如果，是大数据事后分析， 不如，去买数据商已经整理好的， 自己接收，
网络延迟丢包或者自己程序处理不及时，就数据不全了。
--
FROM 115.171.245.*
好像是我多个协程并行处理同一个字典会有问题
【 在 poocp (慢速随机指标) 的大作中提到: 】
: 这个怪不到python吧，也许你的脚本程序有bug，或者数据本来就是重复的，你没有进行去重处理。
: --
:
:
--
FROM 39.144.138.*
我实盘要用哦，不可能去实盘的历史数据找淘宝嘛
【 在 poggy (P股决定NoZ) 的大作中提到: 】
: 发信人: poggy (P股决定NoZ), 信区: Python
: 标 题: Re: 有大佬用python存过ctp的全市场数据没
: 发信站: 水木社区 (Fri Apr 5 07:03:00 2024), 转信
:
--
FROM 39.144.138.*
我遇到的问题是多个协程并行接收tick数据，然后在一个字典里更新生成k线的高开低收 ，但是多个协程同时修改更新字典，会出现一个协程更新字典的数据后，另外一个协程的上下文状态似乎并没有改变，字典的更新在这个协程中没有体现，比如新的一分钟tick数据来了后，就应该落盘上一分钟的k线，结果一个协程落盘k线后，另外一个协程由于数据字典的上下文没改变，这个协程收到新的tick也符合落盘的逻辑、也会落盘数据，从而造成重复记录多条k线数据
【 在 ToSimplicity (适者) 的大作中提到: 】
: 发信人: ToSimplicity (适者), 信区: Python
: 标 题: Re: 有大佬用python存过ctp的全市场数据没
: 发信站: 水木社区 (Fri Apr 5 16:10:12 2024), 转信
:
--
FROM 112.45.110.*
如果我用单个协程可以避免这个问题，不过这样可能效率有问题，落盘可能会不及时，我现在是一分钟落盘一次所有k线
【 在 ToSimplicity (适者) 的大作中提到: 】
: 发信人: ToSimplicity (适者), 信区: Python
: 标 题: Re: 有大佬用python存过ctp的全市场数据没
: 发信站: 水木社区 (Sat Apr 6 01:51:14 2024), 转信
:
--
FROM 39.144.139.*
一分钟这种频率用得上协程？还以为是毫秒级
【 在 sal0nbus 的大作中提到: 】
: 如果我用单个协程可以避免这个问题，不过这样可能效率有问题，落盘可能会不及时，我现在是一分钟落盘一次所有k线
--
FROM 115.171.245.*
要收全市场的tick数据，还要合成，还要落盘，单进程怕是搞不定吧？
【 在 jimmycmh (Jimmy) 的大作中提到: 】
: 一分钟这种频率用得上协程？还以为是毫秒级
:
: 【 在 sal0nbus 的大作中提到: 】
: : 如果我用单个协程可以避免这个问题，不过这样可能效率有问题，落盘可能会不及时，我现在是一分钟落盘一次所有k线
--
FROM 112.45.110.*
反正python有全局锁，你搞多少协程线程，同时都只有一个线程在跑，你用协程应该是想搞异步吧
【 在 sal0nbus 的大作中提到: 】
: 要收全市场的tick数据，还要合成，还要落盘，单进程怕是搞不定吧？
--
FROM 115.171.245.*