就你现在的描述，就是一个处理+输入输出的问题，pandas/sqlite只是手段，能解决

【 在 Osram 的大作中提到: 】
: 设想是A/B两个python程序，尽可能减少CPU/内存占用，因此想整成分时运行，运行后退出释放资源。
: 第一天A收集新数据并读取历史数据，加以处理，持久化，完毕后退出。
: 第二天B读取A处理完毕的数据，执行一些逻辑，对数据加以更新，完毕后退出。
: ...................
--
FROM 159.226.171.*