- 主题:20M+的数据，用什么方法同步呢
这个问题我去问了一下ChatGPT，结果ChatGPT直接给了我一个极其有道理的解决方案
换成csv！
感觉太有道理了！比整个版都靠谱
【 在 sixue1999 的大作中提到: 】
: 详细说下需求
: 1.自己写的小工具，下载网文的
: 其中索引文件现在是25m，存成json格式
: ...................
--
FROM 120.244.20.*
索引单独一个文件，每个网文一个文件
【 在 sixue1999 的大作中提到: 】
: 详细说下需求
: 1.自己写的小工具，下载网文的
: 其中索引文件现在是25m，存成json格式
: 2.工具使用python+c#写的，暂时解析保存json的速度还可以
: 3.索引文件（其实还有下载的网文），现在被我放到dropbox里了
: 这样可以在几台机器+手机上自动同
: ..................
发自「今日水木 on M2007J17C」
※ 来源:·水木社区
http://www.mysmth.net·[FROM: 219.142.237.*]
FROM 219.142.237.*
难道查找索引的时候是把整个索引文件读到内存里么? 那也太大了吧
本地索引存储用sqlite, 增量用json
sqlite记一下当前已经已经同步的进度, 如果有新的就自动导入一下
都很简单, 没啥活儿
--
修改:ToSimplicity FROM 211.161.233.*
FROM 211.161.233.*
哈哈哈
【 在 sixue1999 的大作中提到: 】
: 标 题: ChatGPT一语惊醒梦中人
: 发信站: 水木社区 (Mon May 15 21:13:24 2023), 站内
:
: 这个问题我去问了一下ChatGPT，结果ChatGPT直接给了我一个极其有道理的解决方案
:
: 换成csv！
:
: 感觉太有道理了！比整个版都靠谱
: 【 在 sixue1999 的大作中提到: 】
: : 详细说下需求
: : 1.自己写的小工具，下载网文的
: : 其中索引文件现在是25m，存成json格式
: : ...................
:
: --
:
: ※ 来源:·水木社区 mysmth.net·[FROM: 120.244.20.*]
--
FROM 120.229.89.*
我本来就是分开存的
现在的问题是索引太大，25m，现在应该更大了
其实我已经拆成一系列json了，按照字典顺序拆分的
但这玩意仍然不是很稳定，还是会有即使没有变更，也要更新好多文件的尴尬情况
而且逻辑也有点复杂
但是ChatGPT的方案用csv就非常完美
拆分容易，数据稳定，不像json不保顺序
【 在 GoGoRoger 的大作中提到: 】
: 索引单独一个文件，每个网文一个文件
: 发自「今日水木 on M2007J17C」
: ※ 来源:·水木社区
http://www.mysmth.net·[FROM: 219.142.237.*]
: ...................
--
FROM 120.244.20.*
能存在git上吗？pygithub有接口的。
【 在 sixue1999 的大作中提到: 】
: 详细说下需求
: 1.自己写的小工具，下载网文的
: 其中索引文件现在是25m，存成json格式
: ...................
--
FROM 158.140.1.*
配置一个git不就好了，一个写入，其它几个pull。。。
【 在 sixue1999 的大作中提到: 】
: 详细说下需求
: 1.自己写的小工具，下载网文的
: 其中索引文件现在是25m，存成json格式
: ...................
--
FROM 103.37.140.*
找一个备份工具不就行了，特性比较多支持增量备份的那种
【 在 sixue1999 的大作中提到: 】
: 详细说下需求
: 1.自己写的小工具，下载网文的
: 其中索引文件现在是25m，存成json格式
: ...................
--
FROM 221.218.208.*
不管是git还是备份工具都不如dropbox好用啊
【 在 Bernstein 的大作中提到: 】
: 找一个备份工具不就行了，特性比较多支持增量备份的那种
--
FROM 120.244.20.*
这... 解决了什么 问题 吗？
【 在 sixue1999 的大作中提到: 】
: 这个问题我去问了一下ChatGPT，结果ChatGPT直接给了我一个极其有道理的解决方案
: 换成csv！
: 感觉太有道理了！比整个版都靠谱
--
FROM 47.144.177.*