- 主题:20M+的数据,用什么方法同步呢
典型的分布式存储节点间同步数据场景,肯定不会有存储把所有数据存一个大json,你只要把数据换成行存储,不管什么格式都能搞定。
【 在 sixue1999 的大作中提到: 】
: 我本来就是分开存的
: 现在的问题是索引太大,25m,现在应该更大了
: 其实我已经拆成一系列json了,按照字典顺序拆分的
: ...................
--
FROM 124.77.252.*
不停的出更大的树,把之前的索引当子节点,更换新的 root,永远不会爆炸
--
FROM 45.78.49.*
像这样
sync_file:
prev prev_sync_file_path updated
file1 content_file_path updated
file2 content_file_path updated
file3 content_file_path updated
...
这样不停出新的root就好了,比如一个月出一个root,满100个出一个root
更新时递归 prev sync file, 检查一下时间戳,同步过就结束递归
--
FROM 45.78.49.*