谢，懂了。2，就是你之前说的用协程做词法分析。
1，就用13楼的流程。不过，我是用好多线程来干。
一个线程读，分组发给后边一堆线程，进行清洗入库。这样比协程更有效。


【 在 hgoldfish 的大作中提到: 】
: 我举个我最近用上 generator 的例子：
: 1. 有个模块从关系型数据库里面读取数据，清洗后写入到另外一个 OLAP 数据库。第一版的代码，先把数据清洗后，然后一次性入库到 OLAP 数据库。第二版改成 generator，一边清洗，一边入库。同时入库是按 16k 条纪录批量入库，有个缓冲。内存爆降到原来的 10% 不到。
: 2. 我写了一个表达式 DSL，lexer 和 parser 之间使用 generator 通信。所以 parser 是这样调用 lexer 的:
: ...................
--
修改:ylh1969 FROM 221.218.60.*
FROM 221.218.60.*