要通过request做n个keepalive链接并行访问某网站,总共的访问任务数为N,构成任务表
要求在某个request完成的同时就立刻从任务表里抽取一个任务,复用这个request,保持这个keepalive的链接
如此往复直至所有N个任务执行完毕
目前的做法是初始化时就生成N个request对象,和访问任务一一对应,让http的maxSockets控制并行数,这样做结果没问题,但是显然N太大时request对象消耗的内存太多了
大家有主意么?谢了
--
FROM 114.242.248.*