想用 selenium 做一个爬虫,为了绕开访问限制,使用 ip 池。同时为了效率,selenium
的 chrome instance 打算复用,所以基本的架构是
graph LR
selenium-->mitmpxy-->pxypool-->webserver
目标是
1. mitmpxy 可以编写代码定制
2. 可以动态的根据 url 选定是否使用pxy
3. 可以动态的从pxypool选择pxy
4. 支持 https connect 而不是 mitm
找了一圈,暂时还没有满足要求的。
--
FROM 119.139.198.*