- 主题:问个pxy代理实现的方案
想用 selenium 做一个爬虫,为了绕开访问限制,使用 ip 池。同时为了效率,selenium
的 chrome instance 打算复用,所以基本的架构是
graph LR
selenium-->mitmpxy-->pxypool-->webserver
目标是
1. mitmpxy 可以编写代码定制
2. 可以动态的根据 url 选定是否使用pxy
3. 可以动态的从pxypool选择pxy
4. 支持 https connect 而不是 mitm
找了一圈,暂时还没有满足要求的。
--
FROM 119.139.198.*
试过,https支持connect后,http也变成connect了,且探测不到url了
【 在 milksea 的大作中提到: 】
: 你试试gost是不是就行?
--
FROM 119.139.198.*
要访问https网站啊,https只有两种模式,一种是connect,一种是mitm
【 在 oyljerry 的大作中提到: 】
: 你mitmproxy跟selenium不是在一个内网,为啥要https connect,http connect不就够
: 了
--
FROM 27.38.197.*
mitm好定制啊,我需要级联一个代理池
【 在 abettor 的大作中提到: 】
: mitmpxy 干啥的, 为什么不直接用socks5代理池?
--
FROM 183.48.35.*