【抓数据时候遇到需要HTTPS登录以及JS脚本问题】

水木社区手机版

主题:【抓数据时候遇到需要HTTPS登录以及JS脚本问题】
楼主|chentingpc|2012-12-03 12:24:06|展开
1.抓数据的时候需要登录，比如http://slashdot.org/~Vanderhoth/friends。并且登录是用https协议，解决方法有自动登录以及cookie欺骗等。想问下https的自动登录应该怎么写呢（最好能用scrapy）？
2.如果遇到JS脚本来加载数据的情况，大家是怎么处理的呢？
--
FROM 74.125.185.*
2楼|chentingpc|2012-12-03 18:08:57|展开
用什么方法能有效的得到url呢？
有时候url是动态生成的（加盐的）吧。。。

【在 lins05 的大作中提到: 】
: 没做过
: 分析请求数据的 URL，请求这个 URL，解析得到的数据
:
--
FROM 166.111.134.*