1.抓数据的时候需要登录，比如http://slashdot.org/~Vanderhoth/friends。并且登录是用https协议，解决方法有自动登录以及cookie欺骗等。想问下https的自动登录应该怎么写呢（最好能用scrapy）？
2.如果遇到JS脚本来加载数据的情况，大家是怎么处理的呢？
--
FROM 74.125.185.*