水木社区手机版
首页
|版面-Web开发(WebDev)|
新版wap站已上线
展开
|
楼主
|
同主题展开
|
返回
上一篇
|
下一篇
主题:抓取google 搜索结果问题
charles23
|
2009-12-31 11:35:41
|
开发的语言就不提了,反正是用http,按关键词向google 提出请求,然后抓取页面分析等等。 请求200次左右就会封杀我的ip,返回404错误,或者把页面版式换了(也就不容易分析页面结构)。
封杀的同时如果用浏览器访问却是正常情况。
请问谁知道google根据http header的哪个字段判断的呢?不是user-agent,不是referer,不是cookie(因为并非所有浏览器支持cookie)
--
FROM 61.135.152.*
上一篇
|
下一篇
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版