- 主题:为什么在百度上搜不到水木的帖子？
site:www.newsmth.org 搜索只能搜到很少
是不是爬虫爬不了bbs?
--
FROM 218.249.8.*
谨慎怀疑是限制爬虫了
【 在 crazytools (crazytools) 的大作中提到: 】
: site:www.newsmth.org 搜索只能搜到很少
: 是不是爬虫爬不了bbs?
--
FROM 123.127.220.*
不是说百度不管限制的吗？
【 在 foxban (未毕业的码农) 的大作中提到: 】
: 谨慎怀疑是限制爬虫了
--
FROM 211.99.222.*
不会这么恶心吧？
【 在 huyg (9527) 的大作中提到: 】
: 不是说百度不管限制的吗？
--
FROM 125.211.217.*
site:www.newsmth.net
【 在 crazytools@newsmth.net-SPAM.no (crazytools) 的大作中提到: 】
: site:www.newsmth.org 搜索只能搜到很少
: 是不是爬虫爬不了bbs?
--
FROM 202.120.183.*
>>
>>
>>bbs的rewrite对搜索引擎的搜索难度很大
>>
>>
【 在 crazytools@newsmth.net-SPAM.no (crazytools) 的大作中提到: 】
: site:www.newsmth.org 搜索只能搜到很少
: 是不是爬虫爬不了bbs?
--
FROM 58.218.0.0
分明因为robot.txt禁止了爬虫访问-,-
【 在 Bayweb (海纳百川) 的大作中提到: 】
: 【 在 crazytools@newsmth.net-SPAM.no (crazytools) 的大作中提到: 】
: : site:www.newsmth.org 搜索只能搜到很少
: : 是不是爬虫爬不了bbs?
--
FROM 125.77.0.0
re.....
【 在 wayhome (你回来了，没有什么比这更值得让人开心了) 的大作中提到: 】
: 分明因为robot.txt禁止了爬虫访问-,-
: 【 在 Bayweb (海纳百川) 的大作中提到: 】
--
FROM 222.29.0.0