分明因为robot.txt禁止了爬虫访问-,-

【 在 Bayweb (海纳百川) 的大作中提到: 】
: 【 在 crazytools@newsmth.net-SPAM.no (crazytools) 的大作中提到: 】
: : site:www.newsmth.org 搜索只能搜到很少
: : 是不是爬虫爬不了bbs?
--
FROM 125.77.0.0