- 主题:问一下robots.txt有没有必要用？
好像那些forum都放有一个。
--
FROM 211.99.222.*
为了防止搜索引擎搜索的，一般正规的搜索引擎都会遵守规则的吧
【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 好像那些forum都放有一个。
--
FROM 61.167.60.*
不怕抓就可以不用
有次被google和sina同时抓了，一天的日志抓出来2g多
啧啧。。。
【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 好像那些forum都放有一个。
--
FROM 220.181.38.*