bbstcon在allow内啊

User-agent: msnbot
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Sogou
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Slurp
Crawl-delay: 2
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Googlebot
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Baiduspider
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: *
Disallow: /

【 在 wincss (wincss) 的大作中提到: 】
: 有robots.txt。。。
: 懂规矩的爬虫会自己躲开的。。。
--
FROM 116.213.97.*