- 主题:水木无法被搜索引擎检索的原因是什么？
静态地址还是js?
还是两者都有?
--
FROM 116.213.97.*
那水木设置的原因是什么？负载过大？
【 在 wincss (wincss) 的大作中提到: 】
: 有robots.txt。。。
: 懂规矩的爬虫会自己躲开的。。。
--
FROM 116.213.97.*
看了看GOOGLE，可以检索个人Blog页面和基本页面，怎么感觉还是js的问题？
【 在 aid666 (SAS) 的大作中提到: 】
: 那水木设置的原因是什么？负载过大？
--
FROM 116.213.97.*
bbstcon在allow内啊
User-agent: msnbot
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Sogou
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Slurp
Crawl-delay: 2
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Googlebot
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: Baiduspider
Allow: /index.html
Allow: /indexpages/
Allow: /frames.html
Allow: /mainpage.html
Allow: /bbsguestleft.html
Allow: /bbs0an.php
Allow: /bbsanc.php
Allow: /bbstcon.php
Allow: /sitemap.html
Allow: /pc/
Disallow: /
User-agent: *
Disallow: /
【 在 wincss (wincss) 的大作中提到: 】
: 有robots.txt。。。
: 懂规矩的爬虫会自己躲开的。。。
--
FROM 116.213.97.*
看来还是js
【 在 cytokine (Cyt.) 的大作中提到: 】
: bbscon不在，最多就有个标题。
--
FROM 116.213.97.*