robot.txt相当于非请勿入的牌子。是不是别人家门口没挂牌子，就默认你可以进呢？显然不是吧。同理咯。
【 在 ludongxing 的大作中提到: 】
: 网络爬虫如果要是遵守了robots.txt里面的规定，是不是就不会违法了
--
FROM 125.78.79.*