是啊。我找了Heritrix加Jsoup。Heritrix界面上可以配置各种爬取参数。头还不满意，要一些网页内容提取的配置也放在配置界面上。

没法子。有没有傻瓜式的爬取工具介绍？谢谢各位啦。



【 在 LuoSiDao 的大作中提到: 】
: 你想要现成的工具啊，抱歉手头可能没有，github里只有一个批量下载地图瓦片的
--
FROM 104.129.204.*

jsoup有界面吗？ @jessonwu



【 在 jessonwu 的大作中提到: 】
: jsoup  
--
FROM 104.129.204.*

谢谢。我也在试这个。就是启动pyspider. 的时候老是报错：

Traceback (most recent call last):
  File "/usr/local/bin/pyspider", line 5, in <module>
    from pkg_resources import load_entry_point
  File "/usr/local/lib/python2.7/dist-packages/pkg_resources/__init__.py", line 3142, in <module>
    @_call_aside
  File "/usr/local/lib/python2.7/dist-packages/pkg_resources/__init__.py", line 3126, in _call_aside
    f(*args, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/pkg_resources/__init__.py", line 3155, in _initialize_master_working_set
    working_set = WorkingSet._build_master()
  File "/usr/local/lib/python2.7/dist-packages/pkg_resources/__init__.py", line 666, in _build_master
    return cls._build_from_requirements(__requires__)
  File "/usr/local/lib/python2.7/dist-packages/pkg_resources/__init__.py", line 679, in _build_from_requirements
    dists = ws.resolve(reqs, Environment())
  File "/usr/local/lib/python2.7/dist-packages/pkg_resources/__init__.py", line 872, in resolve
    raise VersionConflict(dist, req).with_context(dependent_req)
pkg_resources.ContextualVersionConflict: (chardet 2.3.0 (/usr/lib/python2.7/dist-packages), Requirement.parse('chardet<3.1.0,>=3.0.2'), set(['requests']))





【 在 dhcn 的大作中提到: 】
: 如果会点python，推荐pyspider，需要部署过程，开发使用很方便
--
FROM 104.129.204.*