请推荐java的有web访问方式的爬虫

水木社区手机版

主题:请推荐java的有web访问方式的爬虫
8楼|dhcn|2017-10-26 15:34:33|展开
如果会点python，推荐pyspider，需要部署过程，开发使用很方便
【在 biz2013 的大作中提到: 】
: 说要部署一个给客户用.
: 我觉得Heritrix已经蛮好了.界面上配置文件啥的也挺清楚. 但是头就是不满意.
: 不过Heritrix不带解析工具,需要自己写调用paser解析并且存储到数据库的代码.
: ...................
--
修改:dhcn FROM 211.99.15.*
FROM 211.99.15.*
10楼|dhcn|2017-10-26 16:56:11|展开
tip大意：目前安装的chardet的版本不对
【在 biz2013 的大作中提到: 】
: 谢谢。我也在试这个。就是启动pyspider. 的时候老是报错：
: Traceback (most recent call last):
: File "/usr/local/bin/pyspider", line 5, in <module>
: ...................
--
FROM 111.203.81.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版