想写个爬虫爬js生成数据表的网页数据，该怎么写？

水木社区手机版

主题:想写个爬虫爬js生成数据表的网页数据，该怎么写？
30楼|bjchbq|2022-03-18 20:40:37|只看此ID
楼上有人说了， selenium + headless chrome
--
FROM 124.64.120.*
31楼|jimmycmh|2022-03-18 23:58:33|只看此ID
找个开源爬虫吧，scrapy之类的

至于怎么爬，打开chrome抓下包就清楚了

【在 derliyan (lier) 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据，
: http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆，网页上也搜了几天，没搞明白怎么操作，
: ...................
--
FROM 115.171.245.*
32楼|derliyan|2022-03-19 10:58:13|只看此ID
嗯，自己学起来还是很有些挑战

用selenium 先成功打开这个网页几次之后，
再测试就呈死机状态了，得进控制台杀进程，不知道什么技术

【在 jimmycmh 的大作中提到: 】
: 找个开源爬虫吧，scrapy之类的
: 至于怎么爬，打开chrome抓下包就清楚了
:
--
FROM 27.17.47.*
33楼|scutcyt|2022-03-19 20:48:31|只看此ID
可以试试helium（简化的Selenium）来控制操作
不过如果没有web基础的话，可能使用uipath之类的RPA工具会更简单
【在 derliyan 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据，
: http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆，网页上也搜了几天，没搞明白怎么操作，
: ...................
--
FROM 115.171.39.*
34楼|laoshifu|2022-03-20 15:33:52|只看此ID
不是有那种9.9元python课程么，学完了进大厂月薪过万。：）

【在 derliyan (lier) 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据，
: http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆，网页上也搜了几天，没搞明白怎么操作，
: ...................
--
FROM 123.191.47.*