水木社区手机版
首页
|版面-Python的自由天空(Python)|
新版wap站已上线
返回
下页
|
尾页
|
1/4
|
转到
主题:想写个爬虫爬js生成数据表的网页数据,该怎么写?
楼主
|
derliyan
|
2022-03-18 08:44:02
|
只看此ID
想抓这个网页上某个测站一段时间的数据,
http://113.57.190.228:8001/#!/web/Report/RiverReport
网络爬虫的书翻了一堆,网页上也搜了几天,没搞明白怎么操作,
有没有高手可以指点一下?
用什么库,怎么调用网页上的接口,设置自己需要的站点和时间段,并抓出相应的数据表格?
--
FROM 27.17.47.*
1楼
|
flw
|
2022-03-18 08:47:26
|
只看此ID
放弃吧。
你都看了一堆了还没看明白,
那这是基础不过关呀。
再多看几个人跟你讲也意义不大。
【 在 derliyan (lier) 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据,
:
http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆,网页上也搜了几天,没搞明白怎么操作,
: 有没有高手可以指点一下?
: 用什么库,怎么调用网页上的接口,设置自己需要的站点和时间段,并抓出相应的数据表格?
--
FROM 27.38.197.*
2楼
|
iMx
|
2022-03-18 08:54:43
|
只看此ID
我会,但是怕你把网站爬崩了
【 在 derliyan (lier) 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据,
:
http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆,网页上也搜了几天,没搞明白怎么操作,
: ...................
--
FROM 119.131.204.*
3楼
|
derliyan
|
2022-03-18 09:29:30
|
只看此ID
这个网站数据量不大,
本来也可以部分下载,不至于爬崩,
帮忙指点一下python该用什么库?怎么操作?
我想自己学明白咋搞
网上看到一些经验介绍的动态网页,内容还是在新的网页上,类似网页的的经验都语焉不详
【 在 iMx 的大作中提到: 】
: 我会,但是怕你把网站爬崩了
:
--
FROM 27.17.47.*
4楼
|
derliyan
|
2022-03-18 09:34:51
|
只看此ID
没有相关基础,
瞎捉摸,
慢慢学
【 在 flw 的大作中提到: 】
: 放弃吧。
: 你都看了一堆了还没看明白,
: 那这是基础不过关呀。
: ...................
--
FROM 27.17.47.*
5楼
|
iMx
|
2022-03-18 09:35:27
|
只看此ID
requests
etree
re
这些
更关键是分析网页的规律吧,这个功夫在其他软件辅助而不是python
【 在 derliyan (lier) 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据,
:
http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆,网页上也搜了几天,没搞明白怎么操作,
: ...................
--
FROM 119.131.204.*
6楼
|
bzbna
|
2022-03-18 10:19:24
|
只看此ID
【 在 derliyan 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据,
:
http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆,网页上也搜了几天,没搞明白怎么操作,
: ...................
淘宝或者b站,照着视频学。
--
FROM 218.25.39.*
7楼
|
hbsgz
|
2022-03-18 10:54:14
|
只看此ID
其实找到数据源是关键
之后用什么库 传什么参数进去
拿回来的数据怎样解析
数据用来做什么
【 在 derliyan 的大作中提到: 】
: 想抓这个网页上某个测站一段时间的数据,
:
http://113.57.190.228:8001/#!/web/Report/RiverReport
: 网络爬虫的书翻了一堆,网页上也搜了几天,没搞明白怎么操作,
: 有没有高手可以指点一下?
: 用什么库,怎么调用网页上的接口,设置
: ..................
发自「今日水木 on YAL-AL00」
--
FROM 111.201.240.*
8楼
|
zxcsf
|
2022-03-18 10:59:56
|
只看此ID
无头浏览器
--
FROM 113.208.113.*
9楼
|
derliyan
|
2022-03-18 11:05:36
|
只看此ID
我在网页上查询某站点的数据后,
在开发者模式下查看 网络 项显示的 请求网址 和 个get方法,返回的还是空白,
我试了下这个方法对其他一些js生成数据的网站有效,
js生成的动态数据还有各种区别
【 在 iMx 的大作中提到: 】
: requests
: etree
: re
: ...................
--
FROM 27.17.47.*
下页
|
尾页
|
1/4
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版