水木社区手机版
- 主题:求教qq音乐抓取的xhr问题
- 代码发不出来。。。还是贴个图了。
--
修改:HYNOS FROM 118.212.215.*
FROM 118.212.215.* - 在开发模式下检查上面的xhr请求所得到的响应，内容是{"code":0,"ts":165439974034
5,"start_ts":1654399740167,"traceid":"55526ba3d20acaa5","req_1":{"code":0,"d
ata":{ "body": { "album": { "list": [ ] }, …………
这个里面包含所需要的信息，是正常的。但代码抓不到。。
【 在 HYNOS 的大作中提到: 】
: 代码发不出来。。。还是贴个图了。
--
FROM 118.212.215.* - 【 在 ToSimplicity 的大作中提到: 】
: 至少把url贴出来吧
: 我猜测要么要登录,要么要过验证码
xhr是这个
https://u.y.qq.com/cgi-bin/musics.fcg?_=1654399740930&sign=zzbf9b69771m5thvj
huikof0ofr2yiuga079b7017
浏览器页面是在首页搜 周杰伦 得到的页面。
可能是要登陆？我这里浏览器是保持登陆状态的，教程确实没有提到登陆的问题。
--
FROM 118.212.215.* - 不是。。你这个得到的字典r 跟我的一样，里面还是没有包含歌曲信息。
按道理应该是得到图中的东西，里面包含 魔羯座 等（截图不完整）信息
【 在 ToSimplicity 的大作中提到: 】
: >>> import requests
: >>> url = 'https://u.y.qq.com/cgi-bin/musics.fcg?_=1654399740930&sign=zzbf9b69771m5thvj%20huikof0ofr2yiuga079b7017'
: >>> proxies={'http': None, 'https':None}
: ...................
--
修改:HYNOS FROM 118.212.215.*
FROM 118.212.215.* - 我老早就放弃直接使用requests包了
--
FROM 115.171.245.* - 是不好用吗？
我刚试了用它抓 https://www.bd-film.cc/，得到的res里，中文全是乱码，尝试用网上
说的encoding='utf-8'也没效果。。。。
【 在 Blue 的大作中提到: 】
: 我老早就放弃直接使用requests包了
--
FROM 118.212.215.* - 刚学爬虫时不要一下搞太难的
这个页面是需要登陆才能检索的，所以除了常规的ua之外还要带cookie
而且携带参数应该是动态生成的，需要调试搞明白怎么模拟生成
'_'应该就是13位时间戳，sign则是下面表单里数据字符串通过一个函数运算后得到的
签名校验通过后才能拿到数据
【 在 HYNOS 的大作中提到: 】
: 代码发不出来。。。还是贴个图了。
:
:
--
FROM 113.246.124.* - 非常感谢！
我是跟着教程做的，教程编写的时候用的这个网站，估计当时没这么复杂。
【 在 gzq830510 (圡圡的包子——月如挚爱) 的大作中提到: 】
: 发信人: gzq830510 (圡圡的包子——月如挚爱), 信区: Python
: 标 题: Re: 求教qq音乐抓取的xhr问题
: 发信站: 水木社区 (Wed Jun 8 14:24:54 2022), 转信
:
--
FROM 222.204.105.* - 仔细研读浏览器控制台里的request/response报文先
尤其cookies或者auth报头这些
【 在 HYNOS 的大作中提到: 】
: 非常感谢！
: 我是跟着教程做的，教程编写的时候用的这个网站，估计当时没这么复杂。
--
FROM 116.233.89.* - 感谢指点迷津~
【 在 oldwatch (一条叫java的鱼◎城内风光独好) 的大作中提到: 】
: 仔细研读浏览器控制台里的request/response报文先
:
: 尤其cookies或者auth报头这些
:
--
FROM 106.224.35.*