水木社区手机版
- 主题:爬虫
- 每当看到这个问题，我都要拿出我在知乎上看到的一个回复
【 在 Asterl 的大作中提到: 】
: 看网上到处都是招写爬虫的，这种不怕担责吗？
: 发自「今日水木 on iPhone XR」
--
FROM 114.250.32.* - 精辟！
【 在 xf329 的大作中提到: 】
:
: 每当看到这个问题，我都要拿出我在知乎上看到的一个回复
:
: [upload][/upload]
: --
:
发自「今日水木 on iPhone XR」
--
FROM 183.198.0.* - 主要是用 XPath 、BS4 、CSS、Re 等解析网页，获取到资源的地址
但有些较大的网站有 验证、混淆、加密 等反爬措施
这就需要js逆向、模拟操作 等技术，跟网站斗智斗勇
【 在 dmyk 的大作中提到: 】
: 爬虫主要是分析网页吧
--
修改:pixYY FROM 120.225.117.*
FROM 120.225.117.* - 太牛了
json这个需要学多久
发现很多数据都用这个格式存
【 在 pixYY 的大作中提到: 】
: 主要是用 XPath 、BS4 、CSS、Re 等解析网页，获取到资源的地址
: 但有些较大的网站有 验证、混淆、加密 等反爬措施
: 这就需要js逆向、模拟操作 等技术，跟网站斗智斗勇
: ...................
--
FROM 108.29.173.* - json 的语法很简单吧
https://www.json.org/json-zh.html
https://www.runoob.com/json/json-syntax.html
https://cloud.tencent.com/developer/section/1490754
【 在 dmyk 的大作中提到: 】
: 太牛了
: json这个需要学多久
: 发现很多数据都用这个格式存
: ...................
--
修改:pixYY FROM 120.225.117.*
FROM 120.225.117.* - 验证码现在图鉴超级鹰都挺nb的，大部分市面上的验证码都能对付
最近一直在和瑞数，加速乐 做斗争。
我弄了一个自动爬虫框架，准备开源了。目前能对抗绝大部分用瑞数，加速乐的网站。
【 在 pixYY 的大作中提到: 】
: 主要是用 XPath 、BS4 、CSS、Re 等解析网页，获取到资源的地址
: 但有些较大的网站有 验证、混淆、加密 等反爬措施
: 这就需要js逆向、模拟操作 等技术，跟网站斗智斗勇
: ...................
--
修改:iwannabe FROM 119.139.198.*
FROM 119.139.198.* - 爬文献网站没事吧
【 在 xf329 的大作中提到: 】
: 每当看到这个问题，我都要拿出我在知乎上看到的一个回复
: [upload=1][/upload]
--
FROM 183.62.57.* - 别的事不知道，购买文献权限的单位是会被封禁的
【 在 forthehorde 的大作中提到: 】
: 爬文献网站没事吧
--
FROM 1.202.11.* - 不是吧，爱斯维尔都提供api key，你的说法跟我认知差距很大
【 在 cppbuilder 的大作中提到: 】
: 别的事不知道，购买文献权限的单位是会被封禁的
--
FROM 202.38.230.* - 提供了不意味着可以随便爬，是和你们单位和数据库方签的合同有关的
【 在 forthehorde 的大作中提到: 】
: 不是吧，爱斯维尔都提供api key，你的说法跟我认知差距很大
--
FROM 1.202.11.*