主要是用 XPath 、BS4 、CSS、Re 等解析网页，获取到资源的地址

但有些较大的网站有 验证、混淆、加密 等反爬措施

这就需要js逆向、模拟操作 等技术，跟网站斗智斗勇

【 在 dmyk 的大作中提到: 】
: 爬虫主要是分析网页吧
--
修改:pixYY FROM 120.225.117.*
FROM 120.225.117.*