- 主题:看到一个好玩的反爬方案
或者换一种压缩算法,用br,超厉害
【 在 hgoldfish 的大作中提到: 】
: 之前在知乎上面看到有人提这个。好像还可以用 gzip 的压缩原理继续优化。
--
FROM 114.245.108.*
deflate的压缩算法最大只能1000倍,可以考虑用br或zstd,压缩比更大
--
FROM 114.251.196.*
% dd if=/dev/zero bs=1048576 count=1024 | zstd | wc -c
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 0.266947 secs (4022303394 bytes/sec)
33679
1G => 33K
【 在 zli07 的大作中提到: 】
: deflate的压缩算法最大只能1000倍,可以考虑用br或zstd,压缩比更大
--
FROM 114.251.196.*
压缩比大没用,要普通爬虫支持才行
【 在 zli07 的大作中提到: 】
: deflate的压缩算法最大只能1000倍,可以考虑用br或zstd,压缩比更大
--
FROM 222.70.8.*