- 主题:xz的压缩比并不总是所有压缩程序里最高的
试试freearc,可惜作者16年后就没更新了。
https://fa.krinkels.org/?download=1&kcccount=https://fa.krinkels.org/downloads/0.666/FreeArc-0.666-linux-i386.tar.bz2
【 在 poocp (慢速随机指标) 的大作中提到: 】
: 2020年的日志压缩比还是xz更高,xz是文件越大越占优势,11GB的文本日志能拉开差距了。
: tar.zl(by tarlz -9cf --bsolid): 165,121,432 字节
: tar.xz(by tar pipe xz -9e): 157,979,756 字节
: ...................
--
FROM 183.230.255.*
把journal目录单独zfs create加上压缩参数,xattr=sa和posixacls就可以了
https://ramsdenj.com/2016/06/23/arch-linux-on-zfs-part-2-installation.html
【 在 poocp (慢速随机指标) 的大作中提到: 】
: 我只需要日志文件压缩到极限,那玩意几乎不读,但又必须存档偶尔非常有用,别的工作文件压缩了影响工作效率。
: 压缩算法各有各的用途。就比如linux内核打包目前钦定xz,就是因为用那玩意压出来最小,省流量。
: 而小内存低端嵌入式设备做内存压缩来扩大内存运行更大程序,更倾向分出一半物理内存选择lzo或者lz4做zram swap而不是zstd,就是因为低端嵌入式CPU的运算速度通常比较慢,权衡空间效率和时间效率做出的选择。
--
FROM 115.171.203.*
敢用f2fs和btrfs不暴雷都难
【 在 poocp (慢速随机指标) 的大作中提到: 】
: f2fs btrfs我都用到过爆雷的时候,现在还是老实用ext4了。为个压缩就折腾文件系统,万一爆雷因小失大。
: 日志压缩脚本也就不到100行,按月执行,按年归档也包括在按月脚本里了,每年3月执行上一年的压缩文件重新打包成tar包。
--
FROM 115.171.203.*
以前做的测试,xz -T0 -1 比 lbzip2 快一倍,压缩比高 3%,bzip2 可以死了,而 pzstd -1 比 xz -T0 -1 快 5~9 倍,压缩比只损失了4%, xz 可以死了。
值得用的压缩格式:
lz4: 轻度压缩比,最快的压缩和解压缩。
zstd: 这个真是神器,想快非常快,想好压缩比也行而且依然很快。
zip: 跟其他OS兼容,而且它支持索引
其它的,gz和bz2历史遗留,7z用的人太少,xz 跟 lzip不相上下,gnu力推lzip,xz是真的慢。snappy, briotli在 zstd 面前都是渣。
【 在 poocp 的大作中提到: 】
: 文本日志文件,单个文件大小在100KB到50MB区间内的情况下,都用-9参数(xz用-9e),lzip比xz全面领先。
: 所以我现在的脚本是每个月压缩一次上个月按周切分的日志为每个文件单独.lz格式不用tar打包,配合catlz可以随时查看,每年将12个月全部.lz日志解压进年份子目录后重新压成.tar.xz包做长期归档。
: [code=bash]
: ...................
--
FROM 61.48.62.*
我在 windows 下主要用 7z,然后给别人的话,用它压成 zip
【 在 Dieken (风催草低 - 明月何尝不照人) 的大作中提到: 】
: 以前做的测试,xz -T0 -1 比 lbzip2 快一倍,压缩比高 3%,bzip2 可以死了,而 pzstd -1 比 xz -T0 -1 快 5~9 倍,压缩比只损失了4%, xz 可以死了。
: 值得用的压缩格式:
: lz4: 轻度压缩比,最快的压缩和解压缩。
: ...................
--
FROM 219.140.57.*
这就是整个业界很丢人的地方,居然没有一个跨平台的支持索引的能包含完整文件元信息的压缩格式。zip, 7z 都不能完整支持posix fs的文件元信息,tar ball又不支持索引,解压个文件需要从头开始解压寻找,为啥这么多年了也没有工具革新这种滑稽的现象?
有个 DAR 工具很不错,但是名气很小。
https://dar.sourceforge.io/
【 在 snoopyzhao 的大作中提到: 】
: 我在 windows 下主要用 7z,然后给别人的话,用它压成 zip
:
--
FROM 221.222.21.*
高压缩比需求时,zstd -20(还需要extreme开关)和xz差不多,但是压缩速度似乎稍慢。
140G左右mysql的备份文件。
【 在 Dieken 的大作中提到: 】
: 以前做的测试,xz -T0 -1 比 lbzip2 快一倍,压缩比高 3%,bzip2 可以死了,而 pzstd -1 比 xz -T0 -1 快 5~9 倍,压缩比只损失了4%, xz 可以死了。
: 值得用的压缩格式:
: lz4: 轻度压缩比,最快的压缩和解压缩。
: ...................
--
FROM 172.110.7.*
tarlz有这功能,解压指定文件或目录,而且解压速度奇快,带索引,默认支持多线程分块,文件存储设备出坏块能尽量恢复其余未损坏数据。
tarlz对tar.lz解压速度是tar解压tar.xz的15倍。
【 在 Dieken 的大作中提到: 】
: 这就是整个业界很丢人的地方,居然没有一个跨平台的支持索引的能包含完整文件元信息的压缩格式。zip, 7z 都不能完整支持posix fs的文件元信息,tar ball又不支持索引,解压个文件需要从头开始解压寻找,为啥这么多年了也没有工具革新这种滑稽的现象?
: 有个 DAR 工具很不错,但是名气很小。
:
https://dar.sourceforge.io/: ...................
--
FROM 118.122.107.*
http://lzip.nongnu.org/tarlz.html没看到有索引。
【 在 poocp 的大作中提到: 】
: tarlz有这功能,解压指定文件或目录,而且解压速度奇快,带索引,默认支持多线程分块,文件存储设备出坏块能尽量恢复其余未损坏数据。
: tarlz对tar.lz解压速度是tar解压tar.xz的15倍。
:
--
FROM 61.48.62.*