- 主题:针对硬盘掉数据,大家都是怎么应对的?
我的主数据源在一个SATA的普通硬盘A上,上面存的数据很多都十年以上了。所有的数据通过镜像同步到其他的备份硬盘上。源硬盘A很多数据文件没有丢失,但是意见莫名其妙的损坏或者无法打开,尤其是那种年头很长的长时间访问比较少的问题。
现在文件的完整性完全依赖于这个SATA硬盘A。有没有比较好的方案可以定时检测硬盘A上的文件是否出现损坏或者异常更改/丢失?或者保证这个硬盘A上面的数据不会因为硬盘A本身的问题(掉磁?)而丢失?
我的工作数据是存在硬件RAID里面,文件一致性永远稳定。因为raid卡会定期自动做底层一致性检测修复,并且会依赖于RAID的特性来自动修复数据。这样的方案对于个人数据在PC上来说维护成本和使用成本过高。
--
FROM 202.45.129.*
zfs/btrfs和微软的refs
【 在 gordonsun 的大作中提到: 】
: 我的主数据源在一个SATA的普通硬盘A上,上面存的数据很多都十年以上了。所有的数据通过镜像同步到其他的备份硬盘上。源硬盘A很多数据文件没有丢失,但是意见莫名其妙的损坏或者无法打开,尤其是那种年头很长的长时间访问比较少的问题。
:
: 现在文件的完整性完全依赖于这个SATA硬盘A。有没有比较好的方案可以定时检测硬盘A上的文件是否出现损坏或者异常更改/丢失?或者保证这个硬盘A上面的数据不会因为硬盘A本身的问题(掉磁?)而丢失?
: ...................
--来自微水木3.5.1
--
FROM 113.119.11.*
十分谢谢,这好像是我要找的方案
【 在 Dazzy 的大作中提到: 】
: zfs/btrfs和微软的refs
--
FROM 123.123.249.*
硬盘坏了就换硬盘
【 在 gordonsun (Gordon) 的大作中提到: 】
: 我的主数据源在一个SATA的普通硬盘A上,上面存的数据很多都十年以上了。所有的数据通过镜像同步到其他的备份硬盘上。源硬盘A很多数据文件没有丢失,但是意见莫名其妙的损坏或者无法打开,尤其是那种年头很长的长时间访问比较少的问题。
: 现在文件的完整性完全依赖于这个SATA硬盘A。有没有比较好的方案可以定时检测硬盘A上的文件是否出现损坏或者异常更改/丢失?或者保证这个硬盘A上面的数据不会因为硬盘A本身的问题(掉磁?)而丢失?
: 我的工作数据是存在硬件RAID里面,文件一致性永远稳定。因为raid卡会定期自动做底层一致性检测修复,并且会依赖于RAID的特性来自动修复数据。这样的方案对于个人数据在PC上来说维护成本和使用成本过高。
: ...................
--
FROM 139.226.10.*
硬盘本身没坏。数据在硬盘上存放时间长了,会消磁,然后有部分的数据读不出来了。和之前的磁带一个道理。个人家里备份用磁带有些折腾,不适用。2005年之前的数据备份在磁带里面,后来发现磁带机坏了。磁带机比我的数据之前,也只能放弃了。
【 在 finad 的大作中提到: 】
: 硬盘坏了就换硬盘
:
--
修改:gordonsun FROM 123.123.249.*
FROM 202.45.129.*
fs和raid都只能保证写入时候的一致性
但是不能保证时间长了 退磁 或者nand 漏电
zfs btrfs refs都有 scrub任务
就是隔一段时间,把整个卷全量校验一遍
有错就尝试修复,但是如果修复不了,还是会丢文件,解决方案只能是多个备份
而且跑 zfs/btrfs/refs都需要ecc内存
否则内存里就错了,剩下都白搭
总体还是价格和安全性的取舍
【 在 gordonsun (Gordon) 的大作中提到: 】
: 十分谢谢,这好像是我要找的方案
--
FROM 114.241.242.*
你的意思需要scrub这一个硬盘达不到吧
【 在 gordonsun 的大作中提到: 】
: 我的主数据源在一个SATA的普通硬盘A上,上面存的数据很多都十年以上了。所有的数据通过镜像同步到其他的备份硬盘上。源硬盘A很多数据文件没有丢失,但是意见莫名其妙的损坏或者无法打开,尤其是那种年头很长的长时间访问比较少的问题。
: 现在文件的完整性完全依赖于这个SATA硬盘A。有没有比较好的方案可以定时检测硬盘A上的文件是否出现损坏或者异常更改/丢失?或者保证这个硬盘A上面的数据不会因为硬盘A本身的问题(掉磁?)而丢失?
: 我的工作数据是存在硬件RAID里面,文件一致性永远稳定。因为raid卡会定期自动做底层一致性检测修复,并且会依赖于RAID的特性来自动修复数据。这样的方案对于个人数据在PC上来说维护成本和使用成本过高。
: ...................
--
FROM 114.241.8.*
膜拜大佬。。。能用到硬盘消磁也算是abuse硬盘了吧。。。
至于数据完整性,我脚得要紧的文件还是多副本备份,同时存好hash吧。。。
【 在 gordonsun 的大作中提到: 】
: 硬盘本身没坏。数据在硬盘上存放时间长了,会消磁,然后有部分的数据读不出来了。和之前的磁带一个道理。个人家里备份用磁带有些折腾,不适用。2005年之前的数据备份在磁带里面,后来发现磁带机坏了。磁带机比我的数据之前,也只能放弃了。
: 【 在 finad 的大作中提到: 】
: : 硬盘坏了就换硬盘
: ...................
--
FROM 112.65.0.*
btrfs的单盘data dup模式可以,然而最好和其它文件系统一样,raid1,如refs要双盘才有意义(有人在两个vhd上跑refs么?)单样本数据只能知道数据掉了,怎么纠正,有点困难,如果不说无望。
【 在 tverge 的大作中提到: 】
: 你的意思需要scrub这一个硬盘达不到吧
: 【 在 gordonsun 的大作中提到: 】
: : 我的主数据源在一个SATA的普通硬盘A上,上面存的数据很多都十年以上了。所有的数据通过镜像同步到其他的备份硬盘上。源硬盘A很多数据文件没有丢失,但是意见莫名其妙的损坏或者无法打开,尤其是那种年头很长的长时间访问比较少的问题。
: ...................
--来自微水木3.5.1
--
FROM 14.24.35.*
这种损坏可能是在某次传输过程中出的问题
你可以用rsync -cn参数测试主数据和备份区域是不是完全一致,损坏不太可能两边损坏的一致吧
你要是运气这么差,那就搞三份来对比吧
--
FROM 113.116.183.*