- 主题:[求助]如何建立小型公司的数据仓库
这两天我正在搭这样的系统。
上一台系统是gen8，4盘位btrfs raid1，期间硬盘没坏过，但我因为扩容更换过硬盘，整个过程比较平滑没啥问题。4块盘目前都接近50000小时了，我准备主动淘汰。顺便这台gen8的机器也用了快7年了，虽然还是总体满意的，但它的内存实在是有点小，准备让它退居二线了。
新的机器是ryzen 3700x，64G ecc内存，itx主板，还是准备找个跟gen8差不多小的4盘位机箱，4T ssd作为cache，4张机械盘跑raid1。插万兆卡，其他机器都用它pxeboot。nas跑每日快照，这样我所有的机器都有每日快照保护。
然后淘汰下来的gen8用来尝试做异地灾备，确认方案ok就把老硬盘都换掉，变成正式的异地灾备，然后再买一批8T
盘当磁带用，用于冷备。
btrfs和zfs的问题我选择btrfs，zfs需要大内存，一般1T/1G配置，此外zfs我当作主分区用过一段时间，偶尔会有几十秒的卡顿，感觉不太舒服。再加上nas这种东西重在稳定，挂了好修复也是重要的因素。所以选择btrfs。btrfs别去用raid5之类的配置就行了。反正4盘位机器raid5和raid1在容量上也没啥太本质的区别。
软件方案就不细谈了，列下关键字感兴趣的自己想象吧：nextcloud, gitea, redmine, tagia, rainbow mail, rocket.chat, ... ...
新的nas的具体方案还在评估，因为需要ssd cache，似乎用lvm更合理一点。btrfs只提供snapshot + btrfs send/recv的异地同步。
【 在 ttaudi 的大作中提到: 】
: 目前遇到一个需求,要搞一个50人以下小型公司的数据仓库,用来存储公司日常产生的数据,要求存储空间大于12T,有备份方案.机器已经指定了是一台新购的普通电脑,CPU是5800,内存32G,SSD是512G,目前空着1个2.5 sata槽位,2个3.5 sata槽位.
: 目前我想到的方案是删掉原系统装linux,然后买2个18T的3.5机械硬盘挂到电脑上,用ZFS做raid1.之后分成两个区,一个用来存SVN数据,一个用存其它数据,并通过SAMBA共享给windows用户.
: 请大家帮忙看看这个方案靠谱吗?还有没有更好的方案.
--
FROM 180.158.58.*
这个都一样的，大家都是striped raid
【 在 hgoldfish 的大作中提到: 】
: 有 zfs 的 raid1 就不需要 raid5 了。
: 其实 raid1 的话，应该用 btrfs，因为 btrfs 可以把几块不同容量的硬盘放在一起做 raid1，比如你有
: 8t, 4t, 3t, 3t
: ...................
--
FROM 180.158.58.*
硬件raid5远不如软件zfs raid5靠谱。
这么说吧。如果你要用硬件raid5，你的所有系统都得上服务器级，包括硬盘在内。
【 在 ttaudi 的大作中提到: 】
: 学习了，看来以后要高可用性，如果硬件raid5+ZFS的raid1是不是基本不会有问题了，就是有点废硬盘。
:
--
FROM 180.158.58.*
我是当主分区，不是存储用了。
zfs和btrfs都当主分区用过一段时间。
zfs这个卡顿蛮奇怪的，没有固定的规律。似乎跟文件大小也没啥关系，有时候gcc编译一个很小的c文件都会触发。触发之后要卡20秒上下又正常了。
不过btrfs也有卡死的现象，目前为止遇到过一次，但能稳定触发，只要写入几十个G的文件就会卡死。
但奇怪的是我kill掉unattended-upgrade之后就一切正常了...问题是目前gen8的系统，os在ssd上，btrfs挂在/data上，unattended-upgrade根本就不应该碰到btrfs分区的...
反正这两个fs我用下来感觉多少都有点问题...anyway，至少我的nas用btrfs跑了超过5年，存储了十几T的数据，而且也不单纯是视频，各种乱七八糟的碎文件也有很多，我觉得总体靠谱。
【 在 cppbuilder 的大作中提到: 】
: 几十秒卡顿是挺奇怪的，我是32g内存，100多T的zfs，搭的Roon音乐服务器，
: 另外一台j3455电脑上做的播放器，配置的alsa缓冲5ms，还没遇到过卡顿。
--
FROM 180.158.58.*
zfs是文件系统的天花板啊，当然比btrfs强。
选btrfs唯一的理由是内核原生内置。
举个例子，比如我这次要搞ssd cache，zfs原生支持，但其他方案都很折腾。
btrfs+bcache，据说bcache很渣丢数据。
bcachefs，看起来很美好，代码也很清晰，但人家还是alpha阶段。
最接近的选择是btrfs+lvm cache，但又有点脱裤子放屁的感觉。为了一个fs snapshot去选个btrfs，平白无故损失大量性能。
我在评估ext4+lvm cache/snapshot是不是也能解决问题了，btrfs/zfs这种rich feature filesystem要损失的fs性能也是蛮大的。
【 在 ttaudi 的大作中提到: 】
: 照这么看ZFS比btrfs强不少那,btrfs好几个功能不推荐使用...
: 演练是肯定的了,好多东西不会,万一数据丢了就玩了。希望不会有上来求如何恢复数据的那一天
:
--
FROM 180.158.58.*
系统跑squashfs的话...你这个是nas专用系统吧...
我说的主系统就是日常工作环境的主系统，整个系统除了boot就zfs或者btrfs。
日常使用不能出现卡顿，否则就很难受，此外对文件系统的性都也有要求的。
尤其是最后一个，zfs和btrfs都不太行，无非是看能容忍多少损失。
总之我从rich feature fs切换回ext4之后，那畅快感差别还是蛮明显的...
【 在 DreamDreams 的大作中提到: 】
: 我的ZFS用了十多年了还没出过卡顿，不过我的ZFS不是主分区
: 系统我都跑在只读Squashfs上
:
--
FROM 180.158.58.*
要不要上ecc内存现在也有很多说法，正面反面都有。
gen8是天然支持ecc的。现在ryzen反正也能很便宜的支持ecc，我的观点是能便宜获得的东西不用多考虑，上了肯定比不上好，不用太纠结。
万兆卡选sfp+口的，要上光模块还是电口可以随便调整。我是用的光纤。
此外gen8那个版本选的万兆卡不支持rdma，在有些场合性能还是不如本地ssd的。
比如我gen8上有ssd，万兆卡nfs过来，然后一个上g的git repo进去git status下要卡个十几秒，但同样情况本地ssd是秒出结果的。
新的配置万兆卡会支持rdma，期待能解决这个问题。
不过我的nas都是跑虚拟机的，rdma能否透过虚拟机也是个问题。目前硬件还没装好，等全整好了再写个笔记发出来吧。
【 在 ttaudi 的大作中提到: 】
: 很好的真实案例啊,请问你用的机器是ECC内存,是不是BTRFS/ZFS这种COW的都要上ECC内存呀
: 另外万兆网卡是网线的还是光纤的?
:
--
修改:lvsoft FROM 180.158.58.*
FROM 180.158.58.*
raid5的问题我很多年前就说过了。
家用级别硬件别用raid5。
因为raid5只是非常弱鸡的奇偶校验。
奇偶校验这玩意只能检测出数据不一致，或者在你知道数据错误的前提下纠正一位错误。
所以只能解决丢盘的数据重建问题，但如果硬盘没丢只是数据不一致，它是没有任何办法的。
然后就一定是个无法修复的错误。
zfs这种用的是raidz，算法不一样，对这种问题免疫。
zfs不用ecc的一个风险是，据说做全盘scrub的时候如果内存出了问题，有全盘数据全毁的风险。
【 在 ttaudi 的大作中提到: 】
: 汗,现在成本问题买的都是家用级别的硬件,上服务器级别成本要翻几倍吧
: 那么问题来了,普通内存可以用ZFS吗?有必要上ECC吗?
:
--
FROM 180.158.58.*
btrfs的性能确实是不咋滴，不过zfs也差不多就是了。
稳定卡死这个问题比较奇怪，因为后来问题的解决跟btrfs是无关的，可能是一个别的什么因素导致的卡死。
我只能说稳定卡死的只是那一个进程的写入，在卡死期间整个btrfs文件系统的工作还是正常的，其他进程还是可以正常读写的。
【 在 ttaudi 的大作中提到: 】
: 天哪,BTRFS能稳定触发卡死.我有台机器系统盘也是BTRFS,有时候负载不重,温度也不高的下午很慢很慢,难道也是这个原因
:
--
FROM 180.158.58.*
boot也能用zfs啊...学习了...
【 在 cppbuilder 的大作中提到: 】
: 我是除了efi之外都是zfs，包括boot和root
--
FROM 180.158.58.*