- 主题:[求助]如何建立小型公司的数据仓库
要不要上ecc内存现在也有很多说法,正面反面都有。
gen8是天然支持ecc的。现在ryzen反正也能很便宜的支持ecc,我的观点是能便宜获得的东西不用多考虑,上了肯定比不上好,不用太纠结。
万兆卡选sfp+口的,要上光模块还是电口可以随便调整。我是用的光纤。
此外gen8那个版本选的万兆卡不支持rdma,在有些场合性能还是不如本地ssd的。
比如我gen8上有ssd,万兆卡nfs过来,然后一个上g的git repo进去git status下要卡个十几秒,但同样情况本地ssd是秒出结果的。
新的配置万兆卡会支持rdma,期待能解决这个问题。
不过我的nas都是跑虚拟机的,rdma能否透过虚拟机也是个问题。目前硬件还没装好,等全整好了再写个笔记发出来吧。
【 在 ttaudi 的大作中提到: 】
: 很好的真实案例啊,请问你用的机器是ECC内存,是不是BTRFS/ZFS这种COW的都要上ECC内存呀
: 另外万兆网卡是网线的还是光纤的?
:
--
修改:lvsoft FROM 180.158.58.*
FROM 180.158.58.*
天哪,BTRFS能稳定触发卡死.我有台机器系统盘也是BTRFS,有时候负载不重,温度也不高的下午很慢很慢,难道也是这个原因
【 在 lvsoft 的大作中提到: 】
: 我是当主分区,不是存储用了。
: zfs和btrfs都当主分区用过一段时间。
: zfs这个卡顿蛮奇怪的,没有固定的规律。似乎跟文件大小也没啥关系,有时候gcc编译一个很小的c文件都会触发。触发之后要卡20秒上下又正常了。
: ...................
--
FROM 113.88.168.*
tmpfs是内存里的吗?
【 在 cppbuilder 的大作中提到: 】
: 我工作站的主分区倒也是zfs好几年了,不过是nvme,临时文件和编译都放在tmpfs没遇到你这情况
--
FROM 113.88.168.*
Squashfs不是只读的吗?系统要升级或更改配置文件是不是要重新生成一次Squashfs
【 在 DreamDreams 的大作中提到: 】
: 我的ZFS用了十多年了还没出过卡顿,不过我的ZFS不是主分区
: 系统我都跑在只读Squashfs上
:
--
FROM 113.88.168.*
raid5的问题我很多年前就说过了。
家用级别硬件别用raid5。
因为raid5只是非常弱鸡的奇偶校验。
奇偶校验这玩意只能检测出数据不一致,或者在你知道数据错误的前提下纠正一位错误。
所以只能解决丢盘的数据重建问题,但如果硬盘没丢只是数据不一致,它是没有任何办法的。
然后就一定是个无法修复的错误。
zfs这种用的是raidz,算法不一样,对这种问题免疫。
zfs不用ecc的一个风险是,据说做全盘scrub的时候如果内存出了问题,有全盘数据全毁的风险。
【 在 ttaudi 的大作中提到: 】
: 汗,现在成本问题买的都是家用级别的硬件,上服务器级别成本要翻几倍吧
: 那么问题来了,普通内存可以用ZFS吗?有必要上ECC吗?
:
--
FROM 180.158.58.*
btrfs的性能确实是不咋滴,不过zfs也差不多就是了。
稳定卡死这个问题比较奇怪,因为后来问题的解决跟btrfs是无关的,可能是一个别的什么因素导致的卡死。
我只能说稳定卡死的只是那一个进程的写入,在卡死期间整个btrfs文件系统的工作还是正常的,其他进程还是可以正常读写的。
【 在 ttaudi 的大作中提到: 】
: 天哪,BTRFS能稳定触发卡死.我有台机器系统盘也是BTRFS,有时候负载不重,温度也不高的下午很慢很慢,难道也是这个原因
:
--
FROM 180.158.58.*
其实不是必须的。 不过手册是说需要ecc
【 在 ttaudi (ttaudi) 的大作中提到: 】
: 很好的真实案例啊,请问你用的机器是ECC内存,是不是BTRFS/ZFS这种COW的都要上ECC内存呀
: 另外万兆网卡是网线的还是光纤的?
:
: 【 在 lvsoft 的大作中提到: 】
--
FROM 115.171.85.*
mark一下, 后面可能需要
【 在 ttaudi 的大作中提到: 】
: 目前遇到一个需求,要搞一个50人以下小型公司的数据仓库,用来存储公司日常产生的数据,要求存储空间大于12T,有备份方案.机器已经指定了是一台新购的普通电脑,CPU是5800,内存32G,SSD是512G,目前空着1个2.5 sata槽位,2个3.5 sata槽位.
: 目前我想到的方案是删掉原系统装linux,然后买2个18T的3.5机械硬盘挂到电脑上,用ZFS做raid1.之后分成两个区,一个用来存SVN数据,一个用存其它数据,并通过SAMBA共享给windows用户.
: 请大家帮忙看看这个方案靠谱吗?还有没有更好的方案.
--
FROM 101.86.44.*
我是除了efi之外都是zfs,包括boot和root
【 在 ttaudi (ttaudi) 的大作中提到: 】
: 他是系统盘用ZFS
:
: 【 在 cppbuilder 的大作中提到: 】
: : 几十秒卡顿是挺奇怪的,我是32g内存,100多T的zfs,搭的Roon音乐服务器,
--
FROM 115.171.85.*
是。不太重要的东西我都放在tmpfs用的很频繁
【 在 ttaudi (ttaudi) 的大作中提到: 】
: tmpfs是内存里的吗?
:
: 【 在 cppbuilder 的大作中提到: 】
: : 我工作站的主分区倒也是zfs好几年了,不过是nvme,临时文件和编译都放在tmpfs没遇到你这情况
--
FROM 115.171.85.*