水木社区手机版
- 主题:[求助]如何建立小型公司的数据仓库
- 目前遇到一个需求,要搞一个50人以下小型公司的数据仓库,用来存储公司日常产生的数据,要求存储空间大于12T,有备份方案.机器已经指定了是一台新购的普通电脑,CPU是5800,内存32G,SSD是512G,目前空着1个2.5 sata槽位,2个3.5 sata槽位.
目前我想到的方案是删掉原系统装linux,然后买2个18T的3.5机械硬盘挂到电脑上,用ZFS做raid1.之后分成两个区,一个用来存SVN数据,一个用存其它数据,并通过SAMBA共享给windows用户.
请大家帮忙看看这个方案靠谱吗?还有没有更好的方案.
--
FROM 113.88.170.* - 当然是我了，我会一点linux，ZFS的特性都不会用，只是把它当EXT4或者是XFS这样的系统用。目前公司的SVN和网上邻居都是建立在linux的，所以想继续使用linux。
【 在 Dazzy 的大作中提到: 】
: 谁是管理员？如果没人会用linux和zfs，不要挖坑给自己。
: 虽然我有踢板嫌疑，但是Windows也有镜像卷，哪怕蠢一点，胜在对管理员没要求。
:
: ...................
--
FROM 113.88.169.* - 硬件的raid卡有可靠的型号推荐吗？搜了京东的，貌似都是家用的
以前也是看到有帖子说软raid（fake raid）和硬raid相比，性能没有差很多，所以之前是用软raid。后来遇到些问题，在本版了解到软raid只管硬盘之间的数据同步，不管数据完整性，所以才开始转向ZFS。
【 在 leeyc 的大作中提到: 】
: 要那么大内存浪费
: 有个4g8g足够了
: 老老实实的用raid卡ext4吧，搞什么zfs，等丢数据往回找的时候你就难受了
: ...................
--
FROM 113.88.169.* - 以前一直当zfs/raid是一个同步备份来看，当只有一个硬盘坏的时候至少另一个盘还是OK的。看来数据备份还要专门的机器，请问有什么好的备份方案吗？
【 在 cppbuilder 的大作中提到: 】
: 我家里就是你这方案，但是我赞同一楼的，具体做事的人会什么就用什么，别给自己挖坑
: 另外，zfs/raid不是备份方案，是为了掉一块盘系统仍然能使用的，不能保证数据安全。不要听二把刀的说上raid就不怕丢数据不怕坏硬盘。
:
--
FROM 113.88.169.* - 可否说一下用btrfs的优势？之所以看上ZFS是因为之前一些板上一些帖子说btrfs好，一些说btrfs还不行，但是似乎大家都认同ZFS稳定可靠，就是慢点。所以一直当btrfs是个不成熟的fs看待。
【 在 cppbuilder 的大作中提到: 】
: 只用raid1，而且不需要zfs特性的话，我可能会选btrfs raid1
:
--
FROM 113.88.169.* - 搜了看了，终于理解你们说的raid不是备份了。
这么看来其实我的需求就是高可用性，在坏一个硬盘的情况下，至少还立即换硬盘，让业务继续跑下去。
需要备份的话，看来还是专门的弄个机器在后面专门同步。
snapshot功能目前还不会用，目前是把zfs当作非系统盘的ext4用。。。
【 在 cppbuilder 的大作中提到: 】
: RAID is not backup，搜索一下这个关键字，有很多
: 最简单的多份和/或多地保存即可，比如脚本rsync同步
: 另外zfs/btrfs的snapshot也是很有意思的一个功能，感兴趣的话可以查查是否用的上
: ...................
--
FROM 113.88.171.* - 怪不得对于btrfs争论那么大。目前我主要是想找稳定的系统，断电不要出错，以前用btrfs做系统盘到现在还跑得好好的，做数据盘丢过一次数据，当时啥也不懂不了了之。在这里看到大家推荐ZFS，也用上了，目前还好。
网络瓶颈有什么好方法突破吗？目前办公室就是千兆网络，感觉后续人多可能不够用。是不是可以一台机器增加多张网卡来扩展带宽之类的？
【 在 cppbuilder 的大作中提到: 】
: btrfs之前出过大坑，但是raid1是稳定的，优势就是linux内核直接支持，出问题了随便一个启动盘就能恢复
: zfs毕竟是CDDL，需要简单折腾一下
: 不过慢这个事其实是不太重要的，小团队文件服务器八成瓶颈在网络，千兆还是轻松跑满的
: ...................
--
FROM 113.88.171.* - 学习了，看来以后要高可用性，如果硬件raid5+ZFS的raid1是不是基本不会有问题了，就是有点废硬盘。
【 在 leeyc 的大作中提到: 】
: 软的硬的性能差很多
: 软的全靠cpu来干活，硬的有专门芯片
: 9260-8i就足够了，单盘8T以下应该都没问题，据说有人试了单盘12T也可以识别
: ...................
--
FROM 113.88.171.* - 我这边后期会增加虚拟机镜像文件，一个硬盘存数据，一个硬盘备份感觉还是有风险。
如果两个硬盘做ZFS raid1一个硬盘做备份，是不是会好一点。
【 在 cppbuilder 的大作中提到: 】
: 硬raid也没别的能买的，基本上都是lsi吧
: 这东西比zfs/btrfs的优势就是带个电池，差的就是没有各种现代的功能，看你的需求吧。不过不管是raid卡还是zfs，都提供的是冗余而不是备份。说实话，我觉得你们不需要可用性的话，两块硬盘分开格式化，一个做smb，一个做备份，可能更适合你的需求
:
--
FROM 113.88.171.* - 多谢介绍btrfs的优势
高级点的文件我用的少，对btrfs和ZFS都只是看网上介绍的程度。这回知道vm文件单独存放，然后关闭COW。
你猜的没错，小企业经费少，老板买了台品牌游戏机来当数据仓库用，所以只有2个3.5硬盘架、1个2.5硬盘架。
【 在 Dazzy 的大作中提到: 】
: 灵活，简单，内核原生支持，能使用内核的缓存机制。但灵活代价就是性能一般。
: 另外，btrfs的COW特性处理方式，不太适合特定的工作荷载，如vm文件，数据库文件，或者你提到的版本管理，要chattr +C关闭这些文件COW，当ext4用。
: 另外，虽然经历多年开发，已日趋成熟，但仍有几个危险大坑。安全包线请看官方说明:
: ...................
--
FROM 113.88.171.*