用了两个月时间,边学边干,终于在自己家搭建了一个低成本数据中心,总结一下。
机房:
储藏室当机房,只有对室内客厅的塑钢窗和推拉门。客厅里装小米新风空调,¥3000,1.5匹,换气量60立方米/小时,远程控制。客厅空调和机房距离10米。
金羚变频排气扇,¥80,电动百叶,口径4寸,换气量60立方米/小时,功耗5瓦。把机房里的热气排到客厅里。
推拉窗户挡板,¥50,方便安装排气扇,不用在墙壁或门窗上开洞。
小米智能插座2代蓝牙网关版,¥45,远程控制,场景模式,实时功耗显示。
小米蓝牙温湿度计2代,¥20。可以和空调、插座联动,保证机房温湿度恒定。
机柜:
一般标准的服务器深度650mm,所以机柜深度1000mm正好,留着前后布线空间。高度随意,我家储藏室只有2米高,所以选了32u/1.6米高,¥900。铁皮厚度1.0mm,立柱厚度1.8mm,这个规格是最均衡的,更薄的承重不行,更厚的比较贵。
机柜自带两个厚度1mm的托盘,可以另购厚度1.5mm的托盘,¥60一个。不同厂家的机柜,托盘尺寸不一样,我买的这个机柜托盘宽485mm、深650mm。品牌服务器都重达20kg,托盘要厚一点。服务器导轨不要买,一般要¥100以上,而且很难安装,二手服务器配套的导轨也不好找,还不如托盘便宜又方便。
公牛8位机柜防雷插排,3米长电源线,¥90块钱,32u机柜用两个就足够了。
机柜一般用m6碳钢卡式螺母、m6*12mm不锈钢圆头六角螺丝,安装方便,可以承受大扭矩不滑牙,不要用十字螺丝。
理线环可以让走线更清爽,m5不锈钢卡式螺母、m5*16mm不锈钢圆头六角螺丝。
机箱:
机柜的立柱之间宽度46cm,所以台式机箱高度不能超过45cm,才能躺着放进机柜。
组装的服务器机箱要用深度650mm的,能支持双路e-atx主板。热插拔硬盘位,方便维护。2u的¥500,4u的¥900。
品牌服务器自带的高转速风扇很吵,必须把门关上。组装服务器用的静音风扇,只比台式机的声音大一点点。
立柱螺丝空两格比较好,既不浪费空间,又方便拆装。
客厅网络:
200兆电信光宽带。
小米ax6000无线路由器,¥580,接到光猫的千兆网口。开发环境3台笔记本,win/mac/ubuntu三台笔记本都用无线,ac和wifi6无线网卡都有。
tplink sh1008交换机,¥480,八口2.5g,连到ax6000的2.5g网口。测试环境4台笔记本,自带千兆网卡、2.5g有线usb网卡。
tplink sg1008d交换机,¥100,接到sh1008扩充千兆口,给笔记本自带网卡用。
tplink sh1206交换机,¥950,4个2.5g电口,2个万兆光口,连接客厅和机房。
机房网络:
机房没有预留网口,用单模单芯隐形光纤连接客厅的sh1206。优普连万兆单模单芯光模块,收发一对¥360。
tplink st5008f交换机,¥800,8个万兆光口,三层网管。
tplink st1008f交换机,¥600,8个万兆光口,扩充更多的光口。也可以直接买st5016f,16个万兆光口,取代了st5008f和st1008f组合,但是比较贵,¥2800。
tplink sh1226交换机,¥870,24个千兆电口,2个万兆光口。这个买错了,应该换成sh5428,只要¥930,却有三层网管、4个万兆光口。
机柜内部光口用dac直连电缆连接,0.5米、1米、2米都有,二手拆机的二三十块钱,新的也只要五六十块钱。电口用绿联六类网线连接。
服务器:
超微5018gr-t准系统,1u单路,可以装两个大显卡,3个3.5寸硬盘位,自带2个千兆网口。e5-2620v4,4根三星32g服务器内存,三星500g企业级固态硬盘,2块8t希捷企业级机械硬盘,nvidia原厂gtx1070显卡。
组装台式机,精粤x79单路主板,e5-2670v2,4根16g服务器内存,sandisk 250g nvme固态硬盘,6块希捷500g sata机械硬盘,nvidia gt720亮机卡。
组装服务器,4u机箱,酷冷至尊gx650电源,华南x79单路主板,e5-2670v2,4根16g服务器内存,sandisk 250g nvme固态硬盘,6块希捷500g sata机械硬盘,nvidia原厂gtx1070显卡。
散热器:金钱豹铜热管,2u和4u都有。
mellanox connectx-3服务器网卡,¥118,万兆双口,支持sr-iov和rdma,每个服务器装一个。
软件:
操作系统:debian,ubuntu;
虚拟化:proxmox,kvm,docker,k8s;
存储:zfs,samba,ceph;
大数据:hadoop,spark;
机器学习:pytorch,tensorflow;
下一期计划:
网络:拉一根100兆商务专线,软路由多线路叠加。
硬件:3台hp 360g9服务器,2u双路,e5-2650v3,4根三星32g服务器内存,sandisk 500g nvme固态硬盘,8块七彩虹2t sata固态硬盘。mellanox cx354a 40g光网卡,arista 7050qx或者dell s6000 40g交换机;
软件:openstack、sonic、rdma;
--
修改:wwpty FROM 60.177.71.*
FROM 60.177.71.*