折腾服务器快有大半年了,想写个总结,就有了该文章,由于时间和精力的问题,我把文章拆分多个部分来写,涉及到领域蛮广泛,网络拓扑,ESXI,储存方案,CDN加速,VSAN,炼丹巴拉巴拉巴拉一大堆的。这里只写硬件相关的。
头图不完整,这里再放一遍供大家欣赏
前提说明,本人是个学生党,口袋没多少钱,买不起全新的,只能捡垃圾度日子。都是学生党谁也别看不起谁,谷歌刚成立还是学生(博士)买了一堆二手设备来提供服务的,比我还凌乱,看的我强迫症都犯了。本片文章是给有兴趣的人看,也欢迎来讨论。
这个故事要从白嫖服务器说起。
某天我看朋友圈有人白送服务器,一看是dell的R720XD服务器,火速赶去上门提服务器了,顺路还收了一台R720服务器,也是上门自提的,这样我回来就有两台服务器了,嗯开局两台服务器。这里再次非常感谢送我服务器的人!
然后买了一个1.2米高的机柜,把服务器都塞进去。这是服务器集群的开始的样子,网络设备只有上面的五口千兆交换机。现在回过来看真够寒酸。
接下来就是看交换机了,万兆交换机肯定是基本操作。逛了淘宝半天相中一台LB6M 24口光口万兆交换机,900买的。这玩意噪音确实大,都比服务器还大,改风扇后好些了。后面TP出了一个万兆交换机,那个更合适。买早了。
万兆还是非常推荐光口的,首先万兆光口网卡就很便宜,我之前文章里有介绍过。感兴趣的人可以去看看。模块的啥十几块钱,光纤也贵不到哪去,我记得几块钱2m吧,而且不会有什么干扰,走线也比六类线甚至五类线方便。
这里再多嘴一下,ZDM可能大部分人觉得万兆用不上也没必要,千兆就够用,我这里表示理解并认同。但是对于我来说,用过了就回不去了,有多大提升呢?可能跟你们家电脑从机械盘到固态硬盘的变化一样大吧,真的回不去了。
后来折腾着两个服务器我发现一旦有重要点的玩意,特别是软路由。折腾过程中可能断电断网,肯定对其他人体验不友好。所以又掏腰包买了一台1U 服务器R420,里面配置好基本不怎么动,也就是我现在的软路由。这样我就可以尽情折腾另外两台服务器了。这下机柜里有三台服务器了。
后来还给机柜旁边打个孔上显示器。可惜后来摔坏了。
后来我路过小伙伴公司的机房,发现他们服务器也是dell的,型号是R640。我看那个服务器的前面板很好看,大家可以看看图。
总之我个人感觉非常酷炫,所以我跟公司的IT小哥聊了聊 让他们把前面板借我玩玩一段时间。拿回去我发现卡扣都不一样,不过这问题难不倒我这理工生,掏出皮尺就是一顿量(不好意思中间乱入吃的了)
量好了就是梭哈,建模,3D打印。成功兼容
甚至还能上锁,防止熊孩子乱动。
剩下来就非常简单了,淘宝上买前面板就行,不贵,四十块钱一个。然后发现这个标志能拆,顺手做了个爱国的标志,问题是找不到大一点的爱国标志,有点郁闷。
某天在小黄鱼里逛着,注意到Mellanox有个56G/40G 交换机 型号是SX6012,卖500元,根据卖家描述是pcie启动不了,我看了下报错感觉有戏。故买下来,准备上串口刷固件,结果被打脸了,真的启动不了。拆开仔细看了下,看不出啥问题,除了少了一个电源。(我到现在都疑惑为啥少了一个电源,虽然不影响使用,问了卖家也不回我)
所以我把交换机寄给大佬了,让他帮我诊断诊断,最后发现上面一个fpga芯片坏了,换一个就好。灵车搏一搏变跑车。HP的544+flr网卡,这里应该有人介绍过了,这里大概说下,40G网卡卖80元,还是双口的,核心是CX3PRO,香炸裂。据说可以开56G,得要Mellanox牌子的QSFP的模块或者DAC线,看价格直接打扰,40G 又不是不能用。看过我之前的文章就知道在这里我就要发挥传统艺能了。
设计没考虑到插槽的问题,旁边的NO.1前面的China字样被挡住了,我还是要再说一遍中国牛逼!这里的挡板用的3D打印的,用来测试的,后面给换成钣金件了。更魔幻的是在Dell 的bios里能看到HP这个网卡,进去还能看到HPE特有的功能。
期间发现千兆口有点不够用,LB6M那个上面才6口千兆电口,我小房间内不可能每个设备都能插上万兆网卡,本来从某某角落捡来一个带有光口的千兆交换机,光口是SFP,寻思着这玩意应该能向下兼容,万兆变千兆。结果插上去我就傻眼了,根本就不认。后来一查才发现LB6M这个交换机不支持光口千兆。所以看中了一台中兴的交换机,型号为5228F,带有四口万兆光口,24口电口的交换机,五百块钱买的,发现这交换机真香,一般家庭用这个绝对够用!除了开机巨慢,没其他任何缺点了。PS:有人说某些老机型批次有点问题,我查了下我这是新机型的批次。估计是运气好吧
后来嘛,手又痒了又买个服务器,仍旧是dell 的R720XD,避免不了又一次的折腾。。。顺便给服务器晒晒太阳。
最近要做炼丹相关的东西,小黄鱼购入二手特斯拉K80计算卡,24GB超大显存。被我塞进其中一台服务器了。后面有空会介绍。
顺便说一下HP这个网卡其实还有些别的超便宜的网卡,比如下面的20块钱4口千兆网卡,型号331flr,中间下面的80元双口电口万兆网卡561flr,好像是X540的方案。转接板和挡板基本完美支持了。这里只做推荐,我又不是卖货的。感兴趣自行搜索,关键词已经给你了。
通过上面介绍大家就可以很清楚我服务器里面有什么东西了。基本是一堆硬盘,一堆网卡,和一个计算卡。
可能有人要问了硬盘用的啥,这还不简单吗,直接淘宝搜3T SAS 价格倒序买最便宜的。差不多是150块钱 3T,闲鱼上也有90元2T的硬盘,听说是拆修盘。我入了两块做PT盘感觉不错。这里强烈建议大家一定要多做备份!硬件炸了换一个就完了,数据丢了就真没了。我做了四个备份。二手捡来的多少有点不稳定,但是便宜!要稳定的又要便宜又要性能好,估计梦里有。如果真的有的话一定要叫上我!
到了这里可能有人疑惑了,问我这个应该用不到40G内网吧。我正面回复一下,是的,确实用不上。在体验过千兆升级万兆后的快感,本以为从万兆升级到40G也能很爽,折腾下来发现很多机器跑不动,得要Linux才能飙到40G,win基本别想了,确实没啥必要(虽然40G口可以一分四 万兆接口能直接代替原有万兆交换机,但是最近太忙了没怎么动网络结构了)。但是你需要注意的是我这是500收到的40G交换机,总计花费不到一千,搭建成本比万兆还低。这是另外一回事了,你是抄不了我的作业。而且我也不会推荐你花大价钱上40G内网。其实万兆就非常够用了,我也用的很开心。40G的话估计能对外面吹逼说俺服务器集群内网速度比天河一号还快? PS:天河一号使用QDR 32Gbps互联。
其实万兆也有跑不动的情况,如下图,下载赛博朋克2077实测3700X这个U速度只能230MB/s,下载别的游戏 古墓丽影可以跑到500MB/s,盲猜每个游戏的压缩机制不一样,需要更换CPU来提升网速(没钱)
下一篇会讲到其他部分,nas的什么只是冰山一角而已。服务器集群能做的事情远比你想象还多,比如当电暖气,冬天必备神器。先放个预告
挑几个问题回答 Q&A
Q:有什么用?
学习用
Q:功耗多大?噪音如何?
没实际测,看IDRAC里面是200W左右,算下来整个机柜有六台电脑加上一堆交换机大概1KW左右吧了。还不如我家一台小米电暖气片,那玩意2200W大功率。噪音方面文章也提到了,部分交换机需要改下风扇。服务器的啥直接用IPMI控制风扇转速,机柜背后噪音75dB,但是放的距离够远,到我这噪音也就55dB。
Q:收二手的需要注意些什么?稳定性怎么样?
建议捡垃圾之前先了解下硬件,多逛官网,了解一下型号代码是干啥啥用的。有一定的了解再下手就行。至于稳定性,我个人觉得是玄学问题。全新的好处就是有售后,能很快给你解决问题。二手的要靠自己去摸索和排查问题了。再次说明,想要图省事,只能多花钱。
Q:小白看不懂怎么办
这次只是分享一下经验,后面我有空会出详细点的教程。让更多人感受到科技的美好(跟我一起折腾)。 |