[電腦][機櫃小型化系列-1]告別4U24盤位,從一臺我心目中目前最完美的6盤位NAS開始新的旅程

CHH ID:tom9929


一些廢話

已經記不清這些年因為各種目的各種原因做過多少臺儲存用伺服器了。之前做的NAS基本都是用超微或勤誠的標準機架式伺服器機箱產品,4U 24盤位,36盤位搞的比較多。最近一次升級/清潔自己用的NAS大概是2020年,五年前了。上架的NAS即便拿掉所有硬碟拆掉兩個冗餘電源下架一次也實在是太費勁了,那個重量著實讓人望而卻步不想折騰啊。
去年突發奇想,在這個CPU效能過剩硬碟容量不斷攀高的年月,如果把一個42U機櫃的算力/儲存/網路全部小型化,感覺將會是一件很有趣的事情。雖然追求小型化,但是仍然希望穩定性儘可能不要輸給機架風道和暴力扇。作為一種嘗試,這次的旅程就從一臺6盤位NAS開始吧。
為什麼一定是6盤位呢?因為目前我的NAS分為高效能組和高冗餘組兩種:
高效能組 – 完全使用U2 NVME SSD。目前來說U2還是需要依靠暴力扇和風道散熱的。最近觀察了一段時間還沒有發現可以完美替代U2的M2方案。所以高效能組可以晚點等PCIE 5.0的M2再多出一點產品之後再考慮小型化,畢竟高效能組NAS裡面的資料並沒有那麼的重要。
高冗餘組 – 目前使用的是HGST 2T HDD 4盤組RAID1,共4組16塊硬碟,合計8T容量,儲存重要檔案;HGST 4T HDD 2盤組RAID1,共四組8塊硬碟,合計16T容量,存貯媒體類檔案。高冗餘組對效能無要求,也不考慮RAID5,RAID6等恢復資料需要依賴RAID卡的RAID方式。高冗餘組不考慮避免硬碟容量浪費。加上三處異地災備,目前一份資料實際寫在至少16塊硬碟上。
這臺小型化的NAS使用4塊8T容量的硬碟組4盤RAID1、兩塊16T的硬碟組2盤RAID1,剛好與機櫃裡超微24盤位的的高冗餘組NAS達成相同的RAID模式與實際可用容量。加上這臺6盤位NAS,一份資料就有20塊硬碟的映象了。

配置

主機板:SuperMicro X11SSH-F

CPU:Intel E3-1260L V5

記憶體:Samsung 8g*4 ECC DDR4 3200Mhz

RAID卡:LSI RAID SAS 9440-8i

硬碟:WD HA340 8T*2; TOSHIBA MG08 8T*2; TOSHIBA MG09 16T*2

SSD:Samsung 990 Pro 2T (僅系統)

網絡卡:Mellanox MCX4121

機箱:瀚存見方M(寶藏盒)

風扇:Arctic P12 MAX

囉嗦完了,開始機櫃小型化的第一步

SuperMicro X11SSH-F 官圖
這片板該有的都有了

主機板安裝到位。這個機箱原生支援的是標準ATX電源,但電源安裝位的尺寸完美適配FLEX。我選擇了使用FLEX電源。因為:買都買了(之前買的其他NAS機箱只能用FLEX)。

使用FLEX電源後部可以多一個完美安裝的9225風扇,機箱的原設計是透過ATX電源的風扇和側面機箱的風扇匯出CPU散熱器的熱氣流。

前後買了好幾款不同品牌的散熱器,歪脖子不歪脖子的都有。最後CM這款CPU散熱器和硬碟籠的距離最完美。如果不用伺服器主機板(CPU比較靠後,記憶體槽在側面),使用普通主機板(記憶體槽在CPU後面)的話空間其實足夠使用雙塔散熱器。

即便使用標準ATX電源風道距離也會相當充裕。

沒有伺服器暴力扇的風道,RAID卡會完全擋住網絡卡的散熱。於是給網絡卡改了外接熱管。

這樣網絡卡的散熱片會從RAID卡背後伸延申出來。

兩個9CM風扇對著RAID卡吹,以保證RAID卡可以長期穩定執行。

透過外掛熱管讓網絡卡和RAID卡都能得到有效散熱。

這兩個9CM風扇同時為RAID卡,網絡卡,南橋散熱。

安裝、理線基本完工。

1260L其實根本不需要這麼大的散熱器來壓。用這麼大的散熱器完全是為了靜音考慮。

除了硬碟籠其餘部分全部完工。

給RAID卡和網絡卡散熱的兩個9CM風扇實際在機箱的最底部,側面有2個12CM出風風扇。這個機箱的散熱佈置比較靈活,前、後、上、下、左五個面都有風扇位和對應的出/進風口,可以根據自己的設計隨意佈置風道。目前我是想做成負壓機箱。為了實現硬碟位進風量最大化,這裡我實際是封住了下部的進風口。後續根據測試情況再決定下部進風口是繼續封住還是開啟。

讓我最意外的地方是這個硬碟背板做的相當不錯。可能是寶藏盒系列的背板做的都不錯。這種背板功能比較簡單,沒辦法和集成了各種擴充套件晶片、熱插拔風扇供電、多狀態指示燈、報警器的伺服器背板比。但是和其他非伺服器機箱對比來說,目前這片背板是我見過做的最好的。

另外一款我買過的背板做的比較好的是X-NAS。X-NAS的優點是直接使用了DELL的硬碟籠以及有10個熱插拔盤位。對我來說X-NAS的最大缺點是體積實在是太大了。從絕對體積來說我感覺X-NAS應該已經超過標準4U伺服器機箱了。如果不考慮體積並且自己不用機櫃的話,其實X-NAS也是很好的選擇。但它真的巨大無比,購買時一定要做好心裡準備。
這個機箱的可插拔硬碟是由帶減震的塑膠導軌固定的。

硬碟前部有方便插拔的金屬拉手。

在其他盤位內插有硬碟時,撥動拉手硬碟會順勢自動彈出。硬碟拉手是固定在塑膠導軌上的,我測試插拔了大概有五六十次,導軌和硬碟拉手的連線處已經有些磨損。所以這個硬碟籠並不適合高頻率插拔硬碟。對於我來說這點不是很重要。這臺NAS的使用場景是硬碟插入後可能幾年都不會被拔出。如果日常需要高頻率插拔硬碟的話,我感覺這個硬碟拉手大機率會變得比較松。

導軌每側有1個定位螺絲孔和2個容差螺絲孔。安裝時一定要先固定定位螺絲,之後再固定兩顆容差螺絲。正確固定好導軌之後硬碟的插入和拔出都相當的絲滑。

硬碟插入後硬碟導軌和硬碟籠的配合精度非常不錯。硬碟導軌上的減震設計可以完美的卡在導軌之內,嚴絲合縫。

機箱正面預留了多個8CM和12CM風扇安裝孔位,可以根據自己的風道設計安裝風扇。我沒有在正面安裝風扇,原因稍後揭曉。

所有的線纜都可以完美的收納在硬碟籠之下。其他角度幾乎是完全看不到的。

不算主機板自己帶的M2,我測試下來這個機箱最多能支援 9+2 或者 6+8 個盤位。
  • 硬碟籠有6個3.5寸盤位。
  • 主機板下面有安裝孔位支援2個2.5寸 7mm 盤位。
  • 硬碟籠下面支援3個3.5寸固定盤位;或者2個3.5寸可插拔盤位;或者6個2.5寸固定盤位;或者4個2.5寸可插拔盤位(我測試過這部分空間可以裝的下這些硬碟。但這部分的擴充套件需要根據情況自行購買相應的支架,機箱附件裡並沒有包含這部分硬碟的安裝支架)。

我只用硬碟籠裡的6個可插拔盤位就足夠了。

如果不使用擴充套件硬碟位,這裡是可以插一張全長過肩顯示卡的。插了全長顯示卡之後硬碟籠下方就無法再擴充套件硬碟位。

我目前的設定是後,上,右出風做負壓。效果如何需要進一步測試。

底部2個9CM風扇向上吹,以及電源的熱風主要靠側面2個12CM排出。是否會積熱以及散熱效果還需要後續測試觀察。

所有面板均為超厚鋁板,面板做工非常紮實,質感極好。

除了下部,目前機箱後部也做了封閉處理。

硬碟目前還沒有安裝在這臺NAS上面。一個是這臺NAS現在還需要進一步驗證目前的風道設計。一個是這批硬碟需要插在其他NAS上複製完所有資料才會插過來。這樣可以把RAID的配置直接帶過來,省的再重新完整配置一次。

這臺機箱給我最大的驚喜就是讓我這個強迫症感到萬分舒適的縫隙均勻度和表面平整度。

我買的比這個貴很多的其他鋁面板NAS機箱 ,沒有一款的接縫比這款做的更好。這箱子的縫隙無論從哪個角度看都讓人極度舒適。


選購思路

主機板:

如果想要一臺7*24開機並且穩定執行數年的NAS,我個人還是認為應該優先選購使用伺服器主機板,或者工作站主機板也行。之前陸續測試了一些國產品牌的銷量比較大或者討論度比較高的所謂NAS專用主機板。測試結果不盡人意。之前用慣了超微的主機板,所以這次預設選超微。當然其他品牌的伺服器主機板也沒有任何問題。另外還有DELL、HP的那些成品機,哪怕是下線機,也相當可靠,可以考慮使用,只是缺少樂趣。預算有限買大品牌的消費級主機板應該也可以,但資料重要追求穩定的話還是建議直接使用伺服器主機板。X11SSH-F是一片很老的主機板,國內已經買不到新的了。於是亞馬遜海淘了一片全新帶原廠保修的回來,299刀。我明白很多人肯定認為花299刀買一片這麼老的C236主機板價效比很低,但這事要綜合考量。首先這片主機板的介面剛好滿足我的需求,加上我所有裝置幾乎都是超微主機板,這樣方便我可以統一管理IPMI。其次這片主機板能用的洋垃圾CPU極端便宜。我買的Intel E3-1260L V5在某寶只要60元一片。雖然CPU幾乎很難壞掉,但考慮到電子遷移我從某寶買了3片做備份,合計180元包郵。再次X11SSH-F在某寶有二手,相當便宜,400塊包順豐。我買了一片回來,成色一般般。如果海淘的那片壞了寄回去保修,這片2手的可以立即頂上去,無縫銜接。最後多年用下來我感覺超微的主機板還是非常非常可靠的,電源靠譜有UPS基本上可以用到天荒地老。基於以上四點,綜合成本和冗餘度算下來,299刀的X11SSH-F我感覺是一個非常不錯的選擇。其實加不了多少錢就可以買到新世代的超微X13、X14系列主機板,只是CPU很貴且效能並無質的飛躍,而且更耗電。畢竟NAS並不需要那麼強的CPU效能。

記憶體:

使用伺服器主機板的另一個好處就是可以使用ECC記憶體,這樣整個系統的穩定性會更好一些。其實REG ECC更好,但是單CPU主機板支援的比較少。我這手上這些三星純ECC記憶體都是其他伺服器的備件,買了很多年一直沒有用。雖然NAS對記憶體容量的依賴度沒有那麼高,但這些記憶體放著也沒什麼用,乾脆插滿四條記憶體槽。不管哪種記憶體,建議最好還是買全新的。如果預算有限要買二手,一定要學會分辨真假。純ECC DDR4記憶體假貨、翻新貨挺多的。購買時一定要謹慎選擇。
RAID卡:

LSI RAID SAS 9440-8i是一片不帶板載快取不帶板載電池的RAID卡,支援RAID 5和6。由於這臺NAS我只用RAID 1所以專門選了這片不帶板載快取和板載電池的卡。沒有伺服器暴力扇的風道,我比較擔心RAID卡這個發熱大戶散熱會有問題。選這片卡的主要原因是它的TDP只有10W,算是RAID卡里面發熱比較小的存在了。我尋覓了很久,基本上帶原廠保修相對低溫的RAID卡這是目前唯一的選擇,LSI其他卡最少都要15W起步。另外我有UPS所以不擔心掉電問題。如果沒有UPS,就不適合買這種卡。沒有UPS的話買RAID卡最好還是一併把板載電池買了.
硬碟:

4盤的RIAD 1使用2塊WD HA340 8T和2塊TOSHIBA MG08 8T;2盤的RAID 1使用2塊TOSHIBA MG09 16TB。預算夠建議直接上企業級。預算不夠哪怕買2手的企業級也行。那些跑了一兩萬小時的下架企業級硬碟很便宜,再用幾萬小時也沒有問題。不管盤體是否相同,預設那些NAS盤監控盤都是企業級挑剩下的。如果要長期使用,不管新的舊的還是建議一定要上企業級。我這六塊硬碟是一塊一塊每次相隔幾周或幾個月在不同城市慢慢買的。硬碟金量不要買同品牌同批次。當年希捷ES2 500G因為希捷自己的韌體BUG導致我2個2盤RAID 1陣列四塊盤同時壞3塊,整個人都崩潰掉。希捷給保修但不保資料。最後還是按照Tom's Hardward論壇老哥的指導用某款NOKIA電話的特殊資料線做了一個韌體強刷線刷了修改版韌體才把資料救回來。這也是後來只用4盤組RAID 1不再用2盤組RAID 1的核心原因,真的是怕了。這次選擇HA340 MG08 MG09其實是同一個理由:不炒豆子。這三個型號其實效能都不是特別好。但是安靜,溫度低,不炒豆子。特別是WD新出的這個HA 340,我感覺比MG08 MG09還要安靜。我希望這個小型化的NAS可以低溫且安靜,所以混用了這三個型號的硬碟。

機箱:

實際上這次的小型化之旅,最讓我頭疼的就是這個機箱。從幾個月前有小型化機櫃的想法開始,到各種配件從618買到雙11,雙12;從買了一堆國產NAS主機板測試,到等待X11SSH-F飄洋過海,幾個月以來一直都沒有遇到滿意的NAS機箱。不管是大品牌小品牌,無論是工作室出品還是私人定製,我幾乎把市面上所有能買到的非機架式NAS機箱都買了一遍。並不是說那些機箱不好,只是沒有一款完全符合我的需求:1、我希望這個NAS機箱的體積不要太大,在支援6盤位的同時

硬碟一定要平放,絕對不要縱置

;2、可以插入一張過肩全長的顯示卡/計算卡。這次組裝的這臺NAS並不需要顯示卡,我是打算相同的機箱買幾個堆疊以實現機櫃的小型化,後面其他功能的主機需要可以插全長的顯示卡/計算卡;3、機箱的風道和走線設計要靈活合理。滿足以上3點的同時最好做工可以好一點,不要有奇怪的BUG。我買過一個銷量不錯口碑尚可設計緊湊的NAS機箱,結果它原裝的L型散熱器和我的主機板八字不合,距離不夠用不了。如果不用它原裝的散熱器,它的硬碟籠在CPU的正上方,基本就只能用1U伺服器的暴力散熱器了。很多銷量高討論度高的NAS機箱都是分層設計支援半高卡硬碟縱置的,如果支援全高卡的要麼有延長線要麼體積和標準ATX機箱差不多。那樣還不如直接用伺服器機箱。或許是被伺服器機箱優秀的風道設計和走線設計慣壞了,買來買去沒有遇到一款合適的6盤位NAS機箱。某一天B站推薦了一個新款寶藏盒的機箱影片給我。其實我之前買過寶藏盒,本來打算豎起來用的。但寶藏盒那個分層設計並不支援主機板上插全高全長顯示卡,最後放棄了。研究了一下發現那個寶藏盒新出的叫見方的機箱都已經下架了,新版叫見方M,需要預定。這機箱看著挺符合我的需求,就定了一個。目前用下來這箱子我是相當的滿意。
風扇:

主風扇全部採用Arctic P12 MAX。這玩意用下來最大的優點是低速低噪音時風壓竟然保持的相當不錯。目前我自己用除了暴力扇基本都是用Arctic P12 MAX或者Arctic P8 MAX,相當省心。某寶不管是P12還是P8都有5個裝的,價格也便宜。其他還用到一些9cm風扇,9cm風扇的選擇比較少,不想用洋垃圾就在某東銷量排序有啥用啥。

預告 – 機櫃小型化的下一階段
既然是機櫃小型化,那肯定得有“機櫃”對吧。但是小型化的機櫃應該是不會是放在無塵機房裡面的,不然直接上架就行,小型化就沒有意義了。
我按照這個機箱的尺寸定製了一個“金屬櫃”,可以以3*2或者2*2的方式堆疊這個機箱,再加上網路裝置的預留位,希望在總體積儘可能小的前提下完成對我42U機櫃裡所有裝置的復刻。目前計劃在這個金屬櫃裡部署2套由4*12CM風扇和HEPA濾網組成的進風淨化系統。這也是為什麼機箱正面沒有安裝風扇的原因,HEPA過濾後的氣流會直接進入NAS機箱的前面板。還有非常棒的一點是,這個機箱的硬碟位是在側面,開啟櫃門就可以方便的操作硬碟,完全不用移動機箱和進風風扇組。
目前還在測試階段,最後會用什麼方案還沒定下來。

找了些老風扇出來,看看哪種風扇活得久。

有一大堆閒置的亂七八糟的12CM風扇,以後就全當是耗材使用了。

加強型低阻HEPA濾網。

濾網厚度還是不錯的。

安裝便利。

年後等金屬櫃到了先初步測試效果看看。後面的小型化工作慢慢來。

慢慢折騰。

相關文章