[電腦]萬兆家庭網路改造:由TP全家桶至mikrotikCCR2004方案分享

CHH ID:wengong8
去年3月決定新家的網路環境做規劃選擇了tplink ER2260T作為主路由。在壇裡也發表了(https://www.chiphell.com/thread-2532730-1-1.html)原計劃組網篇去年就發,但因為2260T自身問題無奈雪藏至今。

tplink ER2260T為tplink商用產品線。剛到手的測試還行,隨著時間推移,去年年底到今年年後這大半年間問題不斷。如果經常看帖子也能看到有部分貼或者樓中樓也有反映到問題接下來部分內容會引起某些人不適
【疊甲】反映的問題只代表個例,只代表我手中tplink  er2260t這一款產品的使用體驗,我從未聯絡tplink支援獲得所謂“內部韌體”來解決問題,從上線到下線整個大半年期間er2260t只接收官方ota更新。

以我大半年的使用體驗來說,tplink er2260t作為「企業級」路由器是不合格的,以「消費級」產品來評價2260t也同樣不合格。羅列幾條問題:

1、網路進行重撥號之後LAN掉線,解決只能用手機上的tplink商雲app強制重啟er2260t。這個問題是去年底的最新版本才開始明顯被觀察到,到我的2260t下線也沒有推送新韌體。

2、網路的間歇性斷開一直存在,每個韌體版本都有觀察到,去年秋天的版本稍微穩定了一點,這符合大多數網工對tplink的刻板印象()

3、單一裝置跑大連線請求場景下(比方PT刷流)其他裝置網路幾乎癱瘓,反映到實際就是打開個網頁都要等大幾秒或者是直接沒網,手機直接回退資料網路。對於我本人來說是難以接受的。

4、自帶的多寬頻流量均衡很簡陋,1.0韌體就給一個開關,1.1韌體多給一個很簡陋的優先順序選項;單使用者多執行緒沒法利用雙寬,而且流量均衡疑似會影響網路穩定性。

5、nat埠對映隨時爆炸。該問題只有1.1+韌體存在。1.0韌體升級1.1韌體後所有埠對映都失效。且一段時間後端口對映就會爆炸,重新配置後只能不斷重啟來讓幾十條規則能生效,或者一條條刪掉重新手動建立埠對映,現在機器裡還有啟用的但莫名不生效的十幾條埠對映規則;

6、自帶的ddns解析不是很穩定,併發測試全國只有約2/3的省份可以ping通

我真正意識到問題是今年3月帕魯火的時候在lab上開了個vm給客戶進行測試,客戶跑了一週探針測出來er2260t這套網路的sla線上率只有90%,因為這件事情當時也鬧的很不愉快,該事件加速推動了替換掉tplink全家桶。

在深受tplink裝置困擾期間本人也在不斷尋找替代品,最終看上了mikrotik的ccr2004;同時在看ubnt 的UDM SE裝置在硬體層面接近,但udm se的2.5g網口有穩定性問題,能搜到負面反饋。

MikroTik CCR2004 有至少三個版本:標準版25G速率MikroTik CCR2004-1G-12S+2XS、10g速率CCR2004-16G-2S+(分主動被動散熱兩款)和一個使用 PCIe 插槽取電且25g速率的CCR2004-1G-2XS-PCIe,該款類似於 Nvidia bluefield DPU 的設計思路。在產品形態也很接近DPU ;

並且CCR2004-1G-2XS-PCIe 具有雙口25gbps的spf28埠以及一個1gbps 的rj45埠,如果只有兩條寬頻的話剛好夠用,

回收本帖標題:萬兆指主路由的硬體埠最大速率,所以本次升級實際上是10G → 25G



拆機可以看到ccr2004-pcie採用了板載ecc記憶體,容量4GB,核心是亞馬遜aws同款的alc52400,四核a57。雖然形態上類似pcie網絡卡,但其是一臺完整的路由器,除了沒有千兆交換晶片和其他ccr2004無異。到手即插即用路由界扛把子routerOS且正版L6授權。

需注意CCR2004-1G-2XS-PCIe對宿主有要求,僅支援5.15核心以上的Linux,也就是說,CCR2004-1G-2XS-PCIe不支援Windows以及esxi系統。但嚴格意義來說,該卡僅需要pcie供電,宿主和其完全脫鉤也是能正常執行的。也可以將其插到pcie底座上,只供電這玩意也可以跑。

關於CCR2004-1G-2XS-PCIe的合適宿主。在去年確組網方案時還考慮過一款體積小巧的 1L 小主機:戴爾wyse 5070。

購入時考慮是配置為軟路由旁路模式配合2260t使用。ccr2004以獨立形式執行ros系統保證系統的穩健性,wyse5070本體使用pve虛擬化平臺切出不同的kvm虛擬機器以及docker、lxc等形式執行自定義化的服務。網路出口和服務層解耦,可以穩定和擴充套件——達到:既要、也要

關於wyse5070,這貨原本是長這樣的,原本定位是一個雲服務的瘦客戶機。



換用由@[AlphaArea_](
https://space.bilibili.com/1292029)開源的diy方案後體積可以壓縮很多,且保留擴充套件性,開源專案地址:[github.com/KCORES/KCORES-5070](http://github.com/KCORES/KCORES-5070) ,包含亞克力外殼,和riser的pcb設計,銅柱尺寸M3x14mm四枚M3x6mm四枚,在這裡感謝原作者的貢獻。

原作者也設計了一個鋁銑的被動散熱,如果進弱電箱建議用原裝主動散熱。唯一缺點就是不能使用原裝19v電源,只能使用12vdc電源,使用第三方供電會導致wyse5070的cpu被禁止睿頻,降低效能。

wyse5070很挑記憶體,我這裡兩條8g 2r*8記憶體能進bios但是開不了機,拔掉一條就可以正常使用



wyse5070本身的擴充套件性在同級裡也較好,標準的pcie2.0*4外加pcie2.0*1的m2wifi,儲存上支援emmc晶片或ngff(m2sata)硬碟一塊。

改造前後的網路拓撲圖:



原方案是使用2260t主路由兼作ac,管理xap3022,xap4500,xap6300三個2.5g埠的86面板ap。2260t先使用sfp+光口連線到萬兆poe交換機,再接入若干ap。

關於ap的選擇。2.5g上聯埠ap現在可選項很少,除tplink外只有頂級旗艦產品才會配備。價差2.5g較g口可達2-3倍,所以暫且不替換掉tplink的ap。

可以看到拓撲圖中,改造後是MikroTik CCR2004使用sfp+光口連線到萬兆poe交換機,再接入tplink ac100控制器和tplink ap。poe交換機到homelab的交換機是2.5g電口的鏈路,後續視情況有留空間可以隨時升級10g。

在三個月實際使用中,沒有遇到任何ap掉線或者不穩定的問題。

一個隱藏優勢,MikroTik CCR2004 PCIe的渦輪扇可以給自帶sfp28光口提供有效的風道,如果你使用貓棒來撥號,散熱能力ccr2004pcie比被動散熱的光口管理交換機好不少。我這裡使用g7615 v2光貓,就不需要折騰貓棒了。

實測web瀏覽載入速度快且穩定,體感能察覺比tplink更快。推測和ros內建dns快取有關。

實測雙寬頻。routeros使用內建pcc負載均衡對比tplink ”企業級“負載均衡很明顯的優勢就是測速軟體可疊加,可以跑出很漂亮的1+1=2的測速成績,不過tplink負載均衡可以把每條寬頻ipv4和ipv6同時拉滿,pt可以30兆上行跑出60兆的效果。ros就不行了,是負載均衡策略的取向不同。

速度 or 穩定,必選 → 穩定

再快意義不大,因為瓶頸在wifi資料鏈路上,wifi6(160mhz 2*2mu-mimo)實用頻寬是1800mbps(有干擾會跌到不足1600mbps),現在的狀態就是幾乎跑滿無線頻寬。

所以家寬現在如果有「跑滿強迫症」,只推薦1500m套餐或者開1000兆和500兆兩條寬頻。或者拿全尺寸ccr2004撥三條500兆寬頻也挺好,只要有足夠多的入戶纖

之前的大連線場景問題也特意實測,pt 刷流20萬包每秒拉滿1000mbps下100mbps上的同時進行網頁、app瀏覽測試。沒有任何問題,和空載載入速度完全一致。



1300兆拉滿cpu負載45~50%,ccr2004 pppoe撥號沒有硬體加速全靠cpu硬剛,也不具備任何的L3解除安裝功能。極限就只適用2000兆寬帶了。假設您是高貴的萬兆寬頻使用者或者ptn專線,推薦你購買mikrotik的ccr2216系列旗艦路由,內建16*a72核心,可以暴力拉滿萬兆pppoe,且有L3硬體解除安裝。或使用「正品」DPU刷韌體安裝ros也不錯。

關於溫度。在密閉的弱電箱裡:j5005處理器溫度49.C,ccr2004路由器核心溫度58.C,風扇轉速3000轉左右,萬兆光轉電模組溫度51.C。

聲音關上蓋板後近乎為零。

功耗。wyse5070功耗極低,只有5w不到,具體移步影片BV1JY4y117vH檢視。ccr2004從上圖能看出,功耗閒置是3w滿載大概4-5w。

很節能環保,和本人的epyc homelab動輒上百瓦「五級能耗」強到不知道哪裡去()



另附alc52400核心特寫:





如果有補充和討論請至評論區。

後續預告:


相關文章