器架構(gòu)解析：插槽設(shè)計與管理方案)
簡介這份PDF文檔為ODCC發(fā)布的《OTII-E模塊化服務(wù)器技術(shù)規(guī)范V1.0》編號ODCC-2023-01002由中國移動、中國電信、英特爾等單位牽頭編制面向服務(wù)器設(shè)計、生產(chǎn)與運(yùn)維工程師尤其是關(guān)注5G與邊緣計算場景的技術(shù)與管理人員。規(guī)范圍繞深度定制、開放標(biāo)準(zhǔn)與技術(shù)統(tǒng)一的目標(biāo)系統(tǒng)給出機(jī)框規(guī)格與前后板布局、模塊類型與尺寸、CPU/內(nèi)存/存儲/PCIe插卡/加速硬件等部件要求以及電源風(fēng)扇、環(huán)境適應(yīng)性和硬件管理接口HWI等設(shè)計細(xì)則并附有大量圖表輔助理解布局與邏輯框圖。資源包共1個PDF文件約1.4MB便于隨查隨用。目前已有304人學(xué)習(xí)。讀者可借此掌握模塊化服務(wù)器的標(biāo)準(zhǔn)化設(shè)計思路與接口約定為邊緣側(cè)靈活配置、系統(tǒng)性能與可靠性提升及維護(hù)成本控制提供參考依據(jù)。1. 模塊化服務(wù)器為什么插槽比堆料更難做邊緣計算這件事最反直覺的一點(diǎn)是算力從來不是瓶頸部署形態(tài)才是。一個典型的邊緣機(jī)房可能只有 600mm 深的機(jī)柜、沒有空調(diào)、維護(hù)窗口只有幾分鐘你塞一臺標(biāo)準(zhǔn) 2U 服務(wù)器進(jìn)去深度超了、溫度扛不住、硬盤還得繞到后面去拔。OTII-E 模塊化服務(wù)器技術(shù)規(guī)范要解決的就是這種機(jī)房條件倒逼硬件形態(tài)的問題——它把服務(wù)器拆成機(jī)框、模塊、部件三層用插槽式模塊組合替代整機(jī)定制讓同一套機(jī)框能裝下計算、存儲、網(wǎng)絡(luò)三類節(jié)點(diǎn)。這份規(guī)范值得搞懂的地方不在于它定義了哪些尺寸而在于它回答了一個工程難題當(dāng)硬件被切成可插拔的模塊之后管理、供電、散熱、時鐘這些原本整機(jī)內(nèi)部的事情怎么在模塊之間重新分配職責(zé)。這背后涉及主從節(jié)點(diǎn)管理、RMC 方案、帶外管理功能集、前維護(hù)布局等一系列設(shè)計取舍。下面從總體約束開始一層層拆到管理接口的實(shí)現(xiàn)細(xì)節(jié)。2. 總體約束600mm 深度和 5℃~40℃ 是怎么倒逼架構(gòu)的2.1 物理約束先于電氣約束規(guī)范里最先定死的不是 CPU 型號而是機(jī)框尺寸寬度兼容 19 英寸和 21 英寸機(jī)架高度 1U 或 2UPSU 出線口與前面板距離 d≤450mm整機(jī)深度 D≤470mm。這幾個數(shù)字不是隨便寫的。標(biāo)準(zhǔn)機(jī)柜深度通常 600mm前面要留 D1≥90mm 給前門框后面要留 D2≥60mm 給 PSU 出線中間留給服務(wù)器的凈空間就被壓到 470mm 以內(nèi)。一旦深度被鎖死主板布局、PCIe 插卡方向、電源位置全部要重新排。更關(guān)鍵的是前維護(hù)這條開關(guān)、指示燈、硬盤、網(wǎng)線全部走前面板。傳統(tǒng)服務(wù)器硬盤在 front、PCIe 在 rear維護(hù)要兩頭跑邊緣機(jī)房往往只有單面操作空間所以 OTII-E 把可維護(hù)部件全部前置。這直接導(dǎo)致后面板只剩風(fēng)扇區(qū)和電源區(qū)兩個區(qū)域風(fēng)扇支持故障備份、電源支持故障備份布局被極度簡化。溫度約束同樣在倒逼設(shè)計長期 5℃~40℃、短期 -5℃~45℃。這個范圍比標(biāo)準(zhǔn)數(shù)據(jù)中心通常 10℃~35℃寬意味著風(fēng)扇調(diào)速策略、電源轉(zhuǎn)換效率、器件選型都要按工業(yè)級余量來。規(guī)范里 CPU TDP 上限標(biāo)注基于風(fēng)冷條件液冷可支持更高 TDP就是在給散熱方案留口子。2.2 模塊類型劃分的邏輯機(jī)框定完之后模塊類型表就是架構(gòu)的核心。規(guī)范定義了三大類模塊模塊類型模塊名稱功能定位1U 半寬CPU 模塊 / SOC 模塊單路計算節(jié)點(diǎn)2U 半寬CPU 模塊 / SOC 模塊單路計算節(jié)點(diǎn)更高 TDP1U 全寬容量存儲節(jié)點(diǎn) / 網(wǎng)絡(luò)資源模塊 / 單路 CPU / 雙路 CPU存儲、交換、計算半寬和全寬的劃分不是尺寸游戲而是前面板 Flex 區(qū)域的分配策略。1U 半寬模塊推薦尺寸 180x370x41mm兩個半寬模塊并排剛好填滿一個全寬位1U 全寬 360x370x41mm獨(dú)占整個前面板。這樣廠家可以根據(jù)場景選邊緣 AI 推理要 GPU就上 2U 半寬 CPU 模塊支持 2 張全高全長單寬卡或 1 張雙寬卡純轉(zhuǎn)發(fā)場景要網(wǎng)口密度就上網(wǎng)絡(luò)資源模塊支持 switch 芯片。模塊邏輯框圖里能看出一個共同點(diǎn)每個模塊都是獨(dú)立計算單元有自己的 CPU、內(nèi)存、存儲、網(wǎng)絡(luò)、BMC。模塊之間不共享內(nèi)存總線只通過機(jī)框背板做供電和管理信號互聯(lián)。這種計算下沉到模塊、機(jī)框只做物理承載的思路是模塊化服務(wù)器和刀片服務(wù)器最大的區(qū)別——刀片通常共享電源和風(fēng)扇但計算仍集中OTII-E 把管理也下沉了。2.3 部件規(guī)格里的取舍以 1U 半寬 CPU 模塊為例規(guī)范給的規(guī)格很具體支持 Intel 最新 Xeon-SP 處理器最高 TDP 165W8 通道內(nèi)存1DPC 配置下頻率不低于 4800MHz2DPC 時不低于 4400MHz支持 2x2.5 SATA/SAS/NVMe至少 6 個 10GbE 或 25GbE 網(wǎng)口加 1 個獨(dú)立 1GbE 管理網(wǎng)口1 張 PCIe 半高半長卡加 1 塊 OCP 3.0 卡。這里有個容易被忽略的細(xì)節(jié)內(nèi)存頻率隨 DPC 下降。1DPC每通道 1 個 DIMM能跑 4800MHz2DPC 掉到 4400MHz這是 DDR5 電氣特性決定的——通道負(fù)載增加信號完整性變差必須降頻保穩(wěn)。規(guī)范把這個寫進(jìn)最低要求意味著廠家不能拿 2DPC 跑 4800 當(dāng)賣點(diǎn)因?yàn)槲锢砩献霾坏椒€(wěn)定。2U 半寬 CPU 模塊把 TDP 上限提到 205WPCIe 插卡能力也增強(qiáng)到 2 張全高全長單寬或 1 張雙寬。這個差異來自高度2U 有 83mm 高度能容納全高卡1U 只有 41mm只能上半高卡。所以選型時如果業(yè)務(wù)需要 GPU 或 FPGA 加速卡2U 半寬是唯一選擇1U 半寬只能做純 CPU 計算或輕量加速。SOC 模塊則是另一條路線Xeon-D 處理器TDP 上限 130W3 通道內(nèi)存 2DPC板載 4x25G 或 8x10G 網(wǎng)絡(luò)。SOC 的特點(diǎn)是網(wǎng)絡(luò)和計算集成度高適合 NFV 場景——網(wǎng)絡(luò)功能虛擬化需要大量小包轉(zhuǎn)發(fā)板載網(wǎng)口比 PCIe 插卡延遲更低、功耗更優(yōu)。規(guī)范里 SOC 模塊可選支持時鐘和同步方案涉及 1PPS、GNSS、PTP、TOD這是給 5G RAN 場景準(zhǔn)備的基站需要精確時間同步普通服務(wù)器沒有這些接口。3. 管理架構(gòu)主從節(jié)點(diǎn)和 RMC 方案怎么選3.1 兩種管理交互方案的動機(jī)模塊化服務(wù)器最麻煩的問題不是硬件是管理。一臺整機(jī)只有一個 BMC管理簡單但 OTII-E 機(jī)框里可能插了 4 個半寬模塊每個模塊都有自己的 BMC誰來統(tǒng)一管理規(guī)范給了兩個方案主從節(jié)點(diǎn)方案和 RMC 方案。主從節(jié)點(diǎn)方案的邏輯是機(jī)框里指定一個模塊作為主節(jié)點(diǎn)其他模塊作為從節(jié)點(diǎn)。主節(jié)點(diǎn)的 BMC 負(fù)責(zé)整個機(jī)框的管理包括風(fēng)扇、電源、資產(chǎn)管理從節(jié)點(diǎn)的 BMC 只管理自己模塊內(nèi)部。主從之間通過機(jī)框背板的管理總線通信主節(jié)點(diǎn)對外提供統(tǒng)一管理接口。RMC 方案則是引入一個獨(dú)立的管理控制器Rack Management Controller不占用計算模塊。RMC 直接管理機(jī)框級部件風(fēng)扇、電源、傳感器同時通過管理總線代理各模塊的 BMC。這樣計算模塊可以完全專注業(yè)務(wù)管理功能不占用模塊資源。兩種方案的取舍很清晰主從方案成本低不需要額外硬件但主節(jié)點(diǎn)故障時整個機(jī)框管理可能受影響RMC 方案可靠性高管理功能獨(dú)立但增加了一個部件和成本。規(guī)范把兩種都列出來是給不同場景留選擇空間——成本敏感的邊緣節(jié)點(diǎn)用主從可靠性要求高的核心邊緣用 RMC。3.2 帶外管理功能集帶外管理是模塊化服務(wù)器的黑匣子規(guī)范列了 8 類功能資產(chǎn)管理記錄機(jī)框、模塊、部件的序列號、廠商、型號、位置信息。模塊插拔時自動更新資產(chǎn)列表這是模塊化服務(wù)器比整機(jī)復(fù)雜的地方——整機(jī)資產(chǎn)固定模塊化資產(chǎn)是動態(tài)的。遠(yuǎn)程診斷可選支持遠(yuǎn)程重啟、遠(yuǎn)程 KVM、遠(yuǎn)程掛載 ISO。邊緣機(jī)房通常無人值守遠(yuǎn)程診斷是剛需但規(guī)范標(biāo)了可選因?yàn)閷?shí)現(xiàn)成本高。部件信息管理CPU、內(nèi)存、硬盤、PCIe 卡、電源、風(fēng)扇的詳細(xì)信息包括溫度、功耗、健康狀態(tài)。這里的關(guān)鍵是部件和模塊的歸屬關(guān)系——一個風(fēng)扇屬于機(jī)框一個硬盤屬于某個模塊管理界面要能正確映射。傳感器監(jiān)控溫度、電壓、電流、風(fēng)扇轉(zhuǎn)速。模塊化服務(wù)器的傳感器分布在不同模塊上主節(jié)點(diǎn)或 RMC 要聚合所有傳感器數(shù)據(jù)。電源和風(fēng)扇管理電源冗余、熱插拔、風(fēng)扇調(diào)速。規(guī)范要求電源支持故障備份、風(fēng)扇支持故障備份管理功能要能檢測故障并告警。故障告警健康狀態(tài)指示燈綠燈正常、黃燈一般告警、紅燈嚴(yán)重告警、日志、SNMP Trap。前面板指示燈規(guī)范里定義得很細(xì)電源指示燈綠燈常亮表示已上電黃燈常亮表示待上電黃燈閃爍表示管理系統(tǒng)啟動中。日志管理系統(tǒng)日志、操作日志、故障日志。模塊化服務(wù)器的日志要區(qū)分機(jī)框級和模塊級排查問題時能定位到具體模塊。其他功能固件升級、配置備份恢復(fù)、時間同步。3.3 帶內(nèi)管理功能帶內(nèi)管理走操作系統(tǒng)通過 NC-SI 接口或板載管理網(wǎng)口。規(guī)范里提到支持 NC-SI 管理接口這是 Network Controller Sideband Interface 的縮寫作用是讓 BMC 通過網(wǎng)卡的邊帶通道收發(fā)管理流量不需要額外管理網(wǎng)線。對于邊緣機(jī)房少一根線就是少一個故障點(diǎn)。帶內(nèi)管理主要做 OS 層面的監(jiān)控CPU 利用率、內(nèi)存占用、磁盤 IO、網(wǎng)絡(luò)流量。這些數(shù)據(jù)通過 OS 內(nèi)的 agent 采集和帶外管理數(shù)據(jù)互補(bǔ)。帶外看硬件健康帶內(nèi)看業(yè)務(wù)負(fù)載兩者結(jié)合才能完整判斷節(jié)點(diǎn)狀態(tài)。4. 避坑模塊化服務(wù)器部署的 5 個常見問題4.1 模塊插拔后資產(chǎn)信息不更新現(xiàn)象更換了一個半寬模塊管理界面里還是舊模塊的序列號新模塊的資產(chǎn)信息沒出現(xiàn)。原因模塊插拔檢測依賴背板上的 presence 信號和 BMC 輪詢。如果主節(jié)點(diǎn) BMC 的輪詢周期設(shè)置過長或者背板信號線接觸不良就會漏檢。另外部分廠家的 BMC 固件在模塊熱插拔時不會主動觸發(fā)資產(chǎn)刷新需要手動刷新或重啟管理服務(wù)。解決先確認(rèn)背板 presence 信號是否正常看 BMC 日志里有沒有模塊上下線事件如果信號正常但資產(chǎn)不更新檢查 BMC 固件的資產(chǎn)管理模塊版本必要時升級臨時方案是通過管理命令手動觸發(fā)資產(chǎn)掃描。4.2 風(fēng)扇調(diào)速策略和模塊溫度不匹配現(xiàn)象某個模塊 CPU 溫度已經(jīng)很高但機(jī)框風(fēng)扇轉(zhuǎn)速沒提上去模塊開始降頻。原因機(jī)框風(fēng)扇調(diào)速通?；跈C(jī)框級溫度傳感器而不是模塊內(nèi)部 CPU 溫度。如果模塊的散熱設(shè)計依賴機(jī)框風(fēng)扇但機(jī)框風(fēng)扇看不到模塊內(nèi)部溫度就會出現(xiàn)模塊熱但風(fēng)扇不轉(zhuǎn)的情況。規(guī)范里風(fēng)扇調(diào)速要求沒有強(qiáng)制規(guī)定傳感器位置不同廠家實(shí)現(xiàn)差異大。解決檢查機(jī)框風(fēng)扇調(diào)速曲線是否包含模塊進(jìn)風(fēng)口溫度如果只基于機(jī)框溫度需要在模塊 BMC 里設(shè)置溫度告警閾值通過管理總線通知機(jī)框 BMC 提轉(zhuǎn)速選型時優(yōu)先選支持模塊溫度聯(lián)動的機(jī)框。4.3 主從節(jié)點(diǎn)切換導(dǎo)致管理中斷現(xiàn)象主節(jié)點(diǎn)模塊故障重啟整個機(jī)框的管理界面失聯(lián)從節(jié)點(diǎn)模塊的業(yè)務(wù)雖然沒斷但無法管理。原因主從方案里主節(jié)點(diǎn) BMC 是唯一管理出口主節(jié)點(diǎn)故障時管理功能沒有備份。規(guī)范沒有強(qiáng)制要求主節(jié)點(diǎn)冗余所以很多實(shí)現(xiàn)是單點(diǎn)。解決如果業(yè)務(wù)對管理連續(xù)性要求高選 RMC 方案如果已經(jīng)用了主從方案配置管理口冗余比如主節(jié)點(diǎn)管理網(wǎng)口和從節(jié)點(diǎn)管理網(wǎng)口都接入管理交換機(jī)主節(jié)點(diǎn)故障時手動切換管理 IP長期方案是推動廠家支持主節(jié)點(diǎn)自動選舉。4.4 電源冗余配置和實(shí)際功耗不匹配現(xiàn)象配置了 11 冗余電源但一個電源故障后系統(tǒng)直接下電。原因電源冗余的前提是單個電源能承載整機(jī)滿載功耗。如果兩個電源各 800W整機(jī)滿載 1000W11 冗余下單個電源帶不動故障時就掉電。規(guī)范里電源要求寫了冗余和熱插拔但沒有強(qiáng)制規(guī)定電源功率和整機(jī)功耗的比例。解決計算整機(jī)滿載功耗CPU TDP 內(nèi)存 硬盤 PCIe 卡 風(fēng)扇確保單個電源額定功率大于滿載功耗的 1.2 倍如果空間允許選更高功率電源管理界面里監(jiān)控電源負(fù)載率超過 60% 就要警惕。4.5 時鐘同步方案在 SOC 模塊上不生效現(xiàn)象SOC 模塊配置了 PTP 時鐘同步但時間精度達(dá)不到要求或者 GNSS 信號丟失后沒有 holdover。原因規(guī)范里時鐘和同步是可選只涉及 SOC 模塊意味著不是所有 SOC 模塊都支持。如果模塊硬件沒有 1PPS 接口或 GNSS 模塊軟件配置再對也沒用。另外 PTP 對網(wǎng)絡(luò)交換機(jī)的透明時鐘支持有要求普通交換機(jī)不保證精度。解決選型時確認(rèn) SOC 模塊硬件支持 1PPS、TOD、GNSS檢查交換機(jī)是否支持 PTP 透明時鐘GNSS 天線要放在能收到信號的位置邊緣機(jī)房通常在地下室或封閉空間GNSS 信號可能很差需要外部天線引到室外。5. 設(shè)計取舍模塊化到底犧牲了什么模塊化服務(wù)器的代價規(guī)范里沒有明說但從技術(shù)約束能反推出來。第一是密度。1U 半寬模塊 180mm 寬兩個并排 360mm加上機(jī)框結(jié)構(gòu)件和背板實(shí)際可用寬度比標(biāo)準(zhǔn) 1U 服務(wù)器少。標(biāo)準(zhǔn) 1U 服務(wù)器能放 10 個 2.5 寸硬盤1U 半寬模塊只能放 2 個。存儲密度下降是模塊化的必然代價換來的是靈活性。第二是散熱效率。整機(jī)服務(wù)器風(fēng)道是統(tǒng)一設(shè)計的模塊化服務(wù)器每個模塊有自己的進(jìn)風(fēng)口和出風(fēng)口機(jī)框風(fēng)扇要同時照顧多個模塊風(fēng)道復(fù)雜度高。規(guī)范里 CPU TDP 上限標(biāo)注基于風(fēng)冷條件暗示風(fēng)冷下模塊化服務(wù)器的散熱能力比整機(jī)弱液冷才能釋放全部性能。第三是管理復(fù)雜度。整機(jī)一個 BMC 搞定模塊化要處理主從或 RMC管理軟件復(fù)雜度上升。帶外管理功能集里資產(chǎn)管理、部件信息管理、傳感器監(jiān)控都要處理模塊歸屬問題開發(fā)工作量比整機(jī)大。第四是成本。模塊化意味著每個模塊都要有獨(dú)立的 BMC、電源轉(zhuǎn)換、時鐘電路物料成本比整機(jī)高。但邊緣場景下靈活配置帶來的運(yùn)維成本下降能抵消硬件成本上升——一個機(jī)框備幾種模塊現(xiàn)場按需組合比備幾種整機(jī)庫存壓力小。驗(yàn)證這套設(shè)計是否合理最直接的方法是看故障域。整機(jī)服務(wù)器故障域是整個機(jī)箱模塊化服務(wù)器故障域是單個模塊。一個模塊掛了其他模塊繼續(xù)跑管理界面還能看到故障模塊的狀態(tài)。對于邊緣計算場景這種故障隔離能力比密度更重要——邊緣機(jī)房無人值守一次故障導(dǎo)致整機(jī)宕機(jī)恢復(fù)時間可能是幾小時模塊化下只損失部分算力業(yè)務(wù)可以遷移到其他模塊。從那以后我每次評估模塊化服務(wù)器方案都會強(qiáng)制走一遍故障域推演假設(shè)任意一個模塊、任意一個電源、任意一個風(fēng)扇故障系統(tǒng)還剩多少可用算力管理界面是否還能訪問業(yè)務(wù)能否自動遷移。這個推演比看規(guī)格表更能判斷方案是否真的適合邊緣場景。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 OTII-E模塊化服務(wù)器架構(gòu)解析：插槽設(shè)計與管理方案
簡介這份PDF文檔為ODCC發(fā)布的《OTII-E模塊化服務(wù)器技術(shù)規(guī)范V1.0》編號ODCC-2023-01002由中國移動、中國電信、英特爾等單位牽頭編制面向服務(wù)器設(shè)計、生產(chǎn)與運(yùn)維工程師尤其是關(guān)注5G與邊緣計算場景的技術(shù)與管理人員。規(guī)范圍繞深度定制、開放標(biāo)準(zhǔn)與技術(shù)統(tǒng)一的目標(biāo)系統(tǒng)給出機(jī)框規(guī)格與前后板布局、模塊類型與尺寸、CPU/內(nèi)存/存儲/PCIe插卡/加速硬件等部件要求以及電源風(fēng)扇、環(huán)境適應(yīng)性和硬件管理接口HWI等設(shè)計細(xì)則并附有大量圖表輔助理解布局與邏輯框圖。資源包共1個PDF文件約1.4MB便于隨查隨用。目前已有304人學(xué)習(xí)。讀者可借此掌握模塊化服務(wù)器的標(biāo)準(zhǔn)化設(shè)計思路與接口約定為邊緣側(cè)靈活配置、系統(tǒng)性能與可靠性提升及維護(hù)成本控制提供參考依據(jù)。1. 模塊化服務(wù)器為什么插槽比堆料更難做邊緣計算這件事最反直覺的一點(diǎn)是算力從來不是瓶頸部署形態(tài)才是。一個典型的邊緣機(jī)房可能只有 600mm 深的機(jī)柜、沒有空調(diào)、維護(hù)窗口只有幾分鐘你塞一臺標(biāo)準(zhǔn) 2U 服務(wù)器進(jìn)去深度超了、溫度扛不住、硬盤還得繞到后面去拔。OTII-E 模塊化服務(wù)器技術(shù)規(guī)范要解決的就是這種機(jī)房條件倒逼硬件形態(tài)的問題——它把服務(wù)器拆成機(jī)框、模塊、部件三層用插槽式模塊組合替代整機(jī)定制讓同一套機(jī)框能裝下計算、存儲、網(wǎng)絡(luò)三類節(jié)點(diǎn)。這份規(guī)范值得搞懂的地方不在于它定義了哪些尺寸而在于它回答了一個工程難題當(dāng)硬件被切成可插拔的模塊之后管理、供電、散熱、時鐘這些原本整機(jī)內(nèi)部的事情怎么在模塊之間重新分配職責(zé)。這背后涉及主從節(jié)點(diǎn)管理、RMC 方案、帶外管理功能集、前維護(hù)布局等一系列設(shè)計取舍。下面從總體約束開始一層層拆到管理接口的實(shí)現(xiàn)細(xì)節(jié)。2. 總體約束600mm 深度和 5℃~40℃ 是怎么倒逼架構(gòu)的2.1 物理約束先于電氣約束規(guī)范里最先定死的不是 CPU 型號而是機(jī)框尺寸寬度兼容 19 英寸和 21 英寸機(jī)架高度 1U 或 2UPSU 出線口與前面板距離 d≤450mm整機(jī)深度 D≤470mm。這幾個數(shù)字不是隨便寫的。標(biāo)準(zhǔn)機(jī)柜深度通常 600mm前面要留 D1≥90mm 給前門框后面要留 D2≥60mm 給 PSU 出線中間留給服務(wù)器的凈空間就被壓到 470mm 以內(nèi)。一旦深度被鎖死主板布局、PCIe 插卡方向、電源位置全部要重新排。更關(guān)鍵的是前維護(hù)這條開關(guān)、指示燈、硬盤、網(wǎng)線全部走前面板。傳統(tǒng)服務(wù)器硬盤在 front、PCIe 在 rear維護(hù)要兩頭跑邊緣機(jī)房往往只有單面操作空間所以 OTII-E 把可維護(hù)部件全部前置。這直接導(dǎo)致后面板只剩風(fēng)扇區(qū)和電源區(qū)兩個區(qū)域風(fēng)扇支持故障備份、電源支持故障備份布局被極度簡化。溫度約束同樣在倒逼設(shè)計長期 5℃~40℃、短期 -5℃~45℃。這個范圍比標(biāo)準(zhǔn)數(shù)據(jù)中心通常 10℃~35℃寬意味著風(fēng)扇調(diào)速策略、電源轉(zhuǎn)換效率、器件選型都要按工業(yè)級余量來。規(guī)范里 CPU TDP 上限標(biāo)注基于風(fēng)冷條件液冷可支持更高 TDP就是在給散熱方案留口子。2.2 模塊類型劃分的邏輯機(jī)框定完之后模塊類型表就是架構(gòu)的核心。規(guī)范定義了三大類模塊模塊類型模塊名稱功能定位1U 半寬CPU 模塊 / SOC 模塊單路計算節(jié)點(diǎn)2U 半寬CPU 模塊 / SOC 模塊單路計算節(jié)點(diǎn)更高 TDP1U 全寬容量存儲節(jié)點(diǎn) / 網(wǎng)絡(luò)資源模塊 / 單路 CPU / 雙路 CPU存儲、交換、計算半寬和全寬的劃分不是尺寸游戲而是前面板 Flex 區(qū)域的分配策略。1U 半寬模塊推薦尺寸 180x370x41mm兩個半寬模塊并排剛好填滿一個全寬位1U 全寬 360x370x41mm獨(dú)占整個前面板。這樣廠家可以根據(jù)場景選邊緣 AI 推理要 GPU就上 2U 半寬 CPU 模塊支持 2 張全高全長單寬卡或 1 張雙寬卡純轉(zhuǎn)發(fā)場景要網(wǎng)口密度就上網(wǎng)絡(luò)資源模塊支持 switch 芯片。模塊邏輯框圖里能看出一個共同點(diǎn)每個模塊都是獨(dú)立計算單元有自己的 CPU、內(nèi)存、存儲、網(wǎng)絡(luò)、BMC。模塊之間不共享內(nèi)存總線只通過機(jī)框背板做供電和管理信號互聯(lián)。這種計算下沉到模塊、機(jī)框只做物理承載的思路是模塊化服務(wù)器和刀片服務(wù)器最大的區(qū)別——刀片通常共享電源和風(fēng)扇但計算仍集中OTII-E 把管理也下沉了。2.3 部件規(guī)格里的取舍以 1U 半寬 CPU 模塊為例規(guī)范給的規(guī)格很具體支持 Intel 最新 Xeon-SP 處理器最高 TDP 165W8 通道內(nèi)存1DPC 配置下頻率不低于 4800MHz2DPC 時不低于 4400MHz支持 2x2.5 SATA/SAS/NVMe至少 6 個 10GbE 或 25GbE 網(wǎng)口加 1 個獨(dú)立 1GbE 管理網(wǎng)口1 張 PCIe 半高半長卡加 1 塊 OCP 3.0 卡。這里有個容易被忽略的細(xì)節(jié)內(nèi)存頻率隨 DPC 下降。1DPC每通道 1 個 DIMM能跑 4800MHz2DPC 掉到 4400MHz這是 DDR5 電氣特性決定的——通道負(fù)載增加信號完整性變差必須降頻保穩(wěn)。規(guī)范把這個寫進(jìn)最低要求意味著廠家不能拿 2DPC 跑 4800 當(dāng)賣點(diǎn)因?yàn)槲锢砩献霾坏椒€(wěn)定。2U 半寬 CPU 模塊把 TDP 上限提到 205WPCIe 插卡能力也增強(qiáng)到 2 張全高全長單寬或 1 張雙寬。這個差異來自高度2U 有 83mm 高度能容納全高卡1U 只有 41mm只能上半高卡。所以選型時如果業(yè)務(wù)需要 GPU 或 FPGA 加速卡2U 半寬是唯一選擇1U 半寬只能做純 CPU 計算或輕量加速。SOC 模塊則是另一條路線Xeon-D 處理器TDP 上限 130W3 通道內(nèi)存 2DPC板載 4x25G 或 8x10G 網(wǎng)絡(luò)。SOC 的特點(diǎn)是網(wǎng)絡(luò)和計算集成度高適合 NFV 場景——網(wǎng)絡(luò)功能虛擬化需要大量小包轉(zhuǎn)發(fā)板載網(wǎng)口比 PCIe 插卡延遲更低、功耗更優(yōu)。規(guī)范里 SOC 模塊可選支持時鐘和同步方案涉及 1PPS、GNSS、PTP、TOD這是給 5G RAN 場景準(zhǔn)備的基站需要精確時間同步普通服務(wù)器沒有這些接口。3. 管理架構(gòu)主從節(jié)點(diǎn)和 RMC 方案怎么選3.1 兩種管理交互方案的動機(jī)模塊化服務(wù)器最麻煩的問題不是硬件是管理。一臺整機(jī)只有一個 BMC管理簡單但 OTII-E 機(jī)框里可能插了 4 個半寬模塊每個模塊都有自己的 BMC誰來統(tǒng)一管理規(guī)范給了兩個方案主從節(jié)點(diǎn)方案和 RMC 方案。主從節(jié)點(diǎn)方案的邏輯是機(jī)框里指定一個模塊作為主節(jié)點(diǎn)其他模塊作為從節(jié)點(diǎn)。主節(jié)點(diǎn)的 BMC 負(fù)責(zé)整個機(jī)框的管理包括風(fēng)扇、電源、資產(chǎn)管理從節(jié)點(diǎn)的 BMC 只管理自己模塊內(nèi)部。主從之間通過機(jī)框背板的管理總線通信主節(jié)點(diǎn)對外提供統(tǒng)一管理接口。RMC 方案則是引入一個獨(dú)立的管理控制器Rack Management Controller不占用計算模塊。RMC 直接管理機(jī)框級部件風(fēng)扇、電源、傳感器同時通過管理總線代理各模塊的 BMC。這樣計算模塊可以完全專注業(yè)務(wù)管理功能不占用模塊資源。兩種方案的取舍很清晰主從方案成本低不需要額外硬件但主節(jié)點(diǎn)故障時整個機(jī)框管理可能受影響RMC 方案可靠性高管理功能獨(dú)立但增加了一個部件和成本。規(guī)范把兩種都列出來是給不同場景留選擇空間——成本敏感的邊緣節(jié)點(diǎn)用主從可靠性要求高的核心邊緣用 RMC。3.2 帶外管理功能集帶外管理是模塊化服務(wù)器的黑匣子規(guī)范列了 8 類功能資產(chǎn)管理記錄機(jī)框、模塊、部件的序列號、廠商、型號、位置信息。模塊插拔時自動更新資產(chǎn)列表這是模塊化服務(wù)器比整機(jī)復(fù)雜的地方——整機(jī)資產(chǎn)固定模塊化資產(chǎn)是動態(tài)的。遠(yuǎn)程診斷可選支持遠(yuǎn)程重啟、遠(yuǎn)程 KVM、遠(yuǎn)程掛載 ISO。邊緣機(jī)房通常無人值守遠(yuǎn)程診斷是剛需但規(guī)范標(biāo)了可選因?yàn)閷?shí)現(xiàn)成本高。部件信息管理CPU、內(nèi)存、硬盤、PCIe 卡、電源、風(fēng)扇的詳細(xì)信息包括溫度、功耗、健康狀態(tài)。這里的關(guān)鍵是部件和模塊的歸屬關(guān)系——一個風(fēng)扇屬于機(jī)框一個硬盤屬于某個模塊管理界面要能正確映射。傳感器監(jiān)控溫度、電壓、電流、風(fēng)扇轉(zhuǎn)速。模塊化服務(wù)器的傳感器分布在不同模塊上主節(jié)點(diǎn)或 RMC 要聚合所有傳感器數(shù)據(jù)。電源和風(fēng)扇管理電源冗余、熱插拔、風(fēng)扇調(diào)速。規(guī)范要求電源支持故障備份、風(fēng)扇支持故障備份管理功能要能檢測故障并告警。故障告警健康狀態(tài)指示燈綠燈正常、黃燈一般告警、紅燈嚴(yán)重告警、日志、SNMP Trap。前面板指示燈規(guī)范里定義得很細(xì)電源指示燈綠燈常亮表示已上電黃燈常亮表示待上電黃燈閃爍表示管理系統(tǒng)啟動中。日志管理系統(tǒng)日志、操作日志、故障日志。模塊化服務(wù)器的日志要區(qū)分機(jī)框級和模塊級排查問題時能定位到具體模塊。其他功能固件升級、配置備份恢復(fù)、時間同步。3.3 帶內(nèi)管理功能帶內(nèi)管理走操作系統(tǒng)通過 NC-SI 接口或板載管理網(wǎng)口。規(guī)范里提到支持 NC-SI 管理接口這是 Network Controller Sideband Interface 的縮寫作用是讓 BMC 通過網(wǎng)卡的邊帶通道收發(fā)管理流量不需要額外管理網(wǎng)線。對于邊緣機(jī)房少一根線就是少一個故障點(diǎn)。帶內(nèi)管理主要做 OS 層面的監(jiān)控CPU 利用率、內(nèi)存占用、磁盤 IO、網(wǎng)絡(luò)流量。這些數(shù)據(jù)通過 OS 內(nèi)的 agent 采集和帶外管理數(shù)據(jù)互補(bǔ)。帶外看硬件健康帶內(nèi)看業(yè)務(wù)負(fù)載兩者結(jié)合才能完整判斷節(jié)點(diǎn)狀態(tài)。4. 避坑模塊化服務(wù)器部署的 5 個常見問題4.1 模塊插拔后資產(chǎn)信息不更新現(xiàn)象更換了一個半寬模塊管理界面里還是舊模塊的序列號新模塊的資產(chǎn)信息沒出現(xiàn)。原因模塊插拔檢測依賴背板上的 presence 信號和 BMC 輪詢。如果主節(jié)點(diǎn) BMC 的輪詢周期設(shè)置過長或者背板信號線接觸不良就會漏檢。另外部分廠家的 BMC 固件在模塊熱插拔時不會主動觸發(fā)資產(chǎn)刷新需要手動刷新或重啟管理服務(wù)。解決先確認(rèn)背板 presence 信號是否正常看 BMC 日志里有沒有模塊上下線事件如果信號正常但資產(chǎn)不更新檢查 BMC 固件的資產(chǎn)管理模塊版本必要時升級臨時方案是通過管理命令手動觸發(fā)資產(chǎn)掃描。4.2 風(fēng)扇調(diào)速策略和模塊溫度不匹配現(xiàn)象某個模塊 CPU 溫度已經(jīng)很高但機(jī)框風(fēng)扇轉(zhuǎn)速沒提上去模塊開始降頻。原因機(jī)框風(fēng)扇調(diào)速通?；跈C(jī)框級溫度傳感器而不是模塊內(nèi)部 CPU 溫度。如果模塊的散熱設(shè)計依賴機(jī)框風(fēng)扇但機(jī)框風(fēng)扇看不到模塊內(nèi)部溫度就會出現(xiàn)模塊熱但風(fēng)扇不轉(zhuǎn)的情況。規(guī)范里風(fēng)扇調(diào)速要求沒有強(qiáng)制規(guī)定傳感器位置不同廠家實(shí)現(xiàn)差異大。解決檢查機(jī)框風(fēng)扇調(diào)速曲線是否包含模塊進(jìn)風(fēng)口溫度如果只基于機(jī)框溫度需要在模塊 BMC 里設(shè)置溫度告警閾值通過管理總線通知機(jī)框 BMC 提轉(zhuǎn)速選型時優(yōu)先選支持模塊溫度聯(lián)動的機(jī)框。4.3 主從節(jié)點(diǎn)切換導(dǎo)致管理中斷現(xiàn)象主節(jié)點(diǎn)模塊故障重啟整個機(jī)框的管理界面失聯(lián)從節(jié)點(diǎn)模塊的業(yè)務(wù)雖然沒斷但無法管理。原因主從方案里主節(jié)點(diǎn) BMC 是唯一管理出口主節(jié)點(diǎn)故障時管理功能沒有備份。規(guī)范沒有強(qiáng)制要求主節(jié)點(diǎn)冗余所以很多實(shí)現(xiàn)是單點(diǎn)。解決如果業(yè)務(wù)對管理連續(xù)性要求高選 RMC 方案如果已經(jīng)用了主從方案配置管理口冗余比如主節(jié)點(diǎn)管理網(wǎng)口和從節(jié)點(diǎn)管理網(wǎng)口都接入管理交換機(jī)主節(jié)點(diǎn)故障時手動切換管理 IP長期方案是推動廠家支持主節(jié)點(diǎn)自動選舉。4.4 電源冗余配置和實(shí)際功耗不匹配現(xiàn)象配置了 11 冗余電源但一個電源故障后系統(tǒng)直接下電。原因電源冗余的前提是單個電源能承載整機(jī)滿載功耗。如果兩個電源各 800W整機(jī)滿載 1000W11 冗余下單個電源帶不動故障時就掉電。規(guī)范里電源要求寫了冗余和熱插拔但沒有強(qiáng)制規(guī)定電源功率和整機(jī)功耗的比例。解決計算整機(jī)滿載功耗CPU TDP 內(nèi)存 硬盤 PCIe 卡 風(fēng)扇確保單個電源額定功率大于滿載功耗的 1.2 倍如果空間允許選更高功率電源管理界面里監(jiān)控電源負(fù)載率超過 60% 就要警惕。4.5 時鐘同步方案在 SOC 模塊上不生效現(xiàn)象SOC 模塊配置了 PTP 時鐘同步但時間精度達(dá)不到要求或者 GNSS 信號丟失后沒有 holdover。原因規(guī)范里時鐘和同步是可選只涉及 SOC 模塊意味著不是所有 SOC 模塊都支持。如果模塊硬件沒有 1PPS 接口或 GNSS 模塊軟件配置再對也沒用。另外 PTP 對網(wǎng)絡(luò)交換機(jī)的透明時鐘支持有要求普通交換機(jī)不保證精度。解決選型時確認(rèn) SOC 模塊硬件支持 1PPS、TOD、GNSS檢查交換機(jī)是否支持 PTP 透明時鐘GNSS 天線要放在能收到信號的位置邊緣機(jī)房通常在地下室或封閉空間GNSS 信號可能很差需要外部天線引到室外。5. 設(shè)計取舍模塊化到底犧牲了什么模塊化服務(wù)器的代價規(guī)范里沒有明說但從技術(shù)約束能反推出來。第一是密度。1U 半寬模塊 180mm 寬兩個并排 360mm加上機(jī)框結(jié)構(gòu)件和背板實(shí)際可用寬度比標(biāo)準(zhǔn) 1U 服務(wù)器少。標(biāo)準(zhǔn) 1U 服務(wù)器能放 10 個 2.5 寸硬盤1U 半寬模塊只能放 2 個。存儲密度下降是模塊化的必然代價換來的是靈活性。第二是散熱效率。整機(jī)服務(wù)器風(fēng)道是統(tǒng)一設(shè)計的模塊化服務(wù)器每個模塊有自己的進(jìn)風(fēng)口和出風(fēng)口機(jī)框風(fēng)扇要同時照顧多個模塊風(fēng)道復(fù)雜度高。規(guī)范里 CPU TDP 上限標(biāo)注基于風(fēng)冷條件暗示風(fēng)冷下模塊化服務(wù)器的散熱能力比整機(jī)弱液冷才能釋放全部性能。第三是管理復(fù)雜度。整機(jī)一個 BMC 搞定模塊化要處理主從或 RMC管理軟件復(fù)雜度上升。帶外管理功能集里資產(chǎn)管理、部件信息管理、傳感器監(jiān)控都要處理模塊歸屬問題開發(fā)工作量比整機(jī)大。第四是成本。模塊化意味著每個模塊都要有獨(dú)立的 BMC、電源轉(zhuǎn)換、時鐘電路物料成本比整機(jī)高。但邊緣場景下靈活配置帶來的運(yùn)維成本下降能抵消硬件成本上升——一個機(jī)框備幾種模塊現(xiàn)場按需組合比備幾種整機(jī)庫存壓力小。驗(yàn)證這套設(shè)計是否合理最直接的方法是看故障域。整機(jī)服務(wù)器故障域是整個機(jī)箱模塊化服務(wù)器故障域是單個模塊。一個模塊掛了其他模塊繼續(xù)跑管理界面還能看到故障模塊的狀態(tài)。對于邊緣計算場景這種故障隔離能力比密度更重要——邊緣機(jī)房無人值守一次故障導(dǎo)致整機(jī)宕機(jī)恢復(fù)時間可能是幾小時模塊化下只損失部分算力業(yè)務(wù)可以遷移到其他模塊。從那以后我每次評估模塊化服務(wù)器方案都會強(qiáng)制走一遍故障域推演假設(shè)任意一個模塊、任意一個電源、任意一個風(fēng)扇故障系統(tǒng)還剩多少可用算力管理界面是否還能訪問業(yè)務(wù)能否自動遷移。這個推演比看規(guī)格表更能判斷方案是否真的適合邊緣場景。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取