簡(jiǎn)介面向思科ACI運(yùn)維與網(wǎng)絡(luò)工程師的《APIC手動(dòng)安裝及升級(jí)》PDF文檔聚焦APIC控制器從零安裝到高版本升級(jí)的完整路徑。內(nèi)容源于作者在實(shí)驗(yàn)環(huán)境中獨(dú)立摸索的真實(shí)記錄不依賴(lài)原廠TAC支持清晰還原了HTTP文件服務(wù)器搭建、CIMC與BIOS狀態(tài)確認(rèn)、TPM激活、鏡像校驗(yàn)以及安裝階段常見(jiàn)的啟動(dòng)卡死、引導(dǎo)盤(pán)識(shí)別錯(cuò)誤等易錯(cuò)點(diǎn)。文檔還對(duì)比了本地上傳與HTTP上傳兩種固件分發(fā)方式給出了從2.2.4r到4.2.7u、再到5.x的升級(jí)版本路徑并針對(duì)生產(chǎn)環(huán)境與實(shí)驗(yàn)環(huán)境的差異給出提醒。整個(gè)壓縮包共包含1個(gè)PDF文件大小約2.1MB內(nèi)容緊湊且可直接對(duì)照查閱已有578人下載學(xué)習(xí)適合準(zhǔn)備部署或升級(jí)ACI APIC的中高級(jí)網(wǎng)絡(luò)工程師作為動(dòng)手前的避坑參考。1. APIC手動(dòng)安裝一周血淚踩坑才裝通的控制器某實(shí)驗(yàn)環(huán)境里有一臺(tái)APIC控制器原本跑著4.x版本一次誤操作把系統(tǒng)引導(dǎo)干掉了。找原廠TAC是一條路但實(shí)驗(yàn)環(huán)境我更想自己摸一遍結(jié)果這一摸就是一周。Cisco ACI APIC手動(dòng)安裝這件事網(wǎng)上資料分散官方文檔又把幾個(gè)關(guān)鍵條件一筆帶過(guò)真正卡人的是vKVM掛載、HTTP文件服務(wù)器、TPM激活、RAID引導(dǎo)盤(pán)這幾個(gè)環(huán)節(jié)。我前后重裝了十幾次光一個(gè)Starting Terminate Plymouth Boot Screen就掛了一整晚等不到結(jié)果。這篇安裝記錄寫(xiě)給正在重裝APIC的開(kāi)發(fā)者也寫(xiě)給準(zhǔn)備做版本升級(jí)的運(yùn)維把參數(shù)、順序、報(bào)錯(cuò)一次講透照著走能少熬幾個(gè)夜。2. 裝前準(zhǔn)備HTTP文件服務(wù)器、固件版本與TPM激活一樣都別省APIC手動(dòng)安裝之所以容易失敗多數(shù)不是安裝過(guò)程本身的問(wèn)題而是前置條件沒(méi)滿(mǎn)足。文件服務(wù)器用的是HTTP還是NFS、BIOS版本夠不夠、鏡像MD5有沒(méi)有校驗(yàn)、TPM有沒(méi)有激活任何一項(xiàng)不對(duì)后面都會(huì)以各種詭異的方式翻車(chē)。所以第一步別急著掛ISO先把這些基礎(chǔ)項(xiàng)逐條過(guò)一遍。2.1 文件服務(wù)器必須走HTTPHFS輕量級(jí)搭建APIC共享目錄安裝APIC時(shí)ISO鏡像不放在本機(jī)而是通過(guò)引導(dǎo)程序從外部服務(wù)器拉取。文件服務(wù)器是NFS、CIFS還是HTTP看起來(lái)差別不大實(shí)際影響很大。我一開(kāi)始用NFS方式掛載安裝程序讀到一半就沒(méi)反應(yīng)反復(fù)試了兩三次都卡在同一個(gè)位置換成HTTP后一次就通了。HTTP是無(wú)狀態(tài)協(xié)議連接建立簡(jiǎn)單鏡像傳輸過(guò)程中不容易被額外的服務(wù)依賴(lài)拖住APIC安裝引導(dǎo)對(duì)HTTP的兼容也最穩(wěn)。文件服務(wù)器不用搭得很重HFS這個(gè)輕量級(jí)程序就夠用。它在Windows下運(yùn)行雙擊啟動(dòng)后在界面里新增一個(gè)名為APIC的虛擬目錄把鏡像文件放進(jìn)去HTTP訪問(wèn)能打開(kāi)就算通了。HFS默認(rèn)監(jiān)聽(tīng)8080端口訪問(wèn)地址類(lèi)似http://192.168.1.105:8080/APIC/。配置參數(shù)整理如下。配置項(xiàng)推薦值說(shuō)明服務(wù)器IP192.168.1.105與APIC管理地址同網(wǎng)段保證路由可達(dá)端口8080HFS默認(rèn)端口注意防火墻放行共享目錄APICHFS里新增的虛擬目錄名大小寫(xiě)敏感鏡像URLhttp://192.168.1.105:8080/APIC/aci-apic-dk9.2.2.4r.iso安裝引導(dǎo)時(shí)要填寫(xiě)的完整地址注意一點(diǎn)共享目錄名和鏡像文件名的大小寫(xiě)在URL里必須與實(shí)際情況完全一致。APIC的CentOS引導(dǎo)對(duì)路徑匹配是嚴(yán)格校驗(yàn)的大小寫(xiě)不對(duì)會(huì)直接報(bào)403或者拉不到文件。搭建完成后先在瀏覽器里把http://192.168.1.105:8080/APIC/打開(kāi)能看到鏡像文件列表再往下走不要等到安裝引導(dǎo)時(shí)才驗(yàn)證那會(huì)兒定位問(wèn)題就麻煩了。2.2 CIMC與BIOS版本4.1不影響上5.x建議升HuuAPIC底層是Cisco UCS C系列的硬件遠(yuǎn)程管理依賴(lài)CIMC底層引導(dǎo)依賴(lài)BIOS。我手上這臺(tái)C220M4的CIMC固件版本很低顯示Firmware Version 2.0(3i)BIOS原本是4.1。考慮到后面要升到5.x我用Huu鏡像把BIOS升到了4.4版本號(hào)為C220M4.4.1.2c.0.0202211901。實(shí)測(cè)裝4.2版本時(shí)BIOS保持4.1也可以正常安裝不影響結(jié)果但目標(biāo)如果是5.x建議CIMC和BIOS一起用Huu升級(jí)整個(gè)過(guò)程大約半小時(shí)能全部完成。組件初始版本升級(jí)后版本必備性CIMC Firmware2.0(3i)2.0(3i)或更高上5.x建議一并升級(jí)BIOS4.14.4C220M4.4.1.2c.0.0202211901裝4.2時(shí)4.1夠用BIOS升級(jí)最好放在裝APIC系統(tǒng)之前做免得系統(tǒng)裝完再去動(dòng)固件又要多一次重啟。把Huu鏡像掛到CIMC虛擬光驅(qū)里進(jìn)入升級(jí)維護(hù)界面后按提示刷新半小時(shí)內(nèi)完成期間一定不要斷電升級(jí)失敗的話CIMC本身可能起不來(lái)那就真的進(jìn)退兩難了。2.3 鏡像下載與MD5校驗(yàn)2.2.4r到4.2.7u的版本路徑鏡像版本路徑需要提前確認(rèn)不能想升哪個(gè)就升哪個(gè)。我這次的路徑是先把APIC恢復(fù)到2.2.4r再升級(jí)到4.2.7u最后上5.x。跨版本跳躍在兩三代以上容易出兼容問(wèn)題官方版本兼容矩陣頁(yè)也建議按順序走這一步查文檔花不了幾分鐘值得做。下載ISO后先做MD5校驗(yàn)。我見(jiàn)過(guò)有人跳過(guò)校驗(yàn)直接掛載裝到一半報(bào)錯(cuò)還以為是安裝方式問(wèn)題其實(shí)是鏡像文件本身?yè)p壞。校驗(yàn)命令很簡(jiǎn)單。md5sum aci-apic-dk9.2.2.4r.iso # 輸出示例a1b2c3d4...逐位對(duì)比官網(wǎng)給出的MD5值對(duì)比時(shí)注意大小寫(xiě)MD5值不匹配就重新下載千萬(wàn)別拿一個(gè)無(wú)法確定完整性的鏡像當(dāng)后備。這步算是我吃了不少虧后的條件反射鏡像校驗(yàn)是后面所有安裝動(dòng)作的前提寧可多花幾分鐘重新下載也不要在安裝到一半時(shí)才懷疑人生。2.4 TPM激活BIOS里那個(gè)最容易被忽略的開(kāi)關(guān)TPM在APIC安裝里扮演的角色很容易被忽略但它和安裝卡死、安裝中途報(bào)錯(cuò)直接相關(guān)。進(jìn)入BIOS的Advanced菜單找到Trust ComputingTPM開(kāi)關(guān)就在里面必須確保Current Status顯示為Active。如果進(jìn)去發(fā)現(xiàn)配置項(xiàng)是灰色的說(shuō)明BIOS沒(méi)有設(shè)置administrator密碼安全配置處于鎖定狀態(tài)。先到BIOS里把a(bǔ)dministrator密碼設(shè)置好密碼我一般放password方便后面反復(fù)進(jìn)出再回到Trust Computing配置TPM確認(rèn)狀態(tài)變成Active。BIOS密碼這個(gè)細(xì)節(jié)第一次折騰時(shí)我卡了很久一度以為硬件不支持TPM其實(shí)只是密碼沒(méi)設(shè)。設(shè)完密碼后TPM的開(kāi)關(guān)從灰色變成可配置激活后保存退出。這里建議把TPM狀態(tài)記錄下來(lái)后面安裝如果報(bào)TPM相關(guān)錯(cuò)誤可以少走彎路。TPM不active的影響不一定在開(kāi)機(jī)時(shí)暴露有時(shí)是系統(tǒng)下載完鏡像開(kāi)始校驗(yàn)時(shí)才報(bào)那時(shí)再回頭改BIOS等于整個(gè)安裝流程白走一遍。3. 手動(dòng)安裝APIC 2.2.4rvKVM掛載到初始化配置的完整流程前置條件全部就緒后進(jìn)入正式安裝。整個(gè)流程分四段引導(dǎo)掛載、網(wǎng)絡(luò)參數(shù)、RAID引導(dǎo)盤(pán)、初始化配置。每一段都有獨(dú)立的坑按順序走完APIC 2.2.4r才能順利跑起來(lái)。3.1 引導(dǎo)安裝F6進(jìn)入boot menu選擇vDVD先在CIMC遠(yuǎn)程控制臺(tái)掛載DVD鏡像把2.2.4r的ISO映射到虛擬光驅(qū)。映射完成后APIC重啟開(kāi)機(jī)時(shí)按F6進(jìn)入boot menu選擇Cisco vKVM-Mapped vDVD1.22從虛擬光驅(qū)引導(dǎo)。這里要注意F6的時(shí)機(jī)進(jìn)入boot menu之前別松開(kāi)按鍵錯(cuò)過(guò)就要再來(lái)一次重啟。選擇引導(dǎo)項(xiàng)后能看到CentOS引導(dǎo)界面此時(shí)直接回車(chē)。接下來(lái)屏幕會(huì)變成藍(lán)色等待界面第一次裝的時(shí)候我以為系統(tǒng)卡死了等了十分鐘差點(diǎn)重啟。實(shí)際上這一步是在初始化硬件和掃描磁盤(pán)尤其是有多塊RAID卷時(shí)耗時(shí)會(huì)更長(zhǎng)。藍(lán)屏等待期間不要做任何操作讓它自己跑等下一步提示出現(xiàn)再繼續(xù)。后面我會(huì)專(zhuān)門(mén)講這個(gè)階段真正的卡死點(diǎn)長(zhǎng)什么樣和正常等待的區(qū)別在哪。3.2 網(wǎng)絡(luò)安裝參數(shù)Static IP、網(wǎng)關(guān)與HTTP URL關(guān)鍵項(xiàng)藍(lán)屏階段結(jié)束后屏幕下方會(huì)出現(xiàn)類(lèi)似press any key to con...的提示意思是引導(dǎo)程序準(zhǔn)備進(jìn)入外部鏡像拉取模式支持HTTP、SCP等方式。要在30秒內(nèi)按任意鍵否則會(huì)用默認(rèn)方式繼續(xù)等提示消失再按就沒(méi)有用了。按任意鍵后會(huì)進(jìn)入?yún)?shù)配置環(huán)節(jié)配置項(xiàng)按順序填寫(xiě)不要跳。Static IP : 192.168.1.222/24 Gateway : 192.168.1.1 NIC : eth0 Method : http URL : http://192.168.1.105:8080/APIC/aci-apic-dk9.2.2.4r.isoStatic IP填A(yù)PIC自己的管理地址必須與HTTP文件服務(wù)器同網(wǎng)段/24這種掩碼格式不能漏網(wǎng)關(guān)填交換機(jī)上的網(wǎng)關(guān)地址要和IP同一網(wǎng)段否則鏡像拉取跨不了三層。網(wǎng)卡用默認(rèn)的eth0不要試圖改成其他接口實(shí)驗(yàn)環(huán)境通常就這一個(gè)管理口。方式選http而不是scp省去認(rèn)證過(guò)程不容易在中途斷開(kāi)。URL就是之前文件服務(wù)器上鏡像的完整鏈接端口、目錄名、文件名一個(gè)都不能錯(cuò)寫(xiě)錯(cuò)一個(gè)字符就是404到時(shí)候還得重來(lái)?；剀?chē)后系統(tǒng)開(kāi)始自動(dòng)下載鏡像并安裝整個(gè)過(guò)程比較長(zhǎng)可以觀察屏幕日志。如果過(guò)程中出現(xiàn)TPM相關(guān)報(bào)錯(cuò)基本可以斷定是TPM沒(méi)激活到位回到BIOS確認(rèn)Current Status是否為Active再重新走安裝不要在這個(gè)節(jié)點(diǎn)反復(fù)重試?yán)速M(fèi)一晚上。3.3 RAID引導(dǎo)盤(pán)系統(tǒng)裝在RAID1上CIMC默認(rèn)引導(dǎo)盤(pán)要改安裝過(guò)程順利完成后系統(tǒng)提示重啟這時(shí)候也藏著這周踩過(guò)的最隱蔽的一個(gè)坑。我服務(wù)器的存儲(chǔ)配置是三塊硬盤(pán)其中兩塊組RAID1一塊組RAID0。手動(dòng)安裝時(shí)引導(dǎo)程序把系統(tǒng)寫(xiě)到了RAID1虛擬盤(pán)上但CIMC里配置的boot drive默認(rèn)指向的是RAID0那塊一百來(lái)G的盤(pán)結(jié)果重啟后直接提示找不到引導(dǎo)設(shè)備。第一次看到這個(gè)報(bào)錯(cuò)我以為安裝失敗了又重裝了一遍系統(tǒng)結(jié)果還是一樣最后才意識(shí)到是引導(dǎo)盤(pán)設(shè)置的問(wèn)題。解決辦法是進(jìn)CIMC的存儲(chǔ)設(shè)置把RAID1虛擬盤(pán)設(shè)為boot drive設(shè)備保存后重啟。這個(gè)操作在CIMC里是圖形界面找到啟動(dòng)設(shè)備配置把啟動(dòng)順序改成RAID1卷優(yōu)先重啟后就能看到系統(tǒng)引導(dǎo)了。這個(gè)坑提醒我APIC手動(dòng)安裝完成后一定要檢查CIMC里的boot drive配置而不是盲目懷疑安裝過(guò)程。安裝程序選引導(dǎo)盤(pán)的邏輯跟CIMC默認(rèn)啟動(dòng)項(xiàng)不一定一致裝完先確認(rèn)引導(dǎo)指向能省掉一次完全不必要的重裝。3.4 初始化配置實(shí)驗(yàn)環(huán)境單節(jié)點(diǎn)與生產(chǎn)環(huán)境三節(jié)點(diǎn)差異引導(dǎo)加載完成系統(tǒng)進(jìn)入初始化階段屏幕提示回車(chē)確認(rèn)。APIC的初始配置包括Controller ID、Fabric Name、管理IP、網(wǎng)關(guān)等參數(shù)。實(shí)驗(yàn)環(huán)境只有一臺(tái)控制器很多參數(shù)可以按默認(rèn)走生產(chǎn)環(huán)境標(biāo)準(zhǔn)部署是三臺(tái)APIC組成集群Controller ID、Fabric Name必須三臺(tái)統(tǒng)一規(guī)劃管理IP也要避開(kāi)業(yè)務(wù)網(wǎng)段。配置項(xiàng)實(shí)驗(yàn)環(huán)境生產(chǎn)環(huán)境建議Controller ID1分別設(shè)置為1/2/3Fabric Name自定義名稱(chēng)三臺(tái)保持一致Management IP192.168.1.222/24規(guī)劃獨(dú)立管理網(wǎng)段Gateway192.168.1.1管理網(wǎng)段網(wǎng)關(guān)POD ID1默認(rèn)配置完成后系統(tǒng)自動(dòng)拉起服務(wù)等控制臺(tái)回到可登錄狀態(tài)瀏覽器訪問(wèn)https://192.168.1.222能看到APIC登錄頁(yè)面就算安裝成功。到這里2.2.4r版本已經(jīng)跑起來(lái)了接下來(lái)開(kāi)始升級(jí)4.2.7u。4. APIC升級(jí)到4.2.7uFirmware Repository上傳與Controller Upgrade系統(tǒng)重裝完成后Web界面里還是2.2.4r。手動(dòng)安裝只是第一步真正的生產(chǎn)使用至少要在4.2以上所以繼續(xù)升級(jí)到4.2.7u。升級(jí)動(dòng)作都在Web界面的Firmware管理模塊里完成順序是上傳固件、確認(rèn)倉(cāng)庫(kù)、發(fā)起控制器升級(jí)、等待重啟。4.1 上傳固件Upload Firmware的本地提交與HTTP方式登錄APIC Web界面進(jìn)入Admin菜單找到Download Tasks在空白區(qū)域右鍵選擇Upload Firmware。這里有本地提交和HTTP路徑兩種選擇。本地方式是把4.2.7u的ISO文件從你的電腦直接傳上去走瀏覽器上傳通道適合文件服務(wù)器沒(méi)開(kāi)的時(shí)候應(yīng)急。HTTP方式則是填一個(gè)URL讓APIC自己去拉走的是后臺(tái)下載通道。4.2這代本地方式還能正常用后面到5.x就要注意了本地方式容易卡死最好統(tǒng)一走HTTP。上傳開(kāi)始后任務(wù)列表里能看到進(jìn)度。ISO文件有好幾個(gè)G取決于網(wǎng)絡(luò)環(huán)境可能需要等待一段時(shí)間。上傳期間不要關(guān)閉瀏覽器標(biāo)簽也不要切到其他用戶(hù)操作同一個(gè)任務(wù)。完成后在Firmware Repository里就能看到4.2.7u條目版本名、上傳時(shí)間都會(huì)列出來(lái)。如果上傳任務(wù)長(zhǎng)時(shí)間沒(méi)有進(jìn)度先看APIC到文件服務(wù)器的網(wǎng)絡(luò)通不通再?gòu)腁PIC側(cè)ping一下文件服務(wù)器IP兩層都通問(wèn)題基本出在文件名或目錄大小寫(xiě)。提示Firmware Repository是升級(jí)動(dòng)作的唯一版本來(lái)源Controller Upgrade只能從這里選版本上傳沒(méi)成功就看到倉(cāng)庫(kù)里沒(méi)數(shù)據(jù)先回來(lái)檢查上傳任務(wù)。4.2 Controller Upgrade4.2.7u版本升級(jí)實(shí)操倉(cāng)庫(kù)里有了4.2.7u后找到Controller Firmware節(jié)點(diǎn)右鍵選擇Controller Upgrade彈出升級(jí)對(duì)話框在版本列表里選4.2.7u點(diǎn)擊Upgrade Now立即執(zhí)行。升級(jí)任務(wù)會(huì)立刻進(jìn)入運(yùn)行狀態(tài)。整個(gè)過(guò)程分幾個(gè)階段先把鏡像分發(fā)到控制器本地接著做配置備份然后重啟控制器加載新版本。升級(jí)期間APIC會(huì)重啟一次屬于正?，F(xiàn)象不要看到Web界面斷連就去手動(dòng)重啟設(shè)備。重啟完成后APIC會(huì)重新拉起服務(wù)Web界面逐步恢復(fù)訪問(wèn)。這個(gè)升級(jí)動(dòng)作操作的順序不要亂先后順序整理如下。步驟操作位置動(dòng)作1Admin → Download Tasks右鍵Upload Firmware上傳4.2.7u2Firmware Repository確認(rèn)4.2.7u出現(xiàn)在版本列表3Controller Firmware右鍵Controller Upgrade4升級(jí)對(duì)話框選擇4.2.7u并Upgrade Now4.3 升級(jí)狀態(tài)跟蹤重啟期間該看什么、不該做什么升級(jí)發(fā)起后Download Tasks或升級(jí)任務(wù)面板會(huì)顯示整體進(jìn)度包括鏡像下載、配置備份、控制器重啟等階段。每個(gè)階段耗時(shí)不短中間控制臺(tái)會(huì)頻繁出現(xiàn)服務(wù)重啟。這段時(shí)間最忌諱的是手動(dòng)干預(yù)比如斷電、重啟、關(guān)閉瀏覽器任一動(dòng)作都可能導(dǎo)致控制器狀態(tài)不一致嚴(yán)重的話得重新上傳固件再走一遍。等待期間可以觀察vKVM控制臺(tái)的日志輸出如果停在某個(gè)位置超過(guò)較長(zhǎng)時(shí)間先判斷是正常的服務(wù)拉起還是卡死。APIC控制器服務(wù)全起來(lái)通常要十幾分鐘只要控制臺(tái)還在持續(xù)打日志就耐心等。如果升級(jí)任務(wù)直接顯示失敗不要立刻重新發(fā)起Controller Upgrade先打開(kāi)任務(wù)詳情看失敗原因常見(jiàn)的是磁盤(pán)空間不足或鏡像下載不完整把根因處理掉再重試才有意義。升級(jí)完成后輸入https://192.168.1.222登錄后確認(rèn)版本號(hào)更新到4.2.7u控制器狀態(tài)為Active這輪升級(jí)就正式完成了。5. APIC安裝升級(jí)避坑指南三個(gè)Starting卡死點(diǎn)與引導(dǎo)盤(pán)問(wèn)題手動(dòng)安裝和升級(jí)APIC遇到的問(wèn)題很多不是一次性報(bào)錯(cuò)而是卡在某個(gè)位置不動(dòng)或者重啟后找不到引導(dǎo)排查起來(lái)費(fèi)時(shí)間。這章把踩過(guò)的坑按現(xiàn)象、原因、解決的順序列清楚遇到同類(lèi)問(wèn)題可以直接對(duì)照。5.1 安裝卡死三個(gè)Starting掛起現(xiàn)象安裝引導(dǎo)過(guò)程中屏幕會(huì)停在Starting Terminate Plymouth Boot Screen、Starting Anaconda NetworkManager configuration、Starting Dump dmesg to /var/log/dmesg這幾個(gè)Starting提示中的任意一個(gè)10分鐘沒(méi)有下文等多久都不會(huì)再動(dòng)。原因網(wǎng)上常見(jiàn)的改inst.rzam0、在引導(dǎo)命令行里改參數(shù)這些方法我都試過(guò)沒(méi)有效果。多方驗(yàn)證下來(lái)比較可信的方向有兩個(gè)TPM沒(méi)有正確激活或者硬盤(pán)容量不足。單獨(dú)激活TPM后我重新測(cè)試依然會(huì)卡死懷疑需要TPM加磁盤(pán)容量同時(shí)滿(mǎn)足才能穩(wěn)定通過(guò)。我實(shí)驗(yàn)室的APIC是三塊硬盤(pán)兩塊組RAID1一塊組RAID0容量并不寬裕系統(tǒng)安裝時(shí)對(duì)臨時(shí)空間的要求不低。解決先把TPM在BIOS里激活為Active再把硬盤(pán)容量做大最好每塊盤(pán)都是500GB起步多配幾塊。如果條件允許可以試試TPM激活加擴(kuò)容同時(shí)操作。這個(gè)坑在安裝階段出現(xiàn)頻率最高建議在掛ISO之前就把這兩項(xiàng)準(zhǔn)備好而不是等到卡死之后再去猜原因。5.2 引導(dǎo)盤(pán)丟失CIMC默認(rèn)啟動(dòng)設(shè)備與RAID1不一致現(xiàn)象系統(tǒng)安裝完成、重啟后屏幕提示找不到引導(dǎo)設(shè)備無(wú)法進(jìn)入系統(tǒng)看著就像是安裝失敗了一樣。原因安裝程序把引導(dǎo)寫(xiě)在了RAID1虛擬盤(pán)上但CIMC里配置的boot drive指向的是RAID0那塊一百來(lái)G的盤(pán)。啟動(dòng)時(shí)CIMC按自己配置的順序去引導(dǎo)從RAID0沒(méi)找到系統(tǒng)就報(bào)找不到引導(dǎo)。我一開(kāi)始誤判成安裝失敗重復(fù)裝了兩遍才反應(yīng)過(guò)來(lái)。解決進(jìn)CIMC存儲(chǔ)設(shè)置把RAID1虛擬盤(pán)設(shè)為boot drive保存后重啟。這個(gè)操作不會(huì)影響RAID數(shù)據(jù)只是修改啟動(dòng)優(yōu)先級(jí)?？梢栽谥貑⑶跋却_認(rèn)一下boot drive的指向避免重啟后再折騰一輪。這個(gè)坑最容易讓人做無(wú)用功因?yàn)榘惭b日志完全正常問(wèn)題出在CIMC的啟動(dòng)配置上。5.3 5.x升級(jí)上傳卡死本地方式不行HTTP方式穩(wěn)現(xiàn)象升級(jí)到5.x版本時(shí)用本地方式上傳ISO上傳開(kāi)始后不久進(jìn)度就不再變化任務(wù)掛起沒(méi)有下文刷新任務(wù)列表也看不到成功狀態(tài)。原因高版本固件上傳對(duì)本地瀏覽器上傳通道的兼容性不好連接被掛住重試多次結(jié)果一樣。本地方式在4.2這代還能正常用到了5.x就成了高風(fēng)險(xiǎn)操作。我一開(kāi)始還以為是瀏覽器問(wèn)題換了瀏覽器還是卡最后換回HTTP方式才順利傳完。解決改用HTTP文件服務(wù)器方式上傳把ISO地址填給APIC讓它直接從HTTP服務(wù)器拉取。這也是為什么前面強(qiáng)調(diào)文件服務(wù)器不要裝完就拆后面升級(jí)還要靠它。如果HTTP也沒(méi)反應(yīng)先確認(rèn)APIC到文件服務(wù)器的路由和防火墻8080端口要從APIC側(cè)能訪問(wèn)。這個(gè)坑的教訓(xùn)是能走HTTP的固件上傳就不要圖省事走本地。5.4 TPM灰色不可配置先設(shè)BIOS administrator密碼現(xiàn)象BIOS的Advanced → Trust Computing頁(yè)面里TPM開(kāi)關(guān)是灰色鼠標(biāo)無(wú)法操作Current Status也無(wú)法修改。原因BIOS沒(méi)有設(shè)置administrator密碼安全配置鎖定TPM相關(guān)選項(xiàng)不被允許修改。這是BIOS層面的保護(hù)機(jī)制并不是硬件不支持TPM很多人在這一步誤判成服務(wù)器型號(hào)不支持直接跳過(guò)TPM配置結(jié)果安裝階段卡死找不到原因。解決先在BIOS里設(shè)置administrator密碼簡(jiǎn)單放password也夠?qū)嶒?yàn)用保存退出后重新進(jìn)入Trust ComputingTPM開(kāi)關(guān)就能操作了。設(shè)置完成后確認(rèn)Current Status顯示為Active再離開(kāi)。這個(gè)坑很容易被忽略而TPM狀態(tài)不對(duì)又會(huì)引發(fā)安裝過(guò)程卡死屬于連環(huán)坑配置順序上一定要把BIOS密碼放在TPM激活之前。6. 裝完怎么驗(yàn)證從Web版本號(hào)到集群狀態(tài)的確認(rèn)方法APIC裝完或者升級(jí)完不能只看一眼版本號(hào)就算結(jié)束?？刂破髦貑⒑蠓?wù)拉起有延遲我習(xí)慣按固定順序過(guò)三遍確認(rèn)系統(tǒng)真正進(jìn)入可用狀態(tài)。第一遍先看Web界面。瀏覽器打開(kāi)https://192.168.1.222能正常出現(xiàn)登錄頁(yè)并完成登錄說(shuō)明控制器Web服務(wù)已經(jīng)起來(lái)了。登錄后看Dashboard右上角的版本號(hào)升級(jí)后應(yīng)顯示4.2.7u或目標(biāo)5.x版本如果還是舊版本號(hào)說(shuō)明升級(jí)沒(méi)有實(shí)際生效需要回去看任務(wù)狀態(tài)。緊接著打開(kāi)System → Controllers確認(rèn)控制器狀態(tài)是Active不是Out-of-Service也不是Standby。第二遍用CLI確認(rèn)。SSH登錄APIC執(zhí)行版本查看命令apic1# version # 輸出中的 Software Version 與升級(jí)目標(biāo)一致 apic1# show version # 查看更詳細(xì)的系統(tǒng)固件信息部分版本支持該命令如果show version在當(dāng)前版本不識(shí)別用version命令就夠了。APIC的命令集每個(gè)大版本都會(huì)調(diào)整命令不存在時(shí)報(bào)錯(cuò)是正常的不要硬套網(wǎng)絡(luò)設(shè)備的習(xí)慣以Web界面信息為準(zhǔn)。第三遍看集群健康。單節(jié)點(diǎn)的實(shí)驗(yàn)環(huán)境Fabric健康分?jǐn)?shù)不一定是滿(mǎn)分但只要沒(méi)有紅色告警、控制器沒(méi)有進(jìn)入服務(wù)中斷狀態(tài)就算正常。生產(chǎn)環(huán)境的話還要登錄其他兩個(gè)APIC節(jié)點(diǎn)確認(rèn)三臺(tái)控制器的版本一致、集群同步正常。健康分?jǐn)?shù)和控制器狀態(tài)都確認(rèn)完再去做業(yè)務(wù)配置也不遲。這套驗(yàn)證動(dòng)作我堅(jiān)持了很長(zhǎng)時(shí)間后來(lái)總結(jié)成四步清單MD5校驗(yàn)、TPM狀態(tài)確認(rèn)、HTTP服務(wù)器連通性、RAID引導(dǎo)盤(pán)指向。每次手動(dòng)裝APIC前強(qiáng)制把清單過(guò)一遍再開(kāi)始動(dòng)安裝流程這習(xí)慣幫我少熬了不知道多少夜的待機(jī)等待希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取