絡(luò)設(shè)備安裝與調(diào)試實(shí)戰(zhàn)：機(jī)柜上架、VLAN規(guī)劃與鏈路聚合驗(yàn)收)
1. 從機(jī)柜上電那一刻說(shuō)起網(wǎng)絡(luò)設(shè)備安裝與調(diào)試到底在裝什么干了這些年我越來(lái)越覺(jué)得“網(wǎng)絡(luò)設(shè)備安裝與調(diào)試”這八個(gè)字被講窄了。很多人一聽(tīng)標(biāo)題腦子里浮現(xiàn)的畫面就是抱著交換機(jī)往機(jī)柜里一塞、擰螺絲、插網(wǎng)線、開(kāi)機(jī)、看燈亮不亮——如果真這么簡(jiǎn)單機(jī)房夜里就不會(huì)有人蹲在地上對(duì)著console口一根一根試串口線了。我理解的網(wǎng)絡(luò)設(shè)備安裝與調(diào)試是把一臺(tái)出廠狀態(tài)的硬件設(shè)備通過(guò)物理固定、供電規(guī)劃、端口布線、基礎(chǔ)配置、協(xié)議調(diào)優(yōu)、連通性驗(yàn)證和長(zhǎng)期可運(yùn)維性設(shè)計(jì)變成一個(gè)能在真實(shí)業(yè)務(wù)環(huán)境里穩(wěn)定承載流量的節(jié)點(diǎn)。它涉及的東西比想象的要寬機(jī)柜空間與承重、風(fēng)道與散熱、強(qiáng)弱電分離、標(biāo)簽體系、傻瓜式開(kāi)局和批量配置、二層環(huán)網(wǎng)與生成樹、三層路由與冗余網(wǎng)關(guān)、鏈路聚合、VLAN規(guī)劃、DHCP中繼、NTP與日志、SNMP監(jiān)控最后才是那句輕飄飄的“ping通了”。這篇內(nèi)容適合誰(shuí)看剛?cè)胄小⒌谝淮为?dú)立接手一個(gè)機(jī)柜安裝任務(wù)的運(yùn)維新人從服務(wù)器運(yùn)維轉(zhuǎn)網(wǎng)絡(luò)、需要補(bǔ)一套完整落地流程的朋友還有中小項(xiàng)目里既管弱電又管IT的“全棧型”負(fù)責(zé)人。哪怕你目前只會(huì)在機(jī)柜前面擰螺絲、只會(huì)在瀏覽器里點(diǎn)開(kāi)設(shè)備管理頁(yè)面照著這篇里的順序走也能把一個(gè)機(jī)房的接入層和匯聚層做得像樣。我下面講的所有步驟都基于一條主線先把物理和規(guī)劃做對(duì)再去碰配置。因?yàn)榫W(wǎng)絡(luò)設(shè)備的坑八成不是配置寫錯(cuò)了而是坐標(biāo)從一開(kāi)始就沒(méi)對(duì)齊。物理層埋的雷后面用一百條命令也排不干凈。這是我的經(jīng)驗(yàn)里最貴的一條也是我寫這篇東西最想讓你先拿到的一條。2. 安裝前的整體設(shè)計(jì)與方案取舍2.1 為什么規(guī)劃要走在螺絲刀前面我見(jiàn)過(guò)太多“先裝后想”的場(chǎng)景設(shè)備上架了、線也插了突然發(fā)現(xiàn)U位不夠、電源插排孔位不匹配、光模塊型號(hào)買錯(cuò)、上行鏈路要走的橋架被空調(diào)管道擋死了。每一次返工都是把已經(jīng)捆好的線全部剪開(kāi)重來(lái)。所以我的習(xí)慣是動(dòng)設(shè)備之前先出一張“安裝任務(wù)單”不用多正式一張A4紙就夠但上面必須寫清楚這幾個(gè)坐標(biāo)設(shè)備清單與U位占用每臺(tái)設(shè)備的型號(hào)、尺寸1U/2U、功耗、端口數(shù)量與類型在機(jī)柜里的具體U位。上行方向與走線路由上行到匯聚設(shè)備從哪一側(cè)出線走左走線架還是右走線架有沒(méi)有跨越強(qiáng)電。供電總賬整柜峰值功耗、單路電源容量、PDU插口類型與數(shù)量、是否需要雙路供電。地址與VLAN規(guī)劃每臺(tái)設(shè)備的管理地址、業(yè)務(wù)網(wǎng)段、VLAN ID分配、網(wǎng)關(guān)位置。命名與標(biāo)簽規(guī)則設(shè)備名、端口描述、線纜標(biāo)簽的統(tǒng)一格式。這張單子看著簡(jiǎn)單但它是后面所有事情的基準(zhǔn)。沒(méi)有它就沒(méi)有“調(diào)試”這回事只有“試”。我個(gè)人的經(jīng)驗(yàn)是一張安裝任務(wù)單如果能在機(jī)柜前被另一個(gè)沒(méi)參與規(guī)劃的人看懂這個(gè)項(xiàng)目基本不會(huì)出大亂子。2.2 接入層、匯聚層、核心層怎么分而不亂標(biāo)題里說(shuō)“網(wǎng)絡(luò)設(shè)備”最常見(jiàn)的組合是接入交換機(jī)、匯聚交換機(jī)和路由器。小項(xiàng)目里匯聚和核心經(jīng)常合并成一臺(tái)這沒(méi)問(wèn)題但角色的邊界還是得在心里劃清楚因?yàn)樗鼪Q定了你的配置寫在哪兒、故障定位從哪一層開(kāi)始。層級(jí)典型角色部署位置配置重心接入層終端接入、VLAN劃分、端口安全機(jī)柜頂部或中部端口速率/雙工、PoE、端口隔離、DHCP Snooping匯聚層策略集中、跨VLAN路由、冗余網(wǎng)關(guān)機(jī)房主柜鏈路聚合、生成樹、VRRP、ACL策略入口核心/出口內(nèi)外網(wǎng)邊界、NAT、策略與帶寬控制機(jī)房主柜上部或獨(dú)立機(jī)柜路由、NAT、策略路由、日志與流量鏡像我為什么強(qiáng)調(diào)這個(gè)分層因?yàn)橥慌_(tái)設(shè)備在不同項(xiàng)目里角色可能不一樣。一臺(tái)24口千兆交換機(jī)放在小辦公室里就是“核心”放在園區(qū)樓棟里就是“接入”。角色決定配置思路不是型號(hào)決定。很多新手拿著型號(hào)去套配置模板套完發(fā)現(xiàn)圈環(huán)、丟包、策略失效根本原因是模板對(duì)應(yīng)的角色和他的實(shí)際拓?fù)鋵?duì)不上。2.3 獨(dú)立調(diào)試還是“邊裝邊調(diào)”兩種節(jié)奏的取舍實(shí)際操作里有兩套節(jié)奏我都用過(guò)各有適用場(chǎng)景。第一套是“裝完統(tǒng)一調(diào)”物理安裝全部完成、標(biāo)簽打完、線纜理順之后再統(tǒng)一上電配配置。好處是現(xiàn)場(chǎng)干凈、節(jié)奏可控、能一次性做整體驗(yàn)證壞處是如果單臺(tái)設(shè)備有硬件問(wèn)題發(fā)現(xiàn)得晚返工時(shí)要拆線。第二套是“單機(jī)先驗(yàn)再上架”每臺(tái)設(shè)備先在旁邊桌面完成開(kāi)機(jī)自檢、固件升級(jí)、基礎(chǔ)配置、管理地址和遠(yuǎn)程登錄驗(yàn)證確認(rèn)硬件和固件沒(méi)問(wèn)題再上架、插線、聯(lián)調(diào)。好處是硬件故障在最早暴露固件版本能先統(tǒng)一壞處是需要額外的桌面空間和臨時(shí)電源現(xiàn)場(chǎng)管理更碎。我更傾向第二套尤其是設(shè)備數(shù)量超過(guò)五六臺(tái)的時(shí)候。理由很實(shí)在固件升級(jí)需要重啟重啟期間在機(jī)柜里做很別扭而且升級(jí)失敗時(shí)在桌面環(huán)境更好排查。另外單機(jī)先驗(yàn)?zāi)茏屇惆言O(shè)備名稱、管理地址、管理VLAN這些基礎(chǔ)項(xiàng)一次性配好上架后只剩物理連接和協(xié)議聯(lián)調(diào)效率高很多。2.4 設(shè)備選型與配件的幾個(gè)硬約束選型這件事我通常不從“哪個(gè)品牌好”入手而從約束條件倒推端口數(shù)與速率結(jié)構(gòu)不是看總口數(shù)而是看“接入千兆 上行萬(wàn)兆”這類比例。上行口不夠后面加聚合就沒(méi)位置。供電與PoE預(yù)算如果接攝像頭或無(wú)線接入點(diǎn)PoE總功率預(yù)算必須留足30%以上余量否則滿配時(shí)設(shè)備會(huì)拒絕供電。散熱與風(fēng)道方向機(jī)柜如果是前后風(fēng)道設(shè)備進(jìn)出風(fēng)方向必須一致不能一臺(tái)前進(jìn)后出、一臺(tái)后進(jìn)前出否則熱風(fēng)在柜內(nèi)打轉(zhuǎn)。管理方式是否支持console、帶外管理口、Web、命令行和批量配置下發(fā)。批量能力在十臺(tái)以上設(shè)備時(shí)價(jià)值極高。配件一致性光模塊、光纖跳線、DAC線、電源模塊、風(fēng)扇模塊的型號(hào)要提前核對(duì)不同速率的光模塊混插是最常見(jiàn)的低級(jí)錯(cuò)誤。這里給一個(gè)我自己常用的粗算示例方便你對(duì)照一臺(tái)24口接入交換機(jī)標(biāo)稱功耗約30W若帶PoE且滿接12個(gè)單臺(tái)功耗10W的終端PoE部分約120W加上自身30W單臺(tái)峰值按150W~180W規(guī)劃一個(gè)機(jī)柜放6臺(tái)就是約1kW。再去核對(duì)PDU額定電流和機(jī)房單路供電容量留出余量這個(gè)賬必須在買之前算完。3. 物理安裝的核心細(xì)節(jié)與實(shí)操要點(diǎn)3.1 上架前的開(kāi)箱檢查與固件統(tǒng)一設(shè)備開(kāi)箱這一步很容易被跳過(guò)但它是后面所有排查的基礎(chǔ)。我的檢查順序固定是外包裝有無(wú)明顯擠壓變形、設(shè)備外殼有無(wú)磕碰、風(fēng)扇和電源模塊是否插到位、序列號(hào)與裝箱單是否一致、配件掛耳、螺絲、腳墊、電源線、console線是否齊全。任何一項(xiàng)不對(duì)先拍照留證再繼續(xù)別急著上架。開(kāi)箱完成后如果采用“單機(jī)先驗(yàn)”的節(jié)奏就直接在桌面接電源和console線做三件事# 以常見(jiàn)的命令行設(shè)備為例查看設(shè)備基本信息與固件版本 show version show inventory show environment # 記錄管理口/MAC/序列號(hào)作為資產(chǎn)臺(tái)賬的初始數(shù)據(jù) show interface status查看固件的目的是把同批次設(shè)備的版本統(tǒng)一。版本不一致帶來(lái)的問(wèn)題非常隱蔽同樣的配置命令在某臺(tái)設(shè)備上不生效、某臺(tái)設(shè)備生成樹收斂慢半拍、某臺(tái)設(shè)備日志時(shí)間戳格式不同。統(tǒng)一版本這件事在設(shè)備數(shù)量少的時(shí)候看不出價(jià)值在設(shè)備多的時(shí)候能救命。注意固件升級(jí)過(guò)程中千萬(wàn)不要斷電也不要在升級(jí)過(guò)程中拔插電源模塊。升級(jí)前先確認(rèn)設(shè)備所在環(huán)境的供電穩(wěn)定升級(jí)完成后再做一次配置保存。3.2 機(jī)柜U位規(guī)劃與承重、散熱U位規(guī)劃有幾個(gè)我認(rèn)為必須遵守的原則都是踩過(guò)之后總結(jié)的重設(shè)備靠下輕設(shè)備靠上。2U或更重的設(shè)備放在機(jī)柜下半部降低重心減少傾覆風(fēng)險(xiǎn)1U交換機(jī)和配線架放中上部方便接線和維護(hù)。發(fā)熱設(shè)備之間留散熱間隙。高功耗設(shè)備上下至少留1U空隙或者用盲板把空U位封起來(lái)?？誙位不封板熱風(fēng)會(huì)在柜內(nèi)回流形成局部熱點(diǎn)這個(gè)現(xiàn)象在滿柜設(shè)備時(shí)非常明顯。配線架與交換機(jī)交替布置。經(jīng)典做法是“配線架—交換機(jī)—配線架—交換機(jī)”交錯(cuò)安裝跳線長(zhǎng)度能控制在0.5米以內(nèi)柜內(nèi)整潔度完全不一樣。如果配線架全堆在最上面、交換機(jī)全堆在下面跳線就會(huì)像瀑布一樣掛在柜里后期換線是災(zāi)難。進(jìn)出風(fēng)方向統(tǒng)一。上架前一定看清設(shè)備的風(fēng)扇方向和機(jī)身標(biāo)注的進(jìn)出風(fēng)箭頭。前后風(fēng)道的機(jī)柜里混裝不同風(fēng)道方向的設(shè)備散熱效率會(huì)明顯下降。一個(gè)實(shí)用提醒機(jī)柜頂部和底部盡量留出至少1U~2U空間用于走線和風(fēng)道別把設(shè)備從第一U開(kāi)始塞滿。這個(gè)余量在后期加設(shè)備時(shí)特別珍貴。3.3 供電、接地與強(qiáng)弱電分離供電這塊我的三條硬規(guī)矩雙電源設(shè)備必須接雙路。設(shè)備有兩個(gè)電源模塊就分別接到兩路不同的PDU或不同的供電回路上這樣單路掉電時(shí)設(shè)備不會(huì)整機(jī)斷電。只接一路等于白買雙電源。PDU插口要按“設(shè)備分組”分配不要按位置隨手插。同一臺(tái)設(shè)備的兩個(gè)電源插口物理上要分開(kāi)但邏輯上要能一眼看出屬于哪臺(tái)設(shè)備。我通常在PDU上貼標(biāo)簽標(biāo)“設(shè)備名-PWR1/PWR2”。強(qiáng)電和弱電走線分離。網(wǎng)線、光纖不要和電源線在同一側(cè)走線架并排長(zhǎng)距離捆在一起。如果必須交叉盡量垂直交叉。強(qiáng)弱電并行帶來(lái)的干擾在千兆以上速率和長(zhǎng)距離布線上經(jīng)常以“偶發(fā)丟包”“速率協(xié)商不到萬(wàn)兆”的形式表現(xiàn)出來(lái)排查起來(lái)非常費(fèi)時(shí)間。接地這件事在小項(xiàng)目里最容易被忽略。機(jī)柜要有可靠的保護(hù)接地配線架的接地線要接好屏蔽線纜的屏蔽層要正確接地。我遇到過(guò)一次鏈路隨機(jī)閃斷最后查出來(lái)是配線架接地松動(dòng)接好后問(wèn)題消失。這種問(wèn)題沒(méi)有任何配置層面的線索只能靠物理檢查。3.4 端口布線、標(biāo)簽體系與整理布線這塊我按“先規(guī)劃標(biāo)簽、再放線、后整理”的順序做絕不反過(guò)來(lái)。標(biāo)簽規(guī)則統(tǒng)一。我的格式是源設(shè)備名:端口號(hào) -- 目的設(shè)備名:端口號(hào)。例如ACC-SW-01:G1/0/24 -- AGG-SW-01:G1/0/8。兩端都貼標(biāo)簽方向朝外便于查看。管理網(wǎng)線單獨(dú)用一種顏色標(biāo)簽物理上就和業(yè)務(wù)線區(qū)分開(kāi)。線纜長(zhǎng)度按實(shí)際測(cè)量不靠估。跳線長(zhǎng)了就繞圈塞在柜里短了就得返工。機(jī)柜內(nèi)的跳線我一般準(zhǔn)備0.5米、1米、2米三種規(guī)格按實(shí)際距離取用多余的線全部用魔術(shù)貼固定不用扎帶勒死——扎帶一是會(huì)壓傷線纜、二是后期加線時(shí)必須剪斷非常麻煩。走線路徑先定再放線。左右兩側(cè)走線架各管一路方向一般左側(cè)走數(shù)據(jù)、右側(cè)走電源或者按上行走線和下行出線分開(kāi)。放線時(shí)從一端開(kāi)始邊放邊理不要全部放完再回頭理。典型機(jī)柜內(nèi)走線順序從下往上 1. 電源線 —— 走右側(cè)綁扎成束與數(shù)據(jù)線保持距離 2. 管理網(wǎng)線 —— 走左側(cè)單獨(dú)成束用不同顏色標(biāo)簽 3. 業(yè)務(wù)網(wǎng)線 —— 走左右兩側(cè)就近路徑避免橫穿柜體正面 4. 光纖跳線 —— 單獨(dú)走線槽彎曲半徑不小于規(guī)范要求嚴(yán)禁硬折 5. 上行鏈路 —— 走頂部橋架預(yù)留檢修余量光纖跳線的彎曲半徑要特別注意。光纖看似柔軟但過(guò)度彎折會(huì)造成衰減增大甚至斷纖表現(xiàn)為鏈路能亮燈但速率不穩(wěn)定或高負(fù)載丟包。柜內(nèi)繞線時(shí)用大圈別用小圈硬塞。3.5 加電順序與上電自檢加電順序我是這樣定的先給PDU上電、確認(rèn)電壓正常再逐臺(tái)設(shè)備上電每臺(tái)上電后觀察指示燈狀態(tài)再上下一臺(tái)。一次性全部上電看著爽但一旦某臺(tái)設(shè)備有短路或電源故障很難判斷是哪臺(tái)引起的。每臺(tái)設(shè)備上電后我在任務(wù)單上打勾并記錄電源指示燈狀態(tài)、風(fēng)扇是否轉(zhuǎn)動(dòng)、系統(tǒng)燈是否正常、端口燈是否按預(yù)期亮起。設(shè)備啟動(dòng)完成后通過(guò)console或管理口登錄做一次基礎(chǔ)自檢# 上電后基礎(chǔ)自檢 show version # 固件版本與運(yùn)行時(shí)間 show environment # 溫度、風(fēng)扇、電源狀態(tài) show interface status # 端口狀態(tài)此時(shí)未插線應(yīng)多為down show logging # 啟動(dòng)日志有無(wú)異常告警 # 保存初始配置 write memory確認(rèn)無(wú)誤后才進(jìn)入配置階段。這一步的價(jià)值在于把硬件問(wèn)題和配置問(wèn)題徹底分開(kāi)如果設(shè)備本身有問(wèn)題現(xiàn)在就能發(fā)現(xiàn)如果設(shè)備正常后面出問(wèn)題就只可能是配置或布線。4. 調(diào)試環(huán)節(jié)的核心配置與關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)4.1 開(kāi)局三件事命名、管理地址、遠(yuǎn)程登錄設(shè)備能登錄之后我做的第一件事永遠(yuǎn)是這三件順序不變。設(shè)備命名。命名規(guī)則我建議帶層次信息比如樓層-角色-序號(hào)形如F3-ACC-SW-01。名字是給人看的越具體的名字在出故障時(shí)越快定位。別用默認(rèn)名也別用純序列號(hào)。管理地址與帶外管理。管理VLAN單獨(dú)劃出來(lái)不和業(yè)務(wù)VLAN混。管理地址規(guī)劃要預(yù)留足夠空間我一般給管理網(wǎng)段留一個(gè)/24幾十臺(tái)設(shè)備夠用還有余量。如果設(shè)備支持獨(dú)立帶外管理口優(yōu)先用它業(yè)務(wù)口出問(wèn)題時(shí)還能登錄進(jìn)去。遠(yuǎn)程登錄與賬號(hào)管理。至少配置兩級(jí)賬號(hào)管理員和只讀賬號(hào)。遠(yuǎn)程登錄優(yōu)先用加密方式密碼復(fù)雜度按規(guī)范設(shè)置登錄超時(shí)和失敗次數(shù)限制一起配上。# 以常見(jiàn)命令行設(shè)備為例的配置骨架 hostname F3-ACC-SW-01 # 管理VLAN與管理地址 vlan 99 name MGMT interface vlan 99 ip address 10.10.99.11 255.255.255.0 no shutdown # 默認(rèn)網(wǎng)關(guān)指向匯聚設(shè)備的管理地址 ip default-gateway 10.10.99.1 # 賬號(hào)與遠(yuǎn)程登錄 username admin privilege 15 secret 強(qiáng)密碼 line vty 0 4 login local exec-timeout 10 0 transport input ssh # 管理口接入對(duì)應(yīng)端口 interface GigabitEthernet 1/0/1 description MGMT-UPLINK-TO-AGG switchport mode access switchport access vlan 99注意配置遠(yuǎn)程登錄之前務(wù)必確認(rèn)管理VLAN已經(jīng)放通到上行端口否則配完立刻把自己鎖在門外。我見(jiàn)過(guò)不止一次“配完ssh就再也連不上”的現(xiàn)場(chǎng)最后都是通過(guò)console救回來(lái)的。4.2 VLAN規(guī)劃與端口配置把廣播域切對(duì)VLAN規(guī)劃的出發(fā)點(diǎn)不是“切得多細(xì)”而是廣播域和故障域要可控。我的做法是按業(yè)務(wù)功能劃分而不是按物理位置劃分VLAN ID名稱用途地址段示例10OFFICE辦公終端10.10.10.0/2420VOICE語(yǔ)音終端10.10.20.0/2430CCTV視頻監(jiān)控10.10.30.0/2499MGMT設(shè)備管理10.10.99.0/24地址段規(guī)劃要和VLAN ID有對(duì)應(yīng)關(guān)系運(yùn)維時(shí)看一眼地址就知道屬于哪個(gè)VLAN這個(gè)習(xí)慣能省掉大量查表時(shí)間。端口配置上接入端口就老老實(shí)實(shí)做access口上行端口做trunk口并明確允許的VLAN列表不要圖省事放通全部。# 接入端口 interface range GigabitEthernet 1/0/2-20 description ACCESS-OFFICE switchport mode access switchport access vlan 10 spanning-tree portfast spanning-tree bpduguard enable no shutdown # 上行trunk端口 interface GigabitEthernet 1/0/24 description UPLINK-TO-AGG switchport mode trunk switchport trunk allowed vlan 10,20,30,99 switchport trunk native vlan 999 no shutdown幾個(gè)要點(diǎn)值得單獨(dú)說(shuō)native VLAN改成非1的值并確保兩端一致。默認(rèn)VLAN 1承載未打標(biāo)簽的流量是很多安全問(wèn)題的入口改掉它是最低成本的加固。接終端的端口開(kāi)portfast和bpduguard。portfast讓終端接入時(shí)不用等生成樹收斂bpduguard防止有人把交換機(jī)接到接入口造成環(huán)路。未使用端口shutdown?？斩丝谌筷P(guān)閉既是安全要求也能避免誤插。端口描述必須寫。描述是給未來(lái)的自己和同事看的寫清楚接的是什么、到哪兒去故障排查時(shí)省一半時(shí)間。4.3 鏈路聚合與生成樹讓冗余真的有用**鏈路聚合LACP**是上行帶寬和冗余的常用手段。我配置時(shí)會(huì)注意三點(diǎn)第一兩端模式一致。都用LACP主動(dòng)模式別一端靜態(tài)聚合、一端動(dòng)態(tài)聚合。第二成員口的速率、雙工、VLAN配置必須完全一致否則聚合口起不來(lái)或者部分成員口不轉(zhuǎn)發(fā)。第三聚合組的負(fù)載均衡方式按流量特征選源目IP哈希在多數(shù)場(chǎng)景表現(xiàn)均衡若以單一大流量為主可考慮按源目MAC組合。# 聚合口配置骨架 interface range GigabitEthernet 1/0/23-24 description LAG-TO-AGG channel-group 1 mode active no shutdown interface Port-Channel 1 description LAG-TO-AGG switchport mode trunk switchport trunk allowed vlan 10,20,30,99 switchport trunk native vlan 999生成樹這塊我的核心原則是根橋手動(dòng)指定別讓它自己選。生成樹的根橋默認(rèn)按優(yōu)先級(jí)和MAC自動(dòng)選舉選舉結(jié)果可能不是你想要的那臺(tái)設(shè)備拓?fù)湟簿筒皇悄阋?guī)劃的樣子。手動(dòng)把匯聚設(shè)備設(shè)為根橋優(yōu)先級(jí)調(diào)低接入設(shè)備保持默認(rèn)這樣拓?fù)淇煽?。另外接終端的端口開(kāi)portfast、開(kāi)bpduguard接入交換機(jī)之間互聯(lián)的端口保持正常生成樹參與開(kāi)啟環(huán)路保護(hù)功能防止單向鏈路造成環(huán)路。環(huán)路這事一旦發(fā)生就是全網(wǎng)癱瘓級(jí)別的故障防環(huán)配置不是可選項(xiàng)。4.4 三層互通與冗余網(wǎng)關(guān)跨VLAN通信需要三層網(wǎng)關(guān)。小項(xiàng)目里網(wǎng)關(guān)放在匯聚交換機(jī)上三層交換機(jī)做SVI大一點(diǎn)的項(xiàng)目可能在核心或防火墻上。不管放在哪兒配置思路是一致的每個(gè)業(yè)務(wù)VLAN一個(gè)網(wǎng)關(guān)地址網(wǎng)關(guān)地址就是該網(wǎng)段的第一個(gè)可用地址全項(xiàng)目統(tǒng)一。冗余網(wǎng)關(guān)用VRRP這類協(xié)議實(shí)現(xiàn)。主備兩臺(tái)匯聚設(shè)備各配一個(gè)虛擬地址作為網(wǎng)關(guān)終端指向虛擬地址主設(shè)備故障時(shí)備設(shè)備接管。配置時(shí)注意虛擬地址不能和任何真實(shí)接口地址沖突優(yōu)先級(jí)數(shù)值要明確設(shè)置搶占功能根據(jù)需要開(kāi)啟。# 匯聚設(shè)備上的VRRP示例 interface vlan 10 ip address 10.10.10.2 255.255.255.0 vrrp 10 ip 10.10.10.1 vrrp 10 priority 120 vrrp 10 preempt # 備設(shè)備上 interface vlan 10 ip address 10.10.10.3 255.255.255.0 vrrp 10 ip 10.10.10.1 vrrp 10 priority 100這里有個(gè)細(xì)節(jié)主備設(shè)備的接口地址不同但虛擬地址相同終端網(wǎng)關(guān)必須全部指向虛擬地址。如果某臺(tái)終端配的是真實(shí)接口地址主設(shè)備一掛它就斷網(wǎng)冗余等于沒(méi)做。這個(gè)錯(cuò)誤我在驗(yàn)收時(shí)查到過(guò)不止一次。4.5 DHCP中繼與地址服務(wù)終端地址怎么來(lái)是調(diào)試階段最容易出問(wèn)題的地方之一。如果DHCP服務(wù)器集中在一臺(tái)服務(wù)器或防火墻上而終端分散在多個(gè)VLAN就必須配DHCP中繼。配置中繼時(shí)關(guān)鍵是在網(wǎng)關(guān)接口上指定DHCP服務(wù)器地址并且確保中繼接口和DHCP服務(wù)器之間路由可達(dá)。# 在網(wǎng)關(guān)SVI上配置DHCP中繼 interface vlan 10 ip helper-address 10.10.99.50排查思路也很固定終端拿不到地址先看終端所在端口VLAN對(duì)不對(duì)再看網(wǎng)關(guān)接口有沒(méi)有配中繼再看DHCP服務(wù)器地址池有沒(méi)有對(duì)應(yīng)網(wǎng)段、地址池是否耗盡、服務(wù)器到網(wǎng)關(guān)的路由通不通。順序別亂一層層排除。4.6 NTP、日志與監(jiān)控讓設(shè)備“會(huì)說(shuō)話”這部分是很多交付項(xiàng)目的空白區(qū)也是我認(rèn)為最能體現(xiàn)專業(yè)度的地方。NTP時(shí)間同步。所有設(shè)備指向同一時(shí)間源保證日志時(shí)間戳可比對(duì)。設(shè)備之間時(shí)間差幾分鐘日志就沒(méi)法串起來(lái)分析。日志集中。設(shè)備本地日志容量有限重啟就清空。配置日志服務(wù)器把日志推送到集中位置出問(wèn)題時(shí)能回溯。SNMP監(jiān)控。至少把設(shè)備加入監(jiān)控系統(tǒng)采集CPU、內(nèi)存、端口流量、端口up/down事件、溫度、電源狀態(tài)。端口down告警能在用戶報(bào)障之前發(fā)現(xiàn)問(wèn)題。# NTP與日志配置骨架 ntp server 10.10.99.10 logging host 10.10.99.20 logging trap informational logging buffered 16384 snmp-server community 只讀團(tuán)體名 ro snmp-server host 10.10.99.20 version 2c 團(tuán)體名注意SNMP團(tuán)體名不要用默認(rèn)的public/private讀寫權(quán)限要嚴(yán)格區(qū)分。監(jiān)控只需要只讀不要圖省事給讀寫。5. 驗(yàn)收測(cè)試與常見(jiàn)問(wèn)題排查實(shí)錄5.1 分層的驗(yàn)收測(cè)試怎么做調(diào)試完不能只看“能上網(wǎng)”。我的驗(yàn)收測(cè)試是分層的從物理到應(yīng)用到管理逐層驗(yàn)證測(cè)試層級(jí)測(cè)試內(nèi)容判定標(biāo)準(zhǔn)物理層端口燈狀態(tài)、光功率、線纜標(biāo)簽全部鏈路正常亮燈標(biāo)簽與任務(wù)單一致二層同VLAN互通、VLAN隔離、生成樹拓?fù)渫琕LAN通跨VLAN不通未配網(wǎng)關(guān)前三層跨VLAN路由、默認(rèn)路由、冗余切換全網(wǎng)互通斷開(kāi)主設(shè)備后備設(shè)備接管應(yīng)用層終端獲取地址、訪問(wèn)業(yè)務(wù)系統(tǒng)終端正常獲取地址并訪問(wèn)業(yè)務(wù)管理面遠(yuǎn)程登錄、日志上報(bào)、監(jiān)控采集、時(shí)間同步均正常無(wú)告警冗余切換測(cè)試我會(huì)真的把主設(shè)備斷電或斷上行觀察備設(shè)備接管時(shí)間和終端感知。這個(gè)測(cè)試不做冗余配置就是紙面上的。5.2 常見(jiàn)問(wèn)題速查實(shí)際項(xiàng)目里遇到的問(wèn)題八成集中在這幾類。我整理成表方便你現(xiàn)場(chǎng)對(duì)照現(xiàn)象常見(jiàn)原因排查動(dòng)作終端拿不到IP地址VLAN不對(duì)、中繼沒(méi)配、地址池耗盡查端口VLAN、查網(wǎng)關(guān)中繼、查地址池使用率跨VLAN不通網(wǎng)關(guān)未配、路由缺失、ACL攔截查SVI狀態(tài)、查路由表、查ACL命中計(jì)數(shù)鏈路聚合起不來(lái)成員口配置不一致、模式不匹配對(duì)比成員口速率/雙工/VLAN檢查兩端模式端口頻繁up/down線纜質(zhì)量、光模塊不匹配、雙工協(xié)商異常換線測(cè)試、核對(duì)光模塊型號(hào)、固定速率雙工偶發(fā)丟包強(qiáng)弱電干擾、接地不良、光衰過(guò)大查走線分離、查接地、測(cè)光功率環(huán)路導(dǎo)致全網(wǎng)卡頓誤接環(huán)路、防環(huán)配置缺失查生成樹阻塞端口、開(kāi)bpduguard、定位環(huán)路點(diǎn)設(shè)備時(shí)間不對(duì)NTP未配或不可達(dá)查NTP配置與連通性遠(yuǎn)程登錄失敗管理VLAN未放通、ACL攔截、賬號(hào)問(wèn)題查VLAN放通、查ACL、console登錄核查5.3 我的幾條排查心法從物理到邏輯不要跳層。一上來(lái)就懷疑配置往往白折騰。先看燈、再查二層、再看三層、最后看應(yīng)用。物理層的問(wèn)題占了我遇到的故障的一半以上。一次只改一個(gè)變量。同時(shí)改三個(gè)配置問(wèn)題消失了你也不知道是哪條起的作用問(wèn)題還在你也不知道是哪條沒(méi)用。改一條、驗(yàn)一條、記錄一條。記錄現(xiàn)場(chǎng)。排查過(guò)程中的每條命令輸出、每次改動(dòng)都記下來(lái)。故障復(fù)盤時(shí)這份記錄就是最好的材料。別在業(yè)務(wù)高峰期做大改。冗余切換測(cè)試、生成樹調(diào)整、聚合口重建都有短暫中斷風(fēng)險(xiǎn)安排窗口是基本職業(yè)素養(yǎng)。我踩過(guò)的最深的坑是一臺(tái)接入交換機(jī)上行口速率協(xié)商成了百兆業(yè)務(wù)“能用但慢”查了一下午配置都沒(méi)問(wèn)題最后是線纜質(zhì)量問(wèn)題導(dǎo)致千兆協(xié)商失敗。從那以后我驗(yàn)收時(shí)一定核對(duì)每個(gè)上行口的實(shí)際協(xié)商速率而不是只看燈亮。6. 交付與長(zhǎng)期可運(yùn)維性把活做在別人看不見(jiàn)的地方6.1 文檔與資產(chǎn)臺(tái)賬交付時(shí)我必交三樣?xùn)|西拓?fù)鋱D標(biāo)注設(shè)備名、管理地址、互聯(lián)端口、VLAN、端口臺(tái)賬每個(gè)端口的描述、VLAN、對(duì)端設(shè)備、配置備份每臺(tái)設(shè)備的完整配置文本。這三樣?xùn)|西的價(jià)值在設(shè)備故障、人員變動(dòng)、擴(kuò)容改造時(shí)體現(xiàn)得淋漓盡致。配置備份這件事我建議做成例行任務(wù)不是一次性動(dòng)作。每次變更后備份一次文件名帶日期和設(shè)備名。有條件的接入自動(dòng)備份機(jī)制但手工備份這個(gè)習(xí)慣不能丟。6.2 變更管理與回滾預(yù)案任何配置變更前我的動(dòng)作固定是先備份、寫變更單、定回滾方案。回滾方案要具體到命令比如“把某接口的trunk允許VLAN恢復(fù)為變更前的列表”而不是寫一句“恢復(fù)原配置”。尤其是遠(yuǎn)程操作時(shí)回滾預(yù)案更重要。我通常會(huì)開(kāi)兩個(gè)會(huì)話一個(gè)用于操作一個(gè)保持觀察或者在配置前設(shè)置定時(shí)回滾防止把自己鎖在設(shè)備外面。6.3 擴(kuò)容余量與命名規(guī)范的前瞻性規(guī)劃時(shí)留余量是我這些年最慶幸的習(xí)慣。管理地址段留余量、VLAN ID留間隔、U位留空位、PDU插口留空口、光纖預(yù)留幾芯。這些東西在項(xiàng)目當(dāng)下看不出價(jià)值在半年后加設(shè)備時(shí)就是救命稻草。命名規(guī)范也一樣一開(kāi)始就定好層次化規(guī)則后面加設(shè)備只是套模板一開(kāi)始隨手命名后面就是一堆switch1、switch2誰(shuí)也不知道是哪臺(tái)。6.4 我個(gè)人在實(shí)際操作中的體會(huì)這套流程我走過(guò)很多遍最大的體會(huì)是網(wǎng)絡(luò)設(shè)備安裝與調(diào)試技術(shù)難度主要集中在“不出錯(cuò)”而不是“很難”。真正難的配置沒(méi)幾個(gè)難的是把每一步都做扎實(shí)、把每個(gè)細(xì)節(jié)都想到、把每處冗余都驗(yàn)證。我現(xiàn)在的習(xí)慣是安裝階段多花的時(shí)間調(diào)試階段都能省回來(lái)調(diào)試階段多做的驗(yàn)證運(yùn)維階段都能少熬的夜。設(shè)備是不會(huì)騙人的它給你的每個(gè)現(xiàn)象背后都有原因你只要按順序、按層次去查基本都能找到。最后分享一個(gè)我覺(jué)得特別值的小習(xí)慣每次項(xiàng)目結(jié)束后花十分鐘把這次遇到的問(wèn)題和解決辦法補(bǔ)進(jìn)自己的問(wèn)題庫(kù)。一年下來(lái)這個(gè)庫(kù)就是你最值錢的東西比任何文檔都好用。 網(wǎng)絡(luò)設(shè)備安裝與調(diào)試實(shí)戰(zhàn)：機(jī)柜上架、VLAN規(guī)劃與鏈路聚合驗(yàn)收
1. 從機(jī)柜上電那一刻說(shuō)起網(wǎng)絡(luò)設(shè)備安裝與調(diào)試到底在裝什么干了這些年我越來(lái)越覺(jué)得“網(wǎng)絡(luò)設(shè)備安裝與調(diào)試”這八個(gè)字被講窄了。很多人一聽(tīng)標(biāo)題腦子里浮現(xiàn)的畫面就是抱著交換機(jī)往機(jī)柜里一塞、擰螺絲、插網(wǎng)線、開(kāi)機(jī)、看燈亮不亮——如果真這么簡(jiǎn)單機(jī)房夜里就不會(huì)有人蹲在地上對(duì)著console口一根一根試串口線了。我理解的網(wǎng)絡(luò)設(shè)備安裝與調(diào)試是把一臺(tái)出廠狀態(tài)的硬件設(shè)備通過(guò)物理固定、供電規(guī)劃、端口布線、基礎(chǔ)配置、協(xié)議調(diào)優(yōu)、連通性驗(yàn)證和長(zhǎng)期可運(yùn)維性設(shè)計(jì)變成一個(gè)能在真實(shí)業(yè)務(wù)環(huán)境里穩(wěn)定承載流量的節(jié)點(diǎn)。它涉及的東西比想象的要寬機(jī)柜空間與承重、風(fēng)道與散熱、強(qiáng)弱電分離、標(biāo)簽體系、傻瓜式開(kāi)局和批量配置、二層環(huán)網(wǎng)與生成樹、三層路由與冗余網(wǎng)關(guān)、鏈路聚合、VLAN規(guī)劃、DHCP中繼、NTP與日志、SNMP監(jiān)控最后才是那句輕飄飄的“ping通了”。這篇內(nèi)容適合誰(shuí)看剛?cè)胄小⒌谝淮为?dú)立接手一個(gè)機(jī)柜安裝任務(wù)的運(yùn)維新人從服務(wù)器運(yùn)維轉(zhuǎn)網(wǎng)絡(luò)、需要補(bǔ)一套完整落地流程的朋友還有中小項(xiàng)目里既管弱電又管IT的“全棧型”負(fù)責(zé)人。哪怕你目前只會(huì)在機(jī)柜前面擰螺絲、只會(huì)在瀏覽器里點(diǎn)開(kāi)設(shè)備管理頁(yè)面照著這篇里的順序走也能把一個(gè)機(jī)房的接入層和匯聚層做得像樣。我下面講的所有步驟都基于一條主線先把物理和規(guī)劃做對(duì)再去碰配置。因?yàn)榫W(wǎng)絡(luò)設(shè)備的坑八成不是配置寫錯(cuò)了而是坐標(biāo)從一開(kāi)始就沒(méi)對(duì)齊。物理層埋的雷后面用一百條命令也排不干凈。這是我的經(jīng)驗(yàn)里最貴的一條也是我寫這篇東西最想讓你先拿到的一條。2. 安裝前的整體設(shè)計(jì)與方案取舍2.1 為什么規(guī)劃要走在螺絲刀前面我見(jiàn)過(guò)太多“先裝后想”的場(chǎng)景設(shè)備上架了、線也插了突然發(fā)現(xiàn)U位不夠、電源插排孔位不匹配、光模塊型號(hào)買錯(cuò)、上行鏈路要走的橋架被空調(diào)管道擋死了。每一次返工都是把已經(jīng)捆好的線全部剪開(kāi)重來(lái)。所以我的習(xí)慣是動(dòng)設(shè)備之前先出一張“安裝任務(wù)單”不用多正式一張A4紙就夠但上面必須寫清楚這幾個(gè)坐標(biāo)設(shè)備清單與U位占用每臺(tái)設(shè)備的型號(hào)、尺寸1U/2U、功耗、端口數(shù)量與類型在機(jī)柜里的具體U位。上行方向與走線路由上行到匯聚設(shè)備從哪一側(cè)出線走左走線架還是右走線架有沒(méi)有跨越強(qiáng)電。供電總賬整柜峰值功耗、單路電源容量、PDU插口類型與數(shù)量、是否需要雙路供電。地址與VLAN規(guī)劃每臺(tái)設(shè)備的管理地址、業(yè)務(wù)網(wǎng)段、VLAN ID分配、網(wǎng)關(guān)位置。命名與標(biāo)簽規(guī)則設(shè)備名、端口描述、線纜標(biāo)簽的統(tǒng)一格式。這張單子看著簡(jiǎn)單但它是后面所有事情的基準(zhǔn)。沒(méi)有它就沒(méi)有“調(diào)試”這回事只有“試”。我個(gè)人的經(jīng)驗(yàn)是一張安裝任務(wù)單如果能在機(jī)柜前被另一個(gè)沒(méi)參與規(guī)劃的人看懂這個(gè)項(xiàng)目基本不會(huì)出大亂子。2.2 接入層、匯聚層、核心層怎么分而不亂標(biāo)題里說(shuō)“網(wǎng)絡(luò)設(shè)備”最常見(jiàn)的組合是接入交換機(jī)、匯聚交換機(jī)和路由器。小項(xiàng)目里匯聚和核心經(jīng)常合并成一臺(tái)這沒(méi)問(wèn)題但角色的邊界還是得在心里劃清楚因?yàn)樗鼪Q定了你的配置寫在哪兒、故障定位從哪一層開(kāi)始。層級(jí)典型角色部署位置配置重心接入層終端接入、VLAN劃分、端口安全機(jī)柜頂部或中部端口速率/雙工、PoE、端口隔離、DHCP Snooping匯聚層策略集中、跨VLAN路由、冗余網(wǎng)關(guān)機(jī)房主柜鏈路聚合、生成樹、VRRP、ACL策略入口核心/出口內(nèi)外網(wǎng)邊界、NAT、策略與帶寬控制機(jī)房主柜上部或獨(dú)立機(jī)柜路由、NAT、策略路由、日志與流量鏡像我為什么強(qiáng)調(diào)這個(gè)分層因?yàn)橥慌_(tái)設(shè)備在不同項(xiàng)目里角色可能不一樣。一臺(tái)24口千兆交換機(jī)放在小辦公室里就是“核心”放在園區(qū)樓棟里就是“接入”。角色決定配置思路不是型號(hào)決定。很多新手拿著型號(hào)去套配置模板套完發(fā)現(xiàn)圈環(huán)、丟包、策略失效根本原因是模板對(duì)應(yīng)的角色和他的實(shí)際拓?fù)鋵?duì)不上。2.3 獨(dú)立調(diào)試還是“邊裝邊調(diào)”兩種節(jié)奏的取舍實(shí)際操作里有兩套節(jié)奏我都用過(guò)各有適用場(chǎng)景。第一套是“裝完統(tǒng)一調(diào)”物理安裝全部完成、標(biāo)簽打完、線纜理順之后再統(tǒng)一上電配配置。好處是現(xiàn)場(chǎng)干凈、節(jié)奏可控、能一次性做整體驗(yàn)證壞處是如果單臺(tái)設(shè)備有硬件問(wèn)題發(fā)現(xiàn)得晚返工時(shí)要拆線。第二套是“單機(jī)先驗(yàn)再上架”每臺(tái)設(shè)備先在旁邊桌面完成開(kāi)機(jī)自檢、固件升級(jí)、基礎(chǔ)配置、管理地址和遠(yuǎn)程登錄驗(yàn)證確認(rèn)硬件和固件沒(méi)問(wèn)題再上架、插線、聯(lián)調(diào)。好處是硬件故障在最早暴露固件版本能先統(tǒng)一壞處是需要額外的桌面空間和臨時(shí)電源現(xiàn)場(chǎng)管理更碎。我更傾向第二套尤其是設(shè)備數(shù)量超過(guò)五六臺(tái)的時(shí)候。理由很實(shí)在固件升級(jí)需要重啟重啟期間在機(jī)柜里做很別扭而且升級(jí)失敗時(shí)在桌面環(huán)境更好排查。另外單機(jī)先驗(yàn)?zāi)茏屇惆言O(shè)備名稱、管理地址、管理VLAN這些基礎(chǔ)項(xiàng)一次性配好上架后只剩物理連接和協(xié)議聯(lián)調(diào)效率高很多。2.4 設(shè)備選型與配件的幾個(gè)硬約束選型這件事我通常不從“哪個(gè)品牌好”入手而從約束條件倒推端口數(shù)與速率結(jié)構(gòu)不是看總口數(shù)而是看“接入千兆 上行萬(wàn)兆”這類比例。上行口不夠后面加聚合就沒(méi)位置。供電與PoE預(yù)算如果接攝像頭或無(wú)線接入點(diǎn)PoE總功率預(yù)算必須留足30%以上余量否則滿配時(shí)設(shè)備會(huì)拒絕供電。散熱與風(fēng)道方向機(jī)柜如果是前后風(fēng)道設(shè)備進(jìn)出風(fēng)方向必須一致不能一臺(tái)前進(jìn)后出、一臺(tái)后進(jìn)前出否則熱風(fēng)在柜內(nèi)打轉(zhuǎn)。管理方式是否支持console、帶外管理口、Web、命令行和批量配置下發(fā)。批量能力在十臺(tái)以上設(shè)備時(shí)價(jià)值極高。配件一致性光模塊、光纖跳線、DAC線、電源模塊、風(fēng)扇模塊的型號(hào)要提前核對(duì)不同速率的光模塊混插是最常見(jiàn)的低級(jí)錯(cuò)誤。這里給一個(gè)我自己常用的粗算示例方便你對(duì)照一臺(tái)24口接入交換機(jī)標(biāo)稱功耗約30W若帶PoE且滿接12個(gè)單臺(tái)功耗10W的終端PoE部分約120W加上自身30W單臺(tái)峰值按150W~180W規(guī)劃一個(gè)機(jī)柜放6臺(tái)就是約1kW。再去核對(duì)PDU額定電流和機(jī)房單路供電容量留出余量這個(gè)賬必須在買之前算完。3. 物理安裝的核心細(xì)節(jié)與實(shí)操要點(diǎn)3.1 上架前的開(kāi)箱檢查與固件統(tǒng)一設(shè)備開(kāi)箱這一步很容易被跳過(guò)但它是后面所有排查的基礎(chǔ)。我的檢查順序固定是外包裝有無(wú)明顯擠壓變形、設(shè)備外殼有無(wú)磕碰、風(fēng)扇和電源模塊是否插到位、序列號(hào)與裝箱單是否一致、配件掛耳、螺絲、腳墊、電源線、console線是否齊全。任何一項(xiàng)不對(duì)先拍照留證再繼續(xù)別急著上架。開(kāi)箱完成后如果采用“單機(jī)先驗(yàn)”的節(jié)奏就直接在桌面接電源和console線做三件事# 以常見(jiàn)的命令行設(shè)備為例查看設(shè)備基本信息與固件版本 show version show inventory show environment # 記錄管理口/MAC/序列號(hào)作為資產(chǎn)臺(tái)賬的初始數(shù)據(jù) show interface status查看固件的目的是把同批次設(shè)備的版本統(tǒng)一。版本不一致帶來(lái)的問(wèn)題非常隱蔽同樣的配置命令在某臺(tái)設(shè)備上不生效、某臺(tái)設(shè)備生成樹收斂慢半拍、某臺(tái)設(shè)備日志時(shí)間戳格式不同。統(tǒng)一版本這件事在設(shè)備數(shù)量少的時(shí)候看不出價(jià)值在設(shè)備多的時(shí)候能救命。注意固件升級(jí)過(guò)程中千萬(wàn)不要斷電也不要在升級(jí)過(guò)程中拔插電源模塊。升級(jí)前先確認(rèn)設(shè)備所在環(huán)境的供電穩(wěn)定升級(jí)完成后再做一次配置保存。3.2 機(jī)柜U位規(guī)劃與承重、散熱U位規(guī)劃有幾個(gè)我認(rèn)為必須遵守的原則都是踩過(guò)之后總結(jié)的重設(shè)備靠下輕設(shè)備靠上。2U或更重的設(shè)備放在機(jī)柜下半部降低重心減少傾覆風(fēng)險(xiǎn)1U交換機(jī)和配線架放中上部方便接線和維護(hù)。發(fā)熱設(shè)備之間留散熱間隙。高功耗設(shè)備上下至少留1U空隙或者用盲板把空U位封起來(lái)?？誙位不封板熱風(fēng)會(huì)在柜內(nèi)回流形成局部熱點(diǎn)這個(gè)現(xiàn)象在滿柜設(shè)備時(shí)非常明顯。配線架與交換機(jī)交替布置。經(jīng)典做法是“配線架—交換機(jī)—配線架—交換機(jī)”交錯(cuò)安裝跳線長(zhǎng)度能控制在0.5米以內(nèi)柜內(nèi)整潔度完全不一樣。如果配線架全堆在最上面、交換機(jī)全堆在下面跳線就會(huì)像瀑布一樣掛在柜里后期換線是災(zāi)難。進(jìn)出風(fēng)方向統(tǒng)一。上架前一定看清設(shè)備的風(fēng)扇方向和機(jī)身標(biāo)注的進(jìn)出風(fēng)箭頭。前后風(fēng)道的機(jī)柜里混裝不同風(fēng)道方向的設(shè)備散熱效率會(huì)明顯下降。一個(gè)實(shí)用提醒機(jī)柜頂部和底部盡量留出至少1U~2U空間用于走線和風(fēng)道別把設(shè)備從第一U開(kāi)始塞滿。這個(gè)余量在后期加設(shè)備時(shí)特別珍貴。3.3 供電、接地與強(qiáng)弱電分離供電這塊我的三條硬規(guī)矩雙電源設(shè)備必須接雙路。設(shè)備有兩個(gè)電源模塊就分別接到兩路不同的PDU或不同的供電回路上這樣單路掉電時(shí)設(shè)備不會(huì)整機(jī)斷電。只接一路等于白買雙電源。PDU插口要按“設(shè)備分組”分配不要按位置隨手插。同一臺(tái)設(shè)備的兩個(gè)電源插口物理上要分開(kāi)但邏輯上要能一眼看出屬于哪臺(tái)設(shè)備。我通常在PDU上貼標(biāo)簽標(biāo)“設(shè)備名-PWR1/PWR2”。強(qiáng)電和弱電走線分離。網(wǎng)線、光纖不要和電源線在同一側(cè)走線架并排長(zhǎng)距離捆在一起。如果必須交叉盡量垂直交叉。強(qiáng)弱電并行帶來(lái)的干擾在千兆以上速率和長(zhǎng)距離布線上經(jīng)常以“偶發(fā)丟包”“速率協(xié)商不到萬(wàn)兆”的形式表現(xiàn)出來(lái)排查起來(lái)非常費(fèi)時(shí)間。接地這件事在小項(xiàng)目里最容易被忽略。機(jī)柜要有可靠的保護(hù)接地配線架的接地線要接好屏蔽線纜的屏蔽層要正確接地。我遇到過(guò)一次鏈路隨機(jī)閃斷最后查出來(lái)是配線架接地松動(dòng)接好后問(wèn)題消失。這種問(wèn)題沒(méi)有任何配置層面的線索只能靠物理檢查。3.4 端口布線、標(biāo)簽體系與整理布線這塊我按“先規(guī)劃標(biāo)簽、再放線、后整理”的順序做絕不反過(guò)來(lái)。標(biāo)簽規(guī)則統(tǒng)一。我的格式是源設(shè)備名:端口號(hào) -- 目的設(shè)備名:端口號(hào)。例如ACC-SW-01:G1/0/24 -- AGG-SW-01:G1/0/8。兩端都貼標(biāo)簽方向朝外便于查看。管理網(wǎng)線單獨(dú)用一種顏色標(biāo)簽物理上就和業(yè)務(wù)線區(qū)分開(kāi)。線纜長(zhǎng)度按實(shí)際測(cè)量不靠估。跳線長(zhǎng)了就繞圈塞在柜里短了就得返工。機(jī)柜內(nèi)的跳線我一般準(zhǔn)備0.5米、1米、2米三種規(guī)格按實(shí)際距離取用多余的線全部用魔術(shù)貼固定不用扎帶勒死——扎帶一是會(huì)壓傷線纜、二是后期加線時(shí)必須剪斷非常麻煩。走線路徑先定再放線。左右兩側(cè)走線架各管一路方向一般左側(cè)走數(shù)據(jù)、右側(cè)走電源或者按上行走線和下行出線分開(kāi)。放線時(shí)從一端開(kāi)始邊放邊理不要全部放完再回頭理。典型機(jī)柜內(nèi)走線順序從下往上 1. 電源線 —— 走右側(cè)綁扎成束與數(shù)據(jù)線保持距離 2. 管理網(wǎng)線 —— 走左側(cè)單獨(dú)成束用不同顏色標(biāo)簽 3. 業(yè)務(wù)網(wǎng)線 —— 走左右兩側(cè)就近路徑避免橫穿柜體正面 4. 光纖跳線 —— 單獨(dú)走線槽彎曲半徑不小于規(guī)范要求嚴(yán)禁硬折 5. 上行鏈路 —— 走頂部橋架預(yù)留檢修余量光纖跳線的彎曲半徑要特別注意。光纖看似柔軟但過(guò)度彎折會(huì)造成衰減增大甚至斷纖表現(xiàn)為鏈路能亮燈但速率不穩(wěn)定或高負(fù)載丟包。柜內(nèi)繞線時(shí)用大圈別用小圈硬塞。3.5 加電順序與上電自檢加電順序我是這樣定的先給PDU上電、確認(rèn)電壓正常再逐臺(tái)設(shè)備上電每臺(tái)上電后觀察指示燈狀態(tài)再上下一臺(tái)。一次性全部上電看著爽但一旦某臺(tái)設(shè)備有短路或電源故障很難判斷是哪臺(tái)引起的。每臺(tái)設(shè)備上電后我在任務(wù)單上打勾并記錄電源指示燈狀態(tài)、風(fēng)扇是否轉(zhuǎn)動(dòng)、系統(tǒng)燈是否正常、端口燈是否按預(yù)期亮起。設(shè)備啟動(dòng)完成后通過(guò)console或管理口登錄做一次基礎(chǔ)自檢# 上電后基礎(chǔ)自檢 show version # 固件版本與運(yùn)行時(shí)間 show environment # 溫度、風(fēng)扇、電源狀態(tài) show interface status # 端口狀態(tài)此時(shí)未插線應(yīng)多為down show logging # 啟動(dòng)日志有無(wú)異常告警 # 保存初始配置 write memory確認(rèn)無(wú)誤后才進(jìn)入配置階段。這一步的價(jià)值在于把硬件問(wèn)題和配置問(wèn)題徹底分開(kāi)如果設(shè)備本身有問(wèn)題現(xiàn)在就能發(fā)現(xiàn)如果設(shè)備正常后面出問(wèn)題就只可能是配置或布線。4. 調(diào)試環(huán)節(jié)的核心配置與關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)4.1 開(kāi)局三件事命名、管理地址、遠(yuǎn)程登錄設(shè)備能登錄之后我做的第一件事永遠(yuǎn)是這三件順序不變。設(shè)備命名。命名規(guī)則我建議帶層次信息比如樓層-角色-序號(hào)形如F3-ACC-SW-01。名字是給人看的越具體的名字在出故障時(shí)越快定位。別用默認(rèn)名也別用純序列號(hào)。管理地址與帶外管理。管理VLAN單獨(dú)劃出來(lái)不和業(yè)務(wù)VLAN混。管理地址規(guī)劃要預(yù)留足夠空間我一般給管理網(wǎng)段留一個(gè)/24幾十臺(tái)設(shè)備夠用還有余量。如果設(shè)備支持獨(dú)立帶外管理口優(yōu)先用它業(yè)務(wù)口出問(wèn)題時(shí)還能登錄進(jìn)去。遠(yuǎn)程登錄與賬號(hào)管理。至少配置兩級(jí)賬號(hào)管理員和只讀賬號(hào)。遠(yuǎn)程登錄優(yōu)先用加密方式密碼復(fù)雜度按規(guī)范設(shè)置登錄超時(shí)和失敗次數(shù)限制一起配上。# 以常見(jiàn)命令行設(shè)備為例的配置骨架 hostname F3-ACC-SW-01 # 管理VLAN與管理地址 vlan 99 name MGMT interface vlan 99 ip address 10.10.99.11 255.255.255.0 no shutdown # 默認(rèn)網(wǎng)關(guān)指向匯聚設(shè)備的管理地址 ip default-gateway 10.10.99.1 # 賬號(hào)與遠(yuǎn)程登錄 username admin privilege 15 secret 強(qiáng)密碼 line vty 0 4 login local exec-timeout 10 0 transport input ssh # 管理口接入對(duì)應(yīng)端口 interface GigabitEthernet 1/0/1 description MGMT-UPLINK-TO-AGG switchport mode access switchport access vlan 99注意配置遠(yuǎn)程登錄之前務(wù)必確認(rèn)管理VLAN已經(jīng)放通到上行端口否則配完立刻把自己鎖在門外。我見(jiàn)過(guò)不止一次“配完ssh就再也連不上”的現(xiàn)場(chǎng)最后都是通過(guò)console救回來(lái)的。4.2 VLAN規(guī)劃與端口配置把廣播域切對(duì)VLAN規(guī)劃的出發(fā)點(diǎn)不是“切得多細(xì)”而是廣播域和故障域要可控。我的做法是按業(yè)務(wù)功能劃分而不是按物理位置劃分VLAN ID名稱用途地址段示例10OFFICE辦公終端10.10.10.0/2420VOICE語(yǔ)音終端10.10.20.0/2430CCTV視頻監(jiān)控10.10.30.0/2499MGMT設(shè)備管理10.10.99.0/24地址段規(guī)劃要和VLAN ID有對(duì)應(yīng)關(guān)系運(yùn)維時(shí)看一眼地址就知道屬于哪個(gè)VLAN這個(gè)習(xí)慣能省掉大量查表時(shí)間。端口配置上接入端口就老老實(shí)實(shí)做access口上行端口做trunk口并明確允許的VLAN列表不要圖省事放通全部。# 接入端口 interface range GigabitEthernet 1/0/2-20 description ACCESS-OFFICE switchport mode access switchport access vlan 10 spanning-tree portfast spanning-tree bpduguard enable no shutdown # 上行trunk端口 interface GigabitEthernet 1/0/24 description UPLINK-TO-AGG switchport mode trunk switchport trunk allowed vlan 10,20,30,99 switchport trunk native vlan 999 no shutdown幾個(gè)要點(diǎn)值得單獨(dú)說(shuō)native VLAN改成非1的值并確保兩端一致。默認(rèn)VLAN 1承載未打標(biāo)簽的流量是很多安全問(wèn)題的入口改掉它是最低成本的加固。接終端的端口開(kāi)portfast和bpduguard。portfast讓終端接入時(shí)不用等生成樹收斂bpduguard防止有人把交換機(jī)接到接入口造成環(huán)路。未使用端口shutdown?？斩丝谌筷P(guān)閉既是安全要求也能避免誤插。端口描述必須寫。描述是給未來(lái)的自己和同事看的寫清楚接的是什么、到哪兒去故障排查時(shí)省一半時(shí)間。4.3 鏈路聚合與生成樹讓冗余真的有用**鏈路聚合LACP**是上行帶寬和冗余的常用手段。我配置時(shí)會(huì)注意三點(diǎn)第一兩端模式一致。都用LACP主動(dòng)模式別一端靜態(tài)聚合、一端動(dòng)態(tài)聚合。第二成員口的速率、雙工、VLAN配置必須完全一致否則聚合口起不來(lái)或者部分成員口不轉(zhuǎn)發(fā)。第三聚合組的負(fù)載均衡方式按流量特征選源目IP哈希在多數(shù)場(chǎng)景表現(xiàn)均衡若以單一大流量為主可考慮按源目MAC組合。# 聚合口配置骨架 interface range GigabitEthernet 1/0/23-24 description LAG-TO-AGG channel-group 1 mode active no shutdown interface Port-Channel 1 description LAG-TO-AGG switchport mode trunk switchport trunk allowed vlan 10,20,30,99 switchport trunk native vlan 999生成樹這塊我的核心原則是根橋手動(dòng)指定別讓它自己選。生成樹的根橋默認(rèn)按優(yōu)先級(jí)和MAC自動(dòng)選舉選舉結(jié)果可能不是你想要的那臺(tái)設(shè)備拓?fù)湟簿筒皇悄阋?guī)劃的樣子。手動(dòng)把匯聚設(shè)備設(shè)為根橋優(yōu)先級(jí)調(diào)低接入設(shè)備保持默認(rèn)這樣拓?fù)淇煽?。另外接終端的端口開(kāi)portfast、開(kāi)bpduguard接入交換機(jī)之間互聯(lián)的端口保持正常生成樹參與開(kāi)啟環(huán)路保護(hù)功能防止單向鏈路造成環(huán)路。環(huán)路這事一旦發(fā)生就是全網(wǎng)癱瘓級(jí)別的故障防環(huán)配置不是可選項(xiàng)。4.4 三層互通與冗余網(wǎng)關(guān)跨VLAN通信需要三層網(wǎng)關(guān)。小項(xiàng)目里網(wǎng)關(guān)放在匯聚交換機(jī)上三層交換機(jī)做SVI大一點(diǎn)的項(xiàng)目可能在核心或防火墻上。不管放在哪兒配置思路是一致的每個(gè)業(yè)務(wù)VLAN一個(gè)網(wǎng)關(guān)地址網(wǎng)關(guān)地址就是該網(wǎng)段的第一個(gè)可用地址全項(xiàng)目統(tǒng)一。冗余網(wǎng)關(guān)用VRRP這類協(xié)議實(shí)現(xiàn)。主備兩臺(tái)匯聚設(shè)備各配一個(gè)虛擬地址作為網(wǎng)關(guān)終端指向虛擬地址主設(shè)備故障時(shí)備設(shè)備接管。配置時(shí)注意虛擬地址不能和任何真實(shí)接口地址沖突優(yōu)先級(jí)數(shù)值要明確設(shè)置搶占功能根據(jù)需要開(kāi)啟。# 匯聚設(shè)備上的VRRP示例 interface vlan 10 ip address 10.10.10.2 255.255.255.0 vrrp 10 ip 10.10.10.1 vrrp 10 priority 120 vrrp 10 preempt # 備設(shè)備上 interface vlan 10 ip address 10.10.10.3 255.255.255.0 vrrp 10 ip 10.10.10.1 vrrp 10 priority 100這里有個(gè)細(xì)節(jié)主備設(shè)備的接口地址不同但虛擬地址相同終端網(wǎng)關(guān)必須全部指向虛擬地址。如果某臺(tái)終端配的是真實(shí)接口地址主設(shè)備一掛它就斷網(wǎng)冗余等于沒(méi)做。這個(gè)錯(cuò)誤我在驗(yàn)收時(shí)查到過(guò)不止一次。4.5 DHCP中繼與地址服務(wù)終端地址怎么來(lái)是調(diào)試階段最容易出問(wèn)題的地方之一。如果DHCP服務(wù)器集中在一臺(tái)服務(wù)器或防火墻上而終端分散在多個(gè)VLAN就必須配DHCP中繼。配置中繼時(shí)關(guān)鍵是在網(wǎng)關(guān)接口上指定DHCP服務(wù)器地址并且確保中繼接口和DHCP服務(wù)器之間路由可達(dá)。# 在網(wǎng)關(guān)SVI上配置DHCP中繼 interface vlan 10 ip helper-address 10.10.99.50排查思路也很固定終端拿不到地址先看終端所在端口VLAN對(duì)不對(duì)再看網(wǎng)關(guān)接口有沒(méi)有配中繼再看DHCP服務(wù)器地址池有沒(méi)有對(duì)應(yīng)網(wǎng)段、地址池是否耗盡、服務(wù)器到網(wǎng)關(guān)的路由通不通。順序別亂一層層排除。4.6 NTP、日志與監(jiān)控讓設(shè)備“會(huì)說(shuō)話”這部分是很多交付項(xiàng)目的空白區(qū)也是我認(rèn)為最能體現(xiàn)專業(yè)度的地方。NTP時(shí)間同步。所有設(shè)備指向同一時(shí)間源保證日志時(shí)間戳可比對(duì)。設(shè)備之間時(shí)間差幾分鐘日志就沒(méi)法串起來(lái)分析。日志集中。設(shè)備本地日志容量有限重啟就清空。配置日志服務(wù)器把日志推送到集中位置出問(wèn)題時(shí)能回溯。SNMP監(jiān)控。至少把設(shè)備加入監(jiān)控系統(tǒng)采集CPU、內(nèi)存、端口流量、端口up/down事件、溫度、電源狀態(tài)。端口down告警能在用戶報(bào)障之前發(fā)現(xiàn)問(wèn)題。# NTP與日志配置骨架 ntp server 10.10.99.10 logging host 10.10.99.20 logging trap informational logging buffered 16384 snmp-server community 只讀團(tuán)體名 ro snmp-server host 10.10.99.20 version 2c 團(tuán)體名注意SNMP團(tuán)體名不要用默認(rèn)的public/private讀寫權(quán)限要嚴(yán)格區(qū)分。監(jiān)控只需要只讀不要圖省事給讀寫。5. 驗(yàn)收測(cè)試與常見(jiàn)問(wèn)題排查實(shí)錄5.1 分層的驗(yàn)收測(cè)試怎么做調(diào)試完不能只看“能上網(wǎng)”。我的驗(yàn)收測(cè)試是分層的從物理到應(yīng)用到管理逐層驗(yàn)證測(cè)試層級(jí)測(cè)試內(nèi)容判定標(biāo)準(zhǔn)物理層端口燈狀態(tài)、光功率、線纜標(biāo)簽全部鏈路正常亮燈標(biāo)簽與任務(wù)單一致二層同VLAN互通、VLAN隔離、生成樹拓?fù)渫琕LAN通跨VLAN不通未配網(wǎng)關(guān)前三層跨VLAN路由、默認(rèn)路由、冗余切換全網(wǎng)互通斷開(kāi)主設(shè)備后備設(shè)備接管應(yīng)用層終端獲取地址、訪問(wèn)業(yè)務(wù)系統(tǒng)終端正常獲取地址并訪問(wèn)業(yè)務(wù)管理面遠(yuǎn)程登錄、日志上報(bào)、監(jiān)控采集、時(shí)間同步均正常無(wú)告警冗余切換測(cè)試我會(huì)真的把主設(shè)備斷電或斷上行觀察備設(shè)備接管時(shí)間和終端感知。這個(gè)測(cè)試不做冗余配置就是紙面上的。5.2 常見(jiàn)問(wèn)題速查實(shí)際項(xiàng)目里遇到的問(wèn)題八成集中在這幾類。我整理成表方便你現(xiàn)場(chǎng)對(duì)照現(xiàn)象常見(jiàn)原因排查動(dòng)作終端拿不到IP地址VLAN不對(duì)、中繼沒(méi)配、地址池耗盡查端口VLAN、查網(wǎng)關(guān)中繼、查地址池使用率跨VLAN不通網(wǎng)關(guān)未配、路由缺失、ACL攔截查SVI狀態(tài)、查路由表、查ACL命中計(jì)數(shù)鏈路聚合起不來(lái)成員口配置不一致、模式不匹配對(duì)比成員口速率/雙工/VLAN檢查兩端模式端口頻繁up/down線纜質(zhì)量、光模塊不匹配、雙工協(xié)商異常換線測(cè)試、核對(duì)光模塊型號(hào)、固定速率雙工偶發(fā)丟包強(qiáng)弱電干擾、接地不良、光衰過(guò)大查走線分離、查接地、測(cè)光功率環(huán)路導(dǎo)致全網(wǎng)卡頓誤接環(huán)路、防環(huán)配置缺失查生成樹阻塞端口、開(kāi)bpduguard、定位環(huán)路點(diǎn)設(shè)備時(shí)間不對(duì)NTP未配或不可達(dá)查NTP配置與連通性遠(yuǎn)程登錄失敗管理VLAN未放通、ACL攔截、賬號(hào)問(wèn)題查VLAN放通、查ACL、console登錄核查5.3 我的幾條排查心法從物理到邏輯不要跳層。一上來(lái)就懷疑配置往往白折騰。先看燈、再查二層、再看三層、最后看應(yīng)用。物理層的問(wèn)題占了我遇到的故障的一半以上。一次只改一個(gè)變量。同時(shí)改三個(gè)配置問(wèn)題消失了你也不知道是哪條起的作用問(wèn)題還在你也不知道是哪條沒(méi)用。改一條、驗(yàn)一條、記錄一條。記錄現(xiàn)場(chǎng)。排查過(guò)程中的每條命令輸出、每次改動(dòng)都記下來(lái)。故障復(fù)盤時(shí)這份記錄就是最好的材料。別在業(yè)務(wù)高峰期做大改。冗余切換測(cè)試、生成樹調(diào)整、聚合口重建都有短暫中斷風(fēng)險(xiǎn)安排窗口是基本職業(yè)素養(yǎng)。我踩過(guò)的最深的坑是一臺(tái)接入交換機(jī)上行口速率協(xié)商成了百兆業(yè)務(wù)“能用但慢”查了一下午配置都沒(méi)問(wèn)題最后是線纜質(zhì)量問(wèn)題導(dǎo)致千兆協(xié)商失敗。從那以后我驗(yàn)收時(shí)一定核對(duì)每個(gè)上行口的實(shí)際協(xié)商速率而不是只看燈亮。6. 交付與長(zhǎng)期可運(yùn)維性把活做在別人看不見(jiàn)的地方6.1 文檔與資產(chǎn)臺(tái)賬交付時(shí)我必交三樣?xùn)|西拓?fù)鋱D標(biāo)注設(shè)備名、管理地址、互聯(lián)端口、VLAN、端口臺(tái)賬每個(gè)端口的描述、VLAN、對(duì)端設(shè)備、配置備份每臺(tái)設(shè)備的完整配置文本。這三樣?xùn)|西的價(jià)值在設(shè)備故障、人員變動(dòng)、擴(kuò)容改造時(shí)體現(xiàn)得淋漓盡致。配置備份這件事我建議做成例行任務(wù)不是一次性動(dòng)作。每次變更后備份一次文件名帶日期和設(shè)備名。有條件的接入自動(dòng)備份機(jī)制但手工備份這個(gè)習(xí)慣不能丟。6.2 變更管理與回滾預(yù)案任何配置變更前我的動(dòng)作固定是先備份、寫變更單、定回滾方案。回滾方案要具體到命令比如“把某接口的trunk允許VLAN恢復(fù)為變更前的列表”而不是寫一句“恢復(fù)原配置”。尤其是遠(yuǎn)程操作時(shí)回滾預(yù)案更重要。我通常會(huì)開(kāi)兩個(gè)會(huì)話一個(gè)用于操作一個(gè)保持觀察或者在配置前設(shè)置定時(shí)回滾防止把自己鎖在設(shè)備外面。6.3 擴(kuò)容余量與命名規(guī)范的前瞻性規(guī)劃時(shí)留余量是我這些年最慶幸的習(xí)慣。管理地址段留余量、VLAN ID留間隔、U位留空位、PDU插口留空口、光纖預(yù)留幾芯。這些東西在項(xiàng)目當(dāng)下看不出價(jià)值在半年后加設(shè)備時(shí)就是救命稻草。命名規(guī)范也一樣一開(kāi)始就定好層次化規(guī)則后面加設(shè)備只是套模板一開(kāi)始隨手命名后面就是一堆switch1、switch2誰(shuí)也不知道是哪臺(tái)。6.4 我個(gè)人在實(shí)際操作中的體會(huì)這套流程我走過(guò)很多遍最大的體會(huì)是網(wǎng)絡(luò)設(shè)備安裝與調(diào)試技術(shù)難度主要集中在“不出錯(cuò)”而不是“很難”。真正難的配置沒(méi)幾個(gè)難的是把每一步都做扎實(shí)、把每個(gè)細(xì)節(jié)都想到、把每處冗余都驗(yàn)證。我現(xiàn)在的習(xí)慣是安裝階段多花的時(shí)間調(diào)試階段都能省回來(lái)調(diào)試階段多做的驗(yàn)證運(yùn)維階段都能少熬的夜。設(shè)備是不會(huì)騙人的它給你的每個(gè)現(xiàn)象背后都有原因你只要按順序、按層次去查基本都能找到。最后分享一個(gè)我覺(jué)得特別值的小習(xí)慣每次項(xiàng)目結(jié)束后花十分鐘把這次遇到的問(wèn)題和解決辦法補(bǔ)進(jìn)自己的問(wèn)題庫(kù)。一年下來(lái)這個(gè)庫(kù)就是你最值錢的東西比任何文檔都好用。