1. 先把賬算明白CentOS 7 需不需要交換空間在 CentOS 7 上加交換空間swap這件事看起來只是個dd加mkswap的操作但我在實際交付中見過太多人把它做成了“加完之后系統(tǒng)更卡”的結(jié)果。原因基本都不在命令敲錯而在于動手之前沒算清楚三件事這臺機器到底缺不缺 swap、缺多少、加在什么地方。CentOS 7 這套系統(tǒng)本身對交換空間的依賴程度和后來的版本不太一樣它的默認(rèn)安裝流程在物理內(nèi)存足夠時經(jīng)常干脆不給你劃 swap尤其是各種云主機鏡像、最小化安裝鏡像裝完free -h一看Swap 那一行赫然是 0。這時候你心里得有個判斷是這臺機器真的不需要還是安裝時被跳過了。交換空間的作用說白了就是給內(nèi)存找一個“溢出的臨時倉庫”。物理內(nèi)存不夠用時內(nèi)核把最近不怎么活躍的內(nèi)存頁挪到磁盤上把位置騰給正在跑的熱數(shù)據(jù)等那些被挪走的頁再次被訪問再換回來。這個動作叫換出swap out和換入swap invmstat里的si、so兩列就是它們的實時速率。它的價值不在于“提速”而在于防止一個偶發(fā)的內(nèi)存尖峰直接把進(jìn)程干掉——也就是避免 OOM Killer 一斧頭砍掉你的數(shù)據(jù)庫或者 Web 服務(wù)。反過來說如果一臺機器的 swap 長期被大量讀寫那它一定是內(nèi)存嚴(yán)重不足加 swap 只是在給硬件拖延時間正確的解法是加內(nèi)存而不是無限堆 swap 文件。這篇文章面向三類人剛接手一臺 CentOS 7 服務(wù)器、發(fā)現(xiàn)沒有交換空間不知道怎么補的運維新手手里有老業(yè)務(wù)跑在 CentOS 7 上、需要做資源加固的中級工程師以及想搞清楚“swap 文件、swap 分區(qū)、swappiness 到底怎么回事”的開發(fā)者。我會把容量怎么算、文件怎么建、fstab 怎么寫、報錯怎么查一步步拆開講清楚中間穿插我自己踩過的坑。只要你有一臺能登上去的 CentOS 7跟著做就能完成不需要重裝系統(tǒng)也不需要停機。1.1 交換空間在 CentOS 7 里到底承擔(dān)什么角色很多人對 swap 的印象停留在“內(nèi)存不夠時用的假內(nèi)存”這個理解不算錯但太粗。Linux 的內(nèi)存管理里swap 承擔(dān)的不只是容量補充它還是內(nèi)核回收匿名內(nèi)存頁的唯一出口。所謂匿名頁就是沒有對應(yīng)磁盤文件的那些內(nèi)存比如進(jìn)程的堆、棧、malloc 出來的緩沖區(qū)。文件頁比如可執(zhí)行文件、被 mmap 的文件在內(nèi)存緊張時可以直接丟棄反正磁盤上有原件下次訪問再讀回來就行但匿名頁沒有原件內(nèi)核想回收它只能寫進(jìn) swap。這就意味著一件事即使你的系統(tǒng)內(nèi)存看起來很充裕只要它需要做內(nèi)存整理、需要給連續(xù)的大塊分配騰地方swap 就有可能被用到一點點。完全沒有 swap 的機器在某些內(nèi)存壓力場景下內(nèi)核的回旋余地會窄一些。這也是為什么我不建議“內(nèi)存夠大就永遠(yuǎn)不加 swap”。一臺 16G 內(nèi)存跑著 Java 應(yīng)用的機器平時用掉 6G看起來綽綽有余但業(yè)務(wù)高峰期一次全量緩存加載可能瞬間沖到 15G 以上這時候有 4G swap 兜底和沒有結(jié)果就是“慢一點”和“進(jìn)程被殺”的區(qū)別。當(dāng)然前提是這塊 swap 所在磁盤的 IO 能力別太差機械盤上做 swap 在現(xiàn)代負(fù)載下體驗非常糟糕SSD 或者本地 NVMe 上是可接受的。還有一個容易被忽略的點CentOS 7 的休眠h(yuǎn)ibernation依賴 swap需要 swap 容量大于物理內(nèi)存。服務(wù)器場景基本用不上但如果你在虛擬機或者測試機上折騰休眠功能這一點得記住容量不夠是直接睡不下去的。1.2 swap 文件、swap 分區(qū)、zram 三條路怎么選在 CentOS 7 上加交換空間主流就三種做法各有各的適用邊界我把它們放在一張表里對比方便你直接對號入座方案實現(xiàn)方式優(yōu)點缺點適用場景swap 文件在已有文件系統(tǒng)上建一個普通文件不用改分區(qū)表、不用重啟、隨時可加可刪、容量調(diào)整靈活受文件系統(tǒng)開銷影響性能略低于裸分區(qū)某些文件系統(tǒng)需要額外處理絕大多數(shù)在線業(yè)務(wù)的臨時擴容、云主機、無法改分區(qū)的情況swap 分區(qū)獨立分區(qū)類型 82MBR或 8200GPT走塊設(shè)備直讀直寫繞開文件系統(tǒng)層性能最好需要有空閑分區(qū)位或未分配空間可能要停機調(diào)整分區(qū)表新裝系統(tǒng)規(guī)劃階段、對 IO 有要求的場景zram內(nèi)核模塊壓縮內(nèi)存塊設(shè)備壓縮后等效容量大完全不走磁盤 IOCentOS 7 內(nèi)核需要額外裝kmod-zram配置略繁瑣吃 CPU內(nèi)存小、磁盤慢的輕量機、容器宿主機我的默認(rèn)建議是能不動分區(qū)表就不動優(yōu)先用 swap 文件。原因很現(xiàn)實——生產(chǎn)機器上改分區(qū)表的風(fēng)險和成本遠(yuǎn)高于收益而 swap 文件在 SSD 上的性能損失對絕大多數(shù)業(yè)務(wù)來說根本感知不到。只有在新建機器、規(guī)劃磁盤布局的時候我才會順手劃一個獨立 swap 分區(qū)因為那時候改分區(qū)零成本。zram 這條路在 CentOS 7 上不是默認(rèn)配置需要裝kmod-zram并手動配置zramctl屬于“有特定需求才折騰”的范疇。如果你的機器內(nèi)存只有 1G 到 2G磁盤又是低配云盤zram 的收益會很明顯但如果你是常規(guī)的 8G 以上配置老老實實用 swap 文件更省心。1.3 容量定多少一張能直接抄的對照表swap 大小沒有絕對標(biāo)準(zhǔn)但業(yè)內(nèi)流傳著一套比較通行的對照經(jīng)驗我在實際項目里也是按這個基準(zhǔn)來再根據(jù)業(yè)務(wù)特性做微調(diào)物理內(nèi)存推薦 swap 大小說明≤ 2 GB內(nèi)存的 2 倍小內(nèi)存機器 swap 是剛需別省2 GB ~ 8 GB等于物理內(nèi)存常見的折中方案8 GB ~ 64 GB4 GB ~ 8 GB內(nèi)存越大swap 邊際收益越低 64 GB4 GB 即可主要作用是兜底不求容量舉個具體例子一臺 4G 內(nèi)存的 CentOS 7 云主機按表應(yīng)該配 4G swap。但我實際會看它跑什么——如果跑的是 MySQL 且innodb_buffer_pool_size已經(jīng)吃掉了 3G那我會把 swap 配到 4G 甚至 6G因為 MySQL 的內(nèi)存模型容易出現(xiàn)尖峰如果只是跑個 Nginx 加靜態(tài)頁面2G swap 我都嫌多。再補一個計算細(xì)節(jié)避免新手在這里翻車這里的“G”在dd和fallocate里要用MiB來換算因為工具按 1024 進(jìn)制算。4 GiB 就是4096個 1 MiB 塊寫成bs1M count4096。如果你按 1000 進(jìn)制敲成count4000得到的是 3.9 GiB 左右雖然不影響使用但free -h顯示出來的數(shù)字會讓人強迫癥發(fā)作。2. 動手前的家底盤點與參數(shù)核算我一向的習(xí)慣是任何資源變更之前先花兩分鐘把家底摸清楚。這兩分鐘能幫你避開至少一半的低級錯誤比如在只剩 2G 空間的根分區(qū)上想建 4G 的 swap 文件、比如系統(tǒng)里其實早有一個沒被激活的 swap 分區(qū)、比如你打算放 swap 的那塊盤其實是網(wǎng)絡(luò)存儲。下面幾條命令敲完截個圖存著出問題的時候能省很多事。2.1 四條命令看清內(nèi)存、磁盤和現(xiàn)有 swapfree -m swapon --show df -h lsblk -ffree -m看內(nèi)存和 swap 總量單位 MB比free -h更適合做精確比對。重點看兩列available是真正可用的內(nèi)存估算值Swap那一行如果是0 0 0說明當(dāng)前完全沒有交換空間。swapon --show會列出已經(jīng)激活的 swap 設(shè)備如果輸出為空說明確實沒有啟用的如果這里有東西那你得先確認(rèn)它是不是你想保留的別重復(fù)添加。df -h用來確認(rèn)目標(biāo)分區(qū)的剩余空間。這里有個經(jīng)驗值swap 文件建議不要把分區(qū)塞滿至少留 20% 以上余量因為文件系統(tǒng)本身需要空間做元數(shù)據(jù)和日志塞太滿會引發(fā)一連串奇怪的問題。lsblk -f則是看塊設(shè)備布局和文件系統(tǒng)類型這決定了你能不能建 swap 文件——XFS 和 ext4 都沒問題CentOS 7 默認(rèn)就是 XFS。# 確認(rèn)是否已經(jīng)有 swap 分區(qū)但沒啟用 fdisk -l | grep -i swap cat /proc/swaps/proc/swaps是最權(quán)威的“當(dāng)前生效列表”比swapon --show更底層。有時候你會遇到一種情況/etc/fstab里明明寫了 swap 條目但free顯示是 0那多半是開機時掛載失敗了這時候dmesg | grep -i swap往往能找到原因。2.2 swappiness 該調(diào)到多少vm.swappiness這個參數(shù)控制內(nèi)核“有多愿意”把匿名頁換出去取值范圍 0 到 100。CentOS 7 的默認(rèn)值是30不是老版本常見的 60。數(shù)值越高內(nèi)核越傾向于主動換出越低越傾向于保留在內(nèi)存里、寧可去回收文件頁和丟棄緩存。我見過不少人一上來就抄“改成 1”或者“改成 0”然后抱怨系統(tǒng)變卡。這里得說清楚swappiness0在 CentOS 7 的內(nèi)核上并不是“完全不用 swap”它只是在內(nèi)存和 swap 都夠用的時候盡量避免換出一旦內(nèi)存真的見底還是會換。對于服務(wù)器我的實際取值習(xí)慣是這樣數(shù)據(jù)庫、緩存類服務(wù)MySQL、Redis設(shè)成 10。這類進(jìn)程的內(nèi)存是它自己精心管理的被換出去再換回來純屬浪費。普通 Web、應(yīng)用服務(wù)器保持默認(rèn) 30省事且平衡。加了 swap 只是為了兜底、內(nèi)存長期吃緊的機器可以適當(dāng)調(diào)高到 40 到 60讓內(nèi)核更早動手避免臨門一腳 OOM。臨時調(diào)整用sysctl vm.swappiness10永久生效寫進(jìn)/etc/sysctl.d/下新建的配置文件別直接改/etc/sysctl.conf—— 多文件分層管理更清晰也方便回滾echo vm.swappiness 10 /etc/sysctl.d/99-swap.conf sysctl -p /etc/sysctl.d/99-swap.conf注意swappiness改完之后不會立刻看到效果它影響的是內(nèi)核后續(xù)的回收決策觀察窗口建議放在幾小時甚至一天的量級上別改完一分鐘就去vmstat看一眼然后下結(jié)論。2.3 交換文件放哪個目錄、哪塊盤位置選擇上有幾個原則都是踩過坑之后總結(jié)的第一別放在網(wǎng)絡(luò)文件系統(tǒng)上。NFS、CIFS 這類共享存儲上建 swap內(nèi)核直接拒絕swapon會報錯。而且就算能掛上網(wǎng)絡(luò)延遲會讓 swap 變成災(zāi)難。第二盡量放在 IO 能力最好的本地盤上。如果你的機器有 SSD 數(shù)據(jù)盤掛在/data把 swap 文件放那兒比放根分區(qū)更合理能減少和系統(tǒng)日志爭搶 IO。但也要權(quán)衡數(shù)據(jù)盤如果做的是 RAID 或者有快照策略swap 文件產(chǎn)生的巨量寫入會污染快照、也會讓備份變得很臃腫。第三避開業(yè)務(wù)寫入熱點目錄。我一般直接用/swapfile這種根目錄下的獨立文件或者在/var/swap/下自建目錄。不建議放/tmp因為有些機器/tmp掛了 tmpfs重啟清空也有安全加固策略會定期清理/tmpswap 文件被刪掉就麻煩了。第四注意 SELinux 上下文。CentOS 7 默認(rèn)開啟 SELinux在某些自定義目錄下創(chuàng)建 swap 文件后swapon可能被拒絕/var/log/audit/audit.log里會有 AVC 記錄。最省事的做法就是放根目錄標(biāo)準(zhǔn)路徑的上下文是正確的。# 確認(rèn)目標(biāo)目錄所在分區(qū)和剩余空間 df -h / # 確認(rèn) SELinux 狀態(tài)Enforcing 時要注意上下文 getenforce3. 主力方案用 swap 文件加交換空間這是我給 CentOS 7 加交換空間時用得最多的一條路全流程在線完成不需要重啟不需要停機做完立刻生效。整個過程分五步建文件、改權(quán)限、格式化、啟用、寫 fstab?？雌饋砗唵蔚恳徊蕉加兄档谜f的細(xì)節(jié)尤其是第一步的文件創(chuàng)建方式選錯了后面會莫名其妙報錯。3.1 創(chuàng)建文件的兩種寫法與 bs/count 換算創(chuàng)建 swap 文件的標(biāo)準(zhǔn)寫法是用dddd if/dev/zero of/swapfile bs1M count4096 statusprogressif/dev/zero表示輸入源是零設(shè)備of是輸出文件bs1M count4096組合起來就是 4096 MiB也就是 4 GiB。這里bs和count的乘積就是文件大小改容量只需要改這兩個數(shù)的乘積比如 2G 就寫bs1M count20488G 寫count8192。statusprogress是讓 dd 輸出進(jìn)度CentOS 7 的 coreutils 版本支持這個參數(shù)不加的話你會對著一個沒有任何輸出的終端干等容易誤以為卡死了。如果你手上是更老的系統(tǒng)或者 busybox 的 dd這個參數(shù)會報錯那就去掉改用kill -USR1 pid手動看進(jìn)度。bs的取值也有講究。理論上bs越大寫入越快但超過一定程度收益就很小了而且占用內(nèi)存做緩沖。我一般用1M追求速度的時候用8M或者64M實測在 SSD 上 4G 的文件大概十幾秒到幾十秒能寫完具體取決于磁盤。機械盤上就耐心點這時候可以考慮fallocate。3.2 fallocate 與 dd 的差別在哪fallocate是另一條創(chuàng)建路徑速度極快因為它只分配元數(shù)據(jù)、不實際寫零fallocate -l 4G /swapfile快是快但它有個歷史遺留問題在某些文件系統(tǒng)上fallocate分配出來的文件是“稀疏”的也就是有空洞mkswap一做校驗就會拒絕mkswap: /swapfile: warning: dont erase bootbits sectors (dos partition table detected). Use -f to force.或者更直接的swapon: /swapfile: swapon failed: Invalid argument根因就是文件有空洞內(nèi)核不允許把有空洞的文件當(dāng) swap 用因為它無法保證 swap 頁的物理映射是連續(xù)的。XFS 在 CentOS 7 上對fallocate的支持是比較完整的一般不會出問題但我遇到過在 ext4 老內(nèi)核上翻車的案例。所以我的實際做法是能用 dd 就用 dd趕時間可以用 fallocate但建完必須用下面這條命令驗證一下filefrag -v /swapfile | head -5如果輸出里extents數(shù)量是 1說明文件是連續(xù)的、沒有空洞可以放心用如果是幾十上百個 extent說明碎片化嚴(yán)重或者有空洞老老實實刪掉用 dd 重建。提示如果你確實要用 fallocate 又要確保安全可以建完之后用dd if/swapfile of/dev/null bs1M完整讀一遍能順利讀完整說明塊映射是實的。這一步會花時間但比出事強。3.3 權(quán)限、mkswap、swapon 一條龍文件建好之后接下來三步一氣呵成chmod 600 /swapfile mkswap /swapfile swapon /swapfilechmod 600這一步新手最容易漏。swap 文件里存的是進(jìn)程內(nèi)存的原始內(nèi)容可能是密碼、密鑰、用戶數(shù)據(jù)權(quán)限必須收緊。如果你跳過這步直接mkswap和swaponswapon會給你一個警告swapon: /swapfile: insecure permissions 0644, 0600 suggested.這個警告不阻止操作但會讓人誤以為成功了。實際上文件確實被啟用了只是權(quán)限不對安全審計過不去。我見過有人在自動化腳本里把這條警告忽略掉后來安全掃描報了一堆高?；仡^查起來還挺費勁。mkswap的輸出會告訴你 UUID、頁大小和容量正常長這樣Setting up swapspace version 1, size 4194300 KiB no label, UUIDxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx這里有個實用技巧如果mkswap提示Device or resource busy說明這個文件已經(jīng)被某個 swap 占用了先swapoff再操作。如果提示Killed或者直接卡住那多半是內(nèi)存不足導(dǎo)致mkswap進(jìn)程被殺這種時候要先把內(nèi)存壓力降下來。swapon成功是沒有輸出的Unix 哲學(xué)里“沒消息就是好消息”。驗證要用swapon --show free -h cat /proc/swaps三條命令任何一條能看到新加的 swap就說明生效了。3.4 寫進(jìn) fstab格式細(xì)節(jié)與開機驗證命令行啟用只是臨時的重啟就沒了。要持久化得寫/etc/fstabecho /swapfile none swap defaults 0 0 /etc/fstab這里有個細(xì)節(jié)我要特別強調(diào)第二種字段掛載點不要寫swap寫none。雖然寫swap在很多系統(tǒng)上也能正常工作但標(biāo)準(zhǔn)寫法是none因為 swap 沒有掛載點的概念。字段含義依次是設(shè)備路徑、掛載點、文件系統(tǒng)類型、掛載選項、dump 備份標(biāo)志、fsck 檢查順序。最后兩個都必須是0swap 不需要備份也不需要 fsck。更嚴(yán)謹(jǐn)?shù)膶懛ㄊ侵付▋?yōu)先級echo /swapfile none swap defaults,pri10 0 0 /etc/fstabpri參數(shù)在多塊 swap 時才有意義數(shù)值越大越優(yōu)先使用。單塊 swap 寫不寫都行但寫上是個好習(xí)慣方便以后擴展。寫完 fstab 千萬別直接 reboot 了事。fstab寫錯導(dǎo)致開機進(jìn) emergency mode 是我見過最高頻的翻車方式尤其是在遠(yuǎn)程服務(wù)器上重啟之后連不上只能提工單。正確的做法是先驗證# 檢查 fstab 語法這一步不會真的掛載 mount -a # 或者更直觀地看 swap 是否被正確識別 swapoff -a swapon -a free -hswapoff -a swapon -a會先關(guān)掉所有 swap 再按 fstab 重新啟用如果 fstab 有問題這一步就會報錯你能在還能連上服務(wù)器的時候發(fā)現(xiàn)問題。這個操作在內(nèi)存吃緊的機器上有風(fēng)險——關(guān)掉 swap 的瞬間如果內(nèi)存不夠可能觸發(fā) OOM所以建議在業(yè)務(wù)低峰期做或者先確認(rèn)free -m的 available 足夠。注意如果 fstab 里同時存在舊的、已經(jīng)失效的 swap 條目比如換了磁盤但沒改配置swapoff -a之后swapon -a會報swapon: cannot find the device但不會影響其他條目。這類報錯不影響開機但會污染日志建議清理掉。3.5 驗收壓一壓才知道能不能用swap 加上了、fstab 寫了、free也顯示了但這只能說明“配置正確”不能說明“真的能用”。我習(xí)慣做一次輕量壓測來驗證交換鏈路是通的。最溫和的方式是用stress制造內(nèi)存壓力yum install -y stress stress --vm 1 --vm-bytes 5G --timeout 60s同時在另一個終端跑vmstat 1 10盯住si和so兩列。如果有非零值出現(xiàn)說明內(nèi)核確實在換入換出鏈路是通的。測完記得確認(rèn) swap 使用量回落free -m還有一種更直接的驗證方式是臨時把swappiness調(diào)到 100 再制造壓力能更快看到 swap 被使用。不過這個測試對線上業(yè)務(wù)有影響只建議在測試機或者確認(rèn)可以承受的機器上做。如果沒有stress可以用一個最簡單的內(nèi)存占用腳本代替# 申請 5G 內(nèi)存并保持 60 秒 python -c buf bytearray(5 * 1024 * 1024 * 1024) import time; time.sleep(60) 需要注意的是如果你的機器內(nèi)存本來就很充足壓力根本壓不到 swap那說明它暫時不需要 swap這是好事不用強求看到交換發(fā)生。4. 備選方案用 LVM 邏輯卷劃 swap 分區(qū)雖然我大部分時候推薦 swap 文件但有些場景確實該走分區(qū)這條路。比如你正在規(guī)劃一臺新機器的磁盤布局比如機器上有大塊未分配的 LVM 空間比如業(yè)務(wù)對 IO 延遲極其敏感。這時候用邏輯卷劃一個 swap 分區(qū)能繞開文件系統(tǒng)層性能會好一些。4.1 什么場景該走分區(qū)這條路判斷標(biāo)準(zhǔn)其實不復(fù)雜我列幾條只要命中一條就可以考慮分區(qū)方案機器上用的是 LVMvgdisplay能看到有富余的 free PE直接lvcreate出一個邏輯卷比建文件還快。隨時可以重啟、可以維護不怕改分區(qū)表。正在做新機交付的標(biāo)準(zhǔn)鏡像希望布局干凈、一目了然。某些特殊合規(guī)要求或運維規(guī)范明確要求 swap 必須是獨立塊設(shè)備。反過來如果機器是生產(chǎn)環(huán)境、不允許停機、根分區(qū)空間緊張但沒法擴那還是老老實實用 swap 文件別為了那點性能去冒停機風(fēng)險。4.2 lvcreate 到 mkswap 的完整流程先確認(rèn) LVM 有沒有富余空間vgs lvs pvsvgs輸出里的VFree就是可用空間。假設(shè)卷組叫centosCentOS 7 默認(rèn)安裝一般是這個名字要劃 4G swaplvcreate -L 4G -n swaplv centos創(chuàng)建完之后設(shè)備路徑是/dev/centos/swaplv但也有可能是/dev/mapper/centos-swaplv兩個都指向同一個設(shè)備用哪個都行。然后mkswap /dev/centos/swaplv swapon /dev/centos/swaplv swapon --show寫 fstab 的時候建議用/dev/mapper/路徑它比/dev/卷組名/邏輯卷名更穩(wěn)妥避免某些情況下符號鏈接解析出問題echo /dev/mapper/centos-swaplv none swap defaults,pri20 0 0 /etc/fstab如果機器上還沒有 LVM而是有空閑分區(qū)那就走傳統(tǒng)分區(qū)路線用fdisk或者parted劃一個類型為82MBR或8200GPT的分區(qū)fdisk /dev/sdb # n 新建分區(qū) - t 改類型 - 82 (Linux swap) - w 保存 partprobe /dev/sdb mkswap /dev/sdb1 swapon /dev/sdb1partprobe這一步別漏它讓內(nèi)核重新讀取分區(qū)表否則/dev/sdb1這個設(shè)備節(jié)點可能還不存在。4.3 多塊 swap 的優(yōu)先級 pri 怎么配當(dāng)系統(tǒng)里有多塊 swap內(nèi)核會按pri值從高到低使用相同pri的情況下會做類似 RAID0 的輪詢分配striping。這個特性挺有用想讓 SSD 上的 swap 先用、機械盤上的只在極端情況下用SSD 那塊設(shè)pri100機械盤設(shè)pri10。兩塊盤性能相當(dāng)想分?jǐn)?IO 壓力設(shè)成一樣的pri內(nèi)核會輪流寫等效于并行 IO。命令行臨時啟用時可以直接指定swapon -p 100 /swapfile但注意命令行指定的優(yōu)先級只對當(dāng)次生效重啟后以 fstab 為準(zhǔn)。所以持久化配置必須寫進(jìn) fstab 的掛載選項里。5. 高頻故障與排查實錄swap 相關(guān)的問題有個共同點報錯信息都很短但根因可能隔了十萬八千里。我把這些年遇到的、以及幫別人排查過的典型情況整理成一張速查表遇到問題先掃一遍能省下不少翻文檔的時間。5.1 報錯速查表報錯信息典型原因處理辦法swapon: /swapfile: insecure permissions 0644文件權(quán)限過寬chmod 600 /swapfile后重新swaponswapon failed: Invalid argument文件有空洞、碎片化或文件系統(tǒng)不支持刪除后用dd重建用filefrag -v驗證swapon: cannot find the devicefstab 里的設(shè)備路徑失效確認(rèn)設(shè)備存在更新 fstab 或刪除該條目mkswap: /swapfile: command not found類錯誤未裝util-linux或 PATH 異常yum install -y util-linux開機進(jìn)入emergency modefstab 寫錯swap 條目無法掛載登錄后mount -o remount,rw /修正 fstabswapon: /swapfile: read swap header failed忘記執(zhí)行mkswap先mkswap /swapfileDevice or resource busy該設(shè)備已作為 swap 啟用先swapoff再操作dd執(zhí)行極慢、幾乎無進(jìn)度磁盤性能差或文件系統(tǒng)碎片嚴(yán)重?fù)Q目標(biāo)盤改用fallocate加驗證加了 swap 后系統(tǒng)明顯變卡swap 所在磁盤 IO 能力不足遷移 swap 到 SSD降低swappinessfree顯示有 swap 但swapon --show為空是兩個不同時刻的狀態(tài)或容器命名空間隔離重新確認(rèn)/proc/swaps5.2 三個讓我半夜爬起來改配置的坑第一個坑是fstab 寫錯導(dǎo)致遠(yuǎn)程機器起不來。那次是給一臺云主機加 swapfstab 里手抖把設(shè)備路徑寫成了/swapfile多了個空格重啟之后系統(tǒng)直接進(jìn) emergency modeSSH 連不上最后是通過控制臺的 VNC 進(jìn)去mount -o remount,rw /用vi改回來才恢復(fù)。從那之后我給自己定了規(guī)矩改完 fstab 必須swapoff -a swapon -a驗證驗證通過再重啟如果是不能承受停機的機器干脆把重啟安排在維護窗口。第二個坑是fallocate 建的文件 mkswap 成功、swapon 失敗。當(dāng)時系統(tǒng)是 ext4fallocate -l 8G建出來的文件mkswap一路綠燈swapon報Invalid argument查了半天以為是 SELinux 或者內(nèi)核限制。最后用filefrag -v一看extents 有 60 多個文件是碎片化的。刪掉改用dd重建一次就好了。這件事讓我徹底放棄在不確定的文件系統(tǒng)上用fallocate走捷徑。第三個坑是swap 加上去了但 OOM 還是發(fā)生了。有一臺 8G 內(nèi)存的機器加了 4G swap業(yè)務(wù)高峰依然被 OOM Killer 干掉了進(jìn)程。查dmesg發(fā)現(xiàn) OOM 觸發(fā)時 swap 只用了 300M。原因是swappiness30內(nèi)核在內(nèi)存還沒見底的時候不愿意換出等到它想換的時候內(nèi)存分配已經(jīng)是原子上下文來不及了。后來把swappiness調(diào)到 60并且把 swap 遷到 SSD 上問題才緩解。這個案例說明swap 容量和 swappiness 是兩個獨立的旋鈕只調(diào)一個未必有效。5.3 縮容與刪除 swap 的正確順序刪 swap 的順序錯了會很難受。正確順序是先從 fstab 里刪掉條目再swapoff最后刪文件。如果先刪文件正在使用的 swap 會報錯如果先swapoff再改 fstab中間重啟一次就白干了。# 1. 從 fstab 刪除對應(yīng)行用 sed 精確匹配別手抖刪錯 sed -i \#^/swapfile#d /etc/fstab # 2. 停用 swapoff /swapfile # 3. 確認(rèn)已停用 swapon --show # 4. 刪除文件 rm -f /swapfileswapoff在內(nèi)存吃緊的機器上是有風(fēng)險的它需要把 swap 里的所有頁讀回內(nèi)存如果內(nèi)存裝不下內(nèi)核會開始?xì)⑦M(jìn)程。所以縮小或刪除 swap 前先看free -m的 available 是否大于當(dāng)前 swap 使用量不夠就挑低峰期做。至于縮容比如把 8G 改成 4Gswap 文件不支持在線縮小只能刪了重建流程就是上面的刪除加重新創(chuàng)建。swap 分區(qū)的話可以用swapoff加lvreduce但同樣要先確保內(nèi)存能扛住。6. 長期維護讓交換空間不變成拖累加 swap 是個一次性動作但它的影響是長期的。我見過太多機器swap 加上去之后就再也沒人看過直到某天監(jiān)控報警說磁盤 IO 打滿一查發(fā)現(xiàn)是 swap 在被瘋狂讀寫。所以配套的監(jiān)控和參數(shù)固化比加 swap 本身更重要。6.1 用 vmstat 和 sar 盯住 si/so判斷 swap 是否健康看兩個指標(biāo)就夠了換入換出速率和使用量的趨勢。vmstat 1 5輸出里siswap in和soswap out單位是 KB/s。正常情況下這兩個值應(yīng)該長期為 0 或者接近 0。如果持續(xù)出現(xiàn)幾百 KB/s 甚至幾 MB/s說明內(nèi)存確實不夠用swap 正在承擔(dān)實際工作負(fù)載。這時候要看的不是“swap 夠不夠大”而是“哪個進(jìn)程在吃內(nèi)存”。# 按內(nèi)存占用排序看進(jìn)程 ps aux --sort-rss | head -10 # 看 swap 使用分布 for f in /proc/*/status; do awk /^Name|VmSwap/{printf %s , $2} END{print } $f 2/dev/null; done | sort -k2 -n -r | head這條 for 循環(huán)能列出每個進(jìn)程的VmSwap直接告訴你誰的哪部分內(nèi)存被換出去了。如果發(fā)現(xiàn)是某個 Java 進(jìn)程大量被換出那基本可以確定堆設(shè)置不合理得回去調(diào)-Xmx。sar需要裝sysstat包能看歷史趨勢比vmstat更適合做容量規(guī)劃yum install -y sysstat systemctl enable --now sysstat sar -S 1 5 # 實時看 swap 使用 sar -S -f /var/log/sa/sa15 # 看某天的歷史數(shù)據(jù)6.2 把參數(shù)固化到 sysctl 與監(jiān)控里參數(shù)這塊我建議統(tǒng)一放在/etc/sysctl.d/99-swap.conf內(nèi)容參考vm.swappiness 10 vm.vfs_cache_pressure 50vfs_cache_pressure控制內(nèi)核回收 dentry 和 inode 緩存的傾向默認(rèn) 100。調(diào)低到 50 會讓內(nèi)核更傾向于保留文件系統(tǒng)緩存間接減少匿名頁被換出的壓力。這個參數(shù)對文件服務(wù)器、Web 服務(wù)器效果比較明顯但也別調(diào)太低太低會導(dǎo)致內(nèi)存里堆積大量緩存反而擠占應(yīng)用內(nèi)存。監(jiān)控方面我一般會配兩條告警規(guī)則swap 使用率超過 50% 持續(xù) 10 分鐘說明內(nèi)存長期不足需要擴容或優(yōu)化應(yīng)用。si或so持續(xù)大于 1024 KB/s 超過 5 分鐘說明 swap 正在進(jìn)行高頻 IO磁盤可能成為瓶頸。這兩條規(guī)則的閾值不是拍腦袋定的。50% 是個經(jīng)驗分界線超過它說明系統(tǒng)已經(jīng)有一半的內(nèi)存壓力轉(zhuǎn)移到了磁盤上1024 KB/s 則是考慮到即使是 SSD持續(xù)的兆級 swap IO 也會明顯影響其他服務(wù)的 IO 響應(yīng)時間。最后補一個容易被忽略的點容器環(huán)境里的 swap 是受限的。如果這臺 CentOS 7 上跑著 Docker容器默認(rèn)繼承宿主機的 swap 配置但--memory-swap參數(shù)會限制單個容器能用的 swap 上限。宿主機加了 swap不等于容器能用到這一點在做資源規(guī)劃的時候要對齊清楚不然會出現(xiàn)“宿主機明明有 swap容器還是被 OOM”的情況。我個人在實際操作中的體會是swap 這東西屬于“平時想不起來、出事時指望它”的基礎(chǔ)設(shè)施。真正決定它價值的不是容量大小而是你有沒有搞清楚它為什么存在、什么時候會被用到、用到什么程度就該報警。我現(xiàn)在的習(xí)慣是每接手一臺 CentOS 7第一件事就是跑一遍free -m和swapon --show看到 swap 是 0 就先按內(nèi)存大小配一份順便把swappiness和監(jiān)控一起落了——這套動作五分鐘能做完但省下的是未來某天凌晨被電話叫醒的麻煩。