1. 為什么我決定開一個Linux內(nèi)核專欄說實話每次有人問我“內(nèi)核到底怎么學(xué)”我都有點不知道從哪回答。不是沒得說而是能說的太多反而不知道該先講哪個。斷斷續(xù)續(xù)做了這么多年內(nèi)核相關(guān)的工作從最早被內(nèi)核日志里那些一臉懵的panic嚇得睡不著到現(xiàn)在能對著調(diào)用棧比較淡定地猜問題方向中間踩過的坑、翻過的書、重編過的內(nèi)核數(shù)都數(shù)不清。所以我決定把這一路的東西整理成一套成體系的專欄給自己一個沉淀的機(jī)會也給正在內(nèi)核門口徘徊的人一盞不那么刺眼的燈。這個專欄的核心內(nèi)容就是圍繞Linux內(nèi)核展開的一系列拆解從內(nèi)核的編譯與啟動流程、進(jìn)程調(diào)度、內(nèi)存管理、文件系統(tǒng)到設(shè)備驅(qū)動、中斷處理、調(diào)試技巧再到一些性能調(diào)優(yōu)和故障排查的實戰(zhàn)案例。每一篇都會用一種“不講大而全、只講透一個點”的方式去寫。它不是什么教科書級的大部頭也不是那種只有標(biāo)題沒有內(nèi)容的空泛索引而是更接近“一個干了多年活的人把手里最順手的那套工具和心法一個個擺給你看”。這個專欄適合誰我覺得三類人比較對味。第一類是正在學(xué)習(xí)操作系統(tǒng)課程的學(xué)生想找一個從理論到代碼之間過渡的橋梁第二類是剛?cè)胄械膬?nèi)核或驅(qū)動開發(fā)者需要有人幫忙把那些跨文檔的零散概念串起來第三類是做應(yīng)用開發(fā)但老被線上詭異問題折磨、想往底層看一眼的后端工程師。換句話說只要你想搞清楚“程序跑起來之后內(nèi)核到底在干什么”這個專欄就值得你一直留個標(biāo)簽頁。先說清楚一件事這個專欄不打算做那種“28天精通內(nèi)核”的速成指南。內(nèi)核這東西沒有任何人能速成。但如果你愿意跟著一篇一篇走每篇只聚焦一個小問題、把對應(yīng)的那部分代碼路徑和原理說透你會發(fā)現(xiàn)三個月之后自己再看內(nèi)核文檔和郵件列表已經(jīng)不像以前那樣滿腦子問號了。2. 總目錄的設(shè)計思路不求全覆蓋只求不迷路2.1 先圈定邊界專欄不會碰什么開頭我先把丑話說在前面。Linux內(nèi)核的覆蓋面太大了大到任何一個全知全能專欄都是扯淡。所以我一開始就做了一個很重要的設(shè)計決策明確邊界。這個專欄不會去做的事包括但不限于逐行注釋啟動匯編代碼、深入某個具體硬件平臺比如某款A(yù)RM SoC的板級細(xì)節(jié)、完整翻譯內(nèi)核文檔、講某發(fā)行版特有的配置花活。這些內(nèi)容不是不重要而是它們屬于“需要用的時候再去查”的領(lǐng)域。如果我把它們?nèi)M(jìn)專欄這專欄就成了一個不可能維護(hù)的巨型文檔你也很難堅持讀下去。那專欄重點放哪我的邏輯是抓住內(nèi)核功能領(lǐng)域的“主干道路”每一條道路都從“問題是什么”出發(fā)然后走到“內(nèi)核怎么設(shè)計”最后落到“代碼在哪、怎么驗證”。舉個例子講進(jìn)程調(diào)度不會上來就列一堆函數(shù)名而是先問一個問題一臺電腦上那么多進(jìn)程憑什么能讓它們看起來像同時在跑這個問題想清楚了再去讀調(diào)度器代碼你會發(fā)現(xiàn)那些函數(shù)、鏈表、優(yōu)先級的概念全是答案的一部分不需要硬背。這種“從問題到答案”的組織方式是我認(rèn)為最不容易迷路的路線圖。它不追求讓讀者看完全部內(nèi)容后變成“內(nèi)核萬事通”而是追求每次遇到一個具體問題你都能憑在專欄里建立起來的框架快速定位到該查哪份文檔、哪段代碼、哪個工具。2.2 前五篇的核心主軸從拿到代碼到跑起來總目錄的第一階段我安排了一個五篇左右的“啟動主線”。這個主軸解決的是很多初學(xué)者最尷尬的困惑源碼下載下來了編譯也過了但接下來該干嘛或者內(nèi)核文檔讀了一堆卻從來沒有自己親手把內(nèi)核跑起來過。這部分的規(guī)劃大致是這樣的先講怎么獲取內(nèi)核源碼、怎么管理版本、怎么看懂內(nèi)核源碼樹的目錄結(jié)構(gòu)然后進(jìn)入編譯和安裝環(huán)節(jié)這里會重點講make menuconfig里那些需要關(guān)注的選項以及為什么初學(xué)者最容易在grub配置上翻車接著用一個簡單的場景做一次真正的內(nèi)核啟動流程追蹤最后引入調(diào)試工具比如串口輸出、printk優(yōu)先級、kprobe這些基礎(chǔ)的觀測手段。這個過程的設(shè)計思路是“先跑通再跑深”。很多人一上來就啃內(nèi)存管理或者調(diào)度器源代碼結(jié)果是每個函數(shù)都認(rèn)識連在一起就不知道在干嘛。但如果你先親手編譯、親手啟動、親手在啟動日志里看見自己的改動產(chǎn)生效果再回頭去看代碼那些抽象的數(shù)據(jù)結(jié)構(gòu)就有了落腳點。我記得自己早年學(xué)內(nèi)核的時候最大的挫敗感來自“看了就忘”。后來我發(fā)現(xiàn)看了就忘的根源是沒有“動手錨點”。比如你只是讀“內(nèi)核啟動時會調(diào)用start_kernel”讀十遍也記不住但如果你在start_kernel里加一行printk然后用QEMU啟動親眼看到那行輸出出現(xiàn)在串口終端里這個知識點就長在你腦子上了。專欄的總目錄把這種“動手錨點”設(shè)計到每一篇的結(jié)尾每篇都給你留一個可以親手做的驗證實驗。2.3 中段主線的選擇邏輯依照依賴順序與痛點頻率過了啟動階段就進(jìn)入內(nèi)核功能領(lǐng)域的核心模塊。我在規(guī)劃中段內(nèi)容時遵循了一個不太一樣的選擇邏輯不是按教科書的章節(jié)目錄順序而是按“依賴順序”和“痛點頻率”兩個維度來排。先說依賴順序。很多內(nèi)核概念之間是有先后依賴關(guān)系的。比如不先搞懂進(jìn)程描述符task_struct你就很難理解調(diào)度器在調(diào)度什么不了解虛擬地址和物理地址的映射關(guān)系你就很難理解頁表為什么存在、缺頁異常在干嘛。所以中段的目錄會先從進(jìn)程與調(diào)度講起然后進(jìn)入內(nèi)存管理再把文件系統(tǒng)、IO路徑、網(wǎng)絡(luò)協(xié)議棧逐個帶出來。這個順序保證了你讀后面的內(nèi)容時用到的前置知識在前面已經(jīng)埋過種子了。再說痛點頻率。我觀察到一個挺有意思的現(xiàn)象從事內(nèi)核相關(guān)工作的人日常遇到最多的問題往往不是某個高深算法不理解而是“系統(tǒng)為什么卡了一下”“內(nèi)存為什么這么高”“IO為什么這么慢”。這些問題的排查鏈路幾乎都會指向調(diào)度、內(nèi)存、文件系統(tǒng)、中斷這幾個基礎(chǔ)模塊。所以專欄的中段主干會盡量覆蓋這些高頻痛點的底層結(jié)構(gòu)同時每一篇都結(jié)合一個真實感很強(qiáng)的排查場景來講。我舉個例子講內(nèi)存管理時會有一個場景某個進(jìn)程的RSS不高但系統(tǒng)內(nèi)存明顯不夠用。很多人上來就懷疑泄漏卻忘了去看page cache、slab、內(nèi)核棧這些容易被忽略的內(nèi)存去向。專欄在講內(nèi)存管理的那幾篇里就會把這類“看起來像泄漏、實際不是泄漏”的經(jīng)典案例拆開來講告訴你該用哪些手段一步步定位。2.4 后段專題驅(qū)動、調(diào)試、性能按需取用總目錄的第三個大塊是專題區(qū)。這部分和前兩段不太一樣前兩段建議順序閱讀專題區(qū)則更像“按需取用”的工具箱。驅(qū)動開發(fā)、內(nèi)核調(diào)試、性能調(diào)優(yōu)、安全加固、虛擬化墊腳石……都可以在這里找到對應(yīng)條目。為什么把專題區(qū)獨立出來因為到了這個階段每個人的方向差異會非常大。有人做驅(qū)動開發(fā)那他需要的是platform總線、設(shè)備樹、常見外設(shè)驅(qū)動的寫法有人是看云原生的底層那他更關(guān)心cgroup、namespace、容器隔離到底在內(nèi)核里是怎么實現(xiàn)的還有人就是純粹的系統(tǒng)調(diào)參俠那他需要的是perf、ftrace、sar這些工具怎么配合內(nèi)核機(jī)制來定位瓶頸。把這些內(nèi)容打散進(jìn)主線會讓主線變得臃腫獨立出來則各取所需。不過我要說清楚專題區(qū)不等于“放棄深度”。比如驅(qū)動開發(fā)專題不會只說“字符設(shè)備驅(qū)動框架怎么搭”而是會把驅(qū)動的生命周期、與設(shè)備模型的交互、與中斷系統(tǒng)的聯(lián)動這些底下的機(jī)制講明白。目標(biāo)是讓你讀完一篇專題不僅會寫一個小demo還知道這個demo在真實內(nèi)核里為什么要按這個套路寫。3. 專欄各階段的編排邏輯與閱讀方法論3.1 階段劃分從“看得懂”到“改得動”再到“查得清”整個專欄的目錄編排表面上是一堆篇目實際上背后有一條能力爬坡線。我把這條線分成三個階段看得懂、改得動、查得清。“看得懂”是第一階段的定位。這個階段的篇目會大量使用代碼片段、流程圖用文字描述、對比表格目標(biāo)是讓你在沒有深厚C語言和操作系統(tǒng)背景的情況下也能把內(nèi)核的主要架構(gòu)脈絡(luò)看懂。比如講內(nèi)核源碼目錄結(jié)構(gòu)的篇目會用“你平時寫一個項目時的目錄劃分”來類比內(nèi)核的目錄劃分讓抽象變具體。“改得動”是第二階段的定位。進(jìn)入這個階段后每一篇都會帶著你去改點東西。改一個調(diào)度參數(shù)、調(diào)一個內(nèi)存水位、給某條IO路徑加個統(tǒng)計。這個階段的核心目標(biāo)不是讓你學(xué)會某個具體改法而是讓你建立一種“內(nèi)核不過也是一套代碼改壞了重新編譯就行”的底氣。很多新人不敢動內(nèi)核代碼就是因為怕改壞了系統(tǒng)起不來。但如果你在虛擬機(jī)里用QEMU練手這個問題就不存在了?！安榈们濉笔堑谌A段的定位。說白了就是面對一個線上內(nèi)核相關(guān)問題你能有條理地分析而不是瞎猜。這個階段的內(nèi)容會更偏方法論和實戰(zhàn)怎么從一條內(nèi)核日志反推問題的發(fā)生路徑怎么用ftrace追蹤一個函數(shù)的調(diào)用鏈怎么通過/proc和/sys里的指標(biāo)判斷系統(tǒng)健康度。沒有前面的“看得懂”和“改得動”“查得清”就是空中樓閣但有前面兩個階段打底這個階段會變成你最有收獲的部分。3.2 每一篇的標(biāo)準(zhǔn)結(jié)構(gòu)解釋、演示、驗證單獨看每一篇的目錄規(guī)劃我也給它們設(shè)計了一個統(tǒng)一的三段式內(nèi)部結(jié)構(gòu)這樣你無論從哪一篇開始看都不會感到陌生。第一段叫“解釋”。先把這一篇要解決的核心問題擺出來然后用通俗的語言講清楚背后的原理。這段的關(guān)鍵是不堆術(shù)語要讓你能用自己的話向別人解釋這個概念。我在寫規(guī)劃的時候反復(fù)提醒自己如果一個概念你自己不能用人話講明白那大概率是你自己還沒真懂。第二段叫“演示”。光說不練假把式。這一部分會給出具體的代碼路徑、配置項、命令操作。比如講sysfs的時候會實際帶你到/sys目錄下走一圈解釋那幾個關(guān)鍵子目錄里文件分別來自內(nèi)核的哪套機(jī)制。如果是驅(qū)動部分會有完整的、可以編譯加載的最小模塊代碼。演示環(huán)節(jié)的最大價值是讓你有一個跟做的基礎(chǔ)不用自己從零摸索。第三段叫“驗證”。這里會告訴你做完前面的操作后怎么確認(rèn)你的理解是對的。比如編譯內(nèi)核后怎么通過啟動日志中的特定行來判斷某項配置生效了寫了一個內(nèi)核模塊后怎么通過dmesg和lsmod來驗證模塊正確加載和卸載。驗證環(huán)節(jié)看似簡單但其實是很多自學(xué)者的盲區(qū)。很多人動手做了但不知道什么叫“做對了”導(dǎo)致學(xué)了假知識還渾然不覺。3.3 版本選擇為什么以長期穩(wěn)定版為主線很多讀者第一次看到這個專欄的規(guī)劃時都會問一個問題內(nèi)核版本更新那么快專欄會不會過時這個問題確實需要提前講清楚所以我早早做了一個版本策略主線內(nèi)容基于某個長期維護(hù)的穩(wěn)定版內(nèi)核系列展開分析代碼路徑和關(guān)鍵數(shù)據(jù)結(jié)構(gòu)都以該系列為準(zhǔn)。選擇長期穩(wěn)定版的原因很直接它的內(nèi)核核心機(jī)制相對穩(wěn)定不會每個版本都有劇烈變動。比如task_struct和mm_struct里的關(guān)鍵字段幾個大版本之間雖然有微調(diào)但骨干結(jié)構(gòu)的變化并不大。你在這個版本上建立起來的框架性理解放到更新的版本上依然大體適用。我并不建議新手直接追著最新RC版內(nèi)核去學(xué)習(xí)。最新版往往意味著新特性、新改動但同時也意味著參考資料少、碎坑多。學(xué)習(xí)階段的重點應(yīng)該是掌握那些帶有“不變性”的機(jī)制骨架。等到你已經(jīng)有能力追新版本了你自然知道該怎么在郵件列表和文檔里獲取信息到那時候版本之間的diff反而會變成你學(xué)習(xí)的養(yǎng)料。3.4 動手環(huán)境搭建方法提前說專欄會反復(fù)用到動手實驗所以我在這里先把推薦的環(huán)境搭建思路說一下。我個人的建議是用一臺配置不用太高的電腦裝一個開源虛擬機(jī)軟件然后在里面跑一個輕量級的Linux發(fā)行版所有的內(nèi)核編譯、安裝、調(diào)試都在虛擬機(jī)里完成。這樣設(shè)計有幾個好處。第一內(nèi)核編譯過程中如果出了問題不會把你日常使用的系統(tǒng)搞壞第二可以用快照功能在編譯前留一個恢復(fù)點萬一折騰壞了隨時還原第三虛擬機(jī)的串口和顯示輸出可以靈活配置方便我們做內(nèi)核調(diào)試和日志采集第四不用擔(dān)心硬件驅(qū)動兼容問題虛擬化環(huán)境下的設(shè)備模型是相對固定且簡單的可以降低起步門檻。如果你真的想在自己的物理機(jī)上折騰也不是不行但我不太建議入門階段就這么干。我自己早期在物理機(jī)上編譯內(nèi)核曾經(jīng)因為grub配置寫錯導(dǎo)致開機(jī)卡在initramfs階段折騰了好幾個小時才恢復(fù)。虛擬機(jī)的容錯空間大得多學(xué)習(xí)體驗也好很多。等你把整套流程都熟練了再考慮在物理機(jī)上做定制也不遲。4. 按領(lǐng)域拆分的內(nèi)容圖譜與重點難點提示4.1 進(jìn)程與調(diào)度方向理解“同時運行”的真相進(jìn)程與調(diào)度方向的篇目是要回答操作系統(tǒng)里最經(jīng)典的一個問題單核CPU上怎么做到多進(jìn)程“同時”運行的。答案當(dāng)然不是同時而是快速切換。但就是這么一個簡單的答案背后藏著一整套精巧的機(jī)制。這個方向的核心內(nèi)容包括task_struct里到底保存了哪些關(guān)鍵的進(jìn)程元信息、進(jìn)程生命周期里的幾個狀態(tài)是怎么遷移的、調(diào)度器是怎么在眾多進(jìn)程之間選擇下一個該運行者的。我會特別重點講解CFS調(diào)度器的設(shè)計理念。CFS的目標(biāo)不是讓每個進(jìn)程輪流跑固定時長而是讓每個進(jìn)程獲得與其權(quán)重匹配的CPU時間比例從而實現(xiàn)“公平”。這個方向常見的難點是理解上下文切換的代價到底花在哪。很多人以為切換就是把寄存器的值存下來再恢復(fù)就行了但實際上TLB失效、cache失效、內(nèi)存屏障這些硬件層面的影響往往比寄存器保存恢復(fù)更致命。我會用一篇專門的篇目去拆解一次完整的上下文切換“旅程”。4.2 內(nèi)存管理方向從虛擬地址到物理頁的漫漫長路內(nèi)存管理方向是整個內(nèi)核里我認(rèn)為最抽象也最迷人的部分。它要回答的問題非常現(xiàn)實程序里隨手寫下的一個指針怎么就對應(yīng)到了物理內(nèi)存里的一個字節(jié)這個過程中間要經(jīng)過Page Table、TLB、缺頁異常、頁面分配器、回收機(jī)制這么多環(huán)節(jié)任何一個環(huán)節(jié)理解不到位排查內(nèi)存問題時就容易一頭霧水。這個方向的核心內(nèi)容包括虛擬地址空間怎么劃分、分頁機(jī)制和頁表層級怎么設(shè)計、伙伴系統(tǒng)和slab分配器分別解決什么問題、缺頁異常的不同類型、內(nèi)存回收和OOM選擇邏輯。每一個知識點單獨看都不算難但把它們串起來能跑通一個完整的內(nèi)存分配釋放生命周期才是真正的挑戰(zhàn)。我一直覺得內(nèi)存管理是內(nèi)核知識的分水嶺。如果你能把這個方向的內(nèi)容理解透不夸張地說你就拿到了打開內(nèi)核其它大門的鑰匙。進(jìn)程切換和文件系統(tǒng)都離不開對內(nèi)存機(jī)制的理解。所以這個方向的篇目會是最多的也是我花精力最多的部分。講個實際案例。某次線上服務(wù)出現(xiàn)偶發(fā)性高延遲排查到最后發(fā)現(xiàn)是內(nèi)存碎片導(dǎo)致的高階內(nèi)存分配經(jīng)常觸發(fā)慢速路徑進(jìn)而引起后臺回收和 compaction。這個案例如果沒有前面那些內(nèi)存管理的知識打底你看到perf報告里的compaction相關(guān)熱點時根本不知道它和你的高延遲有什么關(guān)系。專欄在內(nèi)存方向的篇目里會把這類“間接因果”講得很清楚。4.3 文件系統(tǒng)與IO方向一條寫入路徑的嚴(yán)謹(jǐn)分工文件系統(tǒng)和IO方向的內(nèi)容解決的是我們最熟悉也最常忽略的問題一個write()系統(tǒng)調(diào)用到底經(jīng)過了哪些層級才最終把數(shù)據(jù)落盤這個鏈條比大多數(shù)人以為的要長得多。VFS層、具體文件系統(tǒng)、頁緩存、塊層IO調(diào)度、設(shè)備驅(qū)動每一層都承擔(dān)了不同的職責(zé)也正是這種分層設(shè)計讓Linux可以支持那么多種文件系統(tǒng)和塊設(shè)備。這個方向的核心內(nèi)容包括VFS中的超級塊、inode、dentry、file這些核心對象各代表什么、ext4這類磁盤文件系統(tǒng)和procfs這類偽文件系統(tǒng)的差異在哪、page cache是怎么做讀緩存和寫回臟頁的、塊層IO調(diào)度算法有哪些變化、直接IO和緩沖IO應(yīng)該怎么選。這個方向最容易讓人困惑的是文件系統(tǒng)樹上掛著的東西居然不都是磁盤上的文件。比如你看到的/proc/cpuinfo是一個文件讀它可以拿到CPU信息但它背后根本沒有磁盤塊每次讀取都是內(nèi)核現(xiàn)場生成內(nèi)容。搞懂偽文件系統(tǒng)是理解“一切皆文件”這個設(shè)計哲學(xué)的鑰匙。我會在專項篇目里把這類“內(nèi)核里另類的文件系統(tǒng)”逐個拆開讓你知道它們是怎么掛到文件系統(tǒng)樹上的。4.4 中斷與異常方向CPU怎么響應(yīng)急需處理的事件中斷和異常方向是內(nèi)核里最需要“時空感”的主題。因為中斷的產(chǎn)生在時間上是異步的在空間上是隨機(jī)的它可能在你運行任何代碼、持有任何鎖的時候突然跳出來打斷你。如果沒有完善的機(jī)制保護(hù)整個內(nèi)核就會陷入一團(tuán)亂麻。這個方向的核心內(nèi)容包括中斷和異常的區(qū)別、中斷控制器怎么把硬件中斷路由到CPU、上半部和下半部的拆分邏輯硬中斷和軟中斷/tasklet/workqueue、中斷上下文為什么不能隨便睡眠、內(nèi)核對中斷共享和處理優(yōu)先級的管理。這個方向?qū)π率謥碚f最難的地方在于中斷上下文和進(jìn)程上下文的心智模型差異。在進(jìn)程上下文里你習(xí)慣了睡眠、調(diào)度、同步這些概念但在中斷上下文里這些都要放下。很多內(nèi)核bug的根源就是有人在中上下文里做了不該做的操作。我打算用真實的內(nèi)核報錯日志來輔助講解比如“BUG: sleeping function called from invalid context”這種經(jīng)典錯誤它的成因和排查套路其實是高度模式化的。4.5 并發(fā)與同步方向多核時代的防打架指南并發(fā)與同步方向可以算是內(nèi)核進(jìn)階的一道硬門檻。單核時代很多東西好辦關(guān)個中斷就行了。但到了多核時代兩個CPU可能同時訪問同一份數(shù)據(jù)如果不加保護(hù)就會出現(xiàn)各種詭異的數(shù)據(jù)競爭問題。這個方向的核心內(nèi)容包括原子操作的底層實現(xiàn)邏輯、自旋鎖和信號量的適用場景差異、讀寫鎖和RCU各自解決什么痛點、內(nèi)存屏障為什么不是純軟件概念、鎖的持有時間為什么是性能關(guān)鍵、死鎖的經(jīng)典場景怎么避免。我會盡量多用日常生活的類比比如把自旋鎖比作“排隊時不?；仡^看有沒有輪到我”把信號量比作“排隊時先到旁邊椅子上睡一覺”幫助大腦建立起直覺。很多讀者在這個方向會有一個誤區(qū)以為把鎖加得越多越安全。但實際上鎖的粒度越大競爭越激烈性能退化越嚴(yán)重。專欄會專門用一篇講“無鎖編程和RCU”的思路讓大家看到在特定場景下不用鎖也能保證數(shù)據(jù)安全的方法。這個思維轉(zhuǎn)換對閱讀后來的內(nèi)核新特性代碼非常有幫助。5. 內(nèi)核調(diào)試與性能分析工具鏈詳解5.1 日志與動態(tài)跟蹤工具printk、ftrace與tracepoint調(diào)試內(nèi)核和調(diào)試用戶態(tài)程序有一個很大的不同你不能隨時打斷內(nèi)核然后慢慢在調(diào)試器里查看狀態(tài)。所以在內(nèi)核的世界里日志和動態(tài)跟蹤工具才是主角。printk是內(nèi)核開發(fā)者最先接觸的工具但它的使用其實有很多講究包括日志級別怎么選、printk會不會睡導(dǎo)致問題、怎么寫日志才能避免刷爆緩沖。在此基礎(chǔ)上我會重點展開ftrace這套工具鏈。它是內(nèi)核自帶的跟蹤調(diào)試?yán)骺梢栽趲缀醪桓拇a的情況下追蹤函數(shù)調(diào)用、函數(shù)耗時、中斷關(guān)閉時長等關(guān)鍵信息。比如你想知道某個進(jìn)程在內(nèi)核態(tài)到底執(zhí)行了哪些函數(shù)、哪些函數(shù)耗時最多一個簡單的ftrace命令就能幫你把調(diào)用鏈拉出來這在排查性能問題時極其高效。tracepoint和kprobe也是我會花篇幅講的機(jī)制。它們之間的關(guān)系可以這樣理解tracepoint是內(nèi)核開發(fā)者提前埋好的地雷你踩上去就能觸發(fā)一些規(guī)定好的回調(diào)而kprobe是你自己在運行時強(qiáng)行在任意函數(shù)上插樁。后者靈活性更高但對內(nèi)核版本兼容性和安全性要求也更高。5.2 性能剖析工具perf的常用招式與解讀思路perf是內(nèi)核性能分析的重型武器它利用PMU性能監(jiān)控單元等硬件能力采集CPU事件比如周期、緩存未命中、分支預(yù)測失敗等。很多人一看到perf report輸出的那張函數(shù)占比表就激動但我要提醒一句perf報告只能告訴你熱點在哪不能直接告訴你問題是什么。熱點背后的因果鏈還需要結(jié)合代碼路徑和業(yè)務(wù)場景去解讀。我會在相關(guān)篇目里整理一套我自己常用的perf分析方法論。比如當(dāng)你看到一個函數(shù)CPU占比很高時第一個要問的問題是這個函數(shù)是真的在干活還是在鎖上等待如果是等待那perf report里看到的都是自旋時間你需要換用off-CPU分析方法去定位阻塞源。這兩種情況長得有點像但處理方向和優(yōu)化手段完全相反。此外還有perf sched、perf stat、perf mem等子功能的實戰(zhàn)用法都會在對應(yīng)篇目里附帶清晰的實驗步驟和結(jié)果解讀。這一塊沒有太多理論可以講全靠實例喂出來的手感所以我會盡可能多放一些真實場景的采樣數(shù)據(jù)和解讀過程。5.3 內(nèi)存與磁盤IO排查工具從指標(biāo)到根因內(nèi)存和IO的排查工具也是實戰(zhàn)高頻區(qū)。內(nèi)存方向的工具包括free、vmstat、/proc/meminfo里關(guān)鍵字段的解讀、slabtop、以及更加深入的page_owner和kasan。我會針對每個工具說明它適合回答哪類問題。磁盤IO方向則有iostat、iotop、blktrace、iowait指標(biāo)的分析。一個很有迷惑性的場景是你看到CPU的iowait很高以為磁盤壞了但其實可能是Page Cache寫得過于激進(jìn)導(dǎo)致后臺回寫占用了大量磁盤帶寬。這個時候iostat只能告訴你磁盤在忙但你要去理解是誰發(fā)起的寫、什么類型的寫、哪些進(jìn)程導(dǎo)致的。這套從“指標(biāo)異?！钡健岸ㄎ桓颉钡逆溌肺矣媱澯靡黄獙ｉT的實戰(zhàn)記錄做完整展示。5.4 當(dāng)一切失效時學(xué)會閱讀源碼與調(diào)用棧最后要說的調(diào)試工具其實不是工具而是閱讀源碼的能力。有些bug靠工具不一定能查得出來。這時候你唯一能依靠的就是順著調(diào)用棧一層層往下讀代碼。我在專欄里會特地安排幾篇“源碼導(dǎo)讀”型篇目用精選的路徑帶著讀者走一遍關(guān)鍵函數(shù)。比如說當(dāng)你在一個生產(chǎn)環(huán)境的崩潰轉(zhuǎn)儲里看到一條不是很常見的調(diào)用棧時你會怎么辦不是每個棧里的函數(shù)都能通過搜索引擎馬上找到解釋。正確的姿勢是先找到這個函數(shù)的定義位置看懂它的代碼邏輯再看它的調(diào)用者上游和下游建立一個最小因果鏈。這個過程聽著費時實際上積累起來之后速度會越來越快。我會在源碼導(dǎo)讀篇里傳授一些我自己的小套路比如怎么用cscope/ctags快速跳轉(zhuǎn)、怎么結(jié)合內(nèi)核郵件列表和git log找出某段代碼的演進(jìn)理由、怎么在閱讀時拿筆畫出關(guān)鍵結(jié)構(gòu)體的引用關(guān)系圖。這些經(jīng)驗雖然樸素但在關(guān)鍵時刻能救你一次。6. 典型實戰(zhàn)場景復(fù)盤從專欄到真實問題解決6.1 案例A用戶態(tài)進(jìn)程頻繁卡死后的調(diào)度與IO排查我先規(guī)劃一個貫穿性案例這個案例會用真實工作里縮小過的影子來設(shè)計。某后臺服務(wù)進(jìn)程出現(xiàn)周期性卡死每次卡幾十毫秒到幾百毫秒不等看起來像被什么東西阻塞了。這種問題在用戶態(tài)服務(wù)里屬于經(jīng)典難查類型因為現(xiàn)象是用戶態(tài)的但根因可能在內(nèi)核態(tài)。排查思路大致是先用用戶態(tài)工具拿到線程的阻塞點然后跟蹤它在內(nèi)核里的狀態(tài)比如用/proc/ /stack拿到內(nèi)核棧用ftrace追蹤等待事件再用perf sched看當(dāng)時調(diào)度發(fā)生了什么。這個案例會把之前講過的多個知識點串起來是專欄中后期環(huán)節(jié)里帶綜合性質(zhì)的一次演練。經(jīng)過復(fù)盤你會發(fā)現(xiàn)很多所謂“偶發(fā)性卡頓”其實最終都會找到某種資源競爭或內(nèi)核路徑上的高延遲行為。我計劃通過這個案例讓你建立起一套從現(xiàn)象出發(fā)、逐層下沉的排查習(xí)慣而不是遇到問題就先去翻論壇碰運氣。6.2 案例B內(nèi)存增長詭異的背后是slab還是頁緩存第二個貫穿案例關(guān)于內(nèi)存。一臺服務(wù)器內(nèi)存使用率一點點爬高但top里看到的進(jìn)程RSS都不高。如果用傳統(tǒng)思路很容易誤判為進(jìn)程內(nèi)存泄漏然后反復(fù)重啟進(jìn)程。但重啟完過一段時間又回來了根本問題并沒有解決。這個場景的排查重點在于搞清楚內(nèi)存到底被誰吃了。排查思路會從/qaz/proc/meminfo、slabtop、/proc/slabinfo這些地方開始先區(qū)分內(nèi)存是被用戶頁占用、頁緩存占用還是內(nèi)核slab對象占用。如果是slab占用太多要再進(jìn)一步找出哪些對象數(shù)量異常。這個案例會真正用上前文講過的內(nèi)存分配機(jī)制尤其是slab分配器的設(shè)計要點。我之所以一定要放這個案例是因為“內(nèi)存去哪兒了”是社區(qū)里最高頻的問題類型之一。它極度考驗對內(nèi)存結(jié)構(gòu)整體框架的熟悉程度。這個案例復(fù)盤完之后你再遇到類似問題就不會下意識抓瞎了。6.3 案例C驅(qū)動崩潰后如何依據(jù)panic信息定位模塊第三個案例聚焦驅(qū)動開發(fā)者的痛點自己寫的模塊崩潰了怎么快速定位。很多人第一次讓內(nèi)核panic的時候心態(tài)是崩潰的但panic日志其實就是最好的定位向?qū)АＶ灰銜x那段堆棧回溯找到出問題的函數(shù)和執(zhí)行路徑并不難。這個案例會從一段典型的panic日志開始一行行拆解。比如“RIP:”后面那一行怎么看、“Call Trace”里每一行對應(yīng)的調(diào)用層級怎么理解、哪些模塊偏移信息能幫助把地址轉(zhuǎn)換為函數(shù)名。還會講到為什么要在編譯時開啟調(diào)試信息以及怎么樣用addr2line工具把地址反解到源碼行號。案例的收尾是對一個真實小bug的修復(fù)過程復(fù)盤一個驅(qū)動中由并發(fā)訪問導(dǎo)致的丟數(shù)據(jù)問題。怎么通過配置加鎖方案解決以及為什么在加鎖之后性能還保持在了可接受范圍。這類經(jīng)驗對驅(qū)動方向的新人來說就像地圖上的坐標(biāo)點一樣寶貴。7. 如何配合參考書、內(nèi)核文檔與社區(qū)資源7.1 被人忽視的寶藏內(nèi)核自帶的文檔與源碼注釋很多學(xué)習(xí)者習(xí)慣先到網(wǎng)上搜索教程卻不知道內(nèi)核源碼樹里本身就有一座金礦。Documentation目錄下有著大量的機(jī)制說明、配置指南和API介紹。這些文檔的權(quán)威性無可替代因為它們總是跟源碼同步更新。相比之下網(wǎng)絡(luò)上很多過時教程里的錯誤信息反而會把你坑得不淺。我特別推薦那些帶“”或者“”風(fēng)格的文章。它們通常由維護(hù)者或長期貢獻(xiàn)者撰寫質(zhì)量非常高。比如關(guān)于內(nèi)存管理、調(diào)度器設(shè)計、RCU機(jī)制等核心主題的文檔讀一遍比看十篇博客都管用。不過也要承認(rèn)這些文檔默認(rèn)讀者有一定基礎(chǔ)所以專欄的作用就是在你看這些硬文檔之前先幫你把基礎(chǔ)概念框架建起來減少閱讀門檻。還有一個很多人忽略的資源是源碼注釋本身。你可能會覺得代碼注釋只是錦上添花但在內(nèi)核中不是。很多關(guān)鍵函數(shù)的頭注釋寫得極其詳盡甚至直接解釋了這個函數(shù)存在的原因、使用約束和調(diào)用場景。比如調(diào)度器里pick_next_task這個函數(shù)的注釋字里行間記錄了它要保證的策略和性能取舍。養(yǎng)成讀注釋的習(xí)慣等于在跟內(nèi)核作者直接對話。7.2 經(jīng)典書籍如何搭配專欄內(nèi)容使用市面上有不少操作系統(tǒng)和內(nèi)核領(lǐng)域的經(jīng)典書每本都有自己的側(cè)重。我的看法是專欄不是要替代這些書而是要跟它們配合。比如經(jīng)典教材能幫你建立整體理論框架但它的代碼路徑不一定貼合當(dāng)前內(nèi)核版本專欄則會用它作為引路人手把手帶你在真實代碼里找到你剛學(xué)到的概念。建議的用法是先讀教材里某一章的概述知道這一章在解決什么問題然后回到專欄的對應(yīng)篇目跟著做實驗、看代碼如果還有余力再回到教材做一遍課后題檢驗自己的理解深度。這種“理論-實踐-理論”的閉環(huán)是我自己摸索出來效率最高的學(xué)習(xí)方式。對于閱讀英文資料有壓力的讀者我建議不要怕。內(nèi)核領(lǐng)域的英文術(shù)語就那么幾百個高頻詞看多了自然就熟了。專專欄里出現(xiàn)所有英文術(shù)語時我都會給出中文解釋和首次出現(xiàn)的語境幫助大家減少查詞典的打斷。7.3 從社區(qū)提問到自我排查能力的轉(zhuǎn)變內(nèi)核學(xué)習(xí)路上社區(qū)是繞不開的資源。遇到問題先自己排查排查不動再去社區(qū)提問這是我認(rèn)為正確的姿勢。社區(qū)里的開發(fā)者通常很愿意回答問題但他們對“把問題描述清楚”的要求很高。如果你上來就問“我的內(nèi)核崩潰了怎么辦”沒有日志、沒有環(huán)境信息、沒有復(fù)現(xiàn)步驟大概率沒人理你但如果你附上panic調(diào)用棧、內(nèi)核版本、配置項和復(fù)現(xiàn)命令很多人愿意幫你一起分析。我會在專欄里專門講一篇“如何準(zhǔn)備一個高質(zhì)量的內(nèi)核問題描述”包含哪些信息是必備的、哪些分析要提前做、哪些信息是噪音。寫這一篇的靈感來自我自己在社區(qū)里潛水多年觀察到的種種提問。我可以負(fù)責(zé)任地說同樣的一個問題描述方式不同得到的回復(fù)質(zhì)量天差地別。這種能力不僅對提問有用對你自己整理思路也非常有好處。8. 內(nèi)容更新規(guī)劃與讀者互動機(jī)制總目錄不是一個靜態(tài)頁面它會隨著專欄內(nèi)容更新而同步完善。每一篇新文章發(fā)布后我都會回到這里把鏈接補上并同步更新建議閱讀順序。這個專欄的節(jié)奏我控制在一個相對穩(wěn)健的區(qū)間不搞日更但也不會讓你等太久。持續(xù)、穩(wěn)定、每篇有干貨比短時間爆發(fā)式更新有用得多。讀者互動方面我的設(shè)想是每一篇文章的評論區(qū)都是很好的提問場。你的提問會成為我下一篇內(nèi)容選題的重要參考。很多我自己覺得很基礎(chǔ)、不值得講的內(nèi)容可能恰恰是你正在抓狂的問題而有些我自以為講透了的內(nèi)容也可能因為你的追問而暴露出不夠清晰的地方。這種反饋循環(huán)對專欄的打磨特別有價值。我計劃不定期地把讀者提問里最高頻的問題整理成一篇專門的答疑篇并將它們掛到總目錄的對應(yīng)位置。這樣總目錄就不只是一個單純的內(nèi)容列表它更像一個活的、持續(xù)生長的大綱你的每次參與都會在它上面留下痕跡。另外要說的是如果你在讀某個篇目時發(fā)現(xiàn)某個概念在其它篇目里出現(xiàn)過但你想不起具體位置不用慌總目錄里我會盡量標(biāo)注各篇之間的關(guān)聯(lián)關(guān)系。比如講內(nèi)存回收時會標(biāo)注“建議先看內(nèi)存管理基礎(chǔ)和頁緩存機(jī)制”講RCU時會標(biāo)注“與中斷下半部內(nèi)容有交叉”。這種交叉引用結(jié)構(gòu)能讓你在非線性的閱讀路徑上少走彎路。9. 學(xué)內(nèi)核的心態(tài)建設(shè)與長期規(guī)劃建議9.1 允許自己“看不懂”是起點在學(xué)習(xí)內(nèi)核的過程中最消耗人的不是知識有多難而是“看不懂”帶來的自我懷疑。我見過很多興致勃勃開始學(xué)內(nèi)核的人在第一個月就被挫折感勸退了。說實話這種挫敗感我太熟悉了。你對著一個復(fù)雜結(jié)構(gòu)體不知道它的每個字段為什么存在你跟蹤一條主線時發(fā)現(xiàn)五個分支每個都引向新的深坑。但我后來想明白一件事不懂不是問題因為不懂而停下來才是問題。內(nèi)核代碼規(guī)模千萬行級別沒有任何人敢說完全掌握了它。你需要建立的是一種對付“看不懂”的策略允許自己在第一遍閱讀時只抓主干把細(xì)枝末節(jié)留到后面允許自己在某一天突然理解了一周前怎么都看不懂的概念允許自己反復(fù)看同一份材料直到它變成肌肉記憶。如果你在學(xué)習(xí)過程中遇到了特別卡的篇目我的建議是先跳過它繼續(xù)往后看。往往過兩天等你看了一些其它篇目再回頭來讀之前卡住你的那個點就自然通了。這種“非線性學(xué)習(xí)”的節(jié)奏恰恰符合人腦的認(rèn)知規(guī)律。9.2 建立起一個可持續(xù)的長期學(xué)習(xí)節(jié)奏內(nèi)核學(xué)習(xí)不是沖刺跑而是持續(xù)的有氧運動。我經(jīng)常跟朋友說每天如果能保證半個小時到一個小時的專注閱讀和實驗時間堅持一年效果會遠(yuǎn)遠(yuǎn)好過連續(xù)三天通宵式突擊學(xué)習(xí)然后放棄三個月。設(shè)定的專欄節(jié)奏也會呼應(yīng)這種理念每篇的內(nèi)容體量控制在一到兩個小時內(nèi)能完成閱讀和實驗的范圍內(nèi)不會讓你一次吃到撐。長期學(xué)習(xí)還需要有“記錄”的好習(xí)慣。我會建議你準(zhǔn)備一個筆記庫把自己對每一個機(jī)制的理解用自己的話寫下來哪怕寫得不專業(yè)也要寫。你可能覺得寫下來很慢但實際上這個慢是值得的。因為你在寫的過程里必須組織邏輯逼著自己把知識從“好像懂了”變成“能講清楚”。如果某天你發(fā)現(xiàn)之前筆記里的理解是錯的請不要沮喪那恰恰說明你的理解升級了。9.3 最后一句話這個專欄想成為的東西說了這么多我想給總目錄本身定一個清晰的定位。它不是一個要讓你從第1篇讀到第100篇才能畢業(yè)的“線性教材”而是一張幫助你建立內(nèi)核知識體系的地圖。你可以按順序讀也可以從感興趣的專題開始。地圖的意義不在于規(guī)定你必須走哪條路而在于當(dāng)你站在任意一個路口時知道自己在哪里、該往哪走。只要你手里握著這張地圖配合動手實驗和源碼閱讀我相信你能慢慢找到屬于自己的內(nèi)核學(xué)習(xí)路徑。以后當(dāng)你翻到目錄里的任意一篇時如果你能因為讀完它而少踩一個坑、少熬一次夜、少發(fā)一次無頭緒的求助帖這個專欄就值了。