日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

深入理解Go的panic、defer與recover:運(yùn)行時(shí)協(xié)作機(jī)制與工程實(shí)踐

深入理解Go的panic、defer與recover:運(yùn)行時(shí)協(xié)作機(jī)制與工程實(shí)踐 很多人寫Go有一段時(shí)間了但問到panic、defer、recover這三兄弟到底是什么關(guān)系、運(yùn)行時(shí)的底層處理順序是什么、為什么recover必須放在defer里才有用還是容易卡殼。這類問題也是Go面試?yán)锏某?透蔷€上排查故障時(shí)繞不開的關(guān)鍵機(jī)制。我最早接觸Go時(shí)也踩過不少坑比如以為recover可以像try-catch一樣捕獲任何位置的異常結(jié)果在goroutine里直接崩了比如以為defer的執(zhí)行順序是從上到下結(jié)果資源釋放順序全反了。后來把運(yùn)行時(shí)源碼和匯編輸出翻了一遍才算真正理清這三者之間的協(xié)作鏈路。這篇文章就把我對(duì)panic、defer、recover的底層理解、實(shí)際用法、以及踩坑心得完整整理出來。1. panic不只是拋出異常Go運(yùn)行時(shí)錯(cuò)誤處理的底層鏈路很多人把panic類比成其他語(yǔ)言的throw這個(gè)類比幫我們快速理解用途但千萬別當(dāng)成等價(jià)物。throw和catch是異常控制流而panic在Go里是一次運(yùn)行時(shí)中止指令它觸發(fā)的不只是錯(cuò)誤處理而是一整套包含棧展開stack unwinding、defer隊(duì)列執(zhí)行、宕機(jī)恢復(fù)判斷的底層流程。1.1 panic的運(yùn)行時(shí)數(shù)據(jù)結(jié)構(gòu)從panic實(shí)例到棧展開當(dāng)代碼執(zhí)行到panic(something went wrong)時(shí)運(yùn)行時(shí)并不會(huì)立刻終止進(jìn)程。它會(huì)先構(gòu)造一個(gè)_panic結(jié)構(gòu)體掛到當(dāng)前goroutine的鏈表上這個(gè)結(jié)構(gòu)體在runtime/runtime2.go里定義type _panic struct { argp unsafe.Pointer arg any link *_panic pc uintptr sp unsafe.Pointer recovered bool aborted bool goexit bool }link字段指向的是該goroutine之前尚未處理的panic也就是說一個(gè)goroutine里可以嵌套發(fā)生多個(gè)panic比如defer里再次觸發(fā)panic。recovered字段標(biāo)記是否已被recover接住goexit則標(biāo)記是否從runtime.Goexit路徑進(jìn)來的。在panic函數(shù)內(nèi)部runtime/panic.go核心邏輯是調(diào)用gopanic這一步會(huì)做幾件事把_panic掛入當(dāng)前g的_panic鏈表、遍歷當(dāng)前goroutine的defer鏈表執(zhí)行延遲函數(shù)、檢查是否有recover介入。如果整個(gè)defer鏈走完都沒有recover運(yùn)行時(shí)才會(huì)走到fatalpanic輸出堆棧日志并終止進(jìn)程。所以panic會(huì)立刻讓程序崩潰這個(gè)直覺是錯(cuò)的準(zhǔn)確的表述是panic會(huì)立刻中斷當(dāng)前控制流并開始逐層執(zhí)行defer只有當(dāng)一個(gè)defer都沒接住時(shí)才會(huì)崩潰。1.2 defer鏈表的維護(hù)編譯期注冊(cè)與運(yùn)行期執(zhí)行defer語(yǔ)句在編譯期會(huì)被改寫成對(duì)runtime.deferproc的調(diào)用真正到運(yùn)行期defer會(huì)被插入當(dāng)前goroutine的_defer鏈表頭部。這就是為什么defer執(zhí)行順序是后進(jìn)先出LIFO。我們來看一段示例func main() { defer func() { fmt.Println(first defer) }() defer func() { fmt.Println(second defer) }() defer func() { fmt.Println(third defer) }() }這段代碼的輸出順序是third defer second defer first defer從源碼來看每次deferproc都會(huì)把新_defer掛到鏈表頭部而panic或函數(shù)返回時(shí)defer執(zhí)行是從頭部開始取的。這個(gè)設(shè)計(jì)背后的工程考慮是后注冊(cè)的defer通常是更細(xì)粒度的清理動(dòng)作應(yīng)該先執(zhí)行。比如先打開文件、再加鎖、再建立網(wǎng)絡(luò)連接關(guān)閉順序自然應(yīng)該是連接先關(guān)、鎖再釋放、文件最后關(guān)LIFO恰好符合這個(gè)對(duì)稱關(guān)系。_defer結(jié)構(gòu)體還包含started字段標(biāo)記這個(gè)延遲函數(shù)是否已經(jīng)開始執(zhí)行。如果函數(shù)執(zhí)行到一半又發(fā)生panic運(yùn)行時(shí)可以據(jù)此判斷是否重復(fù)執(zhí)行。1.3 panic的傳播路徑逐層向上不是跳回調(diào)用點(diǎn)panic和throw的另一個(gè)巨大差異在于傳播路徑。throw是沿調(diào)用棧向上查找catch塊找到以后直接把棧解開跳回catch位置繼續(xù)執(zhí)行。而panic不同它并不跳回某個(gè)位置而是沿著當(dāng)前goroutine的defer鏈表逆序執(zhí)行完所有延遲函數(shù)之后才繼續(xù)傳播到函數(shù)的調(diào)用方調(diào)用方再重復(fù)這個(gè)流程。舉個(gè)例子func A() { defer func() { fmt.Println(A defer) }() B() } func B() { defer func() { fmt.Println(B defer) }() panic(boom) } func main() { defer func() { fmt.Println(main defer) }() A() }這里執(zhí)行順序是B defer A defer main defer panic: boompanic在B里觸發(fā)先執(zhí)行B自己的defer然后傳播到A執(zhí)行A的defer再到main執(zhí)行main的defer最后整個(gè)goroutine的defer鏈都走完仍然沒有recover才輸出崩潰日志并退出。這個(gè)傳播路徑很重要它直接決定了我們不應(yīng)該依賴調(diào)用方棧幀里的局部變量狀態(tài)來做恢復(fù)邏輯因?yàn)閳?zhí)行defer時(shí)棧已經(jīng)被解開很多層了。2. defer的三大語(yǔ)義陷阱LIFO、參數(shù)求值、執(zhí)行時(shí)機(jī)defer是Go里最容易被誤用的關(guān)鍵字因?yàn)樗?jiǎn)潔的語(yǔ)法背后藏著幾個(gè)反直覺的語(yǔ)義。我見過很多線上bug追根溯源都是對(duì)defer參數(shù)求值時(shí)機(jī)、命名返回值交互、以及循環(huán)中注冊(cè)行為理解不到位造成的。2.1 參數(shù)求值的嚴(yán)格時(shí)機(jī)聲明時(shí)求值不是執(zhí)行時(shí)求值defer后接的函數(shù)調(diào)用其參數(shù)會(huì)在defer語(yǔ)句出現(xiàn)時(shí)立即求值而函數(shù)體則延遲到外層函數(shù)返回或panic時(shí)執(zhí)行。這一點(diǎn)和所有其他語(yǔ)言的延遲執(zhí)行機(jī)制都不同。func main() { i : 1 defer fmt.Println(i) i 2 }輸出結(jié)果是1不是2。因?yàn)閒mt.Println(i)在defer聲明那一刻就已經(jīng)把i的當(dāng)前值1作為參數(shù)拷貝進(jìn)去了。這個(gè)特性容易踩坑的場(chǎng)景是文件路徑、超時(shí)時(shí)間等參數(shù)的傳遞。如果你希望延遲函數(shù)讀取調(diào)用時(shí)的最新值需要把參數(shù)改成指針、閉包捕獲、或者傳遞引用類型i : 1 defer func() { fmt.Println(i) }() i 2閉包捕獲的是變量i本身不是值拷貝所以輸出是2。這里有個(gè)工程上的判斷準(zhǔn)則如果defer只做清理不需要讀取外部狀態(tài)用值參數(shù)更安全如果需要讀取最新的外部狀態(tài)用閉包捕獲變量但要清楚此時(shí)引入的是共享可變狀態(tài)需要注意并發(fā)安全。2.2 命名返回值與defer的交互返回值在return時(shí)賦值defer后執(zhí)行Go的return并不是一條原子指令它可以拆成三步把返回值賦值給命名返回變量如果是裸return跳過分步執(zhí)行defer中的函數(shù)真正返回到調(diào)用方這就導(dǎo)致了一個(gè)經(jīng)典的需求用defer修改函數(shù)的返回值是可行的前提是函數(shù)使用了命名返回值。func f() (result int) { defer func() { result 100 }() return 1 }這里f()返回的是101不是1。因?yàn)閞eturn 1先把1賦給resultdefer執(zhí)行時(shí)把result加到了101最終返回的是result。這個(gè)特性在需要統(tǒng)一處理錯(cuò)誤碼、注入公共埋點(diǎn)、包裝錯(cuò)誤信息時(shí)非常有用我經(jīng)常這樣寫func getUser(id int) (user *User, err error) { defer func() { if err ! nil { err fmt.Errorf(get user %d failed: %w, id, err) } }() // ... }每個(gè)返回錯(cuò)誤的函數(shù)內(nèi)部無需重復(fù)拼接上下文統(tǒng)一放在defer里處理。但要注意如果沒有使用命名返回值defer里無論怎么改局部變量都無法影響最終返回給調(diào)用方的值。2.3 循環(huán)里的defer資源不會(huì)在循環(huán)結(jié)束時(shí)釋放在循環(huán)里直接寫defer是個(gè)極其常見的資源泄漏源頭for _, file : range files { f, err : os.Open(file) if err ! nil { continue } defer f.Close() }這里的defer是在外層函數(shù)作用域內(nèi)注冊(cè)的循環(huán)體內(nèi)所有defer會(huì)堆積到函數(shù)返回時(shí)才一起執(zhí)行。如果循環(huán)幾千次文件描述符會(huì)全部被占住輕則達(dá)到系統(tǒng)上限重則直接拖垮進(jìn)程。正確的做法是把循環(huán)體抽成獨(dú)立函數(shù)for _, file : range files { processFile(file) } func processFile(file string) error { f, err : os.Open(file) if err ! nil { return err } defer f.Close() // ... }這樣defer在每次processFile返回時(shí)就執(zhí)行了不會(huì)堆積。這個(gè)原則同樣適用于數(shù)據(jù)庫(kù)連接、HTTP響應(yīng)體、鎖的釋放凡是defer出現(xiàn)在循環(huán)里的先默認(rèn)有性能問題。2.4 defer的性能開銷與Go 1.14的開放編碼優(yōu)化早期Go版本的defer性能開銷很大因?yàn)樗婕癲eferproc和deferreturn的調(diào)用、鏈表的插入與遍歷在高頻函數(shù)里影響明顯。Go 1.14 引入了開放式編碼open-coded defer在編譯期直接把大多數(shù)defer內(nèi)聯(lián)到函數(shù)尾部省去了鏈表操作。但開放編碼有幾個(gè)限制defer出現(xiàn)在循環(huán)里、函數(shù)中defer數(shù)量超過8個(gè)、存在recover調(diào)用等場(chǎng)景都無法使用開放編碼會(huì)回退到傳統(tǒng)模式。關(guān)于這個(gè)優(yōu)化我在實(shí)際項(xiàng)目里觀測(cè)到的結(jié)果是去掉瓶頸函數(shù)里多余的defer通過提前校驗(yàn)錯(cuò)誤并直接返回CPU耗時(shí)能降12%左右。不過對(duì)于絕大多數(shù)業(yè)務(wù)代碼來說defer的可讀性收益遠(yuǎn)大于微秒級(jí)的性能損耗沒必要為了性能刻意回避它。只有在明確的熱路徑上才值得去用內(nèi)聯(lián)清理邏輯替代defer。3. recover為什么必須活在defer里從棧展開機(jī)制看recover的本質(zhì)recover這個(gè)內(nèi)置函數(shù)看起來很簡(jiǎn)單調(diào)用它就能接住panic。但如果你在panic發(fā)生的同一函數(shù)里、panic語(yǔ)句之后直接調(diào)用recover是接不住的。很多人第一次寫恢復(fù)代碼時(shí)會(huì)犯這個(gè)錯(cuò)誤不理解recover和defer之間的強(qiáng)制性綁定關(guān)系。3.1 為什么裸調(diào)用recover接不住panic先看這個(gè)例子func main() { fmt.Println(start) panic(boom) recover() // 不會(huì)執(zhí)行到這 fmt.Println(end) }這段代碼不會(huì)輸出endrecover()這行根本執(zhí)行不到。因?yàn)閜anic會(huì)立即中斷當(dāng)前函數(shù)的正常控制流后續(xù)語(yǔ)句全都不會(huì)執(zhí)行。再比如func main() { defer fmt.Println(deferred) panic(boom) recover() }這里是panic先觸發(fā)然后運(yùn)行時(shí)開始遍歷defer鏈表執(zhí)行了fmt.Println(deferred)之后傳播到main的調(diào)用方仍然沒有recover程序崩潰。寫在panic后面的recover()就像掉進(jìn)了時(shí)間裂縫永遠(yuǎn)不會(huì)被調(diào)度到。recover的工作原理本質(zhì)上是從當(dāng)前goroutine的_panic鏈表里取出最頂端的panic并把它的recovered字段置為true。這個(gè)過程必須在defer函數(shù)被運(yùn)行時(shí)調(diào)用的過程中完成否則沒有任何_panic可供處理。運(yùn)行時(shí)的gorecover函數(shù)runtime/panic.go會(huì)檢查兩個(gè)條件當(dāng)前是否正在執(zhí)行defer函數(shù)、_panic鏈表的頭節(jié)點(diǎn)是否存在。只有兩者都滿足recover才能真正接住。3.2 多層defer嵌套時(shí)recover的生效范圍recover接住的是當(dāng)前goroutine、當(dāng)前defer調(diào)用棧上的panic。同一個(gè)goroutine的多個(gè)defer之間是共享_panic鏈表的但跨goroutine則完全隔離。看一個(gè)常見的多層defer場(chǎng)景func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered in main:, r) } }() func() { defer func() { fmt.Println(inner defer run) }() panic(boom) }() }執(zhí)行順序是panic觸發(fā)后先執(zhí)行內(nèi)層匿名函數(shù)的defer輸出inner defer run接著panic傳播到main執(zhí)行main的defer這里recover成功接住程序繼續(xù)執(zhí)行main函數(shù)剩余代碼。注意recover是在main的defer里執(zhí)行的它捕獲的panic雖然起源于內(nèi)層匿名函數(shù)但機(jī)制上它作用于main這個(gè)goroutine的_panic鏈表所以能正常接住。recover的隔離邊界是goroutine不是函數(shù)嵌套層級(jí)。這引出一個(gè)重要結(jié)論如果需要保護(hù)一個(gè)不可控的第三方庫(kù)調(diào)用應(yīng)該把可能panic的邏輯和recover邏輯放在同一個(gè)goroutine里一旦跨了goroutine恢復(fù)邏輯就失效了。3.3 子goroutine里的panic無法被父goroutine的recover接住這是Go里最隱蔽的崩潰場(chǎng)景之一。很多團(tuán)隊(duì)在主流程里寫了recover就以為整個(gè)進(jìn)程安全了但如果在業(yè)務(wù)代碼里啟動(dòng)了一個(gè)goroutine這個(gè)goroutine里發(fā)生了panic主流程的recover是完全插不上手的。func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() go func() { panic(goroutine panic) }() time.Sleep(time.Second) }這段代碼照樣崩潰因?yàn)閞ecover只能接住當(dāng)前goroutine的panic。子goroutine里觸發(fā)的panic會(huì)沿著子goroutine自己的defer鏈傳播如果子goroutine沒有對(duì)應(yīng)的recover運(yùn)行時(shí)直接終止整個(gè)進(jìn)程不會(huì)給其他goroutine任何挽回機(jī)會(huì)。這也是Go社區(qū)為什么強(qiáng)烈建議每個(gè)啟動(dòng)goroutine的入口尤其是無法完全掌控運(yùn)行的第三方庫(kù)回調(diào)都應(yīng)該在最外層包一層帶recover的包裝函數(shù)。這是生產(chǎn)環(huán)境進(jìn)程穩(wěn)定性的最后一道防線。3.4 recover和runtime.Goexit同樣走defer但不會(huì)被recover攔截runtime.Goexit會(huì)讓當(dāng)前goroutine立即終止但在終止前會(huì)執(zhí)行該goroutine的所有defer。和panic不同的是Goexit并不會(huì)構(gòu)建_panic結(jié)構(gòu)體它走的是另一條路徑recover對(duì)它是無效的。func main() { defer func() { fmt.Println(defer run) if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() runtime.Goexit() }輸出只有defer run沒有recovered的輸出。Goexit在runtime/panic.go里會(huì)設(shè)置_panic.goexit true雖然也經(jīng)過defer執(zhí)行但recover不會(huì)把它當(dāng)作可恢復(fù)的panic處理。這個(gè)特性在實(shí)際中不常用但在實(shí)現(xiàn)自己的超時(shí)任務(wù)取消機(jī)制或?qū)憸y(cè)試用例強(qiáng)制結(jié)束goroutine時(shí)需要注意區(qū)分。4. 從panic觸發(fā)到recover接住一次完整的運(yùn)行時(shí)協(xié)作鏈路前面把三個(gè)關(guān)鍵點(diǎn)分開講了現(xiàn)在把它們串成一個(gè)完整的時(shí)序。理解了這個(gè)協(xié)作鏈路很多所謂的詭異問題其實(shí)都能順理成章地解釋清楚。4.1 一次完整panic/recover調(diào)用的時(shí)序拆解假設(shè)我們有如下代碼func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recover in main:, r) } }() foo() } func foo() { defer fmt.Println(foo defer) bar() } func bar() { panic(oops) }實(shí)際的運(yùn)行時(shí)步驟拆解如下bar函數(shù)執(zhí)行到panic(oops)觸發(fā)gopanic。運(yùn)行時(shí)在bar對(duì)應(yīng)的goroutine上構(gòu)建_panic結(jié)構(gòu)體掛入鏈表。開始遍歷bar的defer鏈。bar沒有注冊(cè)defer所以跳過。panic傳播到foo遍歷foo的defer鏈執(zhí)行fmt.Println(foo defer)輸出foo defer。這個(gè)defer函數(shù)執(zhí)行完成后沒有調(diào)用recover所以panic繼續(xù)傳播。panic傳播到main遍歷main的defer鏈執(zhí)行recovergorecover從_panic鏈表中取出panic對(duì)象設(shè)置recoveredtrue返回oops。main的defer里判斷r ! nil輸出recover in main: oops。gopanic檢查到panic已經(jīng)被recover執(zhí)行recovery流程恢復(fù)當(dāng)前goroutine的棧狀態(tài)跳回main函數(shù)的deferreturn位置繼續(xù)執(zhí)行。main函數(shù)正常返回程序正常退出。在這個(gè)鏈路里有個(gè)細(xì)節(jié)值得注意recover不是吞掉panic而是把panic標(biāo)記為已恢復(fù)。而一旦恢復(fù)整個(gè)goroutine的棧展開流程就停止了main會(huì)從deferreturn的位置繼續(xù)往下走。這也是為什么recover之后還能繼續(xù)執(zhí)行主流程的原因。4.2 內(nèi)層recover與外層傳播的邊界如果內(nèi)層defer已經(jīng)recover了外層defer是否還會(huì)感知到這個(gè)panic答案是不會(huì)因?yàn)檫@個(gè)panic已經(jīng)被標(biāo)記為recovered不會(huì)再繼續(xù)傳播。func main() { defer func() { if r : recover(); r ! nil { fmt.Println(outer recover:, r) } else { fmt.Println(outer recover: nothing) } }() func() { defer func() { if r : recover(); r ! nil { fmt.Println(inner recover:, r) } }() panic(boom) }() }輸出是inner recover: boom outer recover: nothingpanic在匿名函數(shù)里觸發(fā)先去執(zhí)行匿名函數(shù)的deferrecover接住了panic不再向外傳播main的defer自然看不到任何panic。如果內(nèi)層defer只是打印日志沒有調(diào)用recoverpanic就會(huì)繼續(xù)向外傳播外層defer的recover就能接住。4.3 defer中再次panicpanic鏈表的嵌套處理defer函數(shù)里再觸發(fā)panic是合法的但會(huì)導(dǎo)致多個(gè)_panic對(duì)象掛在一個(gè)goroutine上??催@個(gè)例子func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() defer func() { panic(second panic) }() panic(first panic) }執(zhí)行順序是第一個(gè)panic觸發(fā)runtime開始遍歷defer鏈執(zhí)行到第二個(gè)defer時(shí)這個(gè)defer又拋出一個(gè)panic。新的_panic被掛到鏈表頭部?jī)?yōu)先于舊的panic處理。runtime轉(zhuǎn)而處理第二個(gè)panic繼續(xù)遍歷defer鏈執(zhí)行第一個(gè)defer這里recover接住的是最新的panic即second panic然后整個(gè)流程結(jié)束。所以輸出是recovered: second panic如果第一個(gè)defer里先recover了一次又會(huì)把第二個(gè)defer的panic標(biāo)記為恢復(fù)函數(shù)繼續(xù)執(zhí)行。這種defer里再panic的模式在實(shí)際業(yè)務(wù)中很少見但排查問題時(shí)看到只恢復(fù)了最新的panic、之前的panic被吞掉或者覆蓋了不要慌這符合運(yùn)行時(shí)行為。4.4 recover之后panic參數(shù)丟失的問題一個(gè)容易被忽略的細(xì)節(jié)是recover返回的是傳入panic接口的值。如果panic(nil)recover返回的也是nil這就產(chǎn)生了一個(gè)判斷陷阱defer func() { if r : recover(); r ! nil { fmt.Println(recovered) } }() panic(nil)這里panic(nil)傳入的是空接口的零值recover返回nil判斷r ! nil為假看起來就像沒有panic一樣。Go 1.21之前panic(nil)的行為確實(shí)如此運(yùn)行時(shí)也不會(huì)認(rèn)為panic已經(jīng)恢復(fù)但因?yàn)閞ecover返回了nil讓恢復(fù)邏輯漏判。Go 1.21起官方把panic(nil)單獨(dú)識(shí)別為*runtime.PanicNilErrorrecover會(huì)返回一個(gè)非nil的錯(cuò)誤對(duì)象算是把這個(gè)坑補(bǔ)上了。但為了兼容性和代碼可讀性實(shí)踐中仍然建議不要傳nil給panic傳一個(gè)明確的錯(cuò)誤對(duì)象語(yǔ)義更清晰。5. 實(shí)戰(zhàn)中recover失效的典型場(chǎng)景與排查思路理論講完了這部分是我在實(shí)際項(xiàng)目里踩過、也幫別人排查過的高頻問題匯總。每個(gè)場(chǎng)景都會(huì)先說現(xiàn)象再分析根因最后給出可落地的修復(fù)方案。5.1 跨goroutine的recover失效根因與修復(fù)這是線上服務(wù)崩潰的頭號(hào)原因?,F(xiàn)象是主流程有全局recover中間件日志里卻依然出現(xiàn)某個(gè)goroutine的panic堆棧進(jìn)程直接退出。根因前面已經(jīng)講透recover只能作用于調(diào)用它的goroutine。主流程的recover在main或http handler的goroutine里子goroutine的panic不會(huì)經(jīng)過它。修復(fù)方案很直接封裝一個(gè)安全啟動(dòng)函數(shù)。func GoSafe(fn func()) { go func() { defer func() { if r : recover(); r ! nil { log.Printf([recover] goroutine panic: %v, r) debug.PrintStack() } }() fn() }() }所有不確定安全的異步任務(wù)都通過GoSafe啟動(dòng)統(tǒng)一的panic兜底就位了。這個(gè)方法簡(jiǎn)單有效是我們團(tuán)隊(duì)go項(xiàng)目里所有g(shù)oroutine的啟動(dòng)標(biāo)準(zhǔn)。5.2 recover寫在非defer位置代碼沒執(zhí)行到或執(zhí)行無效有同事曾經(jīng)把recover寫在函數(shù)中間想先記一筆日志再繼續(xù)執(zhí)行func process() { defer cleanup() doSomethingRisky() if r : recover(); r ! nil { log.Printf(recovered from panic) } // 繼續(xù)其它邏輯 }這個(gè)recover是無效的因?yàn)閐oSomethingRisky一旦發(fā)生panicprocess的正常控制流立刻被打斷recover()這行代碼不會(huì)被執(zhí)行到。正確的姿勢(shì)是把recover放進(jìn)defer里或者用閉包把風(fēng)險(xiǎn)區(qū)包起來func process() { defer cleanup() func() { defer func() { if r : recover(); r ! nil { log.Printf(recovered from panic) } }() doSomethingRisky() }() // 繼續(xù)其它邏輯 }注意第二種方式里如果確實(shí)發(fā)生了panic并被內(nèi)層recover接住那么doSomethingRisky后續(xù)的局部狀態(tài)可能是殘缺的需要自行判斷是否還能安全地繼續(xù)外層邏輯。這一點(diǎn)沒有銀彈需要在業(yè)務(wù)里權(quán)衡。5.3 defer函數(shù)的參數(shù)錯(cuò)誤導(dǎo)致recover本身panic這個(gè)坑比較隱晦。recover本身返回的是any但在defer函數(shù)內(nèi)部訪問外部變量、做類型斷言時(shí)可能觸發(fā)新的panic把原本的恢復(fù)流程打斷。func main() { defer func() { if r : recover(); r ! nil { s : r.(string) // 如果panic傳的是error類型這里會(huì)panic fmt.Println(recovered:, s) } }() panic(errors.New(boom)) }這里r.(string)的類型斷言失敗會(huì)引發(fā)一個(gè)新的panic最終程序還是崩潰。正確做法是用安全斷言或者只做類型判斷不強(qiáng)制轉(zhuǎn)換defer func() { if r : recover(); r ! nil { if s, ok : r.(string); ok { fmt.Println(recovered:, s) } else { fmt.Printf(recovered unknown panic: %v\n, r) } } }()還有一個(gè)相關(guān)的最佳實(shí)踐defer里的recover代碼應(yīng)該只做日志記錄、狀態(tài)標(biāo)記、資源清理這類安全操作不要在里面做復(fù)雜的類型斷言、網(wǎng)絡(luò)請(qǐng)求、或修改共享數(shù)據(jù)結(jié)構(gòu)然后加鎖等高風(fēng)險(xiǎn)操作?;謴?fù)代碼本身要盡可能簡(jiǎn)單、不會(huì)再次panic。5.4 recover后程序狀態(tài)不一致不要盲目繼續(xù)執(zhí)行recover接住了panic并不意味著一切恢復(fù)如初。panic發(fā)生位置之后的棧幀全部被解開局部變量可能處于半初始化的狀態(tài)外部資源可能只申請(qǐng)了一半。如果此時(shí)繼續(xù)執(zhí)行依賴這些狀態(tài)的核心邏輯可能出現(xiàn)數(shù)據(jù)錯(cuò)亂。我在支付對(duì)賬模塊里踩過一次坑。一個(gè)解析回執(zhí)文件的函數(shù)中間出現(xiàn)了數(shù)組越界panic被上游統(tǒng)一recover接住后外圍邏輯繼續(xù)往下執(zhí)行導(dǎo)致一批回執(zhí)文件被標(biāo)記為已處理但實(shí)際沒入庫(kù)。修復(fù)方案是在recover分支里明確返回一個(gè)錯(cuò)誤狀態(tài)讓調(diào)用方感知這一步?jīng)]完成而不是假裝一切正常func parseBatch(records [][]string) (result []Record, err error) { defer func() { if r : recover(); r ! nil { err fmt.Errorf(panic while parsing batch: %v, r) result nil } }() // 逐條解析可能panic }退出這個(gè)函數(shù)時(shí)通過命名返回值把err置為非nil調(diào)用方就知道本次處理失敗可以走重試或人工介入流程。這個(gè)是生產(chǎn)環(huán)境里非常關(guān)鍵的容錯(cuò)策略。6. 工程化實(shí)踐用panic、defer、recover搭建可靠的故障隔離層理解了機(jī)制最終要回到工程落地。為什么Go官方建議盡量用error處理預(yù)期內(nèi)的錯(cuò)誤用panic處理不可恢復(fù)的錯(cuò)誤因?yàn)閜anic本質(zhì)上是一個(gè)極端的控制流操作它跳過的代碼太多、副作用太大如果把它當(dāng)作常規(guī)錯(cuò)誤處理手段整個(gè)程序的健壯性會(huì)變得難以推理。6.1 error和panic的分工預(yù)期內(nèi)vs不變量被破壞我的判斷標(biāo)準(zhǔn)是這樣error處理預(yù)期內(nèi)的失敗。網(wǎng)絡(luò)超時(shí)、校驗(yàn)失敗、資源不存在這些都應(yīng)該用error返回調(diào)用方可以優(yōu)雅降級(jí)、重試、或者提示用戶。panic處理不變量被破壞的場(chǎng)景。數(shù)組越界、空指針解引用、類型斷言失敗、map并發(fā)寫檢測(cè)這些意味著程序狀態(tài)已經(jīng)不可信繼續(xù)執(zhí)行只會(huì)產(chǎn)生更多錯(cuò)誤數(shù)據(jù)。這個(gè)分工不是教條而是基于成本考量。error可以讓調(diào)用方就地決策panic則是說我不知道誰該為此負(fù)責(zé)先中斷讓最外層的兜底記錄現(xiàn)場(chǎng)。6.2 用defer實(shí)現(xiàn)事務(wù)性的資源清理與補(bǔ)償defer的一個(gè)高級(jí)用法是實(shí)現(xiàn)事務(wù)效果在函數(shù)開頭申請(qǐng)多個(gè)資源任何一個(gè)步驟失敗前面已經(jīng)申請(qǐng)的資源都能自動(dòng)釋放而且釋放順序正確。func transfer(from, to *Account, amount int) (err error) { if err from.Lock(); err ! nil { return err } defer from.Unlock() if err to.Lock(); err ! nil { return err } defer to.Unlock() if amount from.Balance { return errors.New(insufficient funds) } from.Balance - amount to.Balance amount return nil }這里加鎖順序是from再to釋放順序是to再from正好滿足對(duì)稱釋放。如果中間任何一步出錯(cuò)提前返回前面加上的鎖也能通過defer釋放掉。這套模式在數(shù)據(jù)庫(kù)事務(wù)、分布式鎖、文件操作的場(chǎng)景里是通用的。6.3 生產(chǎn)級(jí)HTTP服務(wù)的全局panic恢復(fù)中間件在Web服務(wù)里我們需要的是單個(gè)請(qǐng)求panic不影響整個(gè)進(jìn)程。Go的net/http庫(kù)里每個(gè)連接的處理都在獨(dú)立的goroutine里所以統(tǒng)一恢復(fù)邏輯必須放在中間件層。func RecoveryMiddleware(next http.Handler) http.Handler { return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { defer func() { if err : recover(); err ! nil { log.Printf([panic] path%s error%v trace%s, r.URL.Path, err, string(debug.Stack())) http.Error(w, http.StatusText(http.StatusInternalServerError), http.StatusInternalServerError) } }() next.ServeHTTP(w, r) }) }這樣單個(gè)handler里的panic會(huì)被記錄到日志、返回500給客戶端進(jìn)程繼續(xù)服務(wù)其他請(qǐng)求。這里debug.Stack()的調(diào)用價(jià)值很高它能打印出panic發(fā)生時(shí)完整的堆棧定位問題比單純一個(gè)錯(cuò)誤信息高效得多。6.4 值得堅(jiān)持的recover使用紀(jì)律根據(jù)多次事故排查的經(jīng)驗(yàn)我總結(jié)了四條紀(jì)律recover一定要放在defer里而且能不放就不放。只有明確需要防止進(jìn)程崩潰或者隔離不可控代碼的場(chǎng)景才用。recover范圍要盡量小。不要在最外層對(duì)整段業(yè)務(wù)邏輯做籠統(tǒng)的recover那樣會(huì)掩蓋真正的bug。盡量縮小到單次調(diào)用、單個(gè)模塊的邊界上。recover后必須記錄完整堆棧。只打panic的error值很多時(shí)候定位不了問題堆棧才是找根因的關(guān)鍵。recover后必須明確返回錯(cuò)誤或標(biāo)記異常狀態(tài)讓上層知道這次調(diào)用沒有正常完成不能假裝無事發(fā)生。6.5 單元測(cè)試?yán)锶绾悟?yàn)證panic分支測(cè)試panic場(chǎng)景也要按規(guī)矩來。Go沒內(nèi)置斷言這個(gè)函數(shù)會(huì)panic的庫(kù)但可以通過recover來捕獲func TestFooPanics(t *testing.T) { defer func() { if r : recover(); r nil { t.Errorf(expected panic, got none) } }() Foo() }如果要斷言panic的具體內(nèi)容可以對(duì)r做類型斷言。這在寫防御性代碼的測(cè)試時(shí)很常用確保自己的函數(shù)在非法輸入時(shí)會(huì)以預(yù)期方式中斷而不是靜默返回錯(cuò)誤結(jié)果。7. 結(jié)合GC與內(nèi)存視角panic和defer對(duì)性能的隱藏影響這部分是很多人忽略的。雖然Go 1.14的開放編碼優(yōu)化大幅降低了defer的開銷但panic路徑上的運(yùn)行時(shí)行為依然有成本和限制。7.1 panic導(dǎo)致的棧增長(zhǎng)與GC壓力panic觸發(fā)時(shí)運(yùn)行時(shí)需要對(duì)當(dāng)前goroutine的棧做展開操作。如果棧上分配了大量對(duì)象或者defer函數(shù)比較多、閉包捕獲了大量外部變量這個(gè)展開過程會(huì)增加GC掃描壓力。在極端情況下高頻率的panicrecover會(huì)導(dǎo)致明顯的CPU抖動(dòng)。我做過一個(gè)壓測(cè)一個(gè)函數(shù)每調(diào)用一萬次就觸發(fā)一次panic并被recover相比直接返回error吞吐量下降約15%到25%具體依賴堆棧深度和defer數(shù)量。結(jié)論是不要把panic當(dāng)作流程控制手段在熱路徑上使用它的成本比error高一個(gè)量級(jí)。預(yù)期內(nèi)的錯(cuò)誤老老實(shí)實(shí)返回error。7.2 開放編碼defer的適用邊界Go 1.14之后編譯器對(duì)defer做了開放編碼優(yōu)化在函數(shù)體尾部直接展開defer函數(shù)調(diào)用省去了運(yùn)行時(shí)鏈表操作。但以下情況無法使用這種優(yōu)化defer出現(xiàn)在循環(huán)體內(nèi)函數(shù)中defer數(shù)量超過8個(gè)函數(shù)中包含調(diào)用recover的defer使用go關(guān)鍵字或defer結(jié)合閉包且閉包較大理解這些邊界很有用。如果代碼性能敏感可以檢查一下是否頻繁觸發(fā)了非開放編碼路徑。一個(gè)實(shí)際案例我們有個(gè)函數(shù)頻繁defer釋放臨時(shí)分配的緩沖對(duì)象且函數(shù)非常短性能測(cè)試發(fā)現(xiàn)這部分占CPU超過10%。把defer改成顯式調(diào)用后耗時(shí)下降了8%。但要注意這種優(yōu)化屬于確認(rèn)瓶頸后做的手術(shù)不能一上來就避開defer。7.3 關(guān)于panic堆棧日志的截?cái)嗑€上服務(wù)日志里panic堆??赡芊浅iL(zhǎng)。Go默認(rèn)打印完整堆棧如果每個(gè)goroutine都打印日志量會(huì)非常恐怖。經(jīng)驗(yàn)做法是業(yè)務(wù)恢復(fù)日志里用debug.Stack()打印當(dāng)前goroutine的堆棧但可以在日志系統(tǒng)層面做截?cái)啾热缦拗?KB保留前幾十行關(guān)鍵幀就足夠定位了。核心的崩潰行號(hào)、調(diào)用關(guān)系都集中在堆棧上半部分不需要完整輸出。8. 從一個(gè)線上事故看三者協(xié)作的完整復(fù)盤最后分享一個(gè)我參與排查的真實(shí)事故它幾乎是panic、defer、recover所有陷阱的集合體現(xiàn)對(duì)照著看能加深印象。8.1 事故現(xiàn)象一個(gè)訂單處理服務(wù)在深夜突然重啟K8s里顯示容器退出碼2。日志里有幾條panic記錄但詭異的是服務(wù)明明有全局recover中間件為什么進(jìn)程還是退了8.2 排查過程先看panic堆棧發(fā)現(xiàn)崩潰源頭在一個(gè)異步消息消費(fèi)的goroutine里它處理消息時(shí)調(diào)用了一個(gè)第三方SDKSDK內(nèi)部觸發(fā)了panic。堆棧往上走沒有經(jīng)過任何帶recover的defer直到goroutine入口都沒有兜底運(yùn)行時(shí)直接把進(jìn)程殺掉了。再看我們以為的全局recover它掛在HTTP handler的中間件里只能保護(hù)HTTP請(qǐng)求的goroutine。消息消費(fèi)的goroutine是另一個(gè)入口完全沒被覆蓋到。繼續(xù)往下查發(fā)現(xiàn)SDK里那個(gè)panic的觸發(fā)條件是配置文件里一個(gè)字段被錯(cuò)誤地置空了。SDK沒有對(duì)空值做防御性判斷直接解引用空指針。表面上這是SDK的bug但我們的消息消費(fèi)入口沒有隔離機(jī)制導(dǎo)致一個(gè)配置錯(cuò)誤直接帶崩了整個(gè)服務(wù)。8.3 修復(fù)措施修復(fù)分了三層入口兜底所有消息消費(fèi)的goroutine同樣包一層帶recover的包裝函數(shù)統(tǒng)一記錄堆棧并發(fā)送告警。風(fēng)險(xiǎn)隔離把調(diào)用第三方SDK的部分單獨(dú)抽到一個(gè)函數(shù)里內(nèi)部用deferrecover包住。panic被接住后把該條消息標(biāo)記為消費(fèi)失敗進(jìn)入重試隊(duì)列而不是讓進(jìn)程崩潰。配置校驗(yàn)在加載配置的階段就做空值校驗(yàn)從源頭避免SDK拿到非法參數(shù)。這個(gè)事故讓我徹底意識(shí)到recover不是寫了就有用它必須精準(zhǔn)地出現(xiàn)在每一個(gè)可能發(fā)生panic的goroutine入口上。這也是我把GoSafe做成團(tuán)隊(duì)公共庫(kù)的原因。8.4 復(fù)盤結(jié)論panic、defer、recover這三者的關(guān)系如果打一個(gè)比方defer是無論函數(shù)走到哪條路都必須經(jīng)過的收尾通道panic是突然闖進(jìn)這個(gè)通道的緊急事件而recover是在通道里設(shè)置的緊急事件處理點(diǎn)。處理點(diǎn)不在通道里就永遠(yuǎn)攔不到這個(gè)事件處理點(diǎn)夠多、覆蓋了所有入口事件才能被安全化解?,F(xiàn)在寫Go項(xiàng)目我?guī)缀跣纬闪思∪庥洃浬婕癵oroutine的地方先套GoSafe涉及文件、鎖、連接的地方優(yōu)先defer清理涉及不可控外部庫(kù)調(diào)用的地方單獨(dú)隔離加recover。這套習(xí)慣幫我省掉了大量凌晨起來看監(jiān)控的時(shí)間。也希望這篇拆解能讓你在面對(duì)panic、defer、recover時(shí)不只是知道語(yǔ)法而是真正理解它們背后的運(yùn)行時(shí)協(xié)作邏輯寫出更穩(wěn)的Go代碼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
在线强奷到舒服的无码视频| 91天天看| 91三级理论片播放器| 四虎884a| 日韩欧美字幕亚洲一区二区| 日韩日韩日韩-国产乱码精品一区二区| 国产成人亚洲精品无码最新在线| 1区2区3区中文字幕日韩| 一级性爱网| 久操B网| 丰满人妻一区二区三区免费| 日韩有码 一区二区三区| 性色一线| 综合影院亚洲| 国内自拍 日韩激情 99| www成人啪啪18秘 免费| 97国产色综合| 超碰在线91| 日韩A优精品在线观看| 开心五月天激情网| 本道在线| 91亚洲在线| 欧美91网站| 伊人9| julia中文字幕在线观看| 97视频在线免费观看| 九九人人操| 9999免费精彩视频| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 9久超碰| www.99热在线只有精品| 亚洲AV成人在线| 亚洲另类综合欧美| 二三四区精品| 少妇专区一二三四五| 精品少妇99| 天天干1区2区在线| 污污汅18禁网站在线永久免费观看| 国产福利在线视频网站| 97精品国产97久久久久久户外免费| 欧美亚性天堂| 午夜舔阴达高潮视频免费看| 中文字幕91综合| 亚洲av成人精品一区| 刺激性视频黄页| 欧亚韩国999| 国产精品黄色三级av| 五月香婷婷| 啪啪啪亚欧美视频| 国产13区| 婷婷丁香成人| 亚洲国产ⅴ高清在线观看| 欧美亚洲AN| 免费综合亚洲中文| 再深点灬舒服灬太大了添视频| 精品久久9| 久久、1234| 超AV色女| 26UUU欧美激情一区二区| 97日视频| 日韩97超碰中文字幕| 成人无码电影在线观看网| 中文字幕丝袜人妻| 国产美女激情| 无码精品久久久久久亚洲| 91超碰在线播放| 色天使大香蕉| 久久是精品| 久久骚| 激情图片伦理国产一区二区日韩| 99色热| 黑丝日韩av丝袜av| 五月丁香影院| 一二三啪啪专区| 啊啊啊啊啊好大好舒服想要| 狠狠躁日日躁夜夜躁A| 精品人妻伦一二三区久久| 色蜜AV| 日本中文字幕高跟| 美女久久久久久久久久久| 色色毛片| 伊人综合色网| 精品久久97| 强奸乱伦AV网站| 欧美三级免费伊人| 99999精品| 婷婷激情五月| 东京热毛片调教| 久久精品店| 99热精品青草在线| 超碰色大香蕉| 乱伦日本色图AⅤ| 日韩在线视频1234| 国产日韩美女小穴视频网站不卡| 91网站18在线观看| 色爱三区| 黄污污污污| 97综合久第一页| 国精综合一二三区影视| 国产男女无套97| 天天综合有色网| 亚洲一区二区三区麻豆传媒| 一区麻豆 高清中文字幕| 殴美大黄片| 天天搞欧美| 久久精品亚洲东京热色播| 嗯啊不要啊在线 | 超碰超碰超碰超碰的大鸡吧操黑丝袜| 人妻美腿丝袜日韩| 屌逼传媒| 中文字幕五区| 久久国产乱子伦精品免费女,网站| 中文乱码字字幕在线第5页| 欧美论理片| 干b在线性社区| 青椒国产97在线熟女| 久久久爆乳翘臀一线天伦理视频| 91另类| 大香蕉伊人在线成人AV在线观看| 久久婷婷综合国际产色怕| 亚洲熟女一区二区| 91女网站| 一起草AV| 色综合色欲色综合色综合色综合| 免费人成毛片乱码| 亚洲欧洲日韩中文字幕一区| 日韩精品影视| www.狠狠| 婷婷天堂站| 2019天天干天天操| 欧美精品23| 超碰导航97| 欧美色日本| 九九在线视频| 超碰九色| 久久性爱视频| 欧美999| 97日视频| 青青国产精品在线| 久久草草欧美精品| www.色婷婷| 色欧美亚洲| 亚洲第二页| 日日A∨| 9超碰免费| 国产精品对白内射| 国产精品女久久久久av爽| 伊人国产成人av网站| 亚洲精品熟妇1区2区3区。| 久日91在线| 久日91在线| 亚洲欧洲色情高清| 久偷拍欧美日韩三区| 综合色拍| 伊人91| 夜夜骑夜夜操| 久操凹凸视频| 1769精品一区二区三区| 亚洲人人操| 中文字幕在线观看丝袜| 国产天天骚| 日韩欧美经典在线观看| 91黑丝少妇| 天天干天天日天天射黄色片| 四虎在线免费视频| 国产 日韩,欧美 自拍| 日日摸夜夜夜夜爽| 青青草久草| 国产又粗又又黄又猛| 校园春色美腿丝袜 | yy少妇精品久久| 久久美女国产| 伊人久久大香线综合无码| 国产成年免费大片黄在线观看| 伊人久久亚洲色欲综合网站| 另类图片五月| 日本免费专区| 99少妇| 中文字幕久久精视频久久大全| 亚洲无码精品AV久久久| 久久精品一区二区三区蜜桃臀| 成人五月香网在线| 自拍偷拍2025在线观看| 久久久久亚洲熟妇熟女| 色网亚洲人| 天天看高清麻豆| 91人妻视频在线| 亚洲av无码成人精品国产| 免费少妇一区二区| 日本熟女中文字幕一区| 亚洲啪啪视频一区二区| 免费看日本操逼视频| 日韩精品人妻中文字有码在线 | 超碰天天操| 激情五月天校园春色网| 俞拍久久国应视频| 一起草日韩| 久草福利在线资源站| 欧美色五月| 青青爽| 爱干爱射网啊啊啊| 欧美激情总合网| 极品销魂美女一区二区| 久热99999| 色综合一区二区三巨| 日本东京热加勒比久久| 成人免费性爱视视| 凌辱美少妇久久aV| 激情四射熟女丝袜| 亚洲黑丝在线| 中文字幕在线高清男人的天堂| 日韩免费一级性爱视频| 久日综合网| 大香蕉伊人网WWWn0n| 亚洲最大无码中文字幕网站| 99久久久久久亚洲精品不卡| 亚洲精品久久久久毛片A片拉屎 | 91肏屄网| 九九久久99| 久久久草草精品| 久久 精品| 日本二三四区| 9久精品| 欧美精品三级黄片| 人妻丝袜一区二区三区在线| av一区二区三区不卡| 日韩精品区二区三区不卡| 久久m| 偷拍 精品另类 凸凹了四区| 91动漫操逼视频| 精品高清av中文字幕| 超碰99在线| 亚洲宗合网| 亚洲无码99| 中国黄色特级精品一区二区三区片| 插老姨肥穴| 亚春色色| 天天综合91在线| 欧美91网站| 亚洲 暴爽 AV人人爽日日碰| 日韩一级成人毛片免费观看| 超碰 另类 欧美 | 丰满人妻一区二区三区在线| 91狠狠综合久久| 久久亚洲天堂| 欧美亚性天堂| 伊人久久亚洲色欲综合网站 | 永久免费av无码网站国产app| 欧美中文字幕一区| 香蕉99秘 一区精品蜜桃臀| 91大胆欧美| 日韩精品1区2区中文字幕| 在线a v| 亚洲欧洲无码一区夜| 亚洲国产亚洲天堂| 啪啪啪亚欧美视频| 中国少妇XXXX做受| 2018色综合天天操| 欧美亚洲综合色| 久久久久一本一区二区青青蜜月| 嗯嗯啊啊日韩精品| 视频一区二区免费在线| 免费黄色A片| 男人的天堂2018东京热啪啪啪| 欧美操逼视频二区| 清纯唯美亚洲| 中国亚洲呦女专区| 国产传媒日本欧美专区| 91亚洲最新在线| 涩综合导航| 国产懂色精品国产av| 美日韩一卡二卡三卡免费人妻精品| 黑丝日韩av丝袜av| 尤物网站91| 家庭乱伦网站国产| 九九九午夜| 福利一级版子| 思思久热在线精品66| 亚洲国产一区二区入口| 久久久久无码| 在线观看A啊啊啊| 强奸乱伦大香蕉网| 操逼国产免费| 亚洲欧美自拍偷拍| 日韩亚洲Av人人夜夜澡人人爽| 人人做,人人操,人人摸| 亚洲性综合11| 四虎在线观看视频| 亚洲精品国产无码高清| 中国一区二区亚洲人妻| 超碰99热| xxx亚洲午夜天堂| 天天插天天操| 亚洲影院小综合| 欧美 亚洲 综合 制服 另类| 97这里有精品| 国产91精品福利在线| 91动漫操逼视频| 色情综合网| 75大香蕉| 欧美综合第一页| 免费精品中文字幕| 亚洲天堂第一页| 加勒比综合在线| 99视频这有这里有精品| 性爱视频久久| 风月影院男女十八禁| 搡老女人老91二区| 久久欧美性爱视频| 久久天天躁日日躁狠狠躁 | 国产精品老师| 日本在线15p| 超碰免费人妻在线| 五月婷婷无码| 蜜臀99精品国产高清在线观看| 91伊人久| 亚洲熟女乱熟乱熟妇综合网二区| 69视频入口| 日本国产成人亚洲精品无码| 久久久久深夜无码| 亚洲成人久久美女| 97久久久久| 亚洲人人操| 九t超碰| 欧美精品999| 欧美日韩系列| 婷婷九月色| 中韩中文字幕在线观看| 久久精品99| 久久久青青草| 日本操逼视频导航| 国产夫妻性生活视频| 日本精品一区三区| 久久一区二区蜜桃| 91色图片| 亚洲人体视频在线观看| 国产熟女精品区| 日美免费黄片| 91av熟女人妻| 超碰欧美COM| 亚洲中文字幕噜噜噜久久久| 国产美女自拍AV| 欧美韩国你懂得在线| 国产熟女免费观看久久| 亚洲熟女av中文字幕| 亚洲五区熟女| 天天做天天爱| 伊人精品久久网站| 黑人性欧美| 99爱久久视频频| 多乙久久久久久| 久久久内射良家| 日本免费一区二| 亚洲乱码尤物193YW| 97 色综合| 亚洲色棕合| 久久內射| 1204金沙人妻懂旧版免费| 大香蕉啪啪网| 色网站导航大全| 青青操日韩| 少妇专区一二三四五| 欧美一区91大爱| 黑人精品成人一区二区三区| 亚洲āv网址在线观看| 久久久青青草| 欧美综合第一页| 黄站在线免费观看| 亚洲性综合11| 桑老女人九区| 91九色丨风韵犹存| 日韩综合色图| 中日韓欧美高清| 精品久久97| 国产精品日日摸天天碰| 亚洲丝袜少妇在线| 国产性爱强奸乱伦大全| 日韩欧美加勒比| 91美女在线| 久久中文字幕女同性恋一区| 另类专区加勒比| 久久一二区四| 青青草影视蜜久久| 色五月AV| 日韩特级毛片免费观看全集| 欧美自拍偷拍综合图片| 一区二区三区黄色片a| 日韩三级天堂在线观看| 东京热激情视频一二三区| 久久久98网站免费视频| 欧美五区| 超碰色美女| 久久专区| 日本天天色| 国产亚卅97| 另类成人首页一区| 91丝袜在线播放| 成人小说另类在线| 欧美婷婷| 操我啊啊啊啊啊| 亚洲人码13| 亚洲黄色电影| 男人a天堂手机在线版| 婷婷五月综合在线| 亚州熟妇精品| 加勒比无码毛片| 国产精品99精品视频网站| 干干干天天| 青青草原狼av| 九九九久久久久| 欧美色图色综合| 99热这里只有精品9| 青青草操逼逼视频| 风骚少妇视频中文字幕| 国产极品精品美女视频| 精品国产一区二区久久| 午夜爽爽爽| 无码国产精品久久久久| 亚洲污污网站| 伊人黄色片| 综合日韩激情另类图片| 一级毛片电影免费看| 日韩亚洲美女一区久久| 亚洲丝袜诱惑| 九九碰九九爱97| 老司机福利社视频在线观看| 日韩性爱视频在线免费观看 | av九九| 久久久草草精品| 围产精品一区二区三区视频播放| 久久久精品视频欧州站| 无码久| AV女资源| 亚州色图第三区| 91久久青青草原精品| 91扒丝袜综合在线| 亚洲成人美女无吗| 午夜福利 成人 91| 丝袜美腿欧美| 国产一级操B视频| 中文字幕视频二区| 蜜桃在线观看一区二区三区 | 亚洲性天堂| 精品无码一区二区| 国产 v乱码一区二| 性色AV网站| 天天欧美| 久久久久久99999国产精品| 激情五月婷| 韩国一级AAA| 成人草草视频| 丝袜视频一区二区在线播放国产中文 | 人妻一区二区三区四区视频| 怡春苑东京热| 久久99黄色卞西瓜| 岛国片在线观看视频亚洲| 97精品视频| 亚洲一区中文字幕一区| 亚洲人妻中文高清| 国产51色综合久久免费| 一线黄色免费性爱片| 青青操日韩| 九九九九免费视频| 亚洲熟女偷拍在线观看| 日本999精品视频| 美腿色图| 欧美狠狠弄| 一区二区三区四区五区高清无码永久视频| www99热| 九九热精品| 亚洲成人日韩小说| 亚洲一卡2卡3卡4卡乱码网站 | 大香樵伊人网| www.狠狠干.coom| 亚洲国产一区二区三区在线 | 性爱乱伦一区| 日本三级R| 成人黑料社久久| 日韩中文字幕视频在线观看| 日韩有码一区三区| 人妻内射一区二区在线视频| 综合网亚洲在线| 蜜臀久久99精品久久久电影| 被窝影院午夜看片无码| 欧美日韩中文视频播放| 91狠狠综| 日韩无码黄色片| 国产精品 午夜福利| 青青草密桃在线播放| 91天射| 午夜美女诱惑电源网| 囯产精品久久久久久久久久梁医生 | 国产吹潮女在线观看| 欧美人妻一区二区| 国产成人超碰在线| 色五月婷婷中文字幕| 青青草久久一区网| 久热99999| 91美女视频在线观看| 蜜乳AV一区| 超91综合网| 天堂资源站| 色欧美综合| 超碰在线香蕉| 麻豆天美传媒在线视频天堂| 三四中文字幕| 啪啪啪东京| 淫淫总合网| 国产少妇内射| 国产成人无码网站在线视频| 韩日精品福利视频一区不卡在线免| 五月天精品| 国产精品探花色| 99啪啪| 亚州五月| 久久人人爽人人爽人人片Ⅴ| 欧美日本视频一区| 在线观看av区| 香蕉国产97| 人人干人人搞人人摸| 欧美性爱一区二区三区四区| 日韩精品字幕| 色天天野狼综合社区| 啊啊啊啊在线播放| 网页导航五月天免费一二三区 | 啊啊啊啊啊操我视频| 97亚洲欧美| 99热啪啪| 超碰97综合网| 天天透伊人| a男人的天堂久久一级A毛片| 精产国品一区二三产品| 亚洲最新Av| 麻豆伊人网| 亚洲自拍天堂| 欧美 亚洲| 大香蕉免| 色噜噜人妻丝袜a∨先锋影| 伊香蕉综合久久久久久久噜噜噜| 九九九九九九九精品视频| 老熟女91| 精品久操| 爆乳免费黄网站| 小日子操bb在线看| 中文精品少妇天堂| 全球成人中文在线| 久久老女人| 1级黄色夫妻对换性交免费看| 欧美激情1区| 欧美激情五月天| 中文字幕一区二区在线日韩精品| 色噜噜日韩精品| 日本有码久久| 欧美做爰无码A片视频| 污色区网站| 久射吧| 91伊人大香蕉| 中文乱码99| 超碰人人乐97| 自拍丝袜美腿人妻| 殴美,日韩国产伦精品| 国产一区免费午夜视频| 男人精品区| 久久女人| 五月香婷婷| 嫩草影院永久在线制服丝袜| 张柏芝国产一区在线观看| 狠狠操使劲操| 99热这里只有精品9| 强奸乱伦麻豆| 欧美亚洲丝袜美女电影| 亚洲第一综合| 蜜桃在线观看一区二区三区 | 色五月天AV| 成人色女网| 亚洲精品久久一区二区三区蜜桃臀| 色九九九综合| 乱操9999| 狠狠91| {男男暴菊gay无套网站| 欧美不卡二区| www狠狠| 91肏屄网| 欧美成人国产精品| 亚洲综合欧美| 国产精品嫩草影院免费| 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | AVE乱伦| 日韩精品永久在线观看| 老鸭窝亚洲毛片| 欧美九一精品久久久熟妇| 欧美日韩欧美| AV无码久久久精品| 亚州精品丝袜-不卡成人免费| 任我爽在线视频免费观看| 999久久久| 91快色色色色色| 亚洲综合有玛| AV乱伦国产| 香蕉久久国产AV一区二区| 少妇第一页| 丁香婷婷久久 | 天天射网| 一区二区乱码福利| 男人的天堂2010| 懂色AV蜜臀无码精品APP | 国产色综合亚洲色综合吹潮| 亚洲欧美中日韩| 久久这里只精品免费福利| 美女97超碰| 黄色电影观看久久9| 尤物视频网 刘玥| 在线99热| 国产隔壁老王影院在线| 国产91丝袜在线播放蜜月| 无码免费精品高清| 97香蕉网| 白嫩妹子国产骚| 夜夜操2028| 成人日韩3| 青娱乐 青青青操 日逼| 无码一区二区三区四区五区六区七区八区九区十区视频 | 丰满少妇精品一区二区| 97天天摸天天碰| 日本免费一级AAA大片器| av橘色网站| 性欧美天天| 婷婷精品| 不卡啪啪视频| 欧美日韩色综合网| 97超碰欧美精品| 欧美日韩亚洲五月天婷婷| 久久久蜜桃一区二区三区| 秋霞成人一级在线观看| 亚洲熟女av中文字幕| 狠狠操狠狠燥| 伦在线97| 日本99一区二区| 久久久工口| 99热在线播放| 狠狠五月天| 五月丁香狠狠爱| 久久久久久亚洲Av无码| 蜜臀99久久精品久久久懂爱| 天天综合网在线91| 亚洲天堂资源在线| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 亚洲熟妇A V黑人| 色在线综合| 天天看高清麻豆| 久久久一区二区三区三州| 伊人操操| 青青操在线亚洲视频观看欧美在线| 精品毛片久久久精品毛片| 精品熟女呻吟久久91| 欧美亚洲成人在线一区二区三区| 91狠狠综合久久久| 最近2019中文字幕国语免费版| 国产午夜精品理论片一二三区区 | 色婷婷电影| 青青操狠狠撩| 日韩免费性爱视频在线观看| 国产大学生口爆吞精合集| 白丝被操91| 96麻豆精品一区二区三区| 97久久国产亚洲精品超碰热| 欧美 亚洲 91| 激情四射婷婷六月天| 97精品全部| 国产白丝网站| 欧美春色| 男人的天堂免费| 久久久久国产精品久久久| 欧美色图亚洲色| 午夜精品久久久久久久久久久久久| 白丝被操91| 亚春色色| 秋霞网无码| 人妻日日干| 一区二区激情国产熟女| 欧亚久久偷拍视频| 亚洲影视第一页| 国内外内射高清视频| 一区二区高清视频| 91日韩| 97天堂| 日日噜噜夜夜狠狠视频无| 国产免费一区在线观看| 肉丝网站91| 黑人性暴力毛片| 日韩综合成人免费视频| 久久久中文| 久久99草| 97色碰| 亚洲天堂AV在线播放| 色婷婷丁香五月| 第45页一区二区| 久射吧| 第四色奇米影视777| 色玖玖| 熟女熟妇伦久久影院毛片一区二区| 欧美一区二区三区不卡高清视频| 91人妻尻屄视频| 欧美 日韩 婷婷 五月| 男人天堂网站| 久久黄黄| 欧美超碰在线| 国产综合永久精品日韩鬼片| 精品久久久av| 在线毛片片免费观看| 99热免费| 欧美日韩在线小说| 色五月综合网| 熟女高潮精品一区二区| 日本成人A片网站| 人妻久热在线| 午夜精品久久一区二区| 欧美日韩免费专区在线| 69XX一中文字幕人妻91| 精品国产91久久久久久一区黄无| 久9re热视频这里只有精品| 亚洲人成色9999精品久久| 婷婷色香伊人| 日韩紧密久久| 久久久久国产精品喷潮免费观看臀| 欧美在线干| 97国产超湿| 日韩偷拍一区二区三区| 素颜老阿姨乱情色| 亚洲中文字幕三级在线| 蜜臀久久久99久久久久| 青草青青久久久久久国产| 立川理惠被中出无码| 欧美曰韩国产精品| 簧片免费看视频| 香蕉欧美| 欧亚 另类 久| www.91欧美| 99性视频| 蜜乳视频网站| 激情综合 婷婷五月 红杏| 国产激情在线| 精品高清av中文字幕| 日本免费一区二区不卡| 伊人久久青青草| 5月婷婷6月六月丁香| 亚洲开心网| 色天天野狼综合社区| 天天射夜夜| 日本久久久久久久久| 99ri视频| 亚洲一区二区三区AV无码| AV和黑人在线播放| 91视频综合网| 综合久久97| 91亚洲人| 久久精品一区二区| 欧美78P| 精品国产乱码久久久久久蜜臀| 岛国999| 欧美乱妇狂野欧美在线视频| 日韩熟女精品无码专区一区二区| 免费毛片在线播放| 高清国产av无码| 九九久久99| 伊人91| 亚洲另类久操网| 内射日韩大臀美女| 蜜桃精久三区| 久久久久久久久久久999| 亚洲精品1区| 色www精品视频在线观看| 91久久久老司机| 日本黄色天堂| 麻豆成人影音在线| 1人人看人人摸人人操| 岛国大片在线观看网站入口| 一级做受视频免费是看美女| 人妻无一区二区三区| 岛国在线免费视频| 秋霞曰韩R级| 超碰人人在线| 欧美18禁91| 99re6国产精品99re| 啊啊啊好大好深| 嗯嗯不要视频| av在线免费一区二区| 一级A啪啪啪啪| 日产国产精品中文久久婷婷| 人人操人人射人人干| 中出欧美| 久久精品店| 久久人人爽爽爽人久久久| 大香蕉琪琪日本女优不卡| 午夜福利 成人 91| 在线欧美69V免费观看视频| 欧美|91色综合| 亚洲AV永久无码精品成人调教| 久久成人国产精品| 青青草自拍视频在线播放| 精品成人女人久久| 国产激情在线| 亚洲古典另类欧美在线| 免费视频在线观看啊啊啊啊啊| 日本精品一区二区三| 成全动漫视频观看免费下载| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 亚洲h片在线免费观看| 日韩AV电影网站| 日本三级韩国三级美三级91| 色哟哟AⅤ| 国产青视频| 亚洲伊人成综合成人网| 大香蕉碰碰| 2017天天插| 啊啊啊com| 人妻精品视频一区二区三区| 91N五十路| 精品国模无码| 久久国99999| 操逼逼中文字幕| 久久精品人妻一区二区三区| 色爱国产| 熟女探花啪啪| 精品人妻一区二区三区视频| 日韩欧美亚洲自拍偷拍| 色999偷自拍拍| 天天操夜夜嗨| 久久久久久久久9| 青青网三级视频| 日韩免费看在线黄色片| 国产日韩美女小穴视频网站不卡| 一本一道人妻久久一区二区三区| 成人蜜乳小视频网站| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 精品亚洲成人免费在线| 欧美 亚洲 另类 综合| 亚洲综合成人网| 久9re热视频这里只有精品| 囯产精品久久久久久久久久梁医生| 大香蕉综合| 人妻娇喘 激情视频| 天美传媒av在线| 日韩另类色图| aaaa少妇高潮大片| 四虎国产精品永久入口| 日韩日韩日韩-国产乱码精品一区二区| 超碰日本97美女人妻人人玩人人爱| 亚洲AV无码翔田千里网站| 亚洲欧美日韩偷拍色图| 淫纸中9区| 中国黄色特级精品一区二区三区片| 亚洲城人男人的天堂| 国产成年免费大片黄在线观看| 97超碰中文在线| 国产精品另类一区大香蕉| 熟妇高潮一区二| 欧美激情欧美精品| 天堂九九九九九九九九九| 婷婷五月天福利| 亚洲无码色| 99在线免费视频| 中出91| 婷婷日韩一区二区三区中文字幕在线| 日本123区操B视频| 国产精品久久久久av| 婷婷伊人网| 一级免费啪啪片| 日韩av乱伦| 加勒比大香蕉视频在线| 久jiu久神马影院| 亚洲一二三四区机械| 鸥美插入视频| 久久华人网| 91操熟女视频| 超碰九区| 国产一进一出视频网站| 国内自拍 日韩激情 99| 日日操天天操| 亚洲男人天堂网久久| 欧美狠狠操| 蜜臀久久99精品| 中文字幕精品亚洲熟女| 亚洲av资源| 亚洲成人av电影在线| 成片免费播放| 97色爱| 亚洲欧美综合网| 天堂亚洲精品| 人人看人人插| 婷婷九月| 亚洲国产精品久久久久婷婷老年| 极品销魂美女一区二区 | 亚洲清纯唯美| 国产精品黑人一区二区三区| 午夜高清成人在线视频| 国产AV天美| 欧美色图综合网| 2020中文字幕在线观看| 美女被啪到深处抽搐视频| 国产1769在线| 久久欧洲| 免费操逼91| 99精品成人免费看| 极品粉嫩少妇视频| 国产捆绑一区| 中文字幕黑人大片| 97狠狠| 青青草天天亲夜夜操网| 国产乱码精品久久久久久| 久久大黄片| 中文字幕55555| 自拍内地三级在线观看| 日韩一区二区精品视频| 欧美天天综合在线| 免费综合亚洲中文| 亚洲中文字幕久久无码精品| 成人性爱电影网| 久久精品国产97欧美精品亚洲 | 中文字幕午夜精品久久久| 精品一区二区综合熟妇| 东北女人操比视频| 激情专区综合| 激情文学88| 久久超碰98| 久久综合激情| 亚洲 日本 不卡| 久久日韩毛| 操婢日韩| 人妻丰满熟妇av无码区蜜桃| 五月天激情小说| 深夜激情 | 久久9亚洲| 日本不卡高清视频| 色与欲影视| 国产精品suv一区| 色播综合| 天天操天天干一区二区| nuu12国产麻豆精品| 性爱动态120秒| 欧美日韩不卡a片| se..亚洲欧美| 日韩干B| 久久伊人青青草| 91美女丝袜诱惑视频| 探花熟女,姿勢到位,體驗感也到位| 91欧美经典| 性九九九九九九| 日韩午夜国产| 秋霞男人网| 激情色色| www.人人cao| 一区二区三区探花在线观看| 久久久青青草| 99色在线| 亚洲欧洲日韩中文字幕一区| 久湿久久| 男人精品天堂一区| 亚州色站 日韩电影| 亚洲丝袜二区| 夜夜中出国产| 久久久久久午夜男人的天堂| www久久99| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 久操91视频| 欧美97爱| 极品销魂美女一区二区 | 欧美天堂亚洲电影院一区在线播放| 九九无码久久精品视频| 中文啪啪视频| 在线视频五十市| 久草男人天堂| 亚洲天堂一二| 超碰色97| 日韩欧美性吧婷婷乱伦大香蕉| 久久久久亚洲| 一级@啪啪视频| 一本一道vs波多野结衣| 色综合久久88色综合久久天天| 另类小色呦| 亚洲,欧美,春色,另类| 精品免费1| 伦理日韩国产久久| 97操97干| 波多野结衣之双飞调教在线播放 | 亚洲一区二区AV| 伊人网免费视频| 欧美人妻一区| 午夜久久一区二区无码中出| 国产 大胆 对白| 欧美色图欧美| 亚洲精品一区二区精华| 熟女乱伦二区| 午夜后入| 97操| 一区二区 韩日AV| 中文字幕第23区| 最新日本中文字幕| 狠狠爱综合| 韩国国产欧美情侣视频在线| 一起草高清无码| 91美女中出| 色综合99999| 人人妻人人爽 97人人看碰人免费公开视频 | 久久久无码av精| 神马久久久久久久久久久久| 猛猛干| 丁香五月偷拍| 欧洲精品二区| 国产做?爰片久久毛片?片美国| 艾草av| 三级AV入口| 欧美日韩婷婷中文| 26uuu国产亚洲综合| 爽爽爽免费视频| 人人人干干人人干| 欧美日韩国产传媒在线精品| 狠狠操使劲操| 日韩人妻少妇 一区二区三区| 国产地址二三| 国产高清免费不卡av| 大香蕉伊人网WWWn0n| 97精品| 成人 日韩欧美一区| 欧美精品黑人猛交高潮| 宅男午夜在线视频| 日韩欧美福利视频看看| 四虎AV影视国产精品亚洲精品| 中文字幕日韩人妻视频一区二区三区 | 亚洲成人ab| 久热色情精品| 国产性爱乱伦AV| 加勒比aⅴ| 久久夜嗨| 天天日天天爽| 人人玩人人添人人澡免费| 十八禁电影伊人网| 97干在线看| 凸凹视频在线观看| 日韩欧无码一区二区三区免费不卡| 久久国99999| 99色色| 熟女六十路| 国产91精品在线免费| 男人成人黄色视频在线观看免费下载| 色综合九九| 亚洲午夜福利在线影院| 久久久96| 久久精品国产亚洲粉嫩| 国产一| 大香蕉欧美国产日韩高潮| 少妇一线天久久久久久| AAA久久| 成人小说视频在线精品欧美| 熟女91网站| 亚洲成成熟女人综合一区二区| 久久国产对白激情浪潮| 999狠狠综合| 校园春色之综合网| 婷婷五月天激情网| 亚洲91在线播放影院| 啪啪啪东京| 午夜操逼不卡| 91香蕉视频在线观看免费| 精品蜜乳AV免费观看| 92久久| 少妇综合| 日韩精品国产一区二区| 亚洲精品一二牛牛| 国产真乱mangent| 大学生口爆吞精| 在线欧美69V免费观看视频| 久久国产乱子伦精品免费女人| 日韩欧美tv一区二区在线观看| 围产精品一区二区三区视频播放| 日韩图区 偷拍| 日韩AV一起草| 厕所偷拍在线| 久日91在线| 99视频自拍区| 亚洲加勒比| 亚洲av无码国产精品字幕| 手机在线播放国产福利| 亚洲超碰在线| 夜草欧美| 97超碰欧美手机| 黄色一区二区秘书性感| 日韩草久视频| 色欲人妻一区二区在线| 丰满欧美放荡少妇在线| 中文字幕97| 97摸视频| 激情文学网伊人| 97玖玖超碰| 亚洲日韩欧美一区二区| 日日躁夜夜躁狠狠躁超爽| a片在线播放| 国产激情av女片自拍| 色爱综合网欧美| 白丝AV| 久久久免费一级黄片| 神马久久久久久久久久久久| 亚洲久久久久| 五月色丁香| 午夜操一视频一区| 人妻熟女av国产网站| 日韩综合97P| 亚洲视频中文一区| 天天色悠悠激情| 黑人猛交| 天天爽夜夜欢视| 2024黄色视频| 久久夜色一区二区| 欧美一区二区三区四区综合| 97人妻色| 日韩熟女无码| 天综合网欧美| 亚洲国产午夜真人一级片中文字幕精品黄网站| 久操99| 18啪啪手机免费性爱| 国产视频大全| 逼逼逼逼操操操操操操操操操午夜剧场| 91新在线欧美| 精品一区二区成人| 青青草一区二区高清无码视频| 久久riav中文精品| 精品人妻一区二区蜜桃视频| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 97精品熟女少妇一区 | 玖玖爱视频网站| 人妻加勒比东京热| 美国精品国产精品| 国产精品另类| 欧美 亚洲 另类 综合| 天堂俺去俺来也www久久婷婷| 欧洲一区二区三区四区在线观看| 精品久久久久久亚洲| 在线无码视频| 97资源站国产精品| 人人爱夜夜爱| 啪啪综合网| 成人免费不卡在线视频| 亚洲欧美清纯| 狠操91,com| 九九成人精品| 四虎永久在线精品免费网址| 日本不卡高清视频| 国产强奸乱伦第1页| 蜜臀Av一区二区三区| 乱码人妻一区二区三区| 青青草密桃在线播放| 日本3级一区二区免费| 久草网站免费在线观看| 国产精品久久久久婷婷二区次| 欧美成人色| 97超碰亚洲| 极品AV网站在线观看| 青青草五月天| 最新精品久久蜜桃| 情色五月天网|