日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情久久av一区av二区av| 青青草女人天天干| 99亚洲精品| 婷婷久草| 成人精品电影| 欧美成人性爱视频大全| 精品国产一区二区三区在线播出| 熟妇激情| 青青草在线视频播放器| 91色插| 国产精品肉丝自拍| 婷婷六月色| 日韩高清黄片| 精品人妻中文字幕高清| 97精品免费| 91激情综合| 九九九久千久久激情蜜桃在线看 | www超碰| 五月婷婷丁香六月丁香| 欧美精品成人一区二区在线观看| 中文久久| 99re国产精品视频| 色色色日本| 99热在线播放| 午夜精品久久久久久久第一页按摩| 啊啊啊好舒服好爽啊啊啊视频| 九九av| 色久桃花影院在线观看| 欧美一区二区日韩三区| 狠狠久久手机视频精品| 东北女人无套内谢视频| 精品国产一区探花在线观看| 思思热一热婷婷热一热| 淫荡少妇免费| 欧美色性爱| 国产精品爱欲| 亚洲三区视频| 黄人人操人人操| 丰满人妻一区二区三区色-百度| 中文字幕日韩情色| 99精品九九九九九九| 91伊人久久在线| 亚欧操逼片在线观看| 97综合久第一页| 91国产丝袜美女| 大香蕉日亚洲日本亚大 | 亚洲天堂男人天堂网| 后入综合久久| 久艹日日日| 人妻少妇精品久久久久久久| 国产无码成人无码| 美国精品国产精品| 18禁美女裸体无遮挡啪啪| 家庭乱伦国产| 蜜臀操逼黄色视频操的好爽| 五月综合激情网| 亚洲宅男天堂| 看黑丝美女操逼青青网站| 亚洲中文字幕在线视频一区二区| 国产成人无码a| 黄片视频,下载| 中文字幕一二区二三区人妻专区| 久久成人国产| 精品久久久久瑟瑟| 97精品国产精品免费观看| 黑人精品欧美一区二区蜜桃| 宗合情欲网| 天天摸天天插天天日| 蜜臀av中字字幕网站| 日本超碰在线国产一区| 第一高清av中文字幕| 国产日韩欧美中文在线播放 | 亚洲精品人妻吞精av| 操碰97| 好吊色在线观看| 亚洲精品天天影视综合网| 免费久久9999| av亚欧| 欧美性爱网97| 老鸭窝在线视频播放| 老司机福利青青草| a级成人毛片免费视频高清| 亚洲午夜福利视频| 麻豆视频一区二区| 婷婷五月色| 99热综合在线| 色婷婷一区二区三区久久午夜| 天天综合91入口| 五月亭亭六月丁香| 青青操轻轻| 麻豆黄四叶草网站| 亚洲熟女综合一区二区| 99综合视频一体| 精品一区二区三区四区外站| 久久婷婷一区二| 综合97亚洲| 91美女在线| 操逼啊啊啊91| 亚洲 欧美 另类 日韩 人妻一区| 久久久久久九| 日本三级日本三级99| 亚洲区限制级| 欧美极品性爱天天射| 精品久久視頻在线| 久久久999国产精品| 人人人人插| 东京热一区二区三区四区五区六区| 久久精品成人一区二区三区蜜臀| 热无码中文亚洲H一道本一区二区| 成人午夜无码视频| 天美麻豆黄色录像| 99久久精品国产高潮| 午夜精品一区二区三区三上悠亚| 国偷自 一区二区| 精品78| 久久久久国产精品喷潮免费观看臀| 97亚洲综合电影| 99在线精品观看视频中文| 无码最新| 亚洲色图自拍| 无码高清专| 热久日综合| 欧美的性爱网站免费| 综合久草| 激情综合网五月婷婷五月天| 嫩草黄页| 五月婷色| 亚洲欧美人妻| 91性高| 亚洲av无线观看| 中文人妻av高清一区| www.一本大99| 99re公开精品免费视频| 9 9无尺码天堂网| 入口操逼网站| 18禁看网站一区| 91欧美偷拍| 国产精品久久久啊| 99热免费精品| 999亚洲国产视频| 欧美97视频| 亚洲av无线观看| 国产精品一区二区麻豆| 五月婷婷综合在线| 天天操夜夜操| 久久人妻少妇| 婷婷五月天小说| 97视频免费在线观看| 日韩欧美视频青青| 亚洲欧洲无码97久久精品| 20cm女自慰在线日韩欧美| 真实高潮91| 亚洲成人性爱网站在线播放| 99精品在线| 91亚州日韩高清| 9色国产精品一区粉嫩 | 日韩无码人妻中字久久三区四区| 日韩人妻无码不卡网站| 日日噜噜夜夜久久亚洲一区二区 | 天天日日日射| 国内精品a| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 亚洲色鬼| 亚洲三级网址久久最新| 久草视频在线视频在线视频在线观看 | 97爱爱官网| 清柠毛片| 中文字幕一区二区韩| 欧美激情黑人| 欧美一区91大爱| 日本潮催一卡操| 搡老女人老妇女老妇老熟女怎么读| 天天综合97| 成人黄页| 伊人国产av| 欧美国产伊人久久久久| 亚洲情色综合| 老鸭窝黄色视频网站| 久久久夜夜嗨免费视频| 无码久久国产 | 久久久亚洲| 91欧美偷拍| 激情婷婷丁香| 操逼国产免费| 欧成人精品H无码| 婷婷亚洲天堂| 黄色操人| 亚洲五码一区二区三区| 九九热精品视频在线观看| 操国产高清| 伊人午夜福利视频| www四虎| 久久一级无码精品毛片6| 美女91网址 | 精吧天堂| 大香网伊人久久综合网eew| 成人性爱高清视频免费看| 国产成人久久精品蜜臀| 欧美少妇高潮视频| 亚洲日韩久久精品一区| 日本亚欧爱爱| 九九九九久久久久| 美女91| 国产精品国产| 色欲人妻一区二区在线| 97中文超碰| 五月婷婷爱六月丁香色| 国产久久一区二区午夜| 五月天社区| 红杏大香蕉| 玖玖爱免费观看视频| 一级二级三级黑人无码| 2023天天操夜夜操| 天天操天天舔| 久久专区| 激情小说亚洲| 99re视频这里只有精品| 一级A啪啪啪啪| 色欲三区| 在线人人人人人人精品超| 国产无套粉嫩白浆在| 九九视频黄色片| 女性91网站| 精品人妻一区二区三区-国产精品| 欧美夜夜草视频| 成人性爱视频在线看| 2019天天干| 超碰精品97| 色97欧美| 香蕉欧美| av在线播放国产一区| 亚洲精品免费中文字幕| 亚洲蜜桃V妇女| 乱色视频中文字幕| 亚洲人妻av| 日本精品一区二区中文字幕| 亚洲综合射| 啊啊啊啊操死我了| 91N综合网在线| 2017天天透天天通天天擦| 金典av| 久热精品在线| 激情欧美97| 啊啊啊好想要| 韩日色费| 熟女六十路| 操少妇很爽av| 欧美日韩不卡传媒| 亚洲AV成人精品网站在AV| 国产又黄又粗的视频| 人人人摸人人| 手机看片1025| 91亚州欧美| 97免费视频在线观看视频| 久久久三区二区一区| 少妇熟女一区二区三区| 美女操逼A A| 精品三级在线专区| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 精品一国2| 无码精品啪啪啪一区二区三区三州| 亚洲情色 自拍| 亚洲日韩天堂| 大地资源在线观看中文第二页| 久久婷色| 人妻大香蕉| 91精品老女人| 久久精品国产96精品亚洲拳交| 天天色播| 国产美女口爆吞精| 狼人狠干| 韩国一级做A片免费的| 欧美一区二区男人天堂| 97中文字幕一区| 精品中文日韩字幕视频| 九月丁香综合网| 天天干天天爽| 97bbn| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 中文字暮97| 999综合色| 人人澡人人干| 欧美色婷婷| 精品人妻一二三四区视频| 亚洲综合第一页| 亚欧高清v| 黑人与人妻| 最新亚洲黄色免费电影| 视频二区美腿丝袜制服人妻欧美| 少好三P| 南澳成人一级片在线播放| 2021久久国产综合精品青草| 99热精品青草在线| 丝袜 中出 制服 人妻 美腿 中文字幕| 欧美一级黄片视频在线| 亚洲97p| 操国产逼| 午夜呻吟欧美| 蜜臀视频网站| 夜色五月天| 密臀成人视频久久久| 国产成人精品无码久久| 媚薬在线视频麻豆| 福利操逼| 九九九只有精品| 日本高清一区二区在线| 九色 蝌蚪 熟女自| 亚洲午夜福利在线影院| 狠狠躁日日躁夜夜躁A| 99久久亚洲精品无码毛片潘甜甜| 97色诱| 日本欧美一区二区三区视频麻豆| 97看操| 欧美五十路熟| 成人十八禁日韩欧美一二三| 啪啪免费| 成人九九| 大香樵伊人网| 久久精品人妻一区| 欧美97在线观看| 亚洲国产精品99久久久| 亚洲日韩少妇一道本视频| 国产探花日韩援交| 东北操逼| 校园春色制服丝袜中文字亚洲| 色妇综合网| 天堂日本亚洲欧美| 国产成人精品无码久久| 东北女人性交| 精品久久久久黄少妇| 永久免费av无码网站国产app| 99热97| 中国一级操逼视频| 91激情国产| 九九av| av影片在线观看不卡| 97爱亚洲| 欧美人妻精品| 欧美人体性爱互联网第一页婷婷日本| 北约熟女超碰| 国产精品久久久999| 日本123区操B视频| 草b在线 | 好好的日:com久久九九| 操逼逼中文字幕| 亚洲一二三四区在线免费看视频| 色情五月综合婷婷| 成人国产视频在线观看| 2017天天透天天通天天擦| 亚洲中文字幕网| 午夜精品久久99蜜桃的功能章节| 国产精品视频播放| 色九区| 亚洲 自拍偷拍 欧美| 青青草在线视频美女| 四虎影视在线| 国产伦精品一区二区三区在线观 | 亚洲啪啪视频一区二区| 女性91网站| 久久久久密臀视频| 男人天堂2019亚洲| 亚洲āv网址在线观看| 欧美视频一区二区三区| 久色99999| 精品国产乱码久久久久久久久1| 精品久久久久久中文字幕视频免费| 美女AV一区二区| 欧洲色| 黑人无码一区二区| 国产精品毛片?v一区二区三区| 欧美的精品的视频| 中文字幕在线第二页| 亚洲精品欧美专业| 看日韩美女二区三区免费操逼视频 | 在线观看中文av字幕| 影音先锋每日最新资源在线观看| 97日韩| 熟妇人妻丰满久久久久久久无码| 97精品中文字幕| 天天香香欲综合| 成人夜夜爽| 久草视频分类在线| 特级丰满少妇一级AAAA爱毛片 | 欧美页片| 夜夜嗨av午夜成人| 精品久久在线区一区| 99激情| 日韩性爱播放| 在线观看日韩av不卡| 一级特黄aaa大片在线观看成人一级片在线观看 | 天天做天天爱夜夜爽毛片试看| 久久在肏| 熟妇人妻精品一区二区| 国产精品久久泡妞网站| 九九九九九九九九九国产精品 | 欧亚性爱在线视频| 丁香五六月啪啪| 国产精品午夜AV完会免费| 草草草视频| 中文子幕一二三| 夜夜嗨一区二区三区三州加勒比| 呦女网站| 91亚洲欧美激情| 日本一线产区和二线产区伦理片| 色亚洲欧美| 久久三区四区| 超碰95| 国产精品区在线12p| 麻豆视频国产一区二区| 亚洲最大成人a毛毛片| 噜噜噜在线视频| caopeng97人妻| 88在线一区二区三区| 色性综合| 国产精品乱码久久久久久久久久久久| 日韩精品高清资源在线| 白丝少妇一区二区| 免费av大片| 日韩精品黄片免费观看| 大香网伊人久久综合| 亚洲天堂中文字幕无码男同| 日本美女性生活久久久久久久| 成年男人的天堂| 玖玖爱一区在线| 日韩电影中文字幕| 亚洲欧洲无码bt精品合集| 国产特级毛片AAAAAA高潮流水 | 吖在线不卡一区二区国产剧情| 最新av中文字幕高清| av最新免费中文字幕| 国产 v乱码一区二| 亚洲天堂性爱| 久久久亚洲精品中文字幕人妻| 亚洲a色| 无码人妻一区二区三区色欲aⅴ| 欧美综合娱乐久久| 六六久久日韩不卡| 操淫穴亚洲五月丁香 | 狠狠色综合网| 操b网站亚洲无码| 新91视频.cmp| 加勒比在线观看一区二区| 狠狠操夜夜| 91xingse| 欧美同性恋 的搜索结果 - 91n| 天天综合97| 小骚逼被操的爽不爽| 午夜精品久久久99| 超碰精品97| 操操逼视频| 中文字幕成人| 老女人碰碰在线碰碰视频| 97在线免费看视频| 激情干在线| 爽爽爽免费视频| 久区视频| 午夜色婷婷| 国产一区二区久久| 欧美大波激情xxxx| 欧美激情总合网| 亚洲久草AV色图| 欧美精品日韩久久久九 | 丝袜足交视频| 风流老熟女一区二区三区l| 少妇 综合| 久久一二三四五六七八九区| 青娱乐欧美激情一区二区| 又黄又爽在线观看视频 | 久久男人精品| 亚洲情色五月天| 9久久久久久| 人人插人人搞人人操| 国产高清不卡视频| 一区二区三区免费视频入口| 老色69| 精品欧美乱码久| 色情综合| 大香蕉中文网| 婷婷中文字幕| 一中国女人毛片水真多| 青青色综合| 日本欧美韩国日产片片在线看免| 一级免费精品| 国产激情久久久| 亚洲色图欧美色图在线播放| 丁香六月综合激情| 好爽视频在线观看视频 | 国产成人亚洲精品自产在线| 91熟女丨老女人| 少妇滛荡视频| 97国产中文| 日韩av影片在线观看| 91美女視頻| 亚洲蜜桃V妇女| 欧美天天在线| 成年女人黄网站| 中文字幕精品亚洲熟女| 成人性爱电影网| 无色无码| 日日日日做夜夜夜夜做无码97| 亚洲第一黄色av网站| 久久妇| 欧美 亚洲 偷拍自拍| 9久9久9久9久视频网站| 欧美日韩99精品麻豆传媒| 国产精品人妻无码久久久互動交流| 色五91| 欧美高清18A片| 蜜桃久久久久久久| 日韩国产成人自拍视频| julia国产在线| 色综合91| 乱伦1色页| 天天综合91入口| 丁香五月性爱| 国产精品成人久久一区二区三区| 啪啪视频亚洲第一| 精品女同一区| 91色女| 综合欧美激情网| 99婷婷一区二区| 天天爽人人综合免费7799| 日韩欧美三级| 久久亚州高清| 亚洲人妻中文在线视频| 亚洲宗合网| 天天干夜夜一操| 欧美少妇高潮视频| 熟妇视频一区二区三区在线观看| 亚洲操逼无码| 亚洲色五月| 婷婷涩嫩草鲁丝久久午夜精品| 色诱avtt| 亚州色交| 在线观看精品国产免费| 亚洲不雅视频1区二区| 日本孕妇孕交| 久久久久久久久久久久久久久乱码| 91成人在线免费视频| 91香蕉国产尤物视频| 夜夜嗨免费视频| 精品一级| 久久是精品| 日韩人妻大香蕉| 成年人黄色小视频网站| 情色五月天久久久| 亚洲国产成人精品无码专区| 欧美黄色手机在线观看| 亚洲国产日韩欧美熟妇在线| 久久受www免费人成| 人妻丰满熟妇av无码区蜜桃| 亚洲诱惑| 色综合加勒比四四季| 国产欧美伊人| 色99视频| 激情综合婷婷| 天天操天天舔| 久久毛卡| 操逼片中文| 国产绿奴视频在线观看| 蜜乳视频网站| 激情综合网亚洲| 九九热国产| 淫纸中9区| 成人青青草原伊人| 超碰在线综合97| 欧美性综合| 日婷婷| 国产毛片久久久久久久| 亚洲日精品| 婷婷五月天激情四射| 欧美一区二区三区成人性生活| 日本性爱不卡视频| 欧美乱伦专区| 国产深夜福利| 狠狠入| 精品免费成人久久| 美女啊啊啊啊啊啊| 啊啊啊爽爽| 日韩精品-原创伙伴| 啊啊啊好舒服视频| 97爱综合| 亚洲男人在线观看天堂| 色色色综合网| 久久色人体 | 97欧美性爱| 亚洲欧美日韩精品久久久一区二区| 欧美日韩 强奸乱伦| 日韩黄色一区二区三区| 操碰97| 被体育老师抱着c到高潮| 色爱三区| 嗯嗯嗯好爽| 国产人伦精品一区二区三区| 又摸又舔在线观看网站| 九九九九97| 亚洲欧洲日韩中文字幕一区| 2024黄色视频| 国产精品 久久久精品一牛| 啊啊啊好多水| 亚洲色系另类精品国产| 偷看洗澡一二三区美女| 日韩av女优在线免费一区| 欧美成人亚洲精品| 亚洲精品久久久久久| 女人天堂av在线播放| 自怕偷自怕亚洲精品| 美女毛片999| 超碰 国产熟女精品一区| 日1区2区3区2020| 无遮挡男女激烈动态图| 色欲日韩欧美在线一区| 天天日B狠狠操| 四虎在线播放| 天天爽天天操啊啊啊| 激情小说在线视频| 探花一区在线| 欲色影视综合吧| 老熟女天天操| 无码 黑人一区二区三区| 人妻 丝袜美腿 中文字幕| 精品久久青青草| 久久婷婷欧美| 测评在线观看AV| 日本道久久综合色色| 日欧美色| 亚洲黑人在线| 无码少妇精品一区二区60岁老人| 国产夜夜操| 97操B| 福利社区午夜一区二区| 九九九九九九九九九九九免费国产| 久久久久人| 国产精品久久久久久久无码AV| 九九无码视频| 欧美成人色| 久久精品国产亚洲妲己影视| 国产欧美日韩在线观看麻豆传媒公司| 欧美一区二区三区另类精品| 久久久久密| 欧美在线亚洲| 国产成人+综合亚洲+天堂| 久久国产精品熟女人妻| 亚欧高清| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 欧美传媒| 91oumei| 天天摸天天操视频| 影音先锋视频在线| 加勒比海成人视频网 | 射 色综合| 四虎精品永久在线观看| 91色色色| 91久久久视| 黄色免费一级在线毛片| 日韩一999精品| 人妻丝袜美腿中文字幕| 欧美日韩丝袜 | 91丨熟女丨丰满熟女| 秋霞男人网| 九九九免费视频| 人妻天天夜夜爽一区二区| 性感美女91影视| 精品伊人久久久大香线蕉小说| 亚洲男人天堂2016| 欧美日韩另类在线播放| 国产四虎在线| 思思热在线视频免费| 毛片17S| 欧美呦呦性爱| 久久人人爽av亚洲精品天堂桃色 | 四虎884a| 日本一区二区成人在线| 女人18精品一区二区三区| 欧美强奸一区二区诱惑| 国产91丝袜 在线播放| 久热超碰| 国产亚洲日韩欧| 亚州欧美一区| 九九黄色网| 97啪啪| 国产熟女少妇一区| 欧美性天天| 狠狠色婷婷| 久久成人东京热人妻| 激情AV| 强奸乱伦αv片| 精品999日本| 欧美日韩电影成人在线| 亚洲九九爱| 中文字幕人妻资源在线| 丰满人妻一区二区三区四| 搡老女人911熟妇老熟女| 欧美 综合| 91丨熟女丨丰满熟女| 蜜桃av色偷偷av老熟女| 欧美少妇性乱| 在线性黄高清免费视频| 清纯唯美亚洲综合| 香蕉在线一区二区三区| 成全在线观看免费观看| 欧美亚洲在线| 欧美天天综| 日本三级R| 青青青国产手线观看视频2| 日本淫穴在线| 色综合五月天| 99在线免费公开视频| 亚洲色图第四色| 日本久操视频| 欧美精品久久久久久久久88| 亚洲图片另类| 2020中文字幕在线| 四虎免费看黄| 天天日日夜夜| 国产 亚洲 丝袜 制服| 欧美91在线| 清纯唯美综合亚洲| 国产欧美日韩臀| 丁香六月婷| 综合操逼| 国产精品人妻无码久久久老鸭窝| 疯操AV| 人人超碰在线观看黄| 99婷婷| 亚洲色 国产 欧美 日韩| 97精品一区二区视频| 国产乱不卡| 成人久久精品| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 一级性爱啪啪视频| 成人性交午夜免费片| 综合av影片| 天天综合网久久ww| 激情小说五月天| 欧美日韩999| 色伊人91| 日韩在线一区高清在线| 欧美成年人性爱视频免费观看| 日韩综合97p| 亚洲97网站| 亚洲在钱| 久久人妻一区二区三区高清 | 国产精品视频内谢女人| 久啪视频| 亚洲另类色综合网站| 久久九操在线观看| 欧美第一页| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 99久久久| 91成人亚洲色图| 97精品在线| 国产风韵犹存熟妇三区| 91在线/欧洲| 激情四射五月天| 亚洲精品1区| 亚洲 另类 丝袜 自拍 动漫| 久久9亚洲| 天天干一区二区| 男人的天堂,欧美亚洲另类国产日韩,日本高清一区二区 | 啊啊啊啊免费视频| 国产9l 大屁股| 亚洲 欧美 日本 国内 首页| 久草成人影片| 欧亚日韩综合精品国产| 人人操人人精品影片| 极品AV网站在线观看| 亚洲精品 欧美精品| 91n美女视频| 久久国产精品熟女人妻| 性交一区二区在线播放| 青草园大香蕉| 97精品一区| 午夜精品久久久99热蜜桃的功能特点| 欧美黑人168页欧美黑人167| 日日玩天天干| 亚洲国产综合图区中文字幕| 最新日本中文字幕| 激情抓乳插进去啪啪啪日韩 | 啊啊啊好想要| 国产成人99久久亚洲综合| 国产熟女完整版中字| 99久久精品无码一区二区| 免费毛片在线播放| 国语人妻精彩刺激| 91xingse| 久久久久ab| 吊色| 天天综合中文字幕 91| 大香蕉欧美| 在线无码视频| 国产女性无套 免费观看| 99色在线| 亚洲第一色页夜| 高清不卡 中文 人妻| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 国产成人 综合亚洲 天堂| 加勒比在线视频一区二区三区| 亚洲精品三| 超碰午夜在线| 国产精品69久久久久久久 | 97综合在线观看| 韩日精品福利视频一区不卡在线免| 91痴汉| 日韩精品资源专区二区| 免费一级性爱久久| 操碰97| 91九九九小逼| 日本精品一区二区不卡| 国产传媒午夜理伦精品| 激情小说五月天| 久久最新视频免费观看| 五月天久久人妻| 国产一区二区三区久久久精品| 大奶啊啊好爽 | 日韩91网站| 欧美性爱中文字幕无线码| 极品色社| 精品无人区麻豆乱码1区2区图片| 乱伦a片视频| 精品久久久久,69国产成人精| 物业黑人 AV一区| 啪啪视频免费在线观看| 国产1769在线| 干B| 秋霞网无码| 香蕉久久精品| 久热影视| 大香蕉亚洲中文| 男女性扦B| 久啪| 国产丁香精品露脸视频| 不卡视频一区蜜桃视频| 欧亚三区动漫| 国语av狠狠色丁香婷婷综合激情| 无码免费精品高清| 盗摄 精品 另类 一区| 97精品久久久久中文字幕| 人妻三级在线中文字幕| www.久久| AV天黑人| 亚洲色婷婷| 99久久久| 久操不卡视频| 免看60秒涩涩视频| 亚洲激情在线一区二区| 9997se| 午夜寂寞欧美| 91蜜臀在线久久久久| 欧成人精品H无码| 99视频自拍| 欧美色交| 欧美婷婷| 精品免费囯产一区二区三区| 国内三级自拍小视频在线观看 | 夜夜 中文视频rt| 国产一区二区在线播放量| 日韩精品三区四区| 秋霞Av理论一级在线| 欧美色图偷拍另类| 中文字幕日韩电影人妻| 亚洲第一二区另类图| WWW操逼| 国产性爱欧美性爱在线| 中文字幕亚洲热播人妻| 天天情欲宗合网| 高清国产av无码| 97在线免费看视频| 北条麻妃99精品青青久久| 国产精品直播在线观看直播| 91网18| 亚欧高清在线| 色淫网站优优视频| 一区黄二区黄| 亚洲视频1区| 亚洲资源吧| 免费看欧美美女黄色大片| 女人18精品一区二区三区| 五月天丁香网| 人妻三级在线中文字幕| 绑缚麻绳人妻寝取完整版| 亚洲一级特黄大片在线播放91| 后入式999| 日韩一级二级| 国产精品久久久久久久黄无码| 蜜臀va69| 91在线视频免费中出| 3PAV乱伦视频| 亚av顶级裸体一区二区三区四区五区 | 久久亚洲不卡一区二区三区| 亚洲天堂AV在线播放| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 日日狠狠久久偷偷色综合免费| 日韩一级二级三级在线不卡观看完整| 91丝袜美女| 成人五月香网在线| 国产精品一区二区手机看片| 欧美午夜视频| 99性爱| 无码不卡亚洲成?人片| 精品一二三区女同| 男人天堂久久精品| 国产成人手机视频激情| 怡红院一区二区熟女人妻| 美女黄页网站| 欧美色图片91| 日本 欧美 国产一区| 亚洲 无码 偷拍| 久久九九热| 99999国产精品| 夜夜嗨绯色| 大奶啊啊好爽| 亚洲啪啪视频一区二区| 久久婷婷苹果| 先锋音影AV| av天堂影视中文在字幕在线中文| 欧美日韩香蕉| 一本色道综合久久欧美| 偷拍亚洲视频一区二区三区四区| 亚洲永久AV无码精品秋霞| 色色五月婷婷| 91精品国产91久久青草 | 亚洲熟女乱综合一区二区三区| 亚洲成人一区二区精品| 九九九久久久| 九九九九热只有精品| 91网18| 激情五月天网站| 强奸乱伦中文字幕AV| 精品视频在线观看精品| 99热这里都是精品| 中文字幕精品亚洲熟女| 日本五十路在线| 99久久久久| 插穴性爱视频在线观看| 亚洲精品国产无码高清| 伊人久久AV诱惑悠悠| 黑人综合色| 我中文字幕6区| 伊人97超碰| 一区e区三| 大香蕉伊人亚洲| 欧美午夜精品久久久久久3D| www.99色| 超碰九色| 国产精品青草综合久久| 美女操逼福利视频| 操高情无码| 大香蕉专区| 国产高清精品一区二区三区毛片| 老司机福利青青草| 不卡日本一区二区| 亚洲欧美黄| 91精片| 激情小说亚洲| 国产精品操| 国产久久久| 神马久久久久久| 久久夜夜| 强被迫伦姧在线观看无码网站| 电家庭影院午夜69久久夜色精品国产69乱 | 九九亚洲精品| 91男人天堂网| 国产高清在线自在拍69| 久久、1234| 老女人碰碰在线碰碰视频| 国内97干免费看| 色女免费在线观看视频网址| 中文无线日韩一区| 久肏视频字幕| 国产精品96| 欧美黑人猛交春色影视大全| 免费黄色视频网址| 亚洲操操操| 精品四五区| 99re9这里只有精品| 超碰性爱97| 强奸熟女一区二区三区| 欧美色吧综合| 久日综合网| 果冻传媒A片一二三区| 啊嗯嗯啊好大好爽| 日本在线激情一区二区三区| 日本道久久综合色色| 天天日天天插| 亚洲人在线| 欧美手机在线综合| 91精品国产一区三一| 成年人黄色视频免费| 操逼天美3区| aaa一级黄片| 蜜臀精品1区2区| 日产123区精品免费观看| 啊啊啊啊无码| 国产日韩手机视频在线| 人妻在线视频| 久久久艹艹艹| 制服丝袜第二页| 久一区久久蜜桃| 91人妻精华帖| 东京热男人的天堂网| 天堂亚洲精品久久老牛| 友优传媒精品在线一区二区| 国产美女裸体秘 永久无遮挡| 99热自拍| 性色av一区二区| 91欧美经典| 欧美性爱一级操| 久热久一区二区三区| 亚洲色悠悠久久88| 香蕉欧美| 99色在线| 久久久专区| 乱欲视频| 99色在线观看| 少妇特黄一区二区三区| 亚洲春色一区二区三区| 久久HD| 日韩久草| 日本韩国国产精品一区| 国产精品电影| 久欲AV| 激情抓乳插进去啪啪啪日韩| 欧美夜夜狠| 老熟妇91| 91精品国产高清久久久久久,亚洲成人 | 亚洲人成色9999精品久久| 日本精品九九九| 国产精品4p在线观看| 新婚人妻扶着粗大强行坐下| 99青青草国产视频| 成人片在线播放| 婷婷成人五月天| 国语精品av| 成人性爱全视频观看| 亚洲乱色视频一区、二区在线| 欧美日韩理论一区| 国产伦精品| 超碰av人人人| 人妻丝袜一区二区三区在线| 色婷婷五月综合激情中文字幕| 精品久久久不卡一区二区| 精品丝袜无码一区二区三APP| 久久久工口| 91精品在线播放| 亚欧高清v| 色99久草| 天天看,天天做| 性爱欧美五月| 午夜无遮挡男女啪啪视频| 亚洲少妇激情视频| 亚洲婷婷综合网| 蜜臀国产AV中文字幕| 国产激情在线| 屌色在线97视频| 玖玖爱影院| 97在线免费看| 校园春色第一页| 亚洲激情网一二三四区| 好爽视频在线观看| 亚洲综合中文字幕有码| 91国产丝袜美女| 日本在线播放不卡一区| 狠肏骚人妻| 伊人久久综合影院| 国产精品天干天干综合网麻豆| 黄色香蕉视频网站一区| 最新亚洲风情电影| 岛国激情视频软件| 在线中文AV| 在线观看国产黄色| 久久久久国色αv免费观看| www.99色| 欧美一级特黄淫片在线观看| av72网| 国产剧情AV不卡在线观看| 91欧美丝袜| 国产亚洲一黄| 熟妇高潮二区三区| 精品人体无圣光凹凸| 欧美在线干| 99热成人| 襙一襙| 欧美综合777| 一级黄色影片| 91久久久亚洲| 国产熟妇一区二区| 久久‘黄片视频| 日本黄 R色 成 人网站| 午夜一区| 9999九九九久久久| 九九aV| 草草电影院| 亚洲精品久久久久久| 香蕉综合网| 亚洲精品免费中文字幕| 人澡逼| 蜜臀精品1区2区| 黄色AAAAAAAAAAA大片| 欧美色九九| 亚洲91网站| 久久久草成人网站久久久草成人久久久草久久久| 男女猛烈无遮掩视频免费软件| 亚洲综合色在线| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 日韩有码 一区二区三区| 欧美中文字幕一区| 尤物一级在线免费观看| 污色区网站| 夜夜春夜夜操| 嗯~啊~快点 死我视频免费看网站| 天堂中文资源在线bt| 99re99| 人人九九精| 亚洲色图欧美色图制服丝袜| 日韩999| 一类av片在线看| 伊香蕉综合久久久久久久噜噜噜| 99精品网站| 发朗少妇买婬全视频中文| 夜嗨影院| 无码区蜜乳| 久草新在线| 欧美丝袜91| 四虎在线观看网站| 诱惑人妻欧美一区在线播放| 丁香婷婷色五月| 综合欧美日本三级| 天天谢天天干| 国产丝袜啪啪| 久久风骚城市人| 欲香欲色天天天综合和网| 日本99视频| 五月婷久久| 日韩精品永久在线观看| 超碰国产精品无码| 久久精品熟女亚洲AV麻豆软件| 国产精品午夜福利| 亚州男人的天堂| 制服诱惑亚洲一区二区三区在线观看| 日本久操视频| 男人亚洲91首页在线| 婷婷六月天| 这里只有精品视频| 99精品久久久久久久婷婷蜜桃| 制度丝袜99| 国产又黄又粗的视频| 超碰av人人人| www.婷婷| 国产精品香蕉热久久新品| 中文字幕乱码人妻二区三区| 亚州综合在线| 欧美黑人精品在线播放| 免费成人在线熟妇网| 肉丝网站91| 91色爽欧美| 操美女人妻| 久久97资源 网| 少妇一区二区三区在线观看|