日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产区日韩区在线观看| 久久一区无码| 久久青青草在线视频| 97色论| 91强热人妻| 99999久久精| 日韩色女精品| 91欧美美女日韩国产婷婷| 日本污ww视频网站| 成人精品一区二区91毛片不卡| 精精品人妻一区二区三区| A啊啊在线观看| 超91综合网| 欧美亚洲尤物久久| 美中日韩无码| 国产成人精品必看| 国产乱伦性爱区| 台湾佬大香蕉| 99re这里只有精品2| 国桃视频产巨乳精品一区二区在线| 九九九九九九九精品视频| 国产野战露脸在线播放| 操逼无码操逼| 国产婷婷综合在线观看| 在线中文字幕视频| 久久狠狠色噜噜狠狠狠狠97| 日韩超碰97| 亚洲欧美91√| 国产超碰97| 热久久无毒不卡| 欧美性爱网97| 亚洲性图91| 久久99精品九九久久久婷婷| 在线 欧美 亚洲| 粉嫩小泬久久久一区二区| 啊啊啊啊啊在线观看网址 | 国产精品自产拍在线观看社区| 日韩兔费看黄片| 亚洲天堂一区| 无码精品久久久久久亚洲| 亚洲黄色电影| 日韩啪啪视频| 无码一区二区精品视频久久久春药| 九九九久久久| 免费国产电影一区二区| 日本人妻中文字幕| 午夜精品久久久久久久男人的天堂| 天天插天天操| 中文字幕在线观看丝袜| 嗯啊不要在线观看嗯啊| 97精品久久久久久久| 激情终合网| 日韩情色AV| 污污污8888| 熟女一区二区三区| 天干天干天干天天做| 91n处女在线观看| 久久亚州大香蕉| 亚洲天堂男| 蜜臀久久99精品久久久久久无删减 | 欧美日韩少妇色情| 九九九久| 精品午夜福利国产一区二区在线观看| 最近的最新的中文字幕视频| 日本少妇va7777| julia高潮后不停追击中出| 蜜桃丰满熟妇av无码区不卡| 天天综合网网欲色| 中文字幕亚韩| 99热超碰| 久久久性少妇| 蜜桃久久综合视频| 在线 欧美 亚洲| 性天堂| 亚洲小电影免费涩涩成人在线高清 | 一本精品日本在线视频精品| 99热婷婷| 日韩78m视频| 亚洲精品国产拍免费91在线| 99热18| 老司机福利青青草| 国产AV天美传媒一区二区三区 | 抽插亚洲无码| 91艹B视频| 国产欧美伊人| 国产精品久久久午夜夜伦鲁鲁| 免费试看60秒| 久久婷五月天| 一本大道青青| 在线观看国产黄色| 麻豆精品A片免费观看| 亚洲中文sv| 五月天我淫我色av| 99热精品在线观看| 欧美女同在线| 超碰免费人妻人人| 天综合网| 欧美黄业| 99久久婷婷国产综合| 春色校园综合网| 老熟女综合网| www激情| 任你干在线视频| 日本不卡一区二区| 大香蕉www.超碰| 中文字幕在线观看网址| 日韩人妻一区二区精品| 人妻精品视频一区二区| 午夜欧美J进J出白浆流出久久久 | 亚洲国产一级中文综合久久天堂在线免费观看 | 亚洲春色激情小说| 超碰97国产欧美| 免费伦费视频在线观看| 免费网色网站| 欧美gv在线观看| 欧美一区二区三区日韩| 欧亚日本情色| 欧美丰满熟妇XXXX性ppX人交| 欧美成不卡网| 免费岛国一级片| 国产精品亚洲天堂网址| 国产又粗又大硬免费色网视频| 亚洲AV无码久久久国产精品| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 黄总AV色图| 另类天堂| 混色激情av| 超碰97人妻自拍| 欧美亚洲尤物久久| 91久久久久久久久久久| 一级性爱视频免费在线| 超碰这里只有精品| 国产精品无码久久久久2028| 激情综合av| 无码操逼视频一下| 久久一二三四五六七八九区| 色综合色欲色综合色综合色综合| 欧美日韩人妻少妇 一区二区三区| 91人妻最真实刺激绿帽| 男人天堂综合| av在线一区二区三区| 精品97久久| 精品久久人妻成人网| 青草精品视频一日本久久久久网站| 欧美一品道| 97摸视频| 欧美性爱精品一区二区| 五月激情天| 激情五月婷婷| 香蕉久久国产AV一区二区| 97超碰伊人| 久久久久女教师免费一区| 久久男女激情视频网站| 亚洲成aⅴ人片不卡无码| 97色伦欧美| 天天弄天天操| 强乱老妇中文字幕| 日韩精品99久久久久久中文字幕| 亚洲啪啪视频一区二区| 亚洲一区二区三区婷婷| 亚洲日韩青青草色月| 中国操逼无码| 日本高清一本二本免费不卡| 99啪| 亚洲精品xxx| 青青欧美| 亚洲,欧美,春色,另类| 午夜亚洲WWW湿好大| 九九九九九用不成了| 亚洲色图日韩精品| 成人五月天丁香激情综合| 国产怡红院| 国产高清精品一区二区三区毛片 | 国产女性无套 免费观看| 伊人丝袜美腿高跟在线观看高清| 成人免费福利在线观看| 亚洲一区二区三区在线激情| 九九九九一级| 久久精精区一区二区一蜜桃一区二区| WWW啪啪的com| 97公开久久| 久久久久久亚洲精品不卡人乳| 九九九九精品在线| 天天综合有色网| 九色97| 久久9精品视频| 久久綜合很很很| 东京热av影院| 日韩A优精品在线观看| 亚洲精品男人的天堂| 老女人老91妇女老热女| 亚洲在线| 狠狠久久亚洲欧美专区| 亚洲女优有码无码高清| 乳欲人妻办公室奶水| 偷拍 精品另类 凸凹了四区| 日本免费二区三区| 热思思免费视频| 精品国产乱码久久久久久久久1 | 91精片| 久久精品无码不卡| 亚洲系列欧美| 天天色天天干天天射| 97精彩视频网站| 91成人无码| av资源在线播放天堂| 中出789在线视频| 欧美综合亚洲综合| 大香蕉亚洲中文| 超碰在线在公开超碰在线在公开| 国产乱伦性爱区| 天天干天天日天天射黄色大片| 97伊人| 99ri视频| 美女诱惑久久| 九九九九九九九精品视频| 九9精品| 亚洲第一精品在线视频| 色婷婷一区二区三区久久午夜成人不| 国产美女自拍AV| 99re在线观看| 美国aaaaa一级黄片| 97视频新免费| 伊人久久88国产女| 男啪女色黄无遮挡免费观看| 人人爽夜夜操| 丁香五月综合| 97国产中文| 我要看免费韩日黄片| 熟妇高潮精品一区二区三区下载| 日本东京热加勒比久久| 天欧美在线| 欧美一级黄色18片免费看| 亚洲天天自拍| 五月天春色激情网| 一区二区三区免费视频入口| 五月天久久婷婷亚洲| 18禁精品网站在线看| 99爱爱| aaaa少妇高潮大片| 自拍六区| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 黄片免费视频2019| 久久久久久性爱视频| 操国产逼| 97超碰伊人| 国产精品久久久三级无码| 日本ZZ高免费A级视频| 六月激情婷婷| 国产一区二区三区高清视频| 狠狠热这里都是精品| 温婉少妇玩3p| 特色a在线上| wwe 天天干.com| 久久草在线综合视频| 久久国产精品m码| 91九色丨国产丨爆乳| 高清无码在线播放网站| 91精品丝袜久久久久久| 日韩精品人妻中文字幕久久久| 乱伦3P视频| 色臀AV| 综合欧美日韩在线| 蜜臀久久99精品久久久老,,| 欧美的性爱网站免费| 208天天久久九九九| 日韩二级| 亚州色交| www.夜夜| 超碰97综合网| 婷婷丁香久久| 密臀AV在线| 日韩啪啪视频| 欧美综合传媒| 亚洲精品日日夜夜52| 天美传媒AV在线| 欧美中文字幕一区| 1024日韩| 91人妻中文| 很很操在线| 欧美日本不卡在线| 色综合20p| 久操高青| 午夜免费视频1000| 久久久久久精品免费看A级| 综合夜夜| 香蕉色网| 日韩中文9| 欧美亚洲20p| 综合网色| 两性综合网| 国产超碰AV在线精品| 久久春色| 91这里只有精品| 在线欧美亚洲| 久艹日日日| 亚洲性刺激| 99热精品在线观看| 日韩本不卡视频在线观看 | 国产精品久久天天干| 欧美亚洲情色| 亚洲欧洲激情卡通另类文学四射小说网站 | 精品伊人久久久大香线蕉小说| 日本一区二区三区午夜观看| 亚洲综合电影| 亚州91| 久久久偷拍| 99re99在线视频| 成人开心网在线视频| 天天操人人操骚逼网站| 成人十八禁日韩欧美一二三| 欲香欲色天天天综合和网| 老女人日韩美91| 桃色五月天| 91站街按摩店老熟女熟女| 秋霞一级A片黄色视频| 日韩精品字幕| 嫩草美女久久| 中文字幕精品一区二区精| 丁香六月激情| 色色色天美视频| 黑人黄片在线免费观看| 激情综合婷婷| 在线观看十八禁| 亚洲麻豆精品二区三区| 女人妻一区| 91啪9色| 欧美亚男人的天堂| 亚洲诱惑| 国产夫妻性生活视频| 亚州,欧美在线| 78m啪啪啪| 不卡视频一区蜜桃视频| 国产精品一区二区a| 高清有码一区二区| 做爱A级亚欧| 福利在线观看一区二区| 国内外色色色色色成人视频| 少妇诱惑视频| 久久风骚城市| 在线中文字幕视频| 国产色综合亚洲色综合吹潮| AV无码久久久精品| 久久香蕉国产传媒一区剧情天美| 日韩猛交| 欧美色图综合| 美国aaaaa一级黄片| www欧美性爱| 丁香激情网| 97色97好| 午夜欧美精品久久久| 亚洲高清视频在线免费观看| 久操网址| 国产精品女同| 97青青操视频| 九九九国产精品| 亚洲天堂资源网| 北约熟女超碰| 久久久久久久久久久久久久久性生活视频| 欧美性爱一区二区三区四区| 青草精品视频一日本久久久久网站| 这里只有97精品| 五月天久久综合网| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 91粉芽高清在线一区二区| 成人A片男人的天堂| 97天天插| 五十路六十路素人熟女| 色综合色综合网| 欧美色日本| 九久精品| 99热18| 91性| 精品日韩人妻精品一二三区| 99婷婷| 久久香蕉超碰97国产精品| 日本大香蕉综合网红本杳社区| 欧美在线永久天堂| 91N欧美| 九九九草| 琪琪精品免费一区二区三区 | 欧美人妖内射| 亚洲精品人妻吞精av| 久久超碰亚洲人| 成人性交免费视屏| 色官网在线| 嗯嗯啊啊好大好爽| 被男人添B超爽视频| 日韩啪啪啪啪啪| 懂色影视久久| 中文字幕免费看大片| 德国一二三不卡| 97伊人| 操逼1区| 伊人精品视频| 欧美性爱日韩高清| 超碰久超碰久| 国产精品视频精品一二| 天天干夜夜| 精品人妻一区二区视频| 亚洲综合影片| 亚洲一区中文精品| 91欧美| 精品亚洲天堂| 一区二区三区在线资源| JuliaAnnXXX888| 国产精品99久久久www| 试看60秒| 蜜乳AV色欲AVAV无码| 高清不卡 中文 人妻| 色网在线视频观看免费| 亚洲图片 激情小说| 国产精品又黄又猛又粗| 好屌色综合| 韩日性爱av| 色哟哟1区2区| 黄色片大香蕉| 伊色久人大在线| 综合熟女| 99婷婷一区二区| 日本天堂网| 男人天堂新在线| 久久精品人体| 日韩懂色网| 加勒比av网| 狠狠色伊人亚洲综合网站色| 内射白嫩美女| 男人的天堂Va| 久9久| 丁香五月性| 97人人中文网| 人妻第一页| 亚洲午夜AV| 日本在线视频导航| 理论久久婷婷网8| 六月色婷婷| 久久久久国产精品喷潮免费观看臀| 色图综合| 黑人白女精品一区| 青青草综合在线| 9国产超碰| 久久久久久9999| 少妇xx精品| 九九热精品| wwe 天天干.com| 久久男人精品| 天堂亚洲欧美| 亚洲人码13| 狠狠色婷婷| 手机在线大香蕉| 激情婷婷五月天| 最新岛国大片| 欧美色蜜桃97| 九九九九欧美| 性欧美另类高清| 国产理论视频在线播放| AV中亚| 亚洲综合贴图91| 欧美激情综合色综合啪啪五月| 亚洲黄色电影| 97欧美色综合| 一区二区三区日韩欧美| 色色五月丁香| 91在线超高颜值国产| 欧美激情亚洲| 97精品在线| 国内精品不卡无毒99999| 乱伦av.com| www国产无码| 综合天天网| 97爱亚洲综合色| 99热18| 亚乱色| 绯色一区二区三区不卡少妇| 国产又大又粗又长视频| 欧美变态激情网| 日本91白丝| 亚洲色电影在线| 亚洲欧洲精品视频发布| 中文字幕三四区| 亚洲 欧美 日本 国内 首页| 91久久久老司机| 91久久精品国产| 人人色人人操在线| 免费操逼视频下载| 午夜一区二区三区国产| 91老熟妇| 欧美自拍偷拍综合图片| 婷婷超| 96久久久久久久| 亚洲AV色图一区| 天美欧美国产| 国产精品视频| 天天日天天舔东京热 | 婷婷精品国产欧美精品亚洲人人爽| 久久久一区二区三区四曲免费听| 色99视频| 97人人草| 夜夜爽77777| 日韩AV电影网站| 亚洲精品99| www.狠狠干.coom | 日韩午夜精品一区二区三区电影| 欧美亚洲素人制服精品| 偷拍亚洲熟女视频播放| 99视频这有这里有精品| 国产视频一区二区三区在线免费观看| 韩国手机不卡无码三级视频| 老熟女乱子伦中文字幕一区二区| 人人干黄色| 岛国免费黄色网址| 多毛小伙内射老太婆| 操逼逼中文字幕| 乱伦av.com| 91精品伊人久久久大香线蕉91| 蜜乳性色无码专日粉嫩骚逼AV| 欧亚乱色熟女一区二区| 国模少妇一区二区三区| 91精品丝袜在线观看| 人妻熟女av国产网站| 国产综合操逼高清| 麻豆天美电影一区二区| 欧美综合第一| 成熟熟女国产精品一区二区| 搞中出视频在线观看| 天天日天天屌天天操| 加勒比五月天| 91综合在线| 男女激烈网站最新| 1769精品一区二区三区| 久久一二三四五六七八九区区区 | 久热在线精品免费观看| 亚洲国产成人福利在线观看| 亚洲精品亚洲人成在线麻豆| 99re在线观看| 久久综合日韩亚洲欧美| 91精品又粗又猛又爽| 天天超级碰碰碰| 中文久久久| 日韩簧片免费看| 人人妻人人狠人人| 97AV爱| 久草男人天堂| 超碰久超碰久| 五月天久久综合网| aaaa少妇高潮大片| 粉嫩国产精品久久久| x97av| 日韩在线电影| 八人操人人摸人人看| 久久久com| 日本日日色视频| 亚洲精品国产拍免费91在线| 麻豆国产视频精品观看| 色欧美天天| 丝袜av一区二区三区| 亚洲天堂另类| 伊人网综合在线视频| 亚洲一区二区麻豆影院| 天天摸夜夜操视频| 国产强奸乱伦欧美| 久热大香蕉| 久操99| 久久九九97| 加勒比久久综合网高清| 国产自产91区13区| 伊人国产AV| 日本成人A片免费看| 玖玖视频在线资源一区二区三区| 亚洲 无码 有码 中文字幕| 乱伦熟女专区| 久久精品视频久久久| 中文字幕精品三级久久久| 日韩欧洲操屄视频| 999狠狠综合| 欧美丝袜亚洲| 欧美劲爆视频一区二区| 国产精品视频播放| 操屄日韩| 亚洲一本色码中文字幕| 在线视频免费观看午夜| 日韩人妻精品久久久久| 日曰骚久久精品| 一区二区三区免费岛国片| 日韩天堂av电影在线观看| 老司机香蕉久久久久| 欧美一级特黄淫片在线观看| 99re只有精品| 欧美精品69性爱| 久操99| 清纯唯美亚洲综合| 92福利社视频| 99无码| 91无码中出人妻视频| 精品欧美乱码久| 99自拍视频在线| 久热精品在线| 色5月婷婷| 国产美女91| 日本理论在线| 啊啊啊操死我了| 一级免费啪啪片| 精品无码一区二区三区| 日韩欧美午夜一区二区| 久久精品视频28| 久久神马| 大香伊人在线一区| 奇米四色影视777久久久| 本道在线| 狠狠色色| 97在线免费观看视频| 亚洲欧洲视频小说在线观看| 91狠狠| 久久久久久久久久久久久久久乱码| 亚洲国产美女久久久久 | 日韩精品中文字幕二区| 综合激情一一91| 亚洲黄色a级片| 大香蕉手机在线| 99只有精品| 久久亚洲一区女同性恋中文字幕| 五月天激情婷婷| 天天欧美| 丝袜美腿91| 蜜臀在线视频| 精品亚洲国产成人精品| 亚洲欧洲av影音| 交换娇妻呻吟声不停中文字幕| 久草福利在线资源站| 99999无码| 新怡红院| 日本三级网页| 久久、1234| 亚洲学生妹高清av| 亚洲图片欧美91N| 日韩欧美中文字亚洲慕| 操www| 九九热精品免费视频| 熟女91网站| 婷婷丁香久久| 久久精品区| 性爱av在线免费观看| 啊啊啊啊啊啊啊在线| 家庭乱伦国产精品| 久久精品亚洲东京热色播| 亚洲无码一区成人免费午夜| 日韩激情中文字幕有码| 超碰97最新人妻| 韩国成人精品久久久免费看| 亚洲欧美九九九| 欧美大香蕉久| 成人黄页| 人人干人人搞人人摸| 热久久无毒不卡| 色婷婷综合视频| 国偷自 一区| 操操AV电影| 亚洲av性爱电影| 色超碰综合| 无色无码| 91东北熟女| 久久精品国产99国产精品亚洲| 日韩99精品视频综合区| 超碰日韩美妻| 久久久一区二区三区四曲免费听| 麻豆天美一区二区| 久草男人天堂| 色色色综合| 成人97人人超碰人人| 久久久精品九| 中文字幕超碰CAO| 色99视频| 色在线综合| 亚洲高潮影院| 爱妻综合网| 最新加勒比丝袜在线| 自拍视频一区在线观看| 性一级黄色录像片网站导航| 少妇久久久| 999综合色| 色色色热| 亚洲成人日韩小说| 97超碰9| 欧美 亚洲 另类 综合| 天天干天天插| 国产精品一区二区a| 精品无av| 亚洲精品人妻在线| 亚洲熟女综合一区二区| 国产亚州高清国产拍精| aaa亚无码专区| 天天拍天| 九九视品黄色| 丁香九月婷婷| 久久婷综合| 无码最新| 人人操,人人插| 成年无码动漫av片无尽在线| 色黄色美女大长腿午夜视频| 久久综合18p| 欧美狠狠操| 免费人成毛片乱码| 日本精品免费一区二区三区四区| 国产亚洲 中文欧美久久| 熟女被操视频网址| 国产67194| 超碰在线99| 天天干,夜夜爽| 99精品久久| 花野真衣| 久久999久| 日韩天天本| 91精品操美女| 综合欧美亚洲| 中日韩免费看男女操逼大全| 国产亚洲福利第一页丝袜| 翔田千里A片一区二区| 婷婷色色五月天福利| 欧亚性爱在线视频| 睡产熟女乱伦| 成人贴图日韩欧美| 伊人 俄罗斯 a v| 秘书高跟黑色丝袜国产91在线| 久热精品在线| 九九热在线精品视频| 大但人体久久久久| 78m成人视线| 精品人妻中文字幕高清| 天天操天天干一区二区| 亚洲乱色熟女一区| 国产精品青草综合久久| 久久久婷婷| 欧美亚洲特P| 综合久久久久久久综合网| 中文字幕二区日韩天堂 | 国产成人天堂| 青青草好吊色| 日韩视频精品在线观看| 国产小视频91| 综合网欧| 欧美色图20p| www.国产高潮精品| 91精品丝袜久久久久久无码人妻| 欧美爱国产综合、| 先锋激情∨在线视频播放| 国产免a费看黄片在线| 麻豆国产av网| 国产久久久久久| 这里只有精品视频| 208天天久久九九九| 国产毛片久久久久久久| 99爱久久视频频| 国产捆绑一区| 天天插天天操| 欧洲亚洲人妻无码久久三区四区| 91精品久久久久五月天精品| 久久9亚洲| 囯产精品久久久久久久久久梁医生 | 亚洲欧美日韩综合在线尤物| 九九九九免费高| 久久久三区二区一区| 午夜福利免费精品视频| 亚洲 综合 第一页| 国人欧美精品一区二区| 碰人碰碰人人开房人肉| 91三级理论片播放器| 欧美综合网1| 黑人精品成人一区二区三区| 久久精品电影| 91精品久久久久久77777| 欧美性爱超碰97| 欧美成人9797| 国产成人精品必看 | 97在线亚洲| 中文字幕 人妻不满 在线视频| 99999亚洲另类| 91天堂色男人的天堂| 99re99在线视频| 大香蕉97久久| 欧美人妻久久精品二区三区| 黄色工厂这里只有精品| 午夜成人福利影视| 国产成人bd在线观看| 国产熟女自拍| 能在线播放的国产三级| 揉揉揉夜夜| 欧美少妇性乱| 亚洲日韩AV视色| 一区二区三区 日韩欧美| 超碰99在线| 亚洲老司机123专区| 日本有码久久| 粉嫩在线一区二区懂色| 在线观看无码三级少妇| 精品午夜福利| 亚洲天堂久久| 久久久久人| 久久只有精品一区二区三区| 久久久久久久久久久六六| 干日本人少妇午夜寂寞影院| 午夜性刺激视频免费观看| 性欧美91| 女人18精品一区二区三区| 国产美女精品| 大香蕉色网| 九九九久千久久激情蜜桃在线看 | 日本一区不卡| 精品丰满熟妇人妻一区| 日韩精品系列| 日韩淫色网| 亚洲系列欧美| 蜜桃午夜视频一区二区| 51一区二区三区| 欧美一区二区情色| 人妻人人澡人人爽人人| 蜜臀久久久国产| 中文字幕久久精视频久久大全| 旡码电影特区| 激情露脸爱| 都市激情人妻一区二区青青操视频 | 久久精品国产亚洲AV无码电影| 国产www色在线观看| 免费强奸av| 亚洲AV永久无码一区仙野| 黑人精品成人一区二区三区| 99热日本| 欧美精品自慰系列寂寞少妇| 日日碰狠狠添天天爽超| 天天爱天天操| ss久久| 熟妇高潮精品一区二区三区下载| 日韩精品人妻中文字有码在线 | 大香焦A片| 91色久| 日夜干射色啊| 久久这里精品国产99丫e6| 亚洲综合草草| 久久伊人最新网址视频| 黄色电影观看久久9| 亚洲黑丝在线| 日本伦理一区二区| 无码九九| 国产亚洲精品A在线观看下载| 日本视频在线观看污污污| 丁香五月综合| 小电影欧美91| 亚洲精品一二区| 热久久91婷婷| 欧美亚洲系列| 丁香色五月 97干| 96国产污污污丝袜| 国产又黄又爽| 青青11操操操操操操操操| 久久久草草精品| 蜜乳av一区二区| 亚洲色图第四色| 91丝袜美女视频| 伊香蕉综合久久久久久久噜噜噜 | 骚逼高潮久久精品| 在线小说视频一区| 亚洲……91| 一二视频神马久久传媒| aaa亚无码专区| 麻豆人妻精品一区二区| 日本不卡一区二区三区| 亚洲精品国产专区在线观看| 色综合中文字幕不卡| 深爱伊人影院| 亚洲欧美精品一区天堂久久 | 日韩肏逼视频| 91人妻尻屄视频| 色 亚洲 91| 国产h小视频在线观看免费| 91麻豆天美国产欧美| 亚洲黄色电影| 激情自拍 校园春色| 欧美激情内射| 男人天堂一区二区| 色色毛片| 性性欧美| 久久久精品成人国产| 91亚洲在线| 欧美性暴力猛交XXXX| 久久性生大片免费观看性| 超碰97资源中文字幕| 妇女性内射冈站HDWWWCOM| 成人在线永久| 色五月婷婷中文字幕| 日韩综合无码一区久久92| 超碰人妻中文在线| www…国产操逼| 亚洲天堂久久久久久粉红视频| 嫩草伊人久久精品| 强免费黄色网址| 2019天天干天天操| 亚洲有码视频二区| 无码九九| 综合网久久| 人妻久久久久久久久久久久久久久| 97在线播放 | 爱丝福利| 97激情97激情| 天天干少妇| 日韩 欧美 视频 在线 一区| 亚洲色图A| 欧美色图自拍| 欧洲与亚洲欧美精品中文字幕| 99热超碰| 日韩激情啪啪| 九久精品| 插入粉嫩少妇视频| 日本啊啊啊啊啊视频| 3571色综合一区二区二区| 人人透人人操| 免费操逼视频下载| 园内精品自拍视频在线播放| 国产精品乱码久久久久久久| 手机不卡视频不卡在线一二三区| 丁香激情网| 婷婷久久五月| 大香蕉黄色一区| 亚洲天堂 视频你懂的| av在线不卡一区二区三区| 精品视频在线观看精品| 色婷婷国产精品一区在线观看| 精品少妇一区二区| 色97干| 九九热av| 这里都是精品| 淫纸中9区| 色婷婷日韩精品一区二区三区| 99热国产| 9 1果冻精品视频| 亚洲天堂自拍| 亚洲丰满很很操| 国产精品高朝久久久久久久| 伊人午夜福利视频| 国产精品久久久999| 亚洲欧美日韩电影网站一区 | 精品国产污一区二区三区| 欧美中文字幕男人天堂久久精品| 欧美九九99久久精品| 涩涩久久精品| 久久久啊啊啊| 久久男人| 91三级理论片播放器| 色色婷婷五月| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 国产精品熟女丝袜一区二区| 日本天天色| 91超碰碰在线| 欧美性色网| 26uuu国产成人综合| 夜夜操2028| 中文字幕无码不卡啪啪| 天天天堂影视日韩亚洲91| 男人午夜天堂| 丁香六月激情| 日韩激情啪啪| 欧美A√综合网| 91制服丝袜中文字幕| 加勒比久久综合网高清| 日本有码久久| 久久久久女教师免费一区| 日韩操逼性鲍| 91 国产丝袜在线放观看| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 日本在线视频导航| 久久精9| 亚洲āv网址在线观看| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 久久熟妇五十路一区| 中文字幕一区二区无码成人| 在线色导航| 蜜桃在线观看一区二区三区 | 91麻豆天美国产欧美| 蜜桃网熟妇| 91成人精品在线播放| 欧美夜色| 国产无码三级视频在线观看| 五月丁香六月| 超碰97久久| 日韩av熟女一区二区三区成人| 久久高清无码夜夜操| 黄色小视频日本txt| 成熟熟女国产精品一区二区| 中文字幕一区二区韩| 蜜桃久久久久久久久久久久| 国产精品久久久啊| 天堂资源欧美| 久久 国产 无码| 亚洲日韩欧美一区二区| 亚洲一卡2卡3卡4卡乱码网站 | 91亚洲青青草原精品1区| 欧美高清无码免费视频高清版| 久热伊人99re| 久久精品国产亚洲妲己影视| 国产精品午夜成人福利| 性饥渴少妇av无码毛片| 麻豆精品天美| 六月丁香网| 男人女人18禁片免费看网站| 亚洲日产专区婷婷| 亚洲中文日韩欧美大香蕉视频| 97久久久久久久久久| 亚洲成?V人片在线观看福利| 欧美亚洲首页| 国产精品欧美激在线| 大香蕉综合在线| 欧美在线永久天堂| 夜夜精品视频一区二区| 四虎884a| 老司机射| 综合亚洲欧美精品日韩?v| 果冻传媒一区二区三区| 欧亚第一综合网| 国产不卡片| 开心五月天激情网| 四虎精品永久在线观看| 中国少妇XXXX做受| 无码 黑人一区二区三区| 激情五月天插| 制服乱伦| 亚洲中文字幕噜噜噜久久久| 国产400孕妇孕交群| 操逼操网| 九九九偷拍| 另类 日韩 熟女| 亚洲国内精品成人不卡| 午夜福利在线合集| 91 国产丝袜在线播放-百度| 久久精品国产亚洲AV嘿嘿| 日本狠狠干| yiqicaoav| 成人熟女区| 18啪啪手机免费性爱| 天天射夜夜| 女人被添高潮免费视频| 国模91| 静品嫩模一区二区| 精品对白久久不卡| 蜜臀久久久国产| 亚洲国产精品成人久久蜜臀| 色香在线| 国产玖玖| 亚洲乱色熟女一区| 99热18这里只有精品| 精品毛片久久久精品毛片| 亚洲综合色图欧美| 欧美日韩成人| 亚洲A曰本VA欧美VA视频| 超碰 另类 欧美| 1769一区二区| 男人天堂无码| 爆乳免费黄网站| 丁香婷婷五月| 亚洲熟妇AV日韩熟妇在线| 涩涩五月天| 强奸乱伦AV网站| 玖玖久久久| 久草资源欧美在线视频| 亚洲砖码砖专无区2023| 91精品国产一区三一| 97丝袜亚洲在线播放| 99在线精品视频| 秋霞免费AV| 香蕉人欧美综合| 亚洲有码第一页| 日日夜夜骚| 人成午夜免费大片| 国产极品精品美女视频| 中国少妇啪啪视频| 欧美韩国你懂得在线| 久久精品欧美一区蜜桃| 国产高清在线观看欧美| 日本久久女同性恋视频| 精品无码产区一区二| 九九探花视频在线观看| 欧美精品久久久久久久丰满| 96超碰网| 青青草女人天天干| 精品女人999| 国产精品一二三在线看| 91综合网| 东北老熟女| wuyechaopeng| 97色色色综合网站| 亚洲操操操| 97少妇人妻中文字幕久久 | 青青草乱入乱欲视频在线观看| 久久精品美女一区| 另类 日韩 熟女| 国产无马在线| 思思热国产高清| 内射卯月麻衣| 97色诱| 看黑丝美女操逼青青网站| 99精品在线观看| 日本国产欧美高清在线| 91色香| 一级岛国大片| 无码人妻一区二区三区四区老鸭窝| 亚热日本熟女| 4141514逼喷水三级片| 成人无码电影在线观看网| 大香蕉一级黄色片久久| 玖玖爱视频网站| 粉嫩久久久久| 九九av| 熟女乱伦二区| 国产成人无码高清| 东京热男人的天堂精品| 色官网色综合| 超碰在线香蕉| 国产乱伦亚洲| 成人aⅴ一区二区三区| 97超碰久久| 偷拍综合网| 无码动漫av中文字幕| 熟妇乱伦一区二区| 久久东京热成人| 91青青在线视频| 激情欧美日韩女同久久| 日本加靬比网站发布页| 亚洲情色1区| 熟妇女人妻呻吟久久AV| 97资源久久| 男女性扦B| 国产日韩手机视频在线| 91一区二匹| 婷婷涩嫩草鲁丝久久午夜精品| 色综合99999| 国产情色在线| 欧美日韩中国x| 春色91| 亚洲欧美日韩制服另类| 亚洲天堂在线怕怕视频| 超碰色男人操熟女| 可以在线观看的黄色网址| 亚洲精品人妻在线| 五月丁香六月婷| 性爱综合网| 麻豆2区1区天美| m欧洲一级午老| 亚洲欲| 人妻喷水| 国产一二三在线视频五十路| 91国产丝袜美女| 2017超碰| 欧美色九九| 丰满人妻-区二区三区免费看| 超碰97网站| 无码137片内射在线影院| 成人八戒网站| 亚洲激情久久| 熟妇最新先锋一二三区| 精品中文日韩字幕视频| 韩日欧亚a级| 午夜舔阴达高潮视频免费看| 久久一区二区高清免费|