日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

嵌入式實(shí)時(shí)性為何會(huì)失穩(wěn)?從截止時(shí)間到優(yōu)先級(jí)反轉(zhuǎn)的排查指南

嵌入式實(shí)時(shí)性為何會(huì)失穩(wěn)?從截止時(shí)間到優(yōu)先級(jí)反轉(zhuǎn)的排查指南 1. 先糾正一個(gè)直覺(jué)主頻高、跑得快并不會(huì)讓系統(tǒng)“實(shí)時(shí)”我調(diào)試過(guò)一臺(tái)設(shè)備主控從一顆中等主頻的MCU換成更高主頻、帶浮點(diǎn)單元的新芯片采集周期、控制算法代碼一行沒(méi)改。結(jié)果反而出現(xiàn)偶發(fā)抖動(dòng)甚至有過(guò)一次看起來(lái)完全不該發(fā)生的重啟。當(dāng)時(shí)團(tuán)隊(duì)第一反應(yīng)是“新芯片沒(méi)調(diào)好”查下去才發(fā)現(xiàn)問(wèn)題壓根不出在算力上。做嵌入式的人很容易把“實(shí)時(shí)性”理解成“處理得快”。這恰恰是整個(gè)領(lǐng)域最貴的一個(gè)誤會(huì)。實(shí)時(shí)性真正的意思是系統(tǒng)能不能在約定的時(shí)間點(diǎn)之前確定地完成該做的事。它不關(guān)心你平均跑得多快、峰值吞吐有多高只關(guān)心一個(gè)最壞情況下的邊界——也就是“截止時(shí)間”deadline。1.1 實(shí)時(shí)性衡量的不是“平均速度”而是“最壞情況下的上界”先看一組我經(jīng)常拿來(lái)測(cè)試新人的對(duì)比數(shù)據(jù)。假設(shè)有兩個(gè)系統(tǒng)都要處理一個(gè)周期為50ms的控制任務(wù)指標(biāo)系統(tǒng)A系統(tǒng)B平均執(zhí)行時(shí)間1ms5ms最壞執(zhí)行時(shí)間40ms6ms能否穩(wěn)定滿足50ms截止時(shí)間偶爾能經(jīng)常懸穩(wěn)定滿足系統(tǒng)A的平均執(zhí)行時(shí)間只有1ms看起來(lái)比系統(tǒng)B的5ms快很多。但在實(shí)時(shí)系統(tǒng)里A是災(zāi)難級(jí)的因?yàn)樗顗那闆r下要跑40ms而且這個(gè)最壞值何時(shí)出現(xiàn)完全無(wú)法預(yù)測(cè)。一旦它出現(xiàn)下一個(gè)周期的任務(wù)又會(huì)跟著推遲系統(tǒng)直接進(jìn)入超時(shí)狀態(tài)。系統(tǒng)B平時(shí)看起來(lái)“笨”一點(diǎn)但它最壞也就6ms離截止時(shí)間有充足余量整個(gè)控制回路都能在可預(yù)測(cè)的節(jié)奏里跑。對(duì)實(shí)時(shí)系統(tǒng)來(lái)說(shuō)B才是合格的。這就像一個(gè)物流公司承諾“平均3天送到”和“最遲5天必到”之間的差別。做實(shí)時(shí)系統(tǒng)你需要的不是平均你需要的是“承諾”本身。截止時(shí)間就是這個(gè)承諾的邊界超過(guò)它任務(wù)即使完成了也是失敗。1.2 “跑得快”掩蓋了什么中斷延遲、調(diào)度延遲與阻塞時(shí)間那提高主頻是不是完全沒(méi)用有用但它只能在“純計(jì)算時(shí)間”上做文章。而實(shí)時(shí)系統(tǒng)里一個(gè)任務(wù)從“事件發(fā)生”到“動(dòng)作輸出”時(shí)間開(kāi)銷分布在很多環(huán)節(jié)中斷延遲外設(shè)發(fā)出中斷請(qǐng)求到CPU真正跳進(jìn)ISR第一條指令之間的時(shí)間。只要系統(tǒng)里有任何一段關(guān)中斷的臨界區(qū)這段延遲就會(huì)被拉長(zhǎng)。調(diào)度延遲任務(wù)已經(jīng)就緒但RTOS調(diào)度器要等當(dāng)前任務(wù)主動(dòng)出讓CPU或被搶占才能把控制權(quán)交給高優(yōu)先級(jí)任務(wù)。上下文切換開(kāi)銷寄存器保存、棧切換、內(nèi)核態(tài)進(jìn)出這部分和主頻相關(guān)但在整體時(shí)間里占比通常不大。阻塞時(shí)間等待互斥鎖、信號(hào)量、硬件總線I2C、SPI、CAN的時(shí)間。這種等待可能持續(xù)幾百微秒甚至幾毫秒和主頻沒(méi)有任何關(guān)系。所以會(huì)出現(xiàn)一種反直覺(jué)的現(xiàn)象主頻提升后任務(wù)平均執(zhí)行時(shí)間確實(shí)縮短了但某一次鎖沖突、某一次DMA搬運(yùn)等待、某一次關(guān)中斷臨界區(qū)調(diào)度延遲輕輕松松就把省下的零點(diǎn)幾毫秒全部吃回去甚至倒虧。高主頻還帶來(lái)新的問(wèn)題功耗上升散熱變差flash讀取需要插入等待周期CPU cache命中率不穩(wěn)定外設(shè)和總線時(shí)鐘不一定跟著同步提升。這些都是時(shí)序抖動(dòng)的來(lái)源。我后來(lái)復(fù)盤那次“換芯片后偶發(fā)抖動(dòng)”的經(jīng)驗(yàn)發(fā)現(xiàn)新芯片雖然算得快但內(nèi)存系統(tǒng)的延遲和中斷控制器行為變了反而把系統(tǒng)最壞延遲從原來(lái)的可預(yù)測(cè)變成不可預(yù)測(cè)。所以實(shí)時(shí)性設(shè)計(jì)的第一條原則不是問(wèn)“這顆芯片有多快”而是問(wèn)“這條路徑上所有環(huán)節(jié)的最壞時(shí)間加在一起能不能壓進(jìn)截止時(shí)間以內(nèi)?!?. 錯(cuò)過(guò)截止時(shí)間后系統(tǒng)是怎么一步步“失穩(wěn)”的標(biāo)題里說(shuō)要“失穩(wěn)”不是嚇唬人。錯(cuò)過(guò)截止時(shí)間的直接后果往往不是立刻崩潰而是系統(tǒng)進(jìn)入一種持續(xù)偏離正常狀態(tài)、自我放大的過(guò)程。不同結(jié)構(gòu)的系統(tǒng)失穩(wěn)的路徑不一樣但底層邏輯是共通的每一個(gè)任務(wù)都以為自己是偶發(fā)地慢了一次但下游任務(wù)、緩沖區(qū)、控制回路會(huì)把這一次次的“偶發(fā)”累積成系統(tǒng)性故障。2.1 控制回路的“相位滯后→振蕩→發(fā)散”鏈條做電機(jī)控制、電源控制、溫控、飛行姿態(tài)控制的工程師對(duì)這節(jié)的內(nèi)容會(huì)特別有共鳴。一個(gè)典型的閉環(huán)反饋系統(tǒng)控制器以固定周期T反復(fù)執(zhí)行采樣傳感器數(shù)據(jù)計(jì)算控制量輸出到執(zhí)行器。這個(gè)周期T為什么不能隨意亂變因?yàn)樵诳刂圃砝锊蓸又芷诤蛨?zhí)行延遲都直接作用于回路增益與相位。假設(shè)控制任務(wù)從采樣到輸出之間的延遲是τ那么這個(gè)延遲對(duì)應(yīng)一個(gè)相位滯后相位滯后 2π f τ。f是信號(hào)的頻率τ越大滯后越嚴(yán)重。當(dāng)相位滯后增大到一定程度系統(tǒng)的相位裕度下降原本穩(wěn)定的回路開(kāi)始振蕩甚至發(fā)散。關(guān)鍵在這里如果τ是一個(gè)固定值那還好設(shè)計(jì)階段可以把它算進(jìn)模型里。但實(shí)時(shí)系統(tǒng)里錯(cuò)過(guò)截止時(shí)間意味著τ不再是固定值它會(huì)隨著任務(wù)拖欠、排隊(duì)時(shí)間變化而不斷波動(dòng)。一個(gè)本來(lái)只有2ms的延遲某次變成10ms再下一次變成15ms。相位裕度在不同周期之間忽大忽小系統(tǒng)就會(huì)表現(xiàn)出間歇性的振蕩溫度過(guò)沖、電機(jī)抖動(dòng)、PWM波形毛刺。我見(jiàn)過(guò)一個(gè)實(shí)例一塊溫控板卡控制器周期是100ms平時(shí)壓得很穩(wěn)波動(dòng)不到正負(fù)0.5度。后來(lái)有人往里加了一個(gè)“看門狗喂狗”的任務(wù)優(yōu)先級(jí)還設(shè)置錯(cuò)了導(dǎo)致控制器任務(wù)經(jīng)常被推遲執(zhí)行。表面上看控制任務(wù)還是每100ms跑一次但實(shí)際采樣的數(shù)據(jù)有時(shí)是舊的輸出執(zhí)行時(shí)刻忽前忽后。結(jié)果溫控波動(dòng)拉大到正負(fù)2度客戶那邊直接判定不合格。這就是典型的“截止時(shí)間被錯(cuò)過(guò)但任務(wù)本身沒(méi)有丟”——系統(tǒng)沒(méi)有崩潰穩(wěn)定性已經(jīng)被破壞了。2.2 事件驅(qū)動(dòng)的“任務(wù)堆積→雪崩”鏈條和周期控制不同另一類系統(tǒng)是事件驅(qū)動(dòng)的串口收到報(bào)文、CAN總線來(lái)了一幀數(shù)據(jù)、網(wǎng)絡(luò)包到達(dá)。這類系統(tǒng)的失穩(wěn)路徑更常表現(xiàn)為“雪崩”。假設(shè)一個(gè)通信任務(wù)每收到一串完整報(bào)文要在1ms內(nèi)解析并寫入共享數(shù)據(jù)結(jié)構(gòu)。正常時(shí)候報(bào)文一個(gè)接一個(gè)處理得干干凈凈。但某一次高優(yōu)先級(jí)任務(wù)長(zhǎng)時(shí)間占用CPU通信任務(wù)錯(cuò)過(guò)了截止時(shí)間又恰好在這段時(shí)間里緩沖區(qū)堆積了好幾幀報(bào)文。等通信任務(wù)被調(diào)度到它發(fā)現(xiàn)緩沖區(qū)里有5幀數(shù)據(jù)要處理哪怕每一幀只處理1ms也要5ms。在這5ms里新的報(bào)文繼續(xù)進(jìn)來(lái)緩沖區(qū)越積越多最終溢出、丟包。丟包的后果是上層協(xié)議開(kāi)始重傳重傳又增加了網(wǎng)絡(luò)負(fù)載讓通信任務(wù)更忙不過(guò)來(lái)。整個(gè)系統(tǒng)進(jìn)入一種“持續(xù)超載”狀態(tài)——不是哪一次突然崩潰而是一直在超時(shí)、丟包、重試之間惡性循環(huán)。這類失穩(wěn)最麻煩的地方在于表面上看系統(tǒng)還在“運(yùn)行”沒(méi)有死機(jī)但業(yè)務(wù)指標(biāo)已經(jīng)完全不達(dá)標(biāo)了。對(duì)想要定位問(wèn)題的工程師來(lái)說(shuō)這種半死不活的狀態(tài)比徹底崩潰難查得多。2.3 協(xié)作式依賴鏈的“多米諾效應(yīng)”還有一類系統(tǒng)靠多個(gè)任務(wù)流水線配合任務(wù)A采集傳感器數(shù)據(jù)通過(guò)隊(duì)列傳給任務(wù)B做數(shù)據(jù)融合任務(wù)C再根據(jù)融合結(jié)果輸出控制指令。每個(gè)任務(wù)單獨(dú)看延遲都還好但它們之間存在嚴(yán)格的“數(shù)據(jù)新鮮度”要求。假設(shè)任務(wù)A的周期是25ms它采集的數(shù)據(jù)在30ms后還沒(méi)被任務(wù)B處理掉這份數(shù)據(jù)就已經(jīng)過(guò)期了。任務(wù)B即使拿到了這份過(guò)期數(shù)據(jù)算出來(lái)的中間結(jié)果也沒(méi)有意義任務(wù)C再基于這個(gè)中間結(jié)果去輸出就是拿舊數(shù)據(jù)做新決策。實(shí)時(shí)系統(tǒng)里有個(gè)概念叫“數(shù)據(jù)年齡”data age從數(shù)據(jù)采集完成到最終被使用經(jīng)歷的時(shí)間越短越好。如果這條鏈路里任何一個(gè)任務(wù)錯(cuò)失截止時(shí)間年齡就會(huì)增長(zhǎng)下游任務(wù)來(lái)不及等到“新鮮”的數(shù)據(jù)時(shí)只能使用過(guò)期數(shù)據(jù)最終反映到執(zhí)行器上就是動(dòng)作錯(cuò)誤。單個(gè)任務(wù)偶爾超時(shí)的概率可能只有萬(wàn)分之一但一條鏈路上串聯(lián)了5個(gè)任務(wù)任何一個(gè)超時(shí)都會(huì)導(dǎo)致最終結(jié)果失真。這就是為什么“偶發(fā)故障”這么難排查你看到的往往是最末端那個(gè)任務(wù)的輸出異常而根因可能早在幾個(gè)任務(wù)之前就已經(jīng)埋下了。3. 把“穩(wěn)定運(yùn)行”翻譯成可落地的實(shí)時(shí)參數(shù)“系統(tǒng)要穩(wěn)定運(yùn)行”“不能卡頓”“響應(yīng)要快”這類需求在需求文檔里常見(jiàn)但拿給嵌入式工程師落地時(shí)完全沒(méi)有可操作性。你需要把它拆成一組明確的實(shí)時(shí)參數(shù)從事件發(fā)生到動(dòng)作完成整條路徑上每個(gè)環(huán)節(jié)各自有多少時(shí)間預(yù)算誰(shuí)可以多花誰(shuí)必須卡死。3.1 需求拆解從一句“不能卡頓”到明確的截止時(shí)間集合我通常的做法是拿到一個(gè)實(shí)時(shí)需求先畫出“事件入口到動(dòng)作輸出”的完整鏈路然后給每個(gè)環(huán)節(jié)做時(shí)間預(yù)算。用一個(gè)簡(jiǎn)單的溫度控制器舉例。需求一句話溫度采樣周期100ms從傳感器數(shù)據(jù)就緒到執(zhí)行器輸出更新延遲不能超過(guò)5ms。鏈路拆解如下環(huán)節(jié)內(nèi)容時(shí)間預(yù)算傳感器中斷ADC采樣完成觸發(fā)中斷0.2msDMA搬運(yùn)把采樣數(shù)據(jù)從ADC寄存器搬到內(nèi)存0.5ms調(diào)度延遲控制任務(wù)從就緒到獲得CPU1.0ms控制計(jì)算PID運(yùn)算、濾波、限幅2.0ms輸出寫入寫DAC/驅(qū)動(dòng)芯片寄存器0.3ms合計(jì)4.0ms總預(yù)算4.0ms需求是5ms余量1ms勉強(qiáng)夠。開(kāi)工前我會(huì)把余量再放大一點(diǎn)比如壓到3.5ms以內(nèi)因?yàn)楹竺嬉A(yù)留給中斷頻繁發(fā)生、總線重試、鎖沖突等突發(fā)事件。注意一個(gè)關(guān)鍵點(diǎn)預(yù)算里的“控制計(jì)算”寫的是2.0ms這在工程上不叫“平均執(zhí)行時(shí)間”而叫WCET最壞執(zhí)行時(shí)間Worst-Case Execution Time。你不能拿“平時(shí)只要1ms”來(lái)填這個(gè)格子必須考慮最糟糕分支、cache失效、編譯器優(yōu)化差異、內(nèi)存被DMA占用的競(jìng)爭(zhēng)情況。最壞值至少要跑了上萬(wàn)次壓測(cè)后統(tǒng)計(jì)得出通常還要在這個(gè)值上再放大20%到50%作為安全余量。3.2 調(diào)度策略與可調(diào)度性判斷會(huì)算“能不能滿足截止時(shí)間”預(yù)算拆完之后下一個(gè)問(wèn)題是在操作系統(tǒng)層面這套任務(wù)能不能在每個(gè)周期內(nèi)都按時(shí)完成這就涉及可調(diào)度性分析。RTOS里最常用的調(diào)度策略是固定優(yōu)先級(jí)搶占式調(diào)度每個(gè)任務(wù)有一個(gè)固定優(yōu)先級(jí)高優(yōu)先級(jí)任務(wù)就緒時(shí)可以搶占正在運(yùn)行的低優(yōu)先級(jí)任務(wù)。對(duì)一組周期任務(wù)可以用“速率單調(diào)調(diào)度RMS”的優(yōu)先級(jí)分配思路周期越短的任務(wù)優(yōu)先級(jí)越高。比如溫度控制任務(wù)周期100ms通信任務(wù)周期10ms那么通信任務(wù)優(yōu)先級(jí)應(yīng)該更高。這個(gè)原則符合直覺(jué)也符合經(jīng)典理論??烧{(diào)度性判斷要算CPU利用率U Σ (Ci / Ti)其中Ci是任務(wù)i的最壞執(zhí)行時(shí)間Ti是任務(wù)i的周期。RMS調(diào)度的充分條件是U ≤ n × (2^(1/n) - 1)n是任務(wù)數(shù)量。當(dāng)n2時(shí)這個(gè)上限約是0.828n越大上限越接近ln2也就是約0.693。換句話說(shuō)在純RMS調(diào)度下CPU利用率超過(guò)70%以后想保證所有任務(wù)都在截止時(shí)間內(nèi)完成理論上就開(kāi)始吃力了。很多剛從裸機(jī)轉(zhuǎn)RTOS的工程師喜歡把CPU跑得滿滿當(dāng)當(dāng)覺(jué)得利用率90%才“不浪費(fèi)”。在實(shí)時(shí)系統(tǒng)里這是要命的思路。我一般會(huì)建議至少留30%的CPU余量。這30%不只是用來(lái)應(yīng)付未知負(fù)載更是為了給中斷、錯(cuò)誤處理、日志記錄留空間。除了RMS還有一種理論上更優(yōu)的調(diào)度算法叫EDF最早截止時(shí)間優(yōu)先它可以在CPU利用率達(dá)到100%之前保證可調(diào)度。但工程上我很少在中小型項(xiàng)目里用EDF原因很實(shí)際動(dòng)態(tài)調(diào)度的行為難預(yù)測(cè)工程師很難靠直覺(jué)判斷“下一個(gè)跑的到底是誰(shuí)”出了問(wèn)題不好排查。固定優(yōu)先級(jí)雖然理論利用率上限低一些但行為直觀、可控性強(qiáng)這是工程價(jià)值超過(guò)理論最優(yōu)的地方。3.3 優(yōu)先級(jí)反轉(zhuǎn)與互斥設(shè)計(jì)被低估的阻塞放大器實(shí)時(shí)任務(wù)的執(zhí)行時(shí)間Ci通常被理解為“純粹的CPU計(jì)算時(shí)間”。但任務(wù)里只要用了互斥鎖、信號(hào)量這類同步機(jī)制真實(shí)的最壞執(zhí)行時(shí)間就要把“等待資源的時(shí)間”也算進(jìn)去。這引出了實(shí)時(shí)系統(tǒng)里最經(jīng)典的坑——優(yōu)先級(jí)反轉(zhuǎn)。優(yōu)先級(jí)反轉(zhuǎn)的場(chǎng)景是這樣的低優(yōu)先級(jí)任務(wù)先拿到了一個(gè)互斥鎖正在臨界區(qū)里執(zhí)行此時(shí)高優(yōu)先級(jí)任務(wù)就緒搶占CPU接著去申請(qǐng)同一把鎖發(fā)現(xiàn)鎖被占用只能阻塞等待。如果系統(tǒng)的調(diào)度策略允許中等優(yōu)先級(jí)任務(wù)在這時(shí)搶占低優(yōu)先級(jí)任務(wù)那么高優(yōu)先級(jí)任務(wù)就會(huì)一直等下去因?yàn)榈蛢?yōu)先級(jí)任務(wù)根本得不到CPU無(wú)法釋放鎖。最終結(jié)果是一個(gè)高優(yōu)先級(jí)任務(wù)被一個(gè)中等優(yōu)先級(jí)任務(wù)間接阻塞了時(shí)間可能長(zhǎng)達(dá)幾毫秒甚至幾十毫秒。解決優(yōu)先級(jí)反轉(zhuǎn)的標(biāo)準(zhǔn)方法是“優(yōu)先級(jí)繼承”當(dāng)一個(gè)低優(yōu)先級(jí)任務(wù)持有高優(yōu)先級(jí)任務(wù)需要的互斥鎖時(shí)系統(tǒng)臨時(shí)把低優(yōu)先級(jí)任務(wù)的優(yōu)先級(jí)提升到高優(yōu)先級(jí)任務(wù)的水平讓它盡快執(zhí)行完、釋放鎖。FreeRTOS的互斥量Mutex就支持優(yōu)先級(jí)繼承機(jī)制這也是它和裸信號(hào)量Semaphore的一個(gè)重要區(qū)別。我也在不少現(xiàn)場(chǎng)見(jiàn)過(guò)另一種工程性質(zhì)的反轉(zhuǎn)任務(wù)A和任務(wù)B共享一個(gè)結(jié)構(gòu)體訪問(wèn)前加鎖。結(jié)果某工程師給臨界區(qū)里塞了一大段計(jì)算把鎖持有時(shí)間拉到幾十毫秒。這種情況下就算優(yōu)先級(jí)繼承再?gòu)?qiáng)也只能保證持鎖任務(wù)不被搶但它持有鎖的時(shí)間本身太長(zhǎng)阻塞依然存在。我的經(jīng)驗(yàn)是三條能不加鎖就不加鎖優(yōu)先用隊(duì)列、消息郵箱這類無(wú)鎖或少鎖的通信方式。必須加鎖時(shí)臨界區(qū)里只做最必要的數(shù)據(jù)讀寫和拷貝不做計(jì)算、不做外設(shè)訪問(wèn)。**中斷服務(wù)函數(shù)里絕不允許阻塞等待鎖。**ISR里需要的不是鎖而是禁中斷保護(hù)或帶中斷保存的臨界區(qū)而且臨界區(qū)要盡量短。這三條看起來(lái)簡(jiǎn)單但絕大多數(shù)實(shí)時(shí)性事故追到根子上都逃不出它們。4. 藏在暗處的失穩(wěn)元兇共享資源、Cache、動(dòng)態(tài)內(nèi)存和日志有些問(wèn)題不是調(diào)度策略算錯(cuò)了而是任務(wù)本身在“看不見(jiàn)的地方”被拖慢。這類問(wèn)題最討厭它們不常出現(xiàn)一旦出現(xiàn)就表現(xiàn)為偶發(fā)抖動(dòng)、偶發(fā)超時(shí)很難復(fù)現(xiàn)更難定位。我自己踩過(guò)不少下面這幾個(gè)值得重點(diǎn)排查。4.1 日志和調(diào)試打印最容易被忽略的“時(shí)間刺客”很多工程師喜歡在任務(wù)里加串口打印用來(lái)觀察執(zhí)行流程。這在調(diào)試階段問(wèn)題不大但如果你忘了關(guān)掉或者線上版本還保留著這些打印麻煩就來(lái)了。以一個(gè)典型的115200波特率串口為例傳輸一個(gè)字符大約87微秒。如果某次調(diào)試打印輸出一行50個(gè)字符的日志任務(wù)會(huì)被阻塞約4.3毫秒。要是這行日志出現(xiàn)在一個(gè)5ms截止時(shí)間的控制任務(wù)里等于直接把全部預(yù)算吃掉還倒欠。更隱蔽的是SD卡日志。往SD卡寫一次數(shù)據(jù)受文件系統(tǒng)、磨損均衡、總線重試影響最壞情況可能達(dá)到幾十毫秒。這種延遲根本無(wú)法預(yù)測(cè)對(duì)實(shí)時(shí)路徑是毀滅性的。我的建議是**實(shí)時(shí)路徑里不要直接調(diào)用任何阻塞式日志輸出。**如果確實(shí)需要日志用無(wú)鎖的環(huán)形緩沖區(qū)任務(wù)只負(fù)責(zé)往緩沖區(qū)里寫后臺(tái)低優(yōu)先級(jí)任務(wù)負(fù)責(zé)把緩沖區(qū)內(nèi)容通過(guò)DMA或定時(shí)批量發(fā)送出去。同時(shí)要保留一個(gè)編譯開(kāi)關(guān)線上版本可以直接關(guān)掉日志功能避免性能污染。另外補(bǔ)充一句**用日志測(cè)執(zhí)行時(shí)間本身就是在污染測(cè)量結(jié)果。**你往代碼里加一條“打印時(shí)間戳”的語(yǔ)句打印本身的耗時(shí)就會(huì)讓結(jié)果失真。測(cè)量執(zhí)行時(shí)間應(yīng)該靠GPIO翻轉(zhuǎn)加示波器或者硬件計(jì)數(shù)器而不是往實(shí)時(shí)路徑里塞串口輸出。4.2 動(dòng)態(tài)內(nèi)存分配Malloc/Free不是實(shí)時(shí)安全的裸機(jī)開(kāi)發(fā)時(shí)很多人習(xí)慣了隨時(shí)調(diào)用malloc和free。到了RTOS環(huán)境這個(gè)習(xí)慣必須改。動(dòng)態(tài)內(nèi)存分配之所以不實(shí)時(shí)安全不在于它慢而在于它的耗時(shí)不確定。標(biāo)準(zhǔn)庫(kù)的malloc在堆內(nèi)存碎片化時(shí)可能觸發(fā)內(nèi)存整理、合并空閑塊最壞情況下的耗時(shí)比正常情況高出幾個(gè)數(shù)量級(jí)。如果任務(wù)在截止時(shí)間附近恰好觸發(fā)了一次復(fù)雜的內(nèi)存分配超時(shí)的風(fēng)險(xiǎn)是不可控的。更嚴(yán)重的是有些RTOS的堆分配實(shí)現(xiàn)不是線程安全的需要加鎖malloc的鎖持有時(shí)間一長(zhǎng)還會(huì)造成其他任務(wù)阻塞。中斷服務(wù)函數(shù)里使用malloc在很多平臺(tái)上是明確禁止的因?yàn)橹袛嗌舷挛母静辉试S做可能引起阻塞的操作。解決辦法也簡(jiǎn)單**內(nèi)存池預(yù)分配。**在系統(tǒng)啟動(dòng)階段把任務(wù)需要的所有內(nèi)存塊都分配好之后運(yùn)行時(shí)不再動(dòng)態(tài)分配和釋放?;蛘咧苯佣x固定大小的對(duì)象數(shù)組用位圖管理空閑項(xiàng)。分配和釋放操作都變成O(1)的確定操作耗時(shí)可控。4.3 Cache與DMA一致性問(wèn)題最隱蔽的延時(shí)來(lái)源帶Cache的MCU比如Cortex-M7、Cortex-A系列上Cache與DMA的一致性問(wèn)題是又一頭“房間里的大象”。場(chǎng)景是這樣的DMA把外設(shè)數(shù)據(jù)搬運(yùn)到內(nèi)存緩沖區(qū)然后CPU去讀取這個(gè)緩沖區(qū)。但CPU Cache里可能還存著舊數(shù)據(jù)的副本CPU直接讀到的可能不是DMA剛寫入的新數(shù)據(jù)而是Cache里的陳舊數(shù)據(jù)。反過(guò)來(lái)如果CPU先寫了一個(gè)緩沖區(qū)然后讓DMA去搬運(yùn)DMA訪問(wèn)的是物理內(nèi)存而不是Cache搬走的可能是舊數(shù)據(jù)。這個(gè)問(wèn)題和實(shí)時(shí)性有什么關(guān)系關(guān)系大了。它導(dǎo)致的不是每次都錯(cuò)而是偶爾讀到臟數(shù)據(jù)??刂迫蝿?wù)一旦基于臟數(shù)據(jù)計(jì)算輸出就會(huì)異常因?yàn)榕K數(shù)據(jù)出現(xiàn)的條件取決于Cache的命中狀態(tài)、時(shí)序交錯(cuò)幾乎不可能穩(wěn)定復(fù)現(xiàn)。處理標(biāo)準(zhǔn)做法是在DMA寫數(shù)據(jù)后執(zhí)行Cache Invalidate在DMA讀數(shù)據(jù)前執(zhí)行Cache Clean。對(duì)Cortex-M7這類帶Cache的MCU要仔細(xì)編寫數(shù)據(jù)同步操作。性能上的代價(jià)是每次同步都要把相應(yīng)Cache線寫回或丟棄這個(gè)操作本身要花時(shí)間但換來(lái)的是數(shù)據(jù)正確性。如果你發(fā)現(xiàn)一個(gè)系統(tǒng)“偶爾抽風(fēng)”現(xiàn)象完全沒(méi)有規(guī)律先查一下Cache一致性尤其是DMA和CPU共用緩沖區(qū)的場(chǎng)景。這類問(wèn)題經(jīng)常被誤判為芯片不穩(wěn)定實(shí)際是緩存同步缺失。4.4 中斷里做太多事、共享總線被長(zhǎng)時(shí)間占用、低功耗喚醒延遲中斷服務(wù)函數(shù)是實(shí)時(shí)系統(tǒng)里最容易被寫壞的地方。不少工程師習(xí)慣在ISR里直接解析協(xié)議、算校驗(yàn)、處理邏輯。這會(huì)把中斷延遲無(wú)限拉長(zhǎng)其他中斷進(jìn)不來(lái)高優(yōu)先級(jí)任務(wù)也得不到調(diào)度。ISR里的正確姿勢(shì)是讀必要的寄存器、置標(biāo)志位、釋放信號(hào)量/事件標(biāo)志把耗時(shí)處理丟給任務(wù)去干。ISR越短系統(tǒng)的實(shí)時(shí)性上限越高。共享總線的占用也是一個(gè)暗坑。一個(gè)SPI總線上掛了Flash、ADC、DAC等多個(gè)設(shè)備如果某次大塊讀Flash的操作占用了總線幾百微秒這塊總線上其他設(shè)備的通信就得排隊(duì)。CAN總線也一樣總線仲裁、錯(cuò)誤重試機(jī)制會(huì)讓某些幀的發(fā)送延遲大幅波動(dòng)。做時(shí)間預(yù)算時(shí)這類“外部因素”一樣要放進(jìn)余量里。低功耗模式的喚醒延遲也是常被忽略的一項(xiàng)。MCU從STOP模式喚醒可能花費(fèi)幾十到幾百微秒從Standby模式喚醒更長(zhǎng)。如果一個(gè)系統(tǒng)既要低功耗又要實(shí)時(shí)性必須把喚醒延遲明確寫入鏈路預(yù)算否則就會(huì)出現(xiàn)“設(shè)備睡過(guò)去了叫不醒”的失穩(wěn)癥狀??梢杂胻ickless空閑模式減少喚醒頻率但每個(gè)周期性任務(wù)醒來(lái)后都得多留出喚醒時(shí)間的余量。5. 一次真實(shí)失穩(wěn)的完整排查鏈路這類問(wèn)題光講理論很容易云里霧里。分享一個(gè)我做過(guò)的排查案例鏈路很典型你可以把這套思路直接拿去應(yīng)付同類問(wèn)題。5.1 現(xiàn)象記錄偶發(fā)抖動(dòng)與“重啟后恢復(fù)正常”項(xiàng)目背景是一塊帶Cortex-M7內(nèi)核的板子做高速數(shù)據(jù)采集加電機(jī)控制。采樣周期25kHz也就是40微秒一次采集完成后通過(guò)SPI把處理結(jié)果發(fā)給驅(qū)動(dòng)芯片同時(shí)一個(gè)UART口負(fù)責(zé)向上位機(jī)打印狀態(tài)??蛻舻姆答伿窃O(shè)備運(yùn)行一段時(shí)間后電機(jī)會(huì)偶發(fā)抖動(dòng)上位機(jī)偶爾收不到命令回復(fù)重啟之后能好一段時(shí)間然后又復(fù)發(fā)。這個(gè)現(xiàn)象有兩個(gè)關(guān)鍵點(diǎn)偶發(fā)、可恢復(fù)。偶發(fā)說(shuō)明不是邏輯上必然的路徑錯(cuò)誤可恢復(fù)說(shuō)明沒(méi)有永久性的資源泄漏或死鎖。很多人一上來(lái)就懷疑是硬件問(wèn)題換芯片、換板子我一般不建議這么干先記錄現(xiàn)象用數(shù)據(jù)定位。5.2 逐步縮小范圍從任務(wù)間隔到鎖等待第一步我在中斷入口拉高一個(gè)GPIO在SPI發(fā)送完成回調(diào)里拉低用邏輯分析儀抓包看不同階段的高電平持續(xù)時(shí)間。跑了大約幾萬(wàn)個(gè)采樣周期后確實(shí)抓到幾個(gè)明顯超寬的脈沖。對(duì)照時(shí)間軸發(fā)現(xiàn)超寬脈沖集中出現(xiàn)在UART打印狀態(tài)下而且每次超寬脈沖之后下一次采樣任務(wù)執(zhí)行都跟著推遲。這立刻給了兩個(gè)線索日志打印有嫌疑而且打了日志之后整個(gè)任務(wù)的節(jié)奏都亂了。第二步我先臨時(shí)關(guān)掉所有UART打印觀察一段時(shí)間。抖動(dòng)頻率明顯下降但沒(méi)有根除說(shuō)明還有一個(gè)更深層的問(wèn)題。第三步給任務(wù)里幾個(gè)關(guān)鍵調(diào)用點(diǎn)加時(shí)間戳記錄到環(huán)形緩沖區(qū)事后通過(guò)調(diào)試口讀出來(lái)。對(duì)比數(shù)據(jù)發(fā)現(xiàn)任務(wù)里有一段訪問(wèn)共享結(jié)構(gòu)體的互斥鎖正常情況下等待時(shí)間只有幾微秒但偶發(fā)情況下會(huì)沖到幾百微秒。順著鎖的持有方查發(fā)現(xiàn)一個(gè)低優(yōu)先級(jí)任務(wù)會(huì)定期拿這把鎖做一個(gè)“參數(shù)打包”操作。打包過(guò)程本身要遍歷一批數(shù)組、換算單位、拷貝到輸出緩沖耗時(shí)比較長(zhǎng)。由于它是低優(yōu)先級(jí)任務(wù)一旦被打斷它持鎖的時(shí)間會(huì)更長(zhǎng)而高優(yōu)先級(jí)任務(wù)就在鎖上被晾著。這正是優(yōu)先級(jí)反轉(zhuǎn)的教科書表現(xiàn)。第四步我用FreeRTOS的互斥量替代了原來(lái)的二值信號(hào)量把優(yōu)先級(jí)繼承機(jī)制打開(kāi)。問(wèn)題基本消失。但第五步又找到一顆雷在中斷服務(wù)函數(shù)里有一段代碼調(diào)用了malloc雖然調(diào)用頻率很低但每次段錯(cuò)誤風(fēng)險(xiǎn)都不小——每次動(dòng)態(tài)分配都會(huì)帶來(lái)不確定耗時(shí)影響中斷延遲。我把這段改成啟動(dòng)時(shí)預(yù)分配的結(jié)構(gòu)體數(shù)組抖動(dòng)徹底消失連續(xù)運(yùn)行好幾天沒(méi)有再犯。5.3 根因確認(rèn)與復(fù)盤為什么這類問(wèn)題藏得住排查步驟手段發(fā)現(xiàn)處理第一步GPIO翻轉(zhuǎn) 邏輯分析儀UART打印任務(wù)會(huì)阻塞采樣任務(wù)日志改后臺(tái)發(fā)送第二步插樁時(shí)間戳互斥鎖等待偶發(fā)達(dá)到幾百微秒替換為帶優(yōu)先級(jí)繼承的互斥量第三步代碼審查ISR中存在malloc調(diào)用改為預(yù)分配內(nèi)存池這個(gè)案例里最值得復(fù)盤的一點(diǎn)是**這三個(gè)問(wèn)題是疊加在一起而不是孤立出現(xiàn)的。**只解決日志打印問(wèn)題不會(huì)根除只解決優(yōu)先級(jí)反轉(zhuǎn)UART打印的阻塞依然會(huì)制造新的抖動(dòng)。很多嵌入式系統(tǒng)的失穩(wěn)背后都是多個(gè)不良習(xí)慣疊加后的“合力”爆發(fā)排查時(shí)必須一層層剝不能碰巧看到一個(gè)嫌疑就收工。另一個(gè)經(jīng)驗(yàn)是**GPIO翻轉(zhuǎn)加邏輯分析儀是我用過(guò)的最便宜的實(shí)時(shí)性觀測(cè)手段。**它不侵入代碼邏輯不需要額外的調(diào)試串口測(cè)量精度完全取決于GPIO翻轉(zhuǎn)指令的耗時(shí)通常小于一微秒。在板子功能正常的時(shí)候你很難看到哪里有毛病但只要把GPIO翻轉(zhuǎn)點(diǎn)埋進(jìn)關(guān)鍵路徑任何一次超時(shí)都會(huì)在波形上留下清晰的“罪證”。6. 測(cè)量與驗(yàn)證怎么證明你的系統(tǒng)真的“實(shí)時(shí)”了需求拆了調(diào)度算了代碼也寫了一堆經(jīng)驗(yàn)教訓(xùn)。但最后總要面對(duì)一個(gè)實(shí)際問(wèn)題**你怎么證明這套系統(tǒng)真的能在長(zhǎng)期運(yùn)行中穩(wěn)定滿足截止時(shí)間**實(shí)時(shí)性不是靠拍胸脯保證的要靠測(cè)量數(shù)據(jù)。6.1 用GPIO翻轉(zhuǎn)加邏輯分析儀測(cè)時(shí)間上界測(cè)量實(shí)時(shí)性最基礎(chǔ)也最可靠的方法就是GPIO翻轉(zhuǎn)法。原理很簡(jiǎn)單在待測(cè)事件入口處把某個(gè)GPIO拉高在出口處拉低用邏輯分析儀或示波器測(cè)量高電平的持續(xù)時(shí)間。因?yàn)椴僮髦挥幸粋€(gè)寄存器寫指令開(kāi)銷極小幾乎不影響被測(cè)路徑的時(shí)序。這個(gè)方法要測(cè)出效果必須注意兩點(diǎn)測(cè)量對(duì)象要覆蓋“最壞路徑”不能只測(cè)正常運(yùn)行要在系統(tǒng)滿載、外設(shè)全部打開(kāi)、網(wǎng)絡(luò)流量打滿、日志后臺(tái)發(fā)送開(kāi)啟的狀態(tài)下連續(xù)測(cè)幾十萬(wàn)個(gè)周期。最壞執(zhí)行時(shí)間只有在極端工況下才肯現(xiàn)身。統(tǒng)計(jì)最大值而不是平均值記錄每次脈沖寬度找出最大的一次。如果最大值還在時(shí)間預(yù)算以內(nèi)說(shuō)明這個(gè)環(huán)節(jié)的實(shí)時(shí)性是有保障的。如果某個(gè)周期出現(xiàn)超寬脈沖再結(jié)合時(shí)間軸看看當(dāng)時(shí)發(fā)生了什么。用示波器看時(shí)觀察超時(shí)毛刺是關(guān)鍵。一個(gè)穩(wěn)定實(shí)時(shí)的系統(tǒng)脈沖寬度方差應(yīng)該非常小一旦出現(xiàn)“有時(shí)窄有時(shí)寬”的跡象就要引起警覺(jué)。6.2 RTOS自帶的Trace與統(tǒng)計(jì)工具GPIO翻轉(zhuǎn)法雖然直觀但只能看到有限幾個(gè)測(cè)點(diǎn)。想全面了解所有任務(wù)的運(yùn)行狀況可以借助RTOS自己的統(tǒng)計(jì)能力。在FreeRTOS里開(kāi)啟configGENERATE_RUN_TIME_STATS后可以通過(guò)vTaskGetRunTimeStats()拿到每個(gè)任務(wù)的CPU占用時(shí)間。配合configUSE_TRACE_FACILITY和uxTaskGetSystemState()還能拿到任務(wù)狀態(tài)、喚醒次數(shù)、阻塞時(shí)間等數(shù)據(jù)??慈蝿?wù)的實(shí)際CPU占用和分析值之間的差距能快速定位某個(gè)任務(wù)是不是跑得比預(yù)期多。RT-Thread也提供類似能力線程信息、信號(hào)量超時(shí)等待統(tǒng)計(jì)、事件集狀態(tài)都能在shell里直接查看。我特別喜歡用這類命令驗(yàn)證“某個(gè)任務(wù)是不是一直拿不到鎖”如果某把鎖的等待隊(duì)列里經(jīng)常有任務(wù)掛在那里說(shuō)明資源競(jìng)爭(zhēng)已經(jīng)很激烈了。除了軟件統(tǒng)計(jì)硬件DWT模塊的時(shí)鐘周期計(jì)數(shù)器也值得一用。Cortex-M內(nèi)核提供DWT-CYCCNT可以精確計(jì)數(shù)CPU周期。測(cè)量一小段代碼的耗時(shí)只需要記錄前后差值分辨率遠(yuǎn)高于任何軟件定時(shí)器。配合ITM調(diào)試接口還能做時(shí)間戳事件流對(duì)現(xiàn)場(chǎng)排查很管用。6.3 面向嵌入式Linux平臺(tái)的實(shí)時(shí)性評(píng)估如果你的“嵌入式”跑的是Linux而不是裸機(jī)或RTOS評(píng)估方法會(huì)換一套。普通Linux內(nèi)核不是硬實(shí)時(shí)系統(tǒng)但在很多工業(yè)場(chǎng)景里只要滿足軟實(shí)時(shí)也就是延遲大多數(shù)情況下在可接受范圍內(nèi)就夠用了。最常用的評(píng)估工具是cyclictest它用于測(cè)量線程按指定周期喚醒時(shí)實(shí)際喚醒時(shí)刻與期望時(shí)刻之間的偏差。運(yùn)行一段時(shí)間后看統(tǒng)計(jì)結(jié)果最小值、平均值、最大值和超過(guò)某閾值的次數(shù)。最大延遲是評(píng)判軟實(shí)時(shí)能力的關(guān)鍵數(shù)據(jù)如果這個(gè)值遠(yuǎn)小于你的采樣周期基本可以認(rèn)為滿足要求。要提升Linux的實(shí)時(shí)性常用的手段包括給RT任務(wù)綁定專用CPU核、設(shè)置SCHED_FIFO調(diào)度策略和實(shí)時(shí)優(yōu)先級(jí)、關(guān)掉CPU調(diào)頻節(jié)能、用PREEMPT_RT補(bǔ)丁讓內(nèi)核可搶占。但要注意這些手段都是降低延遲分布的下限和抖動(dòng)卻不能給出硬實(shí)時(shí)保證。項(xiàng)目里如果對(duì)截止時(shí)間有硬約束老老實(shí)實(shí)上RTOS或裸機(jī)不要在通用Linux上賭運(yùn)氣。6.4 看門狗只是保險(xiǎn)絲不是實(shí)時(shí)性工具很多團(tuán)隊(duì)喜歡用看門狗來(lái)兜底“不是怕系統(tǒng)跑飛嗎我喂狗就行?!钡撮T狗只能防“系統(tǒng)徹底掛死”防不了“慢、卡、抖、錯(cuò)”。任務(wù)哪怕每次都在截止時(shí)間后跑完只要它還在執(zhí)行、還會(huì)喂狗看門狗就認(rèn)為一切正常。更麻煩的是看門狗設(shè)置不當(dāng)會(huì)制造新的失穩(wěn)。假設(shè)你把看門狗超時(shí)時(shí)間設(shè)成比任務(wù)最壞執(zhí)行時(shí)間還短某個(gè)長(zhǎng)臨界區(qū)阻塞了喂狗任務(wù)一小會(huì)兒看門狗就觸發(fā)了復(fù)位。系統(tǒng)從“運(yùn)行但偶發(fā)抖動(dòng)”變成“每過(guò)一段時(shí)間神秘重啟”排查難度直接上了一個(gè)臺(tái)階。我的建議是看門狗超時(shí)時(shí)間要明顯大于系統(tǒng)正常的最大喂狗間隔比如留2到3倍余量最好由獨(dú)立于主控制鏈路的監(jiān)控任務(wù)負(fù)責(zé)喂狗讓它只檢測(cè)系統(tǒng)是否還有心跳而不是去卡主流程的執(zhí)行節(jié)拍。復(fù)位后還要在非易失存儲(chǔ)里留下故障信息方便現(xiàn)場(chǎng)定位。做實(shí)時(shí)系統(tǒng)這幾年我最大的體會(huì)是實(shí)時(shí)性不是項(xiàng)目后期調(diào)出來(lái)的也不是換一顆更高主頻的芯片就能解決的。它是一個(gè)從需求拆解、調(diào)度分析、資源設(shè)計(jì)到測(cè)量驗(yàn)證貫穿始終的設(shè)計(jì)約束。早期漏掉的每一個(gè)假設(shè)都會(huì)在產(chǎn)線上以一次偶發(fā)抖動(dòng)、一次神秘重啟的方式加倍還回來(lái)。與其等到現(xiàn)場(chǎng)出問(wèn)題再翻波形不如在設(shè)計(jì)階段就把截止時(shí)間當(dāng)作一等公民認(rèn)認(rèn)真真地對(duì)待它。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧综合另类无码一区| 人人摸.人人色| 国产 日韩 欧美 人妻 熟女 中文| 大JI巴好深好爽又大又粗视频| 蜜臀亚洲中文| 91婷婷| 欧美天堂超碰97| 台湾一区国产高清在线| 无码高清操逼网址| 色眯眯射| 翔田千里无码中出中文字幕| 97色操| 欧美毛片在线网| 天天射天天| 91欧美www| 亚洲一本色码中文字幕| 亚洲成人碰碰| 亚洲色香| 日本日逼高清| 色综合一区二区三区| 婷婷15月天青娱乐| 9超碰免费| 天天摸,夜夜摸| 国产无码一二三区| 色欲蜜臀AV| 91狠狠综合| 四虎精品永久在线观看| 经典丝袜一区| 加勒比无码毛片| 青青草字幕AV| 啊啊啊好大好湿| 少妇天堂| 欧美在线视频99| 国产乱色国产精品免费视| 久热久一区二区三区| 琪琪精品免费一区二区三区| 自拍偷拍 日韩欧美| 涩综合导航| 亚洲欧洲网站免费观看| 97无码视频在线播放| 黄页18禁| 91在线免费精品视频| 精品一区二区三区蜜桃| 亚洲成人精品在线一区| 视频一区二区免费在线| 国产亚洲色停停久久99精品91| 亚洲女人91| 精品久久97观看在线视频| 久久天堂网| 欧美,亚洲,日韩,v,天堂,手机在线观看| 日本人妻天堂网站在线播放| 91 丝袜在线观看| 91久久久久| 亚洲欧美97√| 中文字幕久久婷婷丁香五月天| 快灬快灬 一下爽蜜桃在线观看 | 你懂的在线观看区国产| 四虎影视永久在线免费| 色色丁香| 久久久久久中文版| 高潮的A片激情扒开一区| 五月丁香黄色网| 亚洲国产精品9999在线观看| 亚洲精美粉嫩嫩泬在线观看 | 美女网站91| 久久精品店| 美女久久久| 天天干天天做| 日韩精品人妻系列无码天堂| 色综合一本| 亚洲人妻在线一区| 91色伦综合| 欧美成人综合| 中出欧美| 久久丝袜| 精品99999| 台湾一区国产高清在线| 免费作爱一级视频| 殴美,日韩国产伦精品| 插入综合网| 一牛一区二区三区久久| 亚洲无码99| 性爱av在线免费观看| 欧美另类色图片| 99re8免费高清在线| 色婷婷一区二区三区久久午夜 | 人人污日韩一区二区| 欧美色图亚州激情| 97se亚洲综合自| 国产无码三级视频在线观看| 国产精品青草综合久久| 亚洲欧洲成人在线电影| av中文在线| 久久999久| 国产尤物在线三区| 国产一区二区a毛片| 水野优香在线观看| 天天操天天日青青草超碰av| 亚洲无码偷拍| 一级黄色影片| 内射黑丝袜| 无码一区免费在线不卡| 欧美躁死她一区二区| av草草在线电影| 日本韩高清无砖码22o| 欧美性爱另类综合| 超碰97导航| 国产精品成人AV片免费看网站| 精品性爱无码在线播放| 91欧美丝袜| 国产日韩精品人妻久久久久色欲网站| 天天综合网~69| 亚洲欧洲无码一区夜| 久草加勒比一区在线| 九九视品黄色| 私人尤物在线精品不卡| 国产精品一二三免费网站| 欧美手机在线综合| 亚洲 欧美日韩 另类| 夜夜骑操视频| 亚洲图片激情综合另类| 97综合国产精品高潮久久| 中英熟女操女| 亚洲精品欧洲精品| 无码高清少妇久久| 粘花网06av视频| 97爱爱| 精品性爱一二三区| 激情人妻另类| 激情国产乱伦Av| yw尤物av无码点击进入麻豆| 欧美老熟另类| 久久狠狠色噜噜狠狠狠狠97| 激情自拍 校园春色| 欧美色图 色综合图| 99性爱| aV中文麻| 最新日产中文在线麻豆| 操逼无毒无码免费视频| 狠狠色婷婷777| 97伊人| 99精品在线播放| 白嫩妹子国产骚| 久久曰曰| 久久精品无码专区| 欧洲Au麻豆| 国产高清精品一区二区三区毛片| 风月影院男女十八禁| 操逼视频免费日韩无码| 亚洲综合嫩| 日韩激情中文字幕有码| 国产精品噜噜噜日日日| 久久久不能久久久久| 国产福利视频精品视频| 国产精品毛片| 黑丝内射一区二区三区| 免费1级a做爰片观看| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 亚欧操逼片在线观看 | 国产兽交视频在线播放| 亚洲自拍青操视频| 另类图片五月天| 张柏芝国产一区在线观看| 久久久久久久久久久999| 国产亚洲精品第一最新| 久久最新免费视频23| 综合熟妇一区二区三区| 澳门黄片一香蕉视频| 国产精品suv一区| 国产精品婬乱一级毛片彝族| 久久岛国| 91啪9色| 国产精品久久泡妞网站| 禁十八久久| 加勒比在线视频一区二区三区| 日本2020一区二区| 天天澡天天爽日日av| 午夜理论片在线观看免费| 欧美色青| 高潮精品| 一区久久久二区| 亚洲天堂一区二区久久| 东京热天堂网| 玖玖综合视频| 天天日天天干天天摸天天操| 日韩情色视频| 91干熟女| 青娱乐福利99| 人人九九精| 97激情97激情| 中文字幕老熟妇黄色视频| 乱伦日本色图AⅤ| 97超碰人人操人人操| 一摸二插三插| 色综合 加勒比| 久久9亚洲| www久久99| 成在线人在线观看视频| 日韩99精品视频综合区| WWW.操逼.COM| 亚洲免费97免费| 17c在线成人免费A片观看| 中日韓欧美高清| 久久精品无码熟妇一区二区三区视频导航 | 高潮毛片无遮挡高清免费| 久久人妻熟女一区二区| 91美女视频电影| 99国产精品免费| 国产精品久久久久绯色| 激情一区二区三区在线观看| 国产av白丝| 国产高清在线观看欧美| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 人人操人人摸人| 欧美精品23| AA级电影三区| 欧美一级美片在线观看免费| 日韩操啪| 亚洲av噜噜噜噜噜噜| 91精品国产一区三一| 久久久999国产精品| 大香蕉宗合网在线| 伊人丁香五月婷婷| 国产一区二区三区高清视频| 婷婷丁香九月| 国产一级137片内射麻豆| 日韩操逼性鲍| 亚洲国产精品成人无码久久久 | av东京热男人的天堂| 神马久久69| 色偷综合| 九九热精彩视频| 久久av色| 欧美色图成人网一区二区 | 在线观看成人性爱免费小视频| 国产成人超碰在线| 国产99精品一区二区三区免费| 亚洲图片激情综合另类| 中文字幕性感少妇av| 婷婷五月天社区| 蜜桃视频精品一区二区| 在线 亚洲 网爆 自拍| 色 婷97| 91 国产丝袜在线放观看| 青草视频在线看看看看看看看看看| 色婷婷六月| 欧美亚洲性爱一区二区| 老汉网| 97超碰天天爱天天爱| 日韩电影天堂视频二区三区| 国产精品日日摸天天碰| 人人操,人人插| av麻豆啪啪| 亚洲精品黑丝| 无码免费在线观看黄色片| 国产强奸超碰AV| 丁香六月激情综合| 国产亚洲日本| www欧美91| 日本黄色精品专区网站| 色情五月综合婷婷| 亚洲视频小说| 午夜噜噜噜| 高潮毛片无遮挡高清免费| 激情五月天社区| 麻豆区99999| 久久久久久久综合,国产| 午夜毛片亚洲精品片国产久久久| 色在线亚洲视频www| 亚洲 综合 欧美| 亚洲欧美另类少妇精品| 91天天综合日韩欧美| 伊人黄色片| 色婷五月| 五月天久久婷婷亚洲| 99热8| 一二三区视频在线观看| 户外裸露刺激视频第一区| 丁香五月天婷婷姐| 欧美姓爱综合网| 欧美精品日韩久久久九| 男人的天堂2018.| 欧美综合亚洲| 大香蕉久| 久久超碰98| 男同专区一区二区三区在线| 亚洲免费人妻在| 东京热熟女亚洲视频网站| 国产毛片片精品天天看视频| 激情深爱五月天| AV色五月天| 牛牛操视频逼| 欧美最婬乱婬爆婬性视频| 午夜噜噜噜| 国产亚洲日韩在线三区黑人| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 啊啊啊久久| 岛国视频免费在线观看| 亚洲天堂资源在线| 少妇久久| 在线观看不卡一区二区三区| 91快色色色色色| 中文字幕78| 久久精品久久久久久久久| 艳美熟妇先锋一二三区| 亚洲 在线| 五月天激情国产综合婷婷婷| 日本视频在线观看污污污| 日本欧美色| 国产精品国产自产高清AV| 色情亚洲日本成人| 欧美一级特黄淫片在线观看| 欲香欲色天天天综合和网| 在线综合 亚洲 欧美中文字幕| 夜夜操夜夜爽夜夜高潮| 国产Aα| 桃色五月天| 十八禁视频网站| 天天日天天干天天摸天天操| 99久久综合| 9久久久久| 天天干天天操天天拍| 超碰色综合| 美女人妻色网站| 亚洲欧美日韩免费观看| 99国产精品久久久久久久成人热| 91丨豆花丨熟女| 男人的天堂在线| 一区二区三区四区免费视频| 97K超碰在线| 91精品成人www| 精品国产一区二区三区在线播出| 四虎免费视频| 五月天婷婷欧美三区| 五十路熟女人妻一区二区三区四区五| 91欧美长吊| 夜嗨影院| 蜜桃精品视频一区二区三区| 日韩乱伦视频| 性色综合网| 中文字幕制服欧美久久一区| 综合在线导航一区| 日本福利二区视频| 日韩视频中文字幕| 91激情国产| 99热91| 淫荡网址| 亚洲黄a三级三级三级看三级| 国产AV精久久| 夜色91| 曰本91情色| 色噜噜狠狠色综合日日| 特级特黄一级毛片免费| 99色热| 偷拍伦理视频| 国产久久av| 亚洲欧洲激情卡通另类文学四射小说网站| 亚洲国内精品成人不卡| 射 色综合| 日韩一性一交一A片俄罗斯| 欧美高清第一页| 日本天堂在线播放| 二三四区精品| 台湾大香蕉99热| 超碰99在线| 日本精品无码三级网站| 免费人成毛片乱码| 日骚逼视频| 亚拍在线| 国产原创精品| 天天爽天天| 九九国产热| 天天操人人操狠狠插| 亚洲欧洲日韩中文字幕一区| 亚洲视频二区| 欧美日本天堂| 69视频福利导航| 人妻天天夜夜爽一区二区| 美女91在线观看| 国产高潮AA片免费看| 国产精品网址| 久久黄片国产一区二区| 影音先锋视频在线| 天天综合91入口| 久久神马影院| 亚洲欧美精品久| 久久久啊啊| 99re视频在线观看这里只有精品| 欧美性生活综合| av无码av无码专区| 日韩精品1区2区中文字幕| 午夜人人操| 国产老女人久久毛| 偷拍综合网| 亚洲丝袜诱惑| 日韩成人性日韩成人性爱视频在线免费观看| 夜夜久久久| 交换娇妻呻吟声不停中文字幕| 国产精品96| 狠狠操,使劲操| 外站AV在线| 久久激情婷婷| 91啦人妻| 美女9118禁| 97精品97久久| 九九九九一区| 亚洲男人在线观看天堂| 超碰在线人人射| 久久夜夜| 欧美国产精品久久九九| 国内毛片热久久思思热| AA特级绝黄| a在线视频免费观看| 啪啪啪综合网| 麻豆视频test| 欧美日韩婷婷中文| 97资源站久久| 天久久久噜噜噜久久国产精品爽爽| 欧美激情精品| 日韩性爱1级片视频| 欧美一区二区三区入口| 东北操逼| 97热视频在线观看| 蜜臀一二三区| 伊人加勒比| 国产亚洲性生活视频播放| 日韩 欧美 视频 在线 一区| 蜜臀国产AV中文字幕| 久久这里精品国产99丫e6| 97超碰免费生活| 精品丰满熟妇人妻一区| 人人爱人人乐人人操| 日本三级A片网站com| 欧美视频一区二区在线| 中文字幕久久精视频久久大全| 日韩中文字幕国产| 色婷婷综合网| 亚洲熟久久| 亚洲性天堂| 国产精品毛片?v一区二区三区| 久久精品性| 夜夜爽妓女| 亚洲激情深爱文学小说网站| 亚洲啪啪视频免费| 爱我干综合| 日本精品免费一区二区三区四区| 久久一区二区蜜桃| 婷婷深爱五月| 日韩精品三级片长长久久| 国产精品久久久久久久久久久久久久| 欧美日韩国产三级黄色| 九九玖玖精品| 高清视频一区| 免費黃色視頻觀看一| 97香蕉人人乳| 3PAV乱伦视频| 人人摸人人干| 色综合 加勒比| 精品无码久久久久久国产浪潮| 男人的天堂啪啪| 亚洲天天精品| 狠狠操夜夜| 91在线精品| 青娱乐蜜桃臀AV色婷| 男人天堂东京热| 亚洲Av无码成人精品国产| 亚洲。日韩。欧美| 26UUU欧美激情一区二区| 精品妇女一区二区三区| 青青五月天| 亚洲欧洲日韩国产自在线| 午夜欧美J进J出白浆流出久久久| yaouchengrenav| 情侣开房子拍 日韩无码 女的很漂亮| 老熟女综合网| 亚洲激情网| 国产国产亚洲一二三久久| 女同性恋久久| 97中文综合| 国产呦精品一区二区三区下载| yy少妇精品久久| A级毛片在线看免费| 中文字暮97| 中文字幕三四五区| 美女诱惑1区2区| 偷拍超碰| 91丝袜激情在线 | 色97综合中文字幕| 熟女突然公开看18禁影片| 中文字幕久久亚州无码| 秋霞免费AV| 97 亚洲 日韩 欧美 在线| 97碰久久| 手机在线播放国产福利| 97超碰精品成| 精品黑人一区二区| 亚洲交换| 伊人色综合网电影| 台湾佬中文娱乐网久久久久久久久久com| 日韩中文字幕2020| 久久久月天| 日本精品国产视频| 亚洲综合性感在线| 亚洲日本激情| 乱色老一区二区三区的观看方式| 亚洲狼狼干综合1| 操婢日韩| 日本999精品视频| 成人无码在线超碰网| 香蕉免费一区二区三区不读| 欧美黄色大香蕉一区二区| 97超级久久| 91青视频| 欧美精品23| surenchaopeng| 欧美一级做a爰片免费视频| 精品传媒在线一区| 精品国产乱码久久久兰草影视| 国产精品一区二区 尿失禁| 老熟女综合网 | 99精品人妻| 97香焦色区| 久久黄色性爱视频| 久久久久久九九九| 日本久久999| 天美av在线观看| 日韩亚洲国产视频| 色婷五月天| 麻豆国产97在线| 啊啊啊啊好疼视频| 真实高潮91| 91干熟女| 黄色免费网| 超碰在线91| 亚洲激情综合另类男同| 性感美女91影视| 超硑97精品| 免费观看啪视频| 天堂69亚洲精品中文字| 床戏久久久av一区二区麻豆| 日本99一区二区| 五月婷婷啪啪| 肉嘟嘟www视频在线观看高清| 成人蜜乳小视频网站| 一本大道久| 久干网| 粉嫩av在线一区二区| 97在线免费看视频| 欧美黑人168页欧美黑人167| 60秒免费小视频| 久久国产精品91| 国产激情视频在线观看| 99精品成人免费看| 啪啪AV导航| 国产美女口爆吞精视频| 婷婷婷婷婷婷久久久久| 超碰美国| 日日嗷| AV老汉| 人妻熟女av国产网站| 激情婷婷丁香| 色色国产| 天天干天天狼在线视频| 日韩成人精品| 影音先锋每日最新资源在线观看| 精品国产av一区二区三区四区入口| 欧姜老司机| 久久大香蕉97| 99热一区二区三区四区| 精品国产乱子伦一区二区三区,精品一| 精品一区二区2| 女人天堂网| 白嫩91在线亚洲| 亚洲日韩97| 丝袜美腿丝袜| 最近二区三区视频大全| 又粗又长又大国产不卡| 深夜福利黄片| 精品国产三级av韩国在线| 日本熟女不卡视频| 熟妇的味道HD中文字幕| 日韩无码黄色片| A 天堂在线观看视频| 睡产熟女乱伦| 成人欧美一区二区三区黑人一| 亚洲欧美精品91| 神马福利久草| 美女大乳久久久久久久女人18| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 99国产精品免费| 97 九色| 男人的天堂在线| 极品一区二区三区免费| 超碰久超碰久| 亚洲日韩人妻中文字幕一区| 日本熟女免费視颖| 色综合久| 久久国产三区| 用力操死我| 久污| 欧美春色| 91社区伊人| 天天插天天射| 亚州色交| 嗯嗯嗯啊啊啊操的我好爽| 美女主播色欲91抠b在线播放| 中文字幕伊人| 91丝袜在线观看| 中文字幕精品一区欧美| 激情久久久| 国产SV一线| 天堂av最新电影网| 亚洲婷婷综合网| 日韩精品在线观看网站| 英伦大奶子熟妇吊带| 九99久久| 91精片| 伊人网免费视频| 少妇滛荡视频| 九区国产| 亚洲欧洲自拍| 精品成人亚洲午夜电影| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 欧美熟女妇同| 99热日| 国产精品网址| 一级黄色性爱A级片| 97色色色| 亚洲国产福利视频| 中文字幕奈奈美被公侵犯| 屌色在线97视频| 青草影院内射高潮| 黄片视频,下载| 青青爽| 少妇高潮九九九九| www久| 色网亚洲人| 女人 A一级| 都市激情人妻一区二区青青操视频 | 一级人妻性爱视频| 精品熟女一区=区三区| 精品人妻久久久久一区二区三区| 网页导航五月天免费一二三区| 欧美日韩国产男人| 国产一区二区免费福利片| 欧美三级一级| 欧美亚洲中文| 操死我干死我| 国产强奸乱伦欧美| 亚州性色| 夜夜草网站| 亚洲色图日韩丝袜制服一区二区五月在线| 高清无码 国产精品| 天堂网 主播 亚洲| 九七人妻在线| 温婉少妇玩3p| 日韩美女高潮喷水视频| 国产精品视频自拍在线| 欧亚第一综合网| 青娱乐二区免费| 黑丝91视频| 午夜男女爽爽大片免费观看| 综合网久久| 欧美性爱无码一区二区三区| 亚洲成人妻日韩在线| 午夜一级免费毛片| 久久久内射良家| 久久亚洲av成人无码国产| 亚洲成人在线乱码色午夜| 激情AV| 欧美日韩在线小说 | 在线日韩精品一区二区三区| 欧美日韩亚洲天堂网| 一个人免费视频观看在线WWW| 天天碰操中国年青熟妇| 色在线亚洲视频www| 欧美日日人人天天| 日本 欧美 亚中文字幕| 97在线视频观看| 澳门色噜噜色噜噜色噜噜色噜噜色噜噜| 色噜噜婷婷| 97色碰| 情色五月天网| 综合色图区| 丁香婷婷五月| AV在线播放网址| 麻豆天美国美国产AV| 久久这里只精品免费福利| 91超碰碰在线| 欧美久久九九| 国产精品一级毛片不卡视| 亚州欧美另类| 97久久久精品| 99热色精品| 国产精品久久久久久高清无码免费看 | 日本一天色道久久久精品视频| 在线观看亚洲专区| 久久久久99999| 久偷拍欧美日韩三区| 九九九九久久久| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 99久久9| 岛国大片国产| 欧美日韩国产色图在线| 超碰午夜| 91丝袜美腿网站| 女人双腿搬开让男人桶| 亚欧高清| 久久精品国产亚洲av水密被窝| 性性久久| 丝袜狠狠草尤物人妻av91| 岛园激情| 伊人成人情色综合| www色婷婷| 欧美一级久久久久久久大片动画| 黄骗免费网站| 天堂亚洲欧美| 99热99re6国产在线播放| 欧美熟妇乱码在线一区| 欧美在线干| 欧美成人四级在线播放| av网站国产主播在线| 久久高潮妇女视频| 久男人久久| 天天干人妻| 97免费视频网| 一区二区首页| av婷婷色网| 婷婷久草一区二区三区| 国产激情综合| 91精品国产高清久久久久久,亚洲成人 | 日韩乱插| 亚洲欧美日韩精品久| 日韩精品在线观看观看| 在线毛片片免费观看| 欧美日韩97| 天天综合网在线观看| 91青青在线| 情色大香蕉| 18精品一二区| 欧美高清91| 97久久超碰亚洲| 清纯唯美综合亚洲| 日韩精品人妻中文字幕不卡乱码| 日本一级特级毛片视频| 夜草网站| 激情AV| 国产一区二区在线播放量| 东北熟女91| 精品九九九九九九| 97精品视频| 国产精品com| 中文字幕黄片在线| 自拍偷拍草一草| A级毛片在线看免费| 欧美日韩另类在线| 成人亚欧免费视频| 午夜精品探花| 女人爽到高潮潮喷18禁网站| 99综合视频一体| 99在线免费视频| caopeng97| 校园春色综合色| 天天干人妻| 国产视频97| 欧美综合第一页| 国产 日韩 欧美一区| 手机午夜电影神马久久| 狼狼色丁香久久婷婷综合五月| 亚洲日韩美国人妻| 成人精品在线| 强奸少妇AV导航网| 色欲色香天天天综合网www-亚洲综合国| 男人把坤坤插入女人的下体| 999久久久久久久久| 国产熟妇 码视频户外直播| 免费福利视频中文字幕| 亚洲超碰AV| 97亚洲性爱| 人妻在线大香蕉| 亚洲精品熟妇1区2区3区。| 久久久久久九九九| 奇米狠999| 91视频国品一二三区| 综合久欧洲| 日韩特一级久久| 尤物av网站免费在线播放| 免费一级a毛片久久久久久鸭绿欲 国产精品亚洲天堂网址 | 午夜高清成人在线视频| 99re6久热只有精品6在线直播| 欧美熟妇亚洲版| 懂色Av一区二区三区| 亚欧毛片基地国产毛片基地| 国产成人无码久久精品| 国产性感在线观看| 久久久极品| AV和黑人在线播放| 欧美久久九九| 91激情国产| 日欧操屄| 久久久久久久一级黄色打同平台| 中文一区在线日| 在线观看中文字幕| 人人做人人妻人人夜视频| 嗯嗯嗯,草死我| 大粗鳼巴久久久久| 欧美日韩国产三级黄色| 91n.欧美| 天美传媒婬乱| 日本精品不卡一二三区| 中国黑人三级片网站上区| 久久久久女教师免费一区| 日本午夜福利视频| 九久久精品| gogogo免费高清看中国国语| 啊啊啊啊嗯嗯嗯用力好爽 | 国产欧美美女免费观看视频| 中日韩免费看男女操逼大全| 亚洲国产欧美中文永久| #NAME?| 亚洲国产一级黄色视频| 日本久久99| 天天操熟妇| 中文字幕交换人妻| 干B| 国产9 9在线 | 亚洲| 亚洲有码 视频一区| 新怡红院| 91久久久久久久久18| 97热视频在线观看| 搞中出久久| 色鬼在线综合| 精品国产三级av韩国在线| 淮穴色AV| 国产99999| 亚洲人成网www| 亚洲精品91| 先锋精品av色鲁| 熟妇人妻丰满久久久久久久无码| 国产精品久久久三级无码| 天天综合网合集91| 99热只有这里有精品| 中文字幕精品三级久久久| 中文字幕狠狠玩| 中文字幕午夜精品久久久| 国产一区二区三区导航| 黑人综合色| 免費黃色視頻觀看一| 九九九成人| 91粉芽高清在线一区二区| 97碰碰色| 九九无码久久精品视频| 日本超碰在线国产一区| 色色97爱| 日韩精品.久久精品.AV女优.天美传媒| 亚洲自拍97| 色女网日韩| 久久久久久久久久久免费精品| 久久久久久久国产| 日韩欧美综合激情| 一本色道久久综合亚洲二区三区| 99在线观看| 九九九久久久| 久插综合| 激情啪啪拍91| 中文字幕后石码四区五区| 美国一区二区免费视频| 色哟哟AⅤ| 天天干天天中出av| 亚洲精品无码少妇久久| 久久天堂网| 久久麻豆一区二区| 男女性无套 免费九一| 久热免费视频| 久久精品区| 北京专精特新企业招聘信息| 无码高清操逼网址| 懂色av中文字幕一区二区三区天美 | 女人喷水视频在线观看| 91在线国产后入风骚翘臀美女素人| 1024人妻| 成年人三级黄色片视频| 后入人妻无码| 亚洲国产综合视频| 亚州综合AⅤ| 蜜桃天美传媒AV一区二区三区| 色婷婷成人| 精品国产乱码| 啊啊啊啊免费视频| 日韩懂色网| 丁香六月综合激情| 欧美黄色大片在线观看| 加勒比海人人操超碰在线| 中文字幕88av在线| 婷婷导航| 国产欧美亚洲精品a第2页| 91久久国产综合精品| 日本一级性爱| 天天谢天天干| 亚洲熟女综合网| 综合激情一一91| 欧美中文字幕男人天堂久久精品| 日韩精品黄片免费观看| 人人弄人人摸| 超碰久超碰久| 婷婷九月国产| 国产农村妇女精品1区二区| 99热自拍| 成人午夜小视频手机在线看| 日韩黄片影院| 亚洲图片欧美色| 脫衣舞一区二区三区| 99在线精品视频| 日本 情色 1区2区3区| 青娱乐大香蕉| 怡红院怡春院| 午夜男人天堂| 97资源制服丝袜| 97啪啪| 亚洲最新av无码成人精品区| 成人小说另类在线| 亚洲熟女av中文字幕| 91麻豆天美国产欧美高潮| 日韩欧美偷拍美女视频| 精品乱子一区二区三区99| 中文字幕老熟妇黄色视频| 婷婷五月天影院| 美女一区二区国产精品| 欧美性爱1080p| 人人艹亚洲| 国产精品视频自拍在线| 亚州熟女乱伦| 久久久久久网址| 国产精品久久久啊| 超碰95| 久久久少妇| 青青草国产欧美非洲黑人| 天天综合官网| 大香蕉综合网| 天天综合网日韩| 女人天堂av在线播放| 综合网欧美| 久久AV无码AV| 欧美色www亚洲国产阿娇要播| 91综合网| 日韩免费高清大片在线| 国产精品盗摄 偷窥盗摄| 亚洲av综合伊人久久| 日韩高清黄片| 粉嫩粉嫩一区性色AV片| 97精品视频免费| 神马久久久久久久久久| 97AV在线免费观看| 国产精品国产| 91天美免费| 国产精品欧美在线观看| 嗯嗯啊好爽| 国内精品嫩模A∨私拍小视频| 国产精品久久久无码aV去| 国产操逼视频在线观看| 伊人网综合在线视频| 99热只有这里有精品| 国产欧美一区激情交| 黄污污污污| 97色爱| 欧美精品久久| 欧美视频一区二区三区| 97超碰超碰| 飘花国产午夜精品不卡| 激情视屏国产乱伦强奸| 激情六月婷婷| 麻豆福利视频导航| 在线色资源| 欧州91高潮| 午夜亚洲国产理论秋霞| 青娱乐日韩无码| 久久综合18p| 精品久久九| 大香蕉狠狠爱| 免费αV在线视频| 激情啪啪拍91| juliaann精品熟女一区| 亚洲综合一| 国产400孕妇孕交群| 精品人妻一区二区视频| 99视频只有精品| 中文字幕人妻色偷偷久久皮| 男人天堂毛片| 色y情视频免费看| www.91色| 蜜桃色院一区久久| 伊人网高清| 情色五月天久久久| 亚洲熟妇AV日韩熟妇在线| 国产捆绑一区| 国产又操| 97日视频| 亚洲另类天堂| 国产成人精品亚洲日本| 熟啊v色欧美热| 国产白丝网站| 中文字幕亚洲永久精品| 极品五月天噜噜| 97网站在线观看| 樱花蜜乳av| 91在线欧色| 亚洲日精品| 性开放中文AV高清无码免费看| 99热99re超碰精品| 黑人精品欧美一区二区蜜桃| 日韩精品色呦呦| 麻豆天美电影一区二区| 人妻少妇精品无码专区二区密桃| 欧美一区二区福利在线| 美女人妻色网站| 欲色综合| 成年女人18级毛片毛片免费观看| 伊蕉97蜜桃97狠狠综合干| 久久亚洲AV无码白度| 操一区| 欧美色图99| 亚洲制服欧美另类内射| 久久精品夜色国产亚洲AV| 一级做a爰片性色毛片久久| 五月天色图影视| 97久操| 日本123区操B视频| 欧美一品道| 欧美经典一区二区三区| 91丝袜激情在线| 91伊人久| 国产美女91视频| 欧美人与动性人交a| 人夜夜精品网站香蕉嫩草| 欧美色蜜桃97| 超碰av在线| 高清视频一区| 久久女人一区二区三区| 男人的天堂com| 大香蕉啪啪啪| 女优大全 - 91n| 午夜免费视频1000| 蜜臀久久99精品久久久久久婷婷 | 欧美色图亚洲特色| 欧亚无码视频| 超清中文乱码字幕| 9九九九九视频在线观看| 日韩在线电影| 91亚州日韩高清| av网站在线看| 午夜欧美J进J出白浆流出久久久 | 1000午夜黄色| 亚洲天堂区| 久久在肏| 性爱久久| 国产精品999aaa| 激情露脸爱| 大香蕉视频一二三区| 人妻熟女字幕一区二区| 天天亚洲| 韩国轻伦国内自拍一区| 色哟哟AⅤ| 欧美日韩人妻婷婷一区| 久久性爱大全| 蜜臀久久99精品久久久久久婷婷| 天美av在线观看| 91久久九九精品国产综合| 麻豆精品天美| 欧美一区二区三区日韩| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 久96热在线观看视频| 18岁禁 茉莉成人久久| 国产精品麻豆视频网站| 天天干人妻视频| 婷婷成人久久久精品| 大香蕉www.超碰| 亚州高清AV| 欧美激情 日韩精品| av在线免费一区二区| 精品人妻一区二区免费看| 欧美日韩免费专区在线| 欧美性,亚州色| 亚洲国产奇米影视久久| 亚洲中文字幕久久无码精品| 清纯唯美激情四射| 国产网站在线播放| 久久春色| 亚洲综合贴图91 | 日韩小电影| 色麻豆AV| 欧美乱色| 人人做人人妻人人夜视频| 欧美亚洲中文| 天操天操夜操夜月操月年年操操| 青青国产精品在线| 日本女优在线视频福利| 青草精品视频-日本久久久久网站| 成人熟女区| 久久精精区一区二区一蜜桃一区二区| 在线色导航| 久久久96| 精品少妇一区二区| 日韩精品9999| 成人五月香网在线| 综合免费无码中文| 84YTCOM性无码| 97日韩欧美亚洲| 动漫av中文| 中文字幕精品人妻丝袜| 女人爽到高潮潮喷18禁网站| 久久久精品91八戒| 亚洲熟女综合一区二区| 99热大香蕉伊在线| 麻豆人妻少妇在线免费观看| 久久精品人体AV| 亚洲经典啪啪| 男女激情黄色网址| 欧美大香蕉久| 亚洲欧美首页| 欧美天天影院| 超碰视97中文| 西西美女视频网| 亚洲丝袜少妇在线| 日韩偷拍色图| 亚洲久热| 色香色欲天天综合网天天来吧| 欧美日韩性爱电影在线| 国产老女人久久毛| 91丰满| 久久成人东京热人妻| 97se综合网| 鸡巴插逼视频| 国内91熟女人妻丝袜天天精品视频在线| 日韩亚洲中文字幕在线| 精品蜜乳AV免费观看| 天天综合网在线观看| 97精品全部| 91老妇女| 欧美91网| 91美| 欧美综合1性辶| 免费精品AB| 88在线一区二区三区| 嫩草 我啊~嗯~在线| 欧美超碰人妻97| 婷婷亚洲天堂| 日韩乱伦视频| 国产精品久久久久久片| 夜夜影视四色| 国产区91柔拿会所技师| 91成人久久| 亚洲 国产 精品一区| 人妻日日干| 人妻中文字幕日韩电影| 欧美性巨大╳╳╳╳╳高跟鞋| 狠狠色噜噜狠狠狠狠狠色综合久久| 欧美少妇性爱网站| 国产激情av女片自拍| 亚洲精品日日夜夜52|