日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

STM32MP257異構(gòu)多核實(shí)戰(zhàn):M33+FreeRTOS與OpenAmp通信避坑指南

STM32MP257異構(gòu)多核實(shí)戰(zhàn):M33+FreeRTOS與OpenAmp通信避坑指南 前陣子負(fù)責(zé)一個(gè)需要同時(shí)兼顧 Linux 生態(tài)和實(shí)時(shí)控制的項(xiàng)目最終把選型落在 STM32MP257 上。這顆芯片最大的看點(diǎn)是 Cortex-A35 旁邊那個(gè) Cortex-M33 核用 FreeRTOS 在里面跑實(shí)時(shí)邏輯再通過 OpenAmp 和 Linux 側(cè)做無感通信。很多人一聽到 MPU 就以為又是嵌入式 Linux 那一套實(shí)際上 M33 FreeRTOS 才是真正決定項(xiàng)目成敗的部分。這篇文章從 SDK 目錄結(jié)構(gòu)、啟動(dòng)順序、DTS 內(nèi)存預(yù)留一直聊到 RPMsg 收發(fā)、緩存一致性、量產(chǎn)心跳監(jiān)控的完整過程。準(zhǔn)備在 STM32MP25x 上做異構(gòu)開發(fā)的朋友可以直接當(dāng)避坑手冊(cè)用。1. 從MP1到MP2為什么這次我選了STM32MP257的M33核1.1 STM32MP257不是又一個(gè)跑Linux的開發(fā)板STM32MP257 屬于 STM32MP25x 系列內(nèi)部是多核異構(gòu)架構(gòu)。主處理器是 Cortex-A35可以跑完整的 Linux協(xié)處理器是 Cortex-M33適合跑裸機(jī)或者 FreeRTOS。很多人看到 MPU 的第一反應(yīng)是“主頻多少、內(nèi)存多大、能不能跑容器”但這些指標(biāo)只衡量了 A35 那半邊。真正讓 MP257 和普通 Linux 板卡拉開差距的是那顆 M33 核。傳統(tǒng)做法里如果一個(gè)系統(tǒng)既需要 Linux 的業(yè)務(wù)吞吐又需要對(duì)電機(jī)、IO、協(xié)議棧做“微秒級(jí)響應(yīng)”往往會(huì)外掛一顆 MCU比如 STM32F4 或者 GD32。主 SoC 和 MCU 之間用 UART、SPI、CAN 通信。通信協(xié)議自己要定義可靠性自己要保證板級(jí)面積和功耗也多了一份。MP257 把 M33 做進(jìn)同一顆 SoC兩個(gè)核之間的通信通過共享內(nèi)存和硬件郵箱完成延遲比外掛串口低一兩個(gè)數(shù)量級(jí)。從項(xiàng)目角度講這意味著可以省掉一顆外部 MCU減少整個(gè) BOM 的物料種類和貼片面積。另一方面M33 與 A35 共享同一片 DDR通過 RPMsg 傳數(shù)據(jù)天然比“外部 MCU 串口 協(xié)議解析”更穩(wěn)。當(dāng)然省掉外部 MCU 不意味著省事因?yàn)榭绾苏{(diào)試、內(nèi)存隔離、固件加載這些問題全部從硬件層級(jí)轉(zhuǎn)移到了軟件工程里。1.2 M33核在整個(gè)系統(tǒng)里的角色實(shí)時(shí)性與安全島M33 在 MP257 里承擔(dān)什么角色直接決定了 FreeRTOS 工程怎么寫。如果只是想讓 A35 跑 LinuxM33 跑一個(gè)流水燈那這顆核就浪費(fèi)了。我這次項(xiàng)目里M33 要做三類事第一類是硬實(shí)時(shí)控制。比如電流環(huán)的 PWM 更新周期是 20kHzLinux 的調(diào)度根本保證不了這種確定性。M33 本身就是單片機(jī)內(nèi)核配合定時(shí)器中斷能穩(wěn)定完成。第二類是高速 IO 響應(yīng)。MP257 有不少 GPIO 和低速外設(shè)掛在 M33 側(cè)比如部分 UART、I2C、SPI、定時(shí)器。把這些外設(shè)放在 M33 上A35 側(cè) Linux 發(fā)生調(diào)度抖動(dòng)或者網(wǎng)絡(luò)風(fēng)暴時(shí)M33 依然能按自己的節(jié)奏處理。第三類是安全兜底。Cortex-M33 支持 TrustZone可以把一部分敏感邏輯放在安全世界里。即使 Linux 側(cè)被攻破M33 里的安全固件仍然可以獨(dú)立運(yùn)行。不能說這是百分之百的安全方案但相比“所有邏輯都跑在同一個(gè)非安全環(huán)境下”攻擊面小了很多。換句話說M33 不是一個(gè)“附贈(zèng)品”而是一塊獨(dú)立的實(shí)時(shí)島。FreeRTOS 在這個(gè)島上跑OpenAmp 是島和大陸之間的橋。橋怎么搭比島上怎么蓋樓更重要。1.3 和MP157對(duì)比M33核的資源邊界用過 STM32MP157 的人應(yīng)該知道MP157 的協(xié)處理器是 Cortex-M4主核是 A7。到了 MP257主核升級(jí)為 A35協(xié)處理器升級(jí)為 M33。M33 相比 M4多了 TrustZone、MPU以及更完整的中斷控制器支持。單看頻率M33 在 MP257 上通常能跑幾百 MHz算力比老 M4 有提升但和 A35 不是一個(gè)量級(jí)。M33 可訪問的資源不是無窮的。它有自己的 TCM、SRAM也能通過總線訪問 DDR。但 A35 上的 Linux 訪問同一片 DDR 時(shí)會(huì)涉及緩存一致性問題。簡(jiǎn)單說M33 寫的內(nèi)存數(shù)據(jù)如果只是停在 CPU 的 cache 里A35 讀到的可能是舊值反過來也一樣。所以我們?cè)谠O(shè)計(jì)共享內(nèi)存時(shí)必須明確這塊內(nèi)存是否允許 cache或者由軟件主動(dòng)做 clean/invalidate。還有一個(gè)容易被忽略的地方M33 側(cè)能用的中斷不是所有 GIC SPI 都可以隨便綁。很多中斷源在硬件層面就固定了只能到 A35 或者只能到 M33。開始畫系統(tǒng)框圖前一定要對(duì)著參考手冊(cè)把每一條中斷線捋清楚否則后面寫代碼時(shí)才發(fā)現(xiàn)某個(gè)外設(shè)的中斷根本到不了 M33只能換方案。2. 動(dòng)手前必須理清的啟動(dòng)鏈與資源分配2.1 復(fù)位后的內(nèi)核啟動(dòng)順序A35先跑還是M33先跑很多第一次做 AMP 的人都會(huì)問上電后 M33 要不要自己?jiǎn)?dòng)FreeRTOS 是不是和 A35 的 Linux 一起跑答案要分階段看。MP257 默認(rèn)上電流程里ROM 引導(dǎo)鏈先啟動(dòng) A35 這一路上的 bootloader也就是 FSBL、TF-A、U-Boot最后進(jìn)入 Linux。M33 固件并不會(huì)自動(dòng)跑起來它需要由 A35 側(cè)的軟件通過 remoteproc 機(jī)制加載并啟動(dòng)。這個(gè)設(shè)計(jì)其實(shí)是刻意的M33 跑什么、什么時(shí)候跑、啟動(dòng)后加載到什么地址應(yīng)該由整個(gè)系統(tǒng)的管理者這里通常是 Linux統(tǒng)一決策便于控制資源。所以項(xiàng)目調(diào)試初期最方便的做法是讓 Linux 起來之后用 remoteproc 接口把 M33 的 elf 文件加載到指定內(nèi)存然后觸發(fā)啟動(dòng)。命令大概是echo start /sys/class/remoteproc/remoteproc0/state如果希望系統(tǒng)上電后 M33 自動(dòng)運(yùn)行可以在 U-Boot 階段通過rproc start啟動(dòng) M33。兩套方案我建議初期先全部用手動(dòng)方式確認(rèn)固件和共享內(nèi)存配置無誤后再優(yōu)化成自動(dòng)啟動(dòng)。原因很簡(jiǎn)單手動(dòng)啟動(dòng)時(shí) M33 出了問題你可以直接在 Linux 側(cè)重啟它不用反復(fù)燒錄整個(gè)系統(tǒng)。2.2 給M33分配內(nèi)存DTS reserved-memoryM33 固件要放在內(nèi)存里跑它和 Linux 的通信緩沖區(qū)也要放在內(nèi)存里。這里的難點(diǎn)在于Linux 自己也要用內(nèi)存如果 M33 使用的區(qū)域被 Linux 分配給別的進(jìn)程兩邊數(shù)據(jù)就會(huì)互相踩。所以第一步是在 Linux 的設(shè)備樹里把這些內(nèi)存區(qū)域聲明為 reserved。設(shè)備樹里常見寫法reserved-memory { #address-cells 2; #size-cells 2; ranges; m33_fw0x10000000 { reg 0x0 0x10000000 0x0 0x1000000; no-map; }; m33_rsc: m33-share0x10010000 { compatible shared-dma-pool; reg 0x0 0x10010000 0x0 0x100000; no-map; }; };這里no-map很關(guān)鍵。它告訴 Linux這塊區(qū)域不要建立頁表映射也不要給普通進(jìn)程用。M33 的固件代碼、資源表、共享內(nèi)存都放在這類區(qū)域里。如果沒有no-mapLinux 的頁表可能把這部分內(nèi)存映射為可緩存后面出現(xiàn)各種匪夷所思的奇怪錯(cuò)誤。DTS 里還要將遠(yuǎn)程處理器節(jié)點(diǎn)指向這塊共享內(nèi)存。以官方 SDK 的常見方式為例rproc 節(jié)點(diǎn)會(huì)引用 reserved-memory 中的地址Linux remoteproc 驅(qū)動(dòng)才知道加載固件到哪里以及從哪個(gè)地址讀取 M33 的資源表。這里所有地址必須是物理地址而且要和 M33 固件編譯時(shí)的鏈接地址嚴(yán)格一致。2.3 resource table和固件加載M33 固件和普通 MCU 固件有個(gè)很大的不同它需要附帶一個(gè) resource table。這個(gè)表是給 Linux remoteproc 驅(qū)動(dòng)的“配置清單”里面描述了 M33 側(cè)需要的內(nèi)存、vring 地址、備用資源等。Linux 啟動(dòng) M33 前會(huì)解析這個(gè)表把對(duì)應(yīng)的資源映射給 M33。在 M33 側(cè)工程里resource table 通常是一個(gè) C 結(jié)構(gòu)體。重點(diǎn)是里面的 vring 地址。vring 是 OpenAmp 用于兩個(gè)核之間傳遞消息的“環(huán)形緩沖區(qū)”它必須位于兩塊都很容易訪問且不會(huì)被動(dòng)過的內(nèi)存區(qū)域。我建議直接把 vring 放在 reserved-memory 里并且地址按 64 字節(jié)或者 4KB 對(duì)齊。對(duì)齊問題后面會(huì)展開這里先記住不要把這些緩沖區(qū)定義在 M33 自己的 TCM 里因?yàn)?A35 訪問 TCM 的路徑和訪問 DDR 不同鏈路更慢還容易引發(fā) cache 問題。固件加載方式上官方 SDK 提供了一套 Yocto 工程也提供了預(yù)編譯的 Demo 固件。剛開始不需要自己從頭寫鏈接腳本直接基于官方例程改會(huì)更省事。但你必須把鏈接腳本里 RAM 區(qū)域的起始地址和 DTS 里的 reserved-memory 對(duì)應(yīng)起來否則固件能加載但運(yùn)行時(shí)立刻 HardFault。3. FreeRTOS在M33上的移植看著像M4實(shí)際上三處不一樣3.1 拿SDK的例程改還是從零移植STM32MP257 的 M33 完全可以直接跑 STM32Cube 系列的 HAL 庫。ST 官方提供的 OpenAMP 例程里M33 側(cè)工程一般用的是 CM33 內(nèi)核文件、HAL 驅(qū)動(dòng)和 FreeRTOS 移植層。如果你熟悉 STM32F4/F7 的 CubeMX 工作流上手這個(gè)平臺(tái)并不難。但我不建議直接把老工程的 FreeRTOS 文件拷過來用。M33 和 M4 的底層差別不小TrustZone 會(huì)讓內(nèi)存和中斷分成安全/非安全兩組MPU 的單元數(shù)、內(nèi)存屬性配置也和 M4 不同部分外設(shè)的訪問權(quán)限要顯式打開。哪怕只是從 F4 拷貝一個(gè)port.c都可能因?yàn)榈讓訁R編指令差異而編譯不過。比較好的路徑是先打開官方 M33 FreeRTOS 例程確認(rèn)能編譯能跑然后在此基礎(chǔ)上加入自己的任務(wù)、隊(duì)列和信號(hào)量。不要一開始就想著“我要寫一個(gè)最純凈的工程”在 MP257 上官方例程本身就是最可靠的地基。3.2 TrustZone帶來的隔離問題非安全態(tài)與安全態(tài)Cortex-M33 的 TrustZone 把整個(gè)系統(tǒng)劃分為安全世界和非安全世界。FreeRTOS 可以跑在安全態(tài)也可以跑在非安全態(tài)。ST 官方關(guān)于 M33 的 OpenAMP 例程通常讓 FreeRTOS 跑在非安全態(tài)因?yàn)檫@樣 Linux 側(cè)的 remoteproc 才能正常加載和調(diào)試固件。這帶來一個(gè)實(shí)際影響你在工程啟動(dòng)文件里需要配置 SAUSecurity Attribution Unit把大部分外設(shè)和內(nèi)存區(qū)域標(biāo)記為非安全。否則非安全態(tài)的 FreeRTOS 一訪問外設(shè)寄存器立刻觸發(fā) bus error。我第一次調(diào)的時(shí)候GPIO 初始化明明沒寫錯(cuò)但只要一碰GPIOA-MODER就進(jìn) HardFault查了半天才發(fā)現(xiàn)是 SAU 里完全沒有給外設(shè)開放非安全權(quán)限。如果項(xiàng)目里有安全需求可以把一部分邏輯放到安全側(cè)非安全側(cè)和 Linux 通信安全側(cè)負(fù)責(zé)校驗(yàn)密鑰、管理關(guān)鍵數(shù)據(jù)。不過這會(huì)成倍增加開發(fā)復(fù)雜度。沒有強(qiáng)需求的話建議先用官方例程的默認(rèn)配置跑通再考慮 TrustZone 的安全隔離。3.3 中斷配置與SysTickMPU、NVIC和GIC的邊界M33 在裸機(jī) MCU 上用慣了會(huì)覺得 NVIC 是理所當(dāng)然的中斷控制器。但在 MP257 里系統(tǒng)級(jí)中斷有兩個(gè)層次M33 內(nèi)部有 NVIC同時(shí)芯片里還有一個(gè) GIC負(fù)責(zé)把各種外設(shè)中斷統(tǒng)一發(fā)給 A35 或 M33。GIC 發(fā)給 M33 的中斷會(huì)以 SPIShared Peripheral Interrupt的形式進(jìn) NVIC。因此在配置外設(shè)中斷時(shí)你不僅在操作 NVIC還要確保 GIC 側(cè)已經(jīng)使能了這條中斷線。Linux 側(cè)的設(shè)備樹里可能會(huì)把某些外設(shè)中斷指定到 M33。如果兩邊的中斷路由配置不一致M33 就永遠(yuǎn)收不到中斷。FreeRTOS 的 SysTick 在 M33 上仍然用于系統(tǒng)節(jié)拍。默認(rèn)情況下SysTick 是內(nèi)核私有定時(shí)器不需要經(jīng)過 GIC。但要注意如果在低功耗模式下關(guān)閉了內(nèi)核時(shí)鐘SysTick 也會(huì)停擺導(dǎo)致 FreeRTOS 時(shí)間片失效。這個(gè)問題在“M33 側(cè)進(jìn)入 Stop 模式”的低功耗項(xiàng)目中特別明顯后面量產(chǎn)收尾部分再細(xì)說。3.4 堆棧與MPU給FreeRTOS任務(wù)畫好“安全圈”FreeRTOS 移植好之后第一件事不是急著跑 OpenAmp而是先把多個(gè)任務(wù)跑起來確認(rèn)調(diào)度器正常。任務(wù)棧大小設(shè)多少老手都會(huì)有自己的一套經(jīng)驗(yàn)但在 M33 AMP 場(chǎng)景里任務(wù)棧和共享內(nèi)存之間會(huì)互相擠占所以需要更謹(jǐn)慎。建議打開 FreeRTOS 的堆棧溢出檢測(cè)功能至少用configCHECK_FOR_STACK_OVERFLOW 2。這個(gè)選項(xiàng)會(huì)在任務(wù)切換時(shí)主動(dòng)檢查棧頂標(biāo)志能盡早發(fā)現(xiàn)棧溢出。我遇到過的情況是任務(wù)本身看起來沒炸但 OpenAmp 一端點(diǎn)在接收大包時(shí)遞歸調(diào)用了回調(diào)棧指針一路往下漲最后把另一個(gè)任務(wù)的棧踩了。MPU 的作用是把任務(wù)的內(nèi)存區(qū)域隔離開。M33 的 MPU 支持多個(gè) region可以把每個(gè)任務(wù)棧設(shè)置成獨(dú)立 region并設(shè)置訪問權(quán)限。這個(gè)做法的代價(jià)是任務(wù)切換時(shí) MPU 配置需要同步更新帶來額外性能開銷。我的建議是前期先用最簡(jiǎn)單的方式把所有內(nèi)存權(quán)限都放開專心調(diào)試業(yè)務(wù)量產(chǎn)前再評(píng)估是否要用 MPU 做訪問保護(hù)。4. OpenAmp不是庫是套路RPMsg那條通道怎么修通的4.1 OpenAmp在M33側(cè)的角色不是操作系統(tǒng)的對(duì)立面OpenAmp 的全稱是 Open Asymmetric Multi-Processing它本身不是操作系統(tǒng)而是一套跨核通信框架。M33 側(cè)OpenAmp 庫像是一層“中間件”跑在 FreeRTOS 之上負(fù)責(zé)管理消息通道Linux 側(cè)內(nèi)核 remoteproc/rpmsg 子系統(tǒng)提供了對(duì)等驅(qū)動(dòng)。兩邊用 RPMsgRemote Processor Messaging協(xié)議通信。很多人第一次接觸 RPMsg會(huì)把郵箱和共享內(nèi)存搞混。硬件郵箱是“敲門鈴”它只負(fù)責(zé)通知對(duì)方“我有數(shù)據(jù)了”本身不傳大數(shù)據(jù)。真正傳數(shù)據(jù)靠的是共享內(nèi)存里的 vring 和消息緩沖區(qū)。舉個(gè)例子A35 要給 M33 發(fā)一條 1KB 的控制指令實(shí)際流程是A35 把數(shù)據(jù)寫入共享內(nèi)存的某個(gè) buffer 中然后寫 vring 的更新信息最后觸發(fā)一個(gè)硬件中斷給 M33M33 收到中斷后從對(duì)應(yīng)的 buffer 取出數(shù)據(jù)。M33 側(cè) OpenAmp 的初始化代碼官方例程里能看到類似這樣的流程解析 resource table拿到共享內(nèi)存地址和 vring 地址。調(diào)用openamp_init初始化遠(yuǎn)程處理器框架。注冊(cè) RPMsg 端點(diǎn)和回調(diào)函數(shù)。等待 Linux 側(cè)啟動(dòng)通信。這里的關(guān)鍵是不要試圖把 OpenAmp 和 FreeRTOS 割裂開。OpenAmp 的任務(wù)、中斷處理、接收回調(diào)都要集成到 FreeRTOS 的調(diào)度體系里。如果直接在中斷回調(diào)里處理大量數(shù)據(jù)M33 的實(shí)時(shí)任務(wù)會(huì)被嚴(yán)重拖延。4.2 共享內(nèi)存與vring郵箱和消息池是兩回事把共享內(nèi)存的布局設(shè)計(jì)好OpenAmp 就成功了一半。我習(xí)慣把共享區(qū)域分成兩層第一層是resource table里面保存了 vring 的描述信息以及各端點(diǎn)需要的共享緩沖。第二層是 vring 本身它由多個(gè)描述符組成每個(gè)描述符指向真正的數(shù)據(jù) buffer。一個(gè)常見問題是vring 的地址沒有在 DTS 和 resource table 之間保持一致。Linux remoteproc 驅(qū)動(dòng)啟動(dòng) M33 時(shí)會(huì)從 resource table 讀 vring 地址再與 DTS 中的配置比對(duì)。如果兩邊對(duì)不上要么通信掛起要么握手失敗。不要相信“看起來差不多”的地址直接用十六進(jìn)制逐字節(jié)核對(duì)。還有一個(gè)容易被忽略的細(xì)節(jié)共享內(nèi)存區(qū)域的 cache 屬性。前文提到過no-map實(shí)際使用中還要明確這段內(nèi)存是配置成 cacheable 還是 non-cacheable。為了最簡(jiǎn)單的穩(wěn)定性我通常把 vring 和共享 buffer 標(biāo)記為 non-cacheable。這樣省去了手動(dòng) cache 操作的復(fù)雜度代價(jià)是訪問共享內(nèi)存的速度稍慢。對(duì)于 RPMsg 這種小報(bào)文場(chǎng)景性能完全能接受。如果一定要用 cacheable就必須在每次發(fā)送前做 clean接收前做 invalidate否則會(huì)出現(xiàn)“對(duì)方明明寫了數(shù)據(jù)我卻讀到舊值”的問題。4.3 從Linux側(cè)發(fā)起通信rproc_boot與rpmsg_client_sampleLinux 側(cè)內(nèi)核的 remoteproc 子系統(tǒng)負(fù)責(zé)管理 M33 生命周期。啟動(dòng) M33echo start /sys/class/remoteproc/remoteproc0/state停止 M33echo stop /sys/class/remoteproc/remoteproc0/state啟動(dòng)成功后Linux 下會(huì)多出一個(gè)/dev/rpmsg0設(shè)備節(jié)點(diǎn)。應(yīng)用程序可以像普通設(shè)備文件一樣打開它、讀寫數(shù)據(jù)。官方內(nèi)核里有一個(gè)rpmsg_client_sample模塊加載后會(huì)自動(dòng)創(chuàng)建一個(gè)端點(diǎn)往 M33 發(fā)一條消息然后等待回應(yīng)。這個(gè) Sample 是驗(yàn)證整條鏈路最好的工具modprobe rpmsg_client_sample如果 M33 側(cè)的 FreeRTOS 例程已經(jīng)跑起來但rpmsg_client_sample沒反應(yīng)多半是 vring 地址不對(duì)、共享內(nèi)存 cache 配置不一致或者 M33 側(cè)根本沒有注冊(cè)對(duì)應(yīng)的服務(wù)端點(diǎn)。4.4 M33側(cè)循環(huán)收發(fā)拷貝策略與中斷回包M33 側(cè)收到 RPMsg 消息后回調(diào)函數(shù)會(huì)被 OpenAmp 庫調(diào)用。這個(gè)回調(diào)是在什么上下文里執(zhí)行的根據(jù)官方例程通常是在 OpenAmp 自己的接收任務(wù)里或者在一個(gè)由信箱中斷觸發(fā)的傘形中斷中。無論哪種都不應(yīng)該在里面做耗時(shí)操作。正確做法是回調(diào)函數(shù)里把數(shù)據(jù)拷貝到自己的任務(wù)緩沖然后通知業(yè)務(wù)任務(wù)去處理。這里有個(gè)取舍拷貝會(huì)帶來額外開銷但換來的是任務(wù)調(diào)度更加解耦。如果控制數(shù)據(jù)只有幾十字節(jié)拷貝幾乎可以忽略如果是大數(shù)據(jù)塊你也可以只拷貝指針但前提是發(fā)送方在收到 ACK 前不能重用這塊緩沖區(qū)。為了降低復(fù)雜度我初期一直是直接拷貝穩(wěn)定優(yōu)先。另外要注意M33 收到消息后如果需要回復(fù) Linux應(yīng)該在發(fā)送完成后調(diào)用一次緩存清理操作確保 Linux 能讀到最新數(shù)據(jù)。RPMsg 的發(fā)送函數(shù)rpm_send內(nèi)部一般會(huì)做必要的 cache 處理但如果你在回調(diào)里直接操作共享內(nèi)存還是要自己把關(guān)。5. 真機(jī)聯(lián)調(diào)階段踩過的坑每一個(gè)都值得記下來5.1 現(xiàn)象M33內(nèi)核崩潰但Linux毫無察覺第一次跑通 OpenAmp 后我給 M33 加了一個(gè)比較復(fù)雜的控制任務(wù)結(jié)果發(fā)現(xiàn) M33 側(cè)代碼進(jìn)入 HardFault但 Linux 側(cè)毫不知情。A35 的 remoteproc 驅(qū)動(dòng)不會(huì)主動(dòng)監(jiān)測(cè) M33 是否還活著它只負(fù)責(zé)啟動(dòng)和停止。M33 死了Linux 上的/dev/rpmsg0依然存在但收不到任何響應(yīng)。排查時(shí)我一開始以為是 FreeRTOS 里的任務(wù)棧溢出就把configCHECK_FOR_STACK_OVERFLOW打開也加了棧水印打印。后來發(fā)現(xiàn)問題出在一個(gè)定時(shí)器中斷服務(wù)函數(shù)里我在中斷里訪問了一處被 Linux 占用的外設(shè)寄存器M33 總線上直接報(bào)錯(cuò)進(jìn)入 HardFault。這種問題最坑的地方在于M33 的 HardFault 如果不處理整個(gè) M33 就“死寂”了而 Linux 側(cè)只能通過它的心跳超時(shí)才能發(fā)現(xiàn)。所以聯(lián)調(diào)初期M33 側(cè)一定要加上故障打印并且把 HardFault_Handler 里記錄的關(guān)鍵寄存器通過串口輸出。否則出了問題你根本不知道是任務(wù)調(diào)度崩了還是外設(shè)訪問違例。5.2 現(xiàn)象OpenAMP握手失敗rpmsg創(chuàng)建不了端點(diǎn)第二個(gè)坑是 OpenAmp 的握手失敗。Linux 側(cè)rpmsg_client_sample加載后/dev/rpmsg0雖然創(chuàng)建了但 M33 側(cè)一直沒有日志輸出也不回包。我一開始重新編譯了固件檢查了 endpoint 注冊(cè)順序問題依舊。后來用調(diào)試器掛在共享內(nèi)存上查看 resource table 的內(nèi)容才發(fā)現(xiàn) vring 地址和 DTS 里預(yù)設(shè)的地址差了幾百字節(jié)。原因是我改了鏈接腳本M33 固件里的 resource table 被編譯器重新排版了但 DTS 里的 reserved-memory 還是舊地址。兩邊各自都“對(duì)”就是互相不對(duì)。這里給新手一個(gè)建議不要手動(dòng)修改 resource table 的存放位置除非你完全理解 OpenAmp 的加載流程。在任何一次鏈接腳本調(diào)整后都要重新生成 resource table并和設(shè)備樹比對(duì)。5.3 現(xiàn)象printf打印影響實(shí)時(shí)性M33 側(cè)調(diào)試時(shí)很多人習(xí)慣在任務(wù)里加 printf。這個(gè)思維是從 MCU 開發(fā)帶來的但在 MP257 上要特別小心。M33 的 printf 如果走串口而串口驅(qū)動(dòng)在 FreeRTOS 里用了阻塞式發(fā)送遇到波特率 115200 時(shí)一條幾十字節(jié)的日志就要占掉幾毫秒。對(duì)于 20kHz 的控制周期這是災(zāi)難。我的做法是聯(lián)調(diào)階段把 printf 重定向到共享內(nèi)存里的一個(gè)環(huán)型日志區(qū)Linux 側(cè)隨時(shí)讀取。正式運(yùn)行階段把調(diào)試 printf 用宏關(guān)掉只保留錯(cuò)誤級(jí)別日志。這樣既不影響實(shí)時(shí)性又能完整復(fù)現(xiàn)現(xiàn)場(chǎng)。5.4 調(diào)試手段用Linux的/dev/rpmsg0和M33的log互相印證AMP 聯(lián)調(diào)最大的痛苦是“兩邊都覺得對(duì)方?jīng)]發(fā)數(shù)據(jù)”。我的經(jīng)驗(yàn)是建立一套雙向的“回環(huán)測(cè)試”再開始業(yè)務(wù)邏輯開發(fā)。先讓 M33 收到什么就回什么然后在 Linux 側(cè)寫一個(gè)簡(jiǎn)單腳本往/dev/rpmsg0發(fā)一串遞增數(shù)據(jù)接收端校驗(yàn)是否原樣返回。跑通回環(huán)后再逐步加入業(yè)務(wù)。如果回環(huán)都過不了問題一定在底層資源配置或緩存一致性上不要往下寫業(yè)務(wù)。M33 側(cè)也要把日志做成“有向心跳”每收到一條消息就通過串口輸出一個(gè)序號(hào)。這樣即使沒有調(diào)試器也能確認(rèn) OpenAmp 的接收鏈路是通的。我實(shí)測(cè)下來這套方法能過濾掉八成以上的“疑似通信問題”。6. 量產(chǎn)前必須補(bǔ)上的收尾工作6.1 監(jiān)控M33心跳光靠watchdog不夠M33 側(cè)跑 FreeRTOS通常都會(huì)開一個(gè)獨(dú)立看門狗防止任務(wù)死鎖。但看門狗只能“發(fā)現(xiàn)死機(jī)后復(fù)位”恢復(fù)后 Linux 側(cè)怎么知道 M33 已經(jīng)重啟過這是量產(chǎn)前必須設(shè)計(jì)的。我建議在 Linux 側(cè)寫一個(gè)應(yīng)用周期性通過 RPMsg 向 M33 發(fā)送心跳查詢M33 在最高優(yōu)先級(jí)任務(wù)里回應(yīng)。如果連續(xù)若干次沒有回應(yīng)Linux 主動(dòng)stopstartM33。這樣 M33 即使崩潰也能在無人工介入的情況下自動(dòng)恢復(fù)。注意這個(gè)機(jī)制不能依賴簡(jiǎn)單的一問一答建議在心跳報(bào)文里帶序列號(hào)用于發(fā)現(xiàn) M33 是否發(fā)生過重啟。M33 側(cè)同樣要監(jiān)控 Linux 側(cè)的心跳。若 Linux 側(cè)卡死或者重啟M33 要能做安全保護(hù)比如把執(zhí)行機(jī)構(gòu)歸到安全位置。異構(gòu)系統(tǒng)不能只保護(hù)單側(cè)兩側(cè)都要有“對(duì)方可能死掉”的意識(shí)。6.2 低功耗時(shí)別忘了M33的電源域MP257 的功耗管理是個(gè)大話題A35 側(cè)的 Linux 有 CPUFreq、CPUIdleM33 側(cè)也有自己的低功耗模式。M33 進(jìn)入 Deep Sleep 前必須關(guān)閉對(duì)共享內(nèi)存的訪問并讓 Linux 側(cè)的 remoteproc 先處于停止?fàn)顟B(tài)。我踩過的坑是Linux 側(cè)進(jìn)入 suspendM33 還掛在共享內(nèi)存上結(jié)果喚醒后共享數(shù)據(jù)區(qū)出現(xiàn)撕裂。正確的順序是先讓 M33 進(jìn)入低功耗等待命令狀態(tài)再讓 Linux 進(jìn)入 suspend喚醒時(shí)反過來Linux 先恢復(fù)正常再喚醒 M33。整個(gè)流程要用 RPMsg 做一個(gè)握手協(xié)議不能用簡(jiǎn)單延時(shí)“估摸”對(duì)方已經(jīng)完成。6.3 日志規(guī)范與遠(yuǎn)程升級(jí)的邊界M33 固件和 Linux 內(nèi)核是兩套獨(dú)立鏡像量產(chǎn)后的升級(jí)鏈路也完全不同。Linux 側(cè)可以通過 A/B 分區(qū)做系統(tǒng)級(jí) OTAM33 固件則需要設(shè)計(jì)自己的升級(jí)機(jī)制常見做法是由 Linux 側(cè)把新固件下載到某個(gè)分區(qū)再通過 remoteproc 停止 M33、寫入新固件、重新啟動(dòng)。升級(jí)過程中最怕兩件事一是升級(jí)到一半掉電M33 固件損壞二是新舊固件的資源表不兼容導(dǎo)致 OpenAmp 通信失敗。對(duì)第一個(gè)問題建議 M33 固件保留一個(gè)極小 Bootloader負(fù)責(zé)校驗(yàn) App 固件對(duì)第二個(gè)問題建議在 RPMsg 應(yīng)用層約定版本號(hào)Linux 啟動(dòng) M33 后先做版本握手版本不匹配直接拒絕業(yè)務(wù)。這些在項(xiàng)目初期就要定好量產(chǎn)后再改協(xié)議非常痛苦。6.4 實(shí)測(cè)性能參考與后續(xù)擴(kuò)展拿我們實(shí)際項(xiàng)目的數(shù)據(jù)做個(gè)參考A35 雙核跑 LinuxM33 跑 FreeRTOSOpenAmp 通過 RPMsg 每 1ms 雙向交換一條 64 字節(jié)狀態(tài)幀。M33 側(cè)額外跑著三個(gè)任務(wù)分別是 1kHz 控制循環(huán)、按鍵掃描、串口日志。整條鏈路跑下來RPMsg 單次收發(fā)的 CPU 占用和中斷延遲都在可接受范圍內(nèi)。如果業(yè)務(wù)需要更大帶寬可以考慮把共享緩沖區(qū)加大或使用帶 cache 的訪問模式但務(wù)必做好緩存一致性處理。后續(xù)擴(kuò)展方向上可以考慮讓 M33 直接承擔(dān)一部分傳感器數(shù)據(jù)預(yù)處理只把提煉后的結(jié)果發(fā)給 A35。也可以嘗試把部分網(wǎng)絡(luò)協(xié)議棧卸載到 Linux把實(shí)時(shí)安全策略放在 M33。這個(gè)平臺(tái)最大的魅力就在于此兩顆核各司其職又共用一套內(nèi)存。對(duì)我個(gè)人而言用過 MP257 的 M33 FreeRTOS OpenAmp 組合后再回到“外掛 MCU 串口”的老路確實(shí)回不去了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
操逼逼一区视频| 国产精品白丝| www.超碰| AA级电影三区| 亚洲图片偷拍欧美| 嗯嗯啊啊操死我| 2020中文在线一区二区三区| 亚洲在线a| 日韩无码嘿咻黑热久| 99久久久无码国产精品性啊聊| 欧洲与亚洲欧美精品中文字幕| 欧美综合区| 丁香九月婷婷| 亚洲双插| 啪啪啪亚欧美视频| 国内外毛片在线观看| 欧美丰满熟妇XXXX性ppX人交| 欧美+日产+中文| 久久99草| 日本一二三免费久久| 亚州精品丝袜-不卡成人免费| 日本高清_区二区三区| 色爱天堂| 限制级中的三级片中的黑粗大屌屌日人妻熟女| 亚洲精品欧洲精品| 宅男午夜在线视频| 爽爽淫人网| 久久无码电影| 黄色性爱网网| 91高清无码下载| 影视综合无码少妇| 久久久久久久久成人av解说| 曰韩中文人妻视频| 粉嫩av平台| 91色插| 亚洲欧美校园| 毛片99-全集电影手机免费观看完整-B029AV | 久久夜黄色无码A级大片| TS人妖另类精品视频系列| 密臀在线一区尤物| 999国产精品999久久久久久| 91天美免费| 亚州,欧美在线| 精品人妻一区二区三区蜜桃视频| 91精品人妻啪啪间| 久久精品噜噜噜成人看免欧美大片| 9999亚洲电影| 香蕉精品二区二区| 91大神精品长腿在线观看网站| 激情综合 婷婷五月 红杏| 男人天堂最新手机版在线青青草| 色超碰综合| 日韩av色图综合| 香一区二区三区| 大香蕉伊利av| 很黄很污的免费网站| 久久综合五月天| 日韩 欧美 国产 麻豆| 久久久久久91香蕉国产| 久久精品国产久精国产| 久久线上视频免费看| 亚洲欧美国产精品久久久久久久| 91制服丝袜中文字幕| 福利视频合集| 密乳无码| 亚洲九区| 毛片17S| 绯色AV粉色AV蜜臀AV| 老司机午夜福利视频一区二区| 亚洲欧洲无码一区夜| 欧美亚洲涩涩| 亚洲欧美情色| 无码最新| 成人影 天天操 亚洲| 日韩超碰精品综合| 99999亚洲| 可免费观看的av毛片中日美韩| 日韩视频中文字幕| 成人麻豆av电影网站| 国人欧美精品一区二区| 久操视频免费在线观看| 亚爽爽爽爽爽爽爽爽| 日韩精品人妻中文字有码在线| 春色综合免费| 97久久久| 蜜臀久久在线视频| 麻豆天天躁天天揉揉AV| 思思热在线视频免费| 色色香蕉| 蜜臀国产AV中文字幕| 国内操逼视频二区| 精品人妻高清麻豆av| 99国产精品| 二男一女成人A片| 2018色综合天天操| 九九夜精品九九在线| 蜜臀99精品国产高清在线观看| 国产91亚洲精品一区二区三区| 日本操逼视频导航| 国产青一二三| 久久婷婷一区| 黄片免费看的| 77777亚洲蜜臀精品久久综合蜜臀| 色久综合| 欧美,日韩,中文,另类| 久操91视频| 九九碰九九爱97| 韩日巨乳美女免费视频在线观看| 精品免费视频国产一区| 综合网欧美在线| 蜜桃臀AV在线| 伊人热综合| 立川理惠无码一区二区| 日韩资源网| 久久久99免费| 日逼五月天| 秋霞网无码| 久久激情视频| 久久久999国产精品| 日本日逼高清| 麻豆精品天美| 色综合天天| 亚洲综合网图| 俄罗斯一区二区视频在线观看| 婷婷五月天小说| 啊啊啊操死我了| 欧美成人四级在线播放| 九九综合网| 国产精品4p在线观看| 18精品一区| 草草草视频在线免费看| 1204av韩国| 都市久久精品激情亚洲| 91路www| 大屁股人妻女教师撅着屁股| 国产一区麻豆免费观看| 中文字幕,人妻,日韩| 日日夜夜噜| 乱操乱伦AV| 摸奶性爱视频网站在线免费播放| 亚洲最大91网| 国产精品麻豆成人av| 国产乱婷婷精品二区三区| 日韩有码专区| 欧美 熟女 日韩| 国产日韩在线播放| 欧美乱伦专区| 亚洲男人天堂网站| 精品视频97| 久久亚洲欧美中文字幕国语| se,,,亚洲欧美| 男女激情黄色网址| 久久久蜜桃臀无码视频| av操操不卡| 日本黄色大片一级视频免费麻豆| 美女骚尻视频| 五月婷婷基地| 成人国产视频在线观看| 精品国产99| 日韩欧美综合激情| 超碰97COm中文| 欧美九九爱| 久96热在线观看视频| 大香蕉宅男伊人| 九九探花视频在线观看| 欧美综合另类| 十八禁黄色| 爱爱60秒免费视频| 丰满人妻一区二区三区大胸懂色| 欧 美 自 拍 偷 拍| 国产精品高朝久久久久久久| av婷婷色网| 黄色大香焦1级‘′‘| 国产精品不卡少妇白| 成人综合网 欧美| 操我无码| 99国产在线 精品 视频| 亚洲视频精选| 日韩有码回春沙龙第一页| 天天影视色香色欲| 婷婷色在线| A一区片| 九九超碰综合网| 日韩美女久久一区二区三区| 国产亚州日韩欧美看片| 国产成人 综合亚洲 天堂| 婷婷国产精品一区二区| 日韩精品大香蕉伊人在线| 婷婷五月激情综合| 黄色一区二区秘书性感| av凤凰久久久| 日韩人妻有码免费视频| 26uuu国产亚洲综合| 亚洲中文字幕av | 久久精品电影| 欧美美女在线高潮999| 蜜桃无码AV一区二区| 麻豆天美91| 亚洲丨在线| 亚洲涩涩| 天天干天天日天天射黄色片| 97色欧州| 91精品成人| 国产美脚女优尤物在线观看| 精品久久久久久亚洲| 亚洲成人综合在线| 国产亚洲日韩在线三区黑人| 大香蕉黄色一级片免费看| 欧美中出| 大香蕉伊人网| 日韩电影在线观看网址| 夜夜爽夜夜操| 欧美综合自拍| 欧美性生活免费网| 久久国产精品,久久国产| 首页亚洲国产高跟丝袜诱惑视频| 欧美熟女少妇| 夜夜爽77777| 久热9| 九九黄色网| 天天插天天操| 色色婷婷丁香| 黄色网址在线免费观看| 婷婷久久综合久| 床上啊啊啊一区二区三区| 99热欧美| 久久国产精品,久久国产| 欧美三级一级| 亚洲天堂情色| 久久久男人的天堂| 亚洲双插| 激情五月天中文字幕色| 91伊人久| 国产成人自拍视频视频| 国产精品干干干| 一区二区三区免费岛国片| 亚洲情色中文字幕一区| 大香蕉综合在线| 99操碰| 狠狠干2020| 色偷偷男人的天堂麻豆| 天天澡天天狠天天天做| 亚洲色色探花| 色五月综合网| 日han少妇无码| av天天在线| 激情婷婷丁香网| 国语精品av| 91啪啪| 最新岛国大片| 国产玖玖| 好湿好紧视频| 26uuu性物| 五月丁香亭亭| 中文字幕日韩人妻视频一区二区三区交换夫妻 | 超碰98综合网| 亚洲日韩精品一区二区| 亚洲日韩视频二区| 色5月婷婷| 亚洲欧美精品久| 久久伊人东京热| 乱人伦 国语对白:视频直接看| 九九九综合精品| 日日干夜夜骑| 午夜男女爽爽大片免费观看| 婷婷综合视频| 欧美亚洲天天| 久草网站免费在线观看| 牛牛久久国产精品视频一二三| 大香蕉日亚洲日本亚大 | 一本一道人妻久久一区二区三区 | 一级久久久久久久久久久| 人人操人人大香蕉| 无码久| 亚洲 日本 不卡| 国产精品露脸在线观看| 长长久久88视频| 殴洲老熟女| 亚洲资源站| 国产综合网站在线播放 | 大香蕉99热| julia国产在线| 久久熟女人| 欧美国产操逼| 男女日B国产| 人妻啊啊人妻啊| 国产精品在线一区二区| 99re国产精品视频| 午夜天堂精品久久| 久久综合国产精品国产| 人人搡人人肉久久精品| 中日亚韩免费视频| www.AV有限公司一区| 久久久久久久久一区二区三区| 在线无码操| 很很很很操| 久久性爱精品一区| 久久久18禁| 国产丝袜视频| 综合少妇网| 超碰人人色| 日韩成人小视频| 午夜乱轮操逼视频免费看| caopeng97| 夜夜欢天天干| 精品99999久久久久久| 国产精品农村妇女| 亚洲宅男天堂| 国产午夜精品理论片a大结局| 精品久久視頻在线| 亚州综合色| 日韩丝袜人妻AV| 97爱综合| 中文字幕日韩精品一区二区三区| 一二三啪啪专区| 99热伊人| 亚洲AV资源| 日韩免费簧片| 91亚洲欧美综合高清在线| 日日日日做夜夜夜夜无码| 精品一国2| 午夜福利精品| 日日97| 97色色网| 欧美色图另类图片| 激情图片伦理国产一区二区日韩| 人人操人人插人人摸人人干| 五月婷婷青青草娱乐伊人| 91干熟女| 亚洲伊人久久综合97| 岛国免费视频在线| 天天摸夜夜操视频| 丁香啪啪| 久热精品在线国产| 久久天堂网| 去干网最新版| 日韩黄色片子| yazhououmeizongya| 亚洲夜色在线| 美女操逼福利视频| 欧美AB在线| 日韩在线人妻网站| 亚洲日韩国产欧美综合v| 欧美一品道| 五月婷婷综合网| 日韩成人无码| 国产丁香精品露脸视频 | 麻豆亚洲AV成人无码久久精品| 亚洲五月丁香花狠狠干一区二区三区 | 久久久久久日韩| 亚洲 欧美 日韩另类 麻豆| 另类欧美色| 欧美五区| 久热伊人| 国产精品视频内谢女人| 久久久久久少妇| 99热色这里只有精品| 国产色呦呦| 伊人久久综合影院精品久久久| 亚洲国产精品久久久久婷婷老年| 亚洲欧洲偷拍一区| 精品亚洲国产成人AV制服丝袜| 一本色道无码DVD中文字幕| 美女网站黄页| 欧美激色| 先锋音影AV| 午夜激情床戏激情| 啊啊啊啊一区| 国产区91柔拿会所技师| 欧美色图天堂网m| 九九这里只有精品| 婷婷五月天色色| 日韩欧美aⅴ综合网站发布| 国产97在线 | 亚洲| 国产人妻精品一区二区三区秋霞| 亚洲男人的天堂在线看| 伊人国产视频| 大香蕉综合| 混色激情av| 99人人干| 女人爽到高潮久久久| 婷婷五月天激情网| 免费αⅴ在线观看| 中国女人内射6XXXXX| 日韩无码操逼片| 88xx成人精品视频| 日韩性爱一级片| 九九九九精品九九九九| 97超碰超| 任你爽视频| 人妻日日干| 免费一级特黄特色大片在线观看看| 91精品国产91久久青草| 在线二区不卡| 男人天堂新在线| 中国91AV| 美女网站91| 综合第一页| 78久久| 日本一区不卡| 天天激情综合站| 黄色av网站在线播放| 国产精品久久久| 激情小说亚洲色图| 丰满人妻-区二区三区免费看| 丰满人妻-区二区三区免费看 | 美国一区二区免费视频| 二男一女成人A片| 在线看片国产精品每日更新| 国产一区二区在线电影| 91丨九色丨国产打屁股| 日本三级日本三级99| 丁香五月社区| 亚洲码和欧洲精品激情系列| 国产av热热色| 黄页网站成人免费| 91社区伊人| 色婷婷国产精品一区在线观看| 啊啊啊啊网站| 日韩中文字幕精品一区在线| 精品视频免费在线一区| 九九无码| 先锋音影AV| 91美女国产在线| 黄片aaaaa一区| 五月婷婷色| 欧美|91色综合| 97人人爱人人做人人乐| 欧美综合色| 性色AV蜜色av色欲av| 免费看黄视频亚洲网站| 日韩亚洲国产视频| 1区2区3区在线视频| 欧美97视频| 欧美92| 中文字幕一二区二三区人妻专区| 在线视频五十市| 亚洲精品丝袜-不卡成人免费……| 亚洲国产成人精品久久久国产成人一区二区| 日本一区二区中文字幕久久| 日本人人操人人操| AV天堂电影网| 99少妇| 久久久精品91八戒| 激情一区二区三区在线观看| 狠操91,com| 日韩电影在线观看网址| 亚洲性少妇| 人人澡人人干| 蜜臀AV秘一区翔田千里| 91人妻Pr| 人人爽夜夜玩视频| 久操网无码在线| 色精品极品| 国产精品一区在线播放| 亚洲精品国产专区在线观看| 天天欧美色| 五月天AV资源| 国产精品探花视频| 热热热热日日漂亮永久永久国产日| 东京热91| 国产强奸超碰AV| 伊人久久大香线综合无码| 青青青草原| 天天色天天干天天射| 激情网五月天| 91精产一区二区三区| 国产成年女黄特黄| 五月丁香六月激情| 内射黑丝袜| 国产精品久久久 | 99热99re超碰精品| 9精品久久久久| 日韩人成网站在线播放| 无毛精品| 无码聚合| 大香蕉久| 超碰免费欧美7| 欧美1区二区三区公司| 青青青国产| 欧洲自拍色图gif在线| 国内偷自视频区视频综合| 久久久9品一区二区三区| 78精品| 996热| 9久久久久久| 五月丁香啪啪网| 蜜桃香蕉久草精品在线| 国产无马av| 18禁久极品美女久久哦哟呀!| 亚洲熟女综合网| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 一区二区乱码福利| 丁香婷婷久久| 国产老女人久久毛| 美女的肌被草喷水视频| 日韩av不卡在线看| 精品二区三四区五电影 | 婷婷五月色| 啊啊啊啊啊啊在线| 北条麻妃99精品青青久久| 日韩精品中文字幕人妻| 国产偷仑| 丁香五月综合| 精品人人插人人操| 欧美92| 亚洲天堂东京热| 大象AV在线| 超碰天天操你比| 看大黄色大片原件| 天天久久久久久| 尤物一级在线免费观看| 欧美综合中文| 96免费视频在线| 在线观看日韩av不卡| 97手机日韩| 四虎视频在线观看| 久久久久婷婷| 欧美日韩大香蕉| 亚州高清av| 97天天爽| 破苞ⅩXXX性无码动漫无码| 欧美黄业| 亚洲国产丝袜在线观看| 日本久操视频| 96久久精品一二三区色欲| 青娱乐啪啪视频| 日韩综合97P| 精品四五区| caoni国产亚洲av| 久久精品一区一起草| 99热免费| 久久久久久电影| 美女久久久| 亚洲综合另类| 夜夜操夜夜高潮夜夜爽国产精品区| 国产欧美日韩在线观看麻豆传媒公司| 国产亚洲精品av一区| 日韩大香蕉| 91色s| 熟女天天干| 久久久中文| 2019久久久久久久久福利| 日本综合色图| 欧美天天干| 久久97视频| …中文字幕亚洲乱,97人妻无码费视…| 最新亚洲风情电影| 蜜桃精品一区二区三区ww| av无码精品久久久久| 1000部熟女视频在线观看| 天天夜夜rb| 综合天天。| 大香网伊人久久综合网eew| 天天影视色香色欲| 伊人久久大香大香线蕉中文| 精品国产91av一区二区三区| a男人的天堂久久一级A毛片| 久久 精品| 床戏久久久av一区二区麻豆| 玖玖爱综合| 超碰97人妻免费在线| 日韩欧美加勒比| 97 色综合| 蜜臀久久99精品久久久久久无删减 | 91欧美美女日韩国产婷婷| 日本丝袜美腿人妻九九| 欧美 青青草| yazhousetuoumei| 久久夜夜夜夜| 激情综合网一盗摄| 色综合1991| 偷拍欧美亚洲| 亚洲成人贴图| 国产福利视频精品视频| 亚洲伊人a线观看视频| 国产极品精品美女视频| A片 AV一级在线播放观看免费| 天天视频综合在线观看视频| 免费啪啪啪网站18岁| 亚洲精品亚洲人成人网| 亚洲有码 视频一区| 日韩天堂av电影在线观看| 绯色AV粉色AV蜜臀AV| 亚洲老司机123专区| 91色人| 欧美天天弄| 日韩黄片视频试看| 日韩性爱网址| AV天堂电影网| 99精品在线| 亚洲精品成人激情在线| 久久久久人妻| www.高清无码诱惑一区.com | 骚女天天综合网| 夜夜草天天| 国产熟女乱论| 炮色五月| 国产精品禁久久久精品| 色波多| 日韩激情中文字幕有码| 99久久com免费视频′| 四虎在线播放| 狠狠爱综合网| 国产女性无套 免费观看| 嗯嗯啊啊视频在线看| 丝袜视频一区二区在线播放国产中文| 日本不卡免费二区| 波多野结衣AV无码一区| 亚洲精品视频在线| 色综合久久夜色精品国产天堂 | 人妻熟女字幕一区二区| 大香蕉之青青草原| 久操电影| 人人扣人人操| 日韩色女精品| 乱抡国产91| 99热精品在线观看| 东北操逼| 99久久精品无码一区二区毛片免费| 麻豆国产96在线| 日本 免费 一区二区三区 久久香蕉| 九九九国产精品| 免费一级黄色录像影片| 天天操天天射青青草| 91热热色| 日韩去日本高清在| 我中文字幕6区| 台湾一区国产高清在线| 无码免费一区二区三区啪啪| 欧美色吧综合| 精品人妻美妇91job| 日韩图区| 亚川综合视频| 日逼五月天| 欧美成人免费在线观看| 人妻天天夜夜爽一区二区| 性感美女91影视| 手机看av网站在线看| 超碰免费欧美7| 高潮的A片激情扒开一区| 射丝袜高跟鞋99| 羞涩视频| 亚洲情色一区综合| 久久精品国产亚洲AV清纯| 久久黄黄| 亚洲无992tv| 四虎永久在线精品免费网址 | 久久综合久久综合人久久夜精品| 九久精品| 久久99国产综合精品女同| 亚洲天堂资源网| 天天影视色香色欲| av中亚| 人妻精品综合中文字幕在线 | 国产肏屁眼视频| 亚洲精品一区二区精品| 老司机久久| 国产成人手机视频激情| 国产精品大屁股999| 国产精品老师| 五十路三区在线| 内射白嫩美女| 久热精品在线国产| 欧美大干日韩| 97人妻碰碰中文无码久热丝袜| 操熟女91| 涩爱AV在线| 日韩人妻有码免费视频| 天天热精品| 亚洲AV免费在线| 熟女探花啪啪| 97超碰资源网| 色色色色网站| 91夜色| 天堂射| 免费视频a级毛片免费视频| 先锋女优在线观看视频| 97硬碰| 国产精品久久久无码AV网站| 欧美日韩小说| 嗯~啊~快点 死我视频| 亚洲欧洲综合av在线| 大干人妻| 丝袜狠狠草尤物人妻av91| 欧美综合娱乐久久| 综合五月天| 日韩精品人妻中文字幕久久久| 囯产操逼片| 男人天堂网址| 夜夜免费视频| 一区二区三区 丝袜 高跟 美腿| 吖在线不卡一区二区国产剧情| 日本不卡免费二区| 67194无码不卡| 在线观看精品国产免费| 午夜舔阴达高潮视频免费看| 大屁股熟女一区二区三区| 翘臀vidoes| 国产一区二区三区导航| 日语五十路和六十路亚洲国产精品| 91欧美性| 97超碰天天爱天天爱| 日韩人妻一区二区精品| 人人玩人人添人人澡免费| 国产精品白丝www| 亚av顶级裸体一区二区三区四区五区 | 久久熟女人| 一区二区三区精品视频| 国产精品久久久久久久电影渣男| 婷婷10月天青娱乐| 国产熟女二区| 亚洲综合另类欧美久久久| 日韩999| 综合在线导航一区| 狠狠久久手机视频精品| 欧美性91| 97亚洲综合在线| 嗯嗯啊啊好大好爽| 超碰97男人| 超碰久久性爱| 一区二区三区四区色图| 中国探花熟女| 欧美性爱三区二区| 欧美日韩电影成人在线| 成人精品无码| 91美女小视频| 九九九九精品视频| 欧美视频一区二区三区| 亚洲情色综合网| 1000午夜黄色| 97这里只精品| 91久久久老司机| 99色婷婷中文字幕乱色| 97免费视频网| 99re只有精品| 人妻 欧美 中文| 亚洲精品欧洲精品| 天天夜夜久久| 亚洲欧美setu| 熟妇高潮精品一区二区三区下载| 西西美女视频网| 亚州色站 日韩电影| 国产白领连续中出在线观看| 国产精品经典一卡久久久 | 综合色欧美| 大逼色网站| 99热一区二区三区四区| 伊人超碰97| 97干色| 欧美成年人性爱视频免费观看| 激情五月天中文字幕色| 成人国产视频在线观看| 国产高清午夜成人在线观看| 亚洲欧洲av影音| 岛国激情视频在线观看| 手机在线中文字幕国产| 韩国三级理论在线| 超碰av在线| 欧插网站| 超碰97最新人妻| 欧美青青草视频| 天天影视综合色| 青青在线视频日韩欧美| 国产精品白丝在线播放| AAAAAAAAA黄片| 91一起操| 91色综合激情| 久久精品成人一区二区三区蜜臀| 992大香蕉| 黑人免费福利视频| 午夜一区二区三区国产| 日韩中文字幕二区| 日韩熟女精品无码专区一区二区| 久日91在线| 久久97视频| 黄色免费网| 艹少妇网站| 人妻AV 中文字幕的| 97视频7| 9美女超碰在线免费观看| 91香蕉国产尤物视频| 伦伦成年午夜免费视频| 色色色网站| 美日韩一二三区| 99999国产精品| 黑人白女精品一区| 99在线精品视频| 热久日综合| 欧美日韩另类激情图片| 国产精品一区二区校花| 日韩人妻精品久久久久| 9久精品视频在线观看| 春色综合网| 极品尤物自安慰| 暖暖精品二区三区观看| 久超碰这里只有精品| 熟女激情综合网| 99热超碰| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 日韩久久激情精品| 2019AV天堂| 94色色电影网| 婷婷五月天激情网| AV丝袜少妇| av中亚| 色五月激情综合网| 夜夜骑操视频| 东京热视频网| AV天天在线观看| 欧美三级偷拍| 91三级理论片播放器| 黄色高清久久无码依人| 久久久久久久97| 精品少妇一区二区三区在线视频| 欧亚日韩三区| 亚洲成人黄色在线观看| 日本大片日本一区二区免费高清| 夜夜免费视频| 成人性爱视频在线看| 国产有码一区| 91狠狠综合网| 四虎AV在线观看| 青青草原伊人网| 日韩中文字幕二区| 97伦乱| 欧美自拍偷拍免费观看| 狠操91,com| 超碰成人公开| 九九热精彩视频| 99国产在线 精品 视频| 天天干天天日天天射黄色片| 我要去看2个日本美女.com曹逼| 91neishe| 久久伊人最新网址视频| 色噜噜人妻av 中文字幕| 97亚洲在线| 97九色人妻| 天天综合亚洲综合| 国产精品久久发布| 国产成人亚洲精品无码最新在线| 精彩视频日韩| 中文?日韩?免费?精品| 91女神在线视频| 翔田千里爆乳巨臀无码| 91色鬼| 精品国产一区二区三区在线播出| 精品97久久综合| 自拍偷拍亚洲熟女妇人精品| 精品999日本| 精品偷拍13p欧美dodk视频| 欧美传媒一区| 五月香婷婷| 国产一二三在线视频五十路| 国产丝袜美女诱惑| 亚洲无码偷拍| 国产丰满少妇久久久精品影院| 日日日日做夜夜夜夜无码| 欧美日韩国产人人| 中文字幕性感少妇av| 揉揉日日日日| 亚洲高清视频在线观看| 欧美一级久久久久久久大片动画| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 欧美亚综合色图| 日本 色 导航| 亚洲激情深爱文学小说网站| 九九伊人网| 久久在线观看免费视频| 伊人操操| 久久ww| 操逼视频国产无套| 欧美国产操逼| 啊…啊…操我用力操我| 亚欧毛片基地国产毛片基地| 伊人96在线| 殴美性色a级欧美| a一区二区三区乱码在线| 欧美日韩不卡传媒| 日韩紧密久久| 日本韩欧美在线播放a| 亚洲欧美另类激情小说| 九九九精品一区二区无码| 色狠狠色| 尤物黄色在线观看网站| 98超碰欧美| 中文字幕人妻色偷偷久久皮| 国产成人自拍视频在线| 99久久无码| 亚洲素人综合| 亚洲射综合网| 久久综合99| 在线一道啪| 性夜影院爽黄A爽免费动漫| 中国熟女91| 美女高潮视频91| 久久精品性| 91深夜夜| 91无遮挡| 91亚洲最新在线| 天美传媒在线一区| 久久久工口| 色婷婷成人| AA特级绝黄| 桃花色综合影院| 美女t无毒不卡不卡| 国产视频小说| 国产大片精久久久久久| 五月天激情国产综合婷婷婷| 日韩国产乱子伦App| 久久国产AⅤ| 欧美不在线| 欧美日韩小说| 国产精品3| WWW.加勒比人妻一区不卡.com| 国产成人亚洲精品自产在线| 中文字幕 国产区| 国产AV毛片| 小日子操bb在线看| 日本αv| 国产操逼网站亚洲一级黄色| 欧美亚洲系列| 国产中文字幕在线| 十八禁电影伊人网| 美日韩一二三区| 欧美韩国你懂得在线 | 久九九九九九九热| 天天综合精品| 九九久久99| 亚洲国产欧美中日韩成人综合视频| 中文字幕亚洲永久精品| 国产一级高跟丝袜| 日本成人A片网站| 日韩中文字幕国产| av一区二区三区四区| 激情五月综合开心五月| 乱伦熟女论坛| 91精品人妻偷情| 小说区 图片区色 综合区| 综合久久97| 亚洲欧美综合| 欧美亚洲自拍另类人妻| 欧美人与动性人交a| 青青操网| 国产成年精品高清在线观看91| 乱性AV| 五码视频在线观看| 人妻丰满熟妇一区二区三| 日本三级A片网站com| 人人操人人操人人操人人操人人操人人人11.CM| 亚洲色婷婷久久91| 成人小说视频在线精品欧美| 色操逼网| 伊人五月天激情| 欧美成人性爱视频大全| 九九久久精品| 日韩丝袜人妻AV| 好吊色一区| 亚洲超碰综合网| 五月天精品| 啊啊啊啊啊啊好多水| 亚洲欧美色图| 国产成人无码a| 伊人黄色视频免费观看| 色一情一乱一乱一区91Av| 又黄又爽在线观看视频| 少妇一区二区三区在线观看| 日夜干射色啊| 久久久草草精品| 亚洲a色| 五月天婷婷在线看| A V视频日本| 九九色逼| 96爱综合| 97综合久第一页| 日韩无码一区二区三区| 国产亚洲精品激情| 日本女人操逼| 天天爽夜夜欢视| 久久九九热| 国产精品点击进入在线影院高清| 伦伦成年午夜免费视频| 五月丁香婷婷色| 男人干美女| 天天影视综合色| 人人操人人插 - 百度 - 百度| 欧美经典一区二区三区| 伊人在线大香蕉视频久久| 国产9区| 十八禁成人网站在线观看| 国产伦精品一区二区三区视频女| 2000亚洲男人天堂| 婷婷国产精品一区二区| 亚洲国产成人7777| 日本三级韩三级99久久| 78p欧美| 欧美天天影院| 再深点灬舒服灬太大了添视频 | 欧美天天综合在线| 在线a v| 97精品一二区| 精品人妻一区二区三区蜜桃视频| 日本人妻最新在线中| 亚洲黄网在哪免费看| 69精品人人人人| 综合久久9| 午夜黄色免费在线观看| 成人综合视频久久| 亚洲成成熟女人综合一区二区| 色五天伊人| 天天综合网久久ww| 亚洲人妻爽爽爽| 午夜理论片在线观看免费| 国产大片精久久久久久| juliaann丝袜| 最新国产精品久久精品| 97久久久精品| 18禁看网站一区| 国产又粗又又黄又猛| 日日躁狠狠躁天天躁精品| 777AV电影| 97资源欧美| 在线综合网| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 五月丁香网站| 丝袜视频网国产90| 久操视频资源站公开| 91在线丝袜视频| 丰满美女一级毛片在线播放| av天天在线观看| 欧美激情在线观看视频| 91在线无码精品秘 软件| 日韩精品影视| 91久久精品中文字幕| 蜜桃色院一区久久| 欧美探花网| 高跟伊人julia ann| 国产精品99精品视频网站| 91麻豆天美国产| 黄人人操人人操| 91中文精品日韩欧美在线| 天堂69亚洲精品中文字| 97爱欧美| 亚欧性爱无码| 好爽免费视频,| 亚洲av无线观看| 久久激情视频| 九九色精品| 女优大全 - 91n| 久久精品人体| 亚洲春色一区二区三区| 麻豆天美传媒在线视频天堂| 操逼无码操逼| 97在线无精品| 一级特级aaaa毛片免费观看 | 亚洲天天做日日做天天谢日日| 黑丝日韩av丝袜av| 日本激情免费大片| 色欲久久99精品久久| 大香蕉九九| 色噜噜狠狠色综无码久久合欧美| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 亚洲图片欧洲图片aⅴ| 热久久无毒不卡| 婷婷五月天成人网| 日本久久女同性恋视频| 樱花草社区www中国| 日韩探花精品在线视频| 在线啊啊啊| 蜜色网色哟哟| 日本日逼高清| 国产白丝网站| 蜜臀久久久99久久久久 | 日本一区二区三区午夜观看| 中文久久96| 人妻少妇色综合| 国产精品久久天天干| 蜜臀av网址| 日韩女优在线| 日韩色| 天天做天天爱| 啊啊啊要高潮了| 99成人| 嗯啊抽插大香蕉网页| 人人妻人人爽一区二区三区| 超碰97玖玖爱| 国产成人综合网| 国产中文字幕在线点播| 日本二区不卡| 天天综合有色网| 蜜乳av首页| 一级AV性爱| 久久久久久人体| 四季AV一区二区凹凸精品小说| 综合久| 成全在线观看免费观看| 深夜视频| 中文字幕伊人| 韩国轻伦国内自拍一区| 亚洲欧洲网站免费观看| 无码人妻一区二区三区色欲aⅴ| 久久久久深夜无码| 欧美亚洲20p| 能看的AV| 亚洲最大AV网| 涩综合导航| 丰满人妻一区二区三区| 麻豆a'v电影| 久操 高清| 久久黄色网址| 91色婷婷综合久久中文字幕二区| 日韩成人在线性爱视频| 久久久久久性爱免费视频| 男人天堂免费| 欧亚日韩三区| 日本青青草在线| 五月天偷拍| 极品色www影院| 欧美日韩国产黄色片| 国产精品人妻免费精品| 欧美姓爱综合网| AV在线播放网址| 夜夜 中文视频rt| 四虎视频在线观看| 久久久久9久久久久| 69人妻精品一区二区绯色| 日本日皮视频逼| 亚洲av综合色区无码一| 国产精品爱欲| 麻豆国产97在线| 亚洲欧美999| 亚洲色交| 欧美亚洲今日在线| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 二三四区精品| 麻豆伊人网| 国产精品欧美激在线| 男人的天堂.com| 91 丝袜在线| 亚洲不卡不卡中文字幕不卡 | 看黄片视频免费| 色色香蕉| 欧美丝袜制服久久| 熟女精品va中文字幕| 亚州操逼图| 国产高清精品福利| 美国日韩黄色片| 亚洲一本大道中文字幕无码在线| 免费在线黄片视频| 秋霞影音一区二区三区| 日韩少妇一区二区三区| 在线视频日韩欧美国产| 日韩性爱播放| 色五月综合| 人人爽天天爽| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 哈哈操电影AV| 九九拍拍精品视频在线播放| 婷婷15月天青娱乐|