日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式固件三大基本功:啟動(dòng)流程、故障定位與OTA升級

嵌入式固件三大基本功:啟動(dòng)流程、故障定位與OTA升級 有個(gè)做物聯(lián)網(wǎng)的朋友上周找我說他們新出的一批設(shè)備在現(xiàn)場批量“變磚”用戶拿到設(shè)備上電電源燈亮業(yè)務(wù)卻完全起不來。遠(yuǎn)程連上去抓日志問題出在啟動(dòng)流程里一個(gè)被整個(gè)團(tuán)隊(duì)默認(rèn)“不可能出錯(cuò)”的細(xì)節(jié)上而最終修復(fù)只用了三行代碼。這種事在嵌入式領(lǐng)域太常見了。我越來越覺得決定一個(gè)固件工程師水平的不是業(yè)務(wù)邏輯寫得有多花哨而是三個(gè)基本功懂啟動(dòng)流程、會故障定位、能做可靠的 OTA 升級。這三件事也恰恰是面試中最愛考、實(shí)踐中最容易翻車的地方。這篇文章就把它們串成一條完整的技術(shù)鏈路來講從設(shè)備上電到安全升級每一環(huán)的原理、坑位、工程化方案一次說透。適合剛?cè)腴T想往底層走的固件開發(fā)也適合做了兩三年但一直停留在業(yè)務(wù)層的朋友查缺補(bǔ)漏。圍繞啟動(dòng)流程、故障定位、OTA 工程化這三個(gè)主題我把全文分成四塊最后補(bǔ)上篇留下的三道思考題解析。1. 啟動(dòng)流程拆到底從向量表到 main 函數(shù)之間的關(guān)鍵鏈條1.1 Cortex-M 的“上電三件事”向量表、復(fù)位序列、分散加載很多工程師寫了好幾年 MCU 程序你問他“芯片上電后第一行代碼是什么”他答不上來。這不能怪他因?yàn)楝F(xiàn)代 IDE 把啟動(dòng)文件、鏈接腳本都封裝好了新手只需要點(diǎn)編譯就能跑起來。但一旦涉及到 Bootloader、OTA、低功耗喚醒這些場景啟動(dòng)流程的理解程度就決定了你能不能獨(dú)立解決問題。Cortex-M 內(nèi)核上電后硬件做的動(dòng)作非常固定只有三件事從地址0x00000000讀取初始棧指針 MSP 的值從地址0x00000004讀取復(fù)位向量也就是Reset_Handler的入口地址把 PC 指針設(shè)為復(fù)位向量的值開始執(zhí)行Reset_Handler。這三步由芯片硬件完成不需要任何軟件參與。重點(diǎn)是接下來Reset_Handler里做了什么這部分屬于我們程序員可控的領(lǐng)域也是啟動(dòng)流程最容易埋坑的地方。一個(gè)典型的啟動(dòng)文件比如startup_stm32f10x_hd.s在Reset_Handler里會依次執(zhí)行調(diào)用SystemInit()配置時(shí)鐘樹、Flash 等待周期等基礎(chǔ)硬件調(diào)用 C 庫的__main注意是 C 庫函數(shù)不是我們寫的main它會根據(jù)鏈接腳本里的LOAD和RUN地址信息把 RW 段已初始化全局變量從 Flash 拷貝到 RAM再把 ZI 段未初始化全局變量清零最后才跳轉(zhuǎn)到用戶的main()。這里有個(gè)最容易忽略的點(diǎn)你的全局變量并不是“天生”就在 RAM 里的。所有帶初始值的全局變量初始值都存在 Flash 中運(yùn)行時(shí)才被搬到 RAM。RAM 掉電即失Flash 又不能直接改所以才需要這一套“分散加載”機(jī)制。你可以類比成出差帶行李Flash 是家里的衣柜RAM 是酒店衣柜C 庫啟動(dòng)代碼就是那個(gè)幫你把衣服從家里搬到酒店的管家。箱子棧要多大、衣服掛在哪變量地址都記錄在鏈接腳本.icf或.ld里。1.2 Bootloader 跳轉(zhuǎn) App一次不能出錯(cuò)的“接力賽”做 Bootloader App 雙區(qū)架構(gòu)時(shí)最常見的代碼是把 App 寫在 Flash 后半段Bootloader 在前半段。Bootloader 啟動(dòng)后通過串口或網(wǎng)絡(luò)燒寫 App之后跳轉(zhuǎn)到 App。這個(gè)“跳轉(zhuǎn)”看起來只是一行函數(shù)指針調(diào)用但實(shí)際上一堆人在這里栽過跟頭。先看一個(gè)標(biāo)準(zhǔn)的跳轉(zhuǎn)代碼typedef void (*app_entry_t)(void); void jump_to_app(uint32_t app_addr) { uint32_t msp_value; app_entry_t app_entry; // 1. 關(guān)全局中斷防止跳轉(zhuǎn)過程中產(chǎn)生中斷 __disable_irq(); // 2. 復(fù)位所有用到的外設(shè)尤其是 DMA、定時(shí)器、UART // deinit_peripherals(); // 3. 檢查 App 棧頂?shù)刂肥欠窈戏ㄊ欠裨?RAM 范圍內(nèi) msp_value *(volatile uint32_t *)app_addr; if (msp_value RAM_BASE || msp_value (RAM_BASE RAM_SIZE)) { return; } // 4. 取復(fù)位向量 app_entry (app_entry_t)(*(volatile uint32_t *)(app_addr 4)); // 5. 設(shè)置主棧指針然后跳轉(zhuǎn) __set_MSP(msp_value); app_entry(); // 正常情況下不會走到這里 while (1); }這里每一個(gè)步驟都有講究。第一步關(guān)中斷很多人只做了__disable_irq()就以為完事了實(shí)際上還應(yīng)該把 Bootloader 期間打開過的外設(shè)中斷逐個(gè)關(guān)掉特別是 SysTick。SysTick 如果一直開著跳轉(zhuǎn)到 App 后App 有自己的 SysTick 配置但中斷標(biāo)志位或計(jì)數(shù)值可能殘留導(dǎo)致第一次進(jìn)入 App 時(shí)中斷觸發(fā)的時(shí)間和預(yù)期不符。第三步校驗(yàn)棧頂?shù)刂愤@步尤其重要。如果 App 區(qū)是空的或者 Flash 讀出來全是0xFFmsp_value就是0xFFFFFFFF直接__set_MSP(0xFFFFFFFF)一進(jìn)函數(shù)就爆棧。所以必須檢查地址是否落在 RAM 區(qū)間。還有一個(gè)關(guān)鍵操作重新設(shè)置向量表偏移。Cortex-M 內(nèi)核有一個(gè) VTOR 寄存器在 System Control Block 里用來告訴內(nèi)核中斷向量表在哪個(gè)地址。如果 App 鏈接地址是0x08010000而 VTOR 沒有修改中斷一進(jìn)來 CPU 還是去0x08000000查向量表結(jié)果要么跳到 Bootloader 的中斷處理函數(shù)要么直接 HardFault。這件事通常在 App 里的SystemInit()或main()最前面做。#define APP_VECTOR_TABLE_ADDR 0x08010000 void app_vector_table_init(void) { SCB-VTOR APP_VECTOR_TABLE_ADDR; }如果你把這段寫在了跳轉(zhuǎn)之前方向就反了。跳轉(zhuǎn)前Bootloader 可能也在被中斷打擾但向量表還是 Bootloader 的跳轉(zhuǎn)成功后要立刻在 App 側(cè)完成 VTOR 切換中間有個(gè)極短窗口期這也是為什么跳轉(zhuǎn)前必須關(guān)全部中斷的原因之一。1.3 從 MCU 到 SoC以 U-Boot 為例看完整啟動(dòng)鏈MCU 的啟動(dòng)已經(jīng)夠復(fù)雜了到了跑 Linux 的 SoC 上啟動(dòng)鏈還要再拉長。以 i.MX6ULL 為例完整鏈?zhǔn)切酒瑑?nèi)部 Boot ROM - SPLSecondary Program Loader如果啟用 - U-Boot - Linux Kernel - Rootfs - 應(yīng)用程序芯片內(nèi)部的 Boot ROM 是出廠固化的第一級 Bootloader它負(fù)責(zé)根據(jù)啟動(dòng)引腳Boot Mode去讀取外部存儲介質(zhì)上的程序。對于 i.MX6 來說它讀的是一個(gè)叫 IVTImage Vector Table的數(shù)據(jù)結(jié)構(gòu)里面包含了 DCDDevice Configuration Data。DCD 是你理解整個(gè)啟動(dòng)鏈的關(guān)鍵。DDR 控制器在上電后是一堆未初始化的寄存器CPU 只能直接在內(nèi)部 SRAM 里跑代碼。Boot ROM 讀 IVT 后會按照 DCD 里的寄存器配置數(shù)據(jù)先把 DDR 初始化好然后把下一級程序SPL 或 U-Boot拷貝到 DDR 里運(yùn)行。這就是為什么 U-Boot 能跑在 DDR 里而不是像 MCU 那樣所有程序都從 Flash 執(zhí)行。U-Boot 自身又分兩個(gè)階段早期階段start.S匯編設(shè)置 CPU 工作模式、初始化串口、關(guān)閉 MMU 和 Cache、重定位 U-Boot 自身代碼后期階段board_init_r完整的板級初始化包括時(shí)鐘、DDR 詳細(xì)配置、環(huán)境變量加載、外設(shè)驅(qū)動(dòng)最后進(jìn)入 main_loop 等待命令或按 bootcmd 加載 Kernel??磫?dòng)日志時(shí)每一行輸出的位置都對應(yīng)一個(gè)階段U-Boot SPL 2022.04 U-Boot 2022.04 CPU: Freescale i.MX6ULL Board: MY-IMX6ULL DRAM: 512 MiB MMC: FSL_SDHC: 0 In: serial Out: serial Err: serial Net: eth0: FEC如果卡在U-Boot SPL后沒有任何輸出基本都是 DDR 初始化或時(shí)鐘配置問題而不是內(nèi)核問題。如果卡在MMC之后那大概率是 SD/eMMC 設(shè)備枚舉失敗或環(huán)境變量分區(qū)錯(cuò)誤。1.4 把啟動(dòng)流程變成故障排查地圖啟動(dòng)流程對于固件工程師來說最直接的價(jià)值是把它當(dāng)成一張故障排查地圖。從硬件上電到業(yè)務(wù)運(yùn)行每一個(gè)環(huán)節(jié)對應(yīng)一種典型故障啟動(dòng)階段典型故障現(xiàn)象優(yōu)先排查方向電源上電LED 不亮、電流異常電源電路、短路、電壓跌落時(shí)鐘/復(fù)位LED 亮但串口無輸出時(shí)鐘配置、復(fù)位引腳毛刺、看門狗誤復(fù)位Boot 介質(zhì)讀取上電后完全靜默Boot 引腳配置、Flash/SD 卡焊接向量表/分散加載進(jìn)不了 main 或進(jìn) main 后立即崩潰鏈接腳本、VTOR、堆棧設(shè)置外設(shè)初始化啟動(dòng)后某個(gè)外設(shè)工作異常初始化順序、時(shí)鐘樹配置我在做技術(shù)支持時(shí)遇到“啟動(dòng)不了”的故障習(xí)慣第一時(shí)間把上面的地圖在腦子里過一遍而不是直接打開代碼看邏輯。因?yàn)槟氵B啟動(dòng)卡在哪一階段都沒確認(rèn)看代碼就是大海撈針。2. 故障定位方法論把“偶發(fā) Bug”拆成可復(fù)現(xiàn)的邏輯鏈2.1 第一步永遠(yuǎn)是分域硬件還是軟件接到故障報(bào)告第一件事不是看代碼而是先分域這是硬件問題還是軟件問題尤其是“偶發(fā)”故障硬件原因占比遠(yuǎn)比新手想象的高。我見過一個(gè)典型的例子設(shè)備偶爾在上電瞬間重啟軟件團(tuán)隊(duì)查了一個(gè)月最后拿示波器抓電源軌發(fā)現(xiàn)上電時(shí) 3.3V 電壓跌落到了 2.7V復(fù)位芯片觸發(fā)了掉電復(fù)位。原因是主板某個(gè)電容虛焊ESR 增大導(dǎo)致瞬間電流供應(yīng)不足。分域的常用手段量電源用示波器抓 3.3V、1.8V、內(nèi)核電壓的上電波形看是否有跌落、過沖、振蕩看時(shí)鐘檢查晶振是否起振頻率是否準(zhǔn)確。晶振引腳虛焊、負(fù)載電容不匹配都會導(dǎo)致時(shí)鐘不穩(wěn)查復(fù)位復(fù)位引腳上有毛刺會導(dǎo)致芯片反復(fù)復(fù)位最小系統(tǒng)法把板子上無關(guān)的外設(shè)都拆掉只保留最小系統(tǒng)看故障是否復(fù)現(xiàn)。能復(fù)現(xiàn)說明問題在主控附近不能復(fù)現(xiàn)說明是外設(shè)或外部干擾。這里有個(gè)原則在排除硬件問題之前不要花大量時(shí)間去 Code Review。很多看似軟件邏輯的問題根源是硬件時(shí)序不滿足你把代碼翻穿了也找不到。2.2 啟動(dòng)類故障的標(biāo)準(zhǔn)排查路徑如果故障現(xiàn)象是設(shè)備“起不來”我通常按下面的路徑排查每一步都有明確目的確認(rèn)電源用萬用表量各路供電是否正常。電源正?;九懦竺娣e短路和電源損壞。確認(rèn)時(shí)鐘示波器測外部晶振引腳應(yīng)該看到穩(wěn)定的正弦波或方波。主芯片如果支持內(nèi)部 RC 振蕩器可以嘗試切換時(shí)鐘源確認(rèn)晶體問題。確認(rèn)復(fù)位抓復(fù)位引腳上電瞬間應(yīng)該有一個(gè)從低到高的跳變且跳變后保持高電平。如果反復(fù)跳變說明有看門狗或復(fù)位芯片在拉低。確認(rèn)程序執(zhí)行位置用調(diào)試器或 LED 心跳法確認(rèn)程序是否進(jìn)入 main。連 JTAG/SWD 能連上但跑不起來大概率是向量表或啟動(dòng)配置問題。確認(rèn)外設(shè)初始化啟動(dòng)后逐段注釋外設(shè)初始化代碼用二分法縮小范圍。這套路徑配合啟動(dòng)流程圖能把絕大多數(shù)啟動(dòng)故障快速定位到具體環(huán)節(jié)。2.3 活用 HardFault 機(jī)制讓芯片自己報(bào)出案發(fā)現(xiàn)場如果說啟動(dòng)流程是“案發(fā)第一現(xiàn)場”那 HardFault 就是“案發(fā)現(xiàn)場的監(jiān)控錄像”。Cortex-M 內(nèi)核在遇到非法內(nèi)存訪問、未定義指令、棧溢出等情況時(shí)會觸發(fā) HardFault進(jìn)入HardFault_Handler。很多人的HardFault_Handler是這樣的void HardFault_Handler(void) { while (1); }這樣寫只保證程序不死機(jī)但對定位問題毫無幫助。正確的做法是在 HardFault 里把現(xiàn)場信息提取出來寫入日志或保存到 RAM 特定位置。Cortex-M 在進(jìn)入 HardFault 時(shí)硬件會自動(dòng)把 R0、R1、R2、R3、R12、LR、PC、xPSR 這 8 個(gè)寄存器壓入當(dāng)前棧MSP 或 PSP。我們在 Handler 里讀出這些值就能拿到觸發(fā) Fault 的 PC 地址。void HardFault_Handler(void) { volatile uint32_t *stack; volatile uint32_t cfsr SCB-CFSR; volatile uint32_t hfsr SCB-HFSR; // 根據(jù) CONTROL 寄存器判斷當(dāng)前使用的是 MSP 還是 PSP if (__get_CONTROL() 0x02) { stack (uint32_t *)__get_PSP(); } else { stack (uint32_t *)__get_MSP(); } // 棧幀布局R0, R1, R2, R3, R12, LR, PC, xPSR volatile uint32_t fault_pc stack[6]; volatile uint32_t fault_lr stack[5]; volatile uint32_t fault_r0 stack[0]; // 把信息保存到全局變量或串口打印 g_fault_info.pc fault_pc; g_fault_info.lr fault_lr; g_fault_info.cfsr cfsr; g_fault_info.hfsr hfsr; while (1); }拿到 PC 地址后在編譯生成的.map文件里搜索這個(gè)地址就能定位到具體函數(shù)再通過行號信息如果開了-g定位到源碼行。有一次我定位一個(gè) Bug現(xiàn)象是設(shè)備運(yùn)行幾小時(shí)后隨機(jī)死機(jī)連上調(diào)試器發(fā)現(xiàn)是 HardFault。從棧里提取到 PC 地址后在 map 文件里一查落在一個(gè)memset調(diào)用附近。繼續(xù)分析棧幀里的 R0發(fā)現(xiàn)目標(biāo)地址是一個(gè)被釋放過的結(jié)構(gòu)體指針。本質(zhì)上是一處 use-after-free跟“隨機(jī)死機(jī)”的表現(xiàn)完全吻合。沒有 HardFault 現(xiàn)場提取的話這個(gè)問題可能要排查幾周。2.4 一個(gè)真實(shí)案例一次偶發(fā)啟動(dòng)失敗的完整排查記錄這里分享一個(gè)我實(shí)際經(jīng)歷過的排查過程里面用到的思路和上面方法論完全一致?,F(xiàn)象某設(shè)備在低溫環(huán)境下部分批次首次上電啟動(dòng)失敗電源燈亮但串口無輸出斷電重啟后大概率恢復(fù)正常。排查過程先做分域。拆了一臺故障設(shè)備用示波器抓上電時(shí)各路電源發(fā)現(xiàn) 3.3V 波形有輕微跌落但沒跌到復(fù)位閾值以下初步排除電源本身問題。抓復(fù)位引腳發(fā)現(xiàn)復(fù)位信號在上電后出現(xiàn)了一次約 200ms 的低電平毛刺隨后恢復(fù)高電平。這就是問題所在——外部看門狗芯片在電源不穩(wěn)時(shí)誤觸發(fā)了復(fù)位而主控還沒來得及完成啟動(dòng)。進(jìn)一步分析代碼發(fā)現(xiàn)啟動(dòng)流程里先喂狗后初始化時(shí)鐘。低溫環(huán)境下晶振起振本來就慢時(shí)鐘還沒穩(wěn)定看門狗已經(jīng)快超時(shí)了一旦被觸發(fā)復(fù)位就形成了“啟動(dòng)失敗—復(fù)位—再啟動(dòng)—再失敗”的循環(huán)。修改方案把看門狗初始化放到時(shí)鐘穩(wěn)定之后并且在 Bootloader 階段延長首次喂狗時(shí)間給晶振留出足夠的起振裕量。改完在低溫箱里做了 200 次上下電測試故障不再復(fù)現(xiàn)。這個(gè)案例能說明兩件事第一啟動(dòng)流程不只是“代碼能不能跑”還涉及時(shí)序、溫度、硬件特性的綜合影響第二排查偶發(fā)故障要靠硬件的量測手段和軟件的邏輯分析結(jié)合缺一不可。3. OTA 升級工程化實(shí)戰(zhàn)從“能升級”到“升級不翻車”3.1 OTA 不是“下載固件 寫入 Flash”這么簡單OTAOver-The-Air升級是很多嵌入式產(chǎn)品的標(biāo)配功能。但真正把它做好做成生產(chǎn)級而不是Demo 級要處理的問題多得多。一個(gè)最小可用的 OTA 系統(tǒng)至少包含三個(gè)角色設(shè)備端負(fù)責(zé)下載固件、存儲、校驗(yàn)、切換分區(qū)、失敗回滾服務(wù)端負(fù)責(zé)固件版本管理、發(fā)布策略、灰度控制、設(shè)備狀態(tài)管理簽名/打包工具負(fù)責(zé)對固件鏡像做加密、簽名、生成元信息。很多團(tuán)隊(duì)第一次做 OTA以為在設(shè)備端寫個(gè) HTTP 下載、把數(shù)據(jù)寫入 Flash 就完事了。結(jié)果一上線就遇到各種問題下載到一半網(wǎng)絡(luò)斷了設(shè)備變磚固件被中間人篡改設(shè)備被植入惡意代碼A 設(shè)備升級到 B 設(shè)備的固件導(dǎo)致硬件外設(shè)不匹配升級失敗后沒有回滾機(jī)制只能返廠維修。這些都是我要強(qiáng)調(diào)的OTA 的核心不是“傳輸”而是“狀態(tài)管理”和“異?;謴?fù)”。3.2 A/B 分區(qū)方案用一倍存儲換來的升級安全感目前工業(yè)界最穩(wěn)妥的 OTA 方案是 A/B 分區(qū)也叫雙分區(qū)、雙備份。思路很簡單Flash 里放兩個(gè)可以獨(dú)立啟動(dòng)的固件區(qū)當(dāng)前運(yùn)行在 A 區(qū)升級時(shí)寫入 B 區(qū)寫入完成后切換啟動(dòng)標(biāo)志下次從 B 區(qū)啟動(dòng)。分區(qū)布局大概是這樣的-------------------------------------------------- | Bootloader | Slot A (App v1.0) | Slot B (App v2.0) | --------------------------------------------------關(guān)鍵機(jī)制有兩點(diǎn)啟動(dòng)計(jì)數(shù)每次從某個(gè)分區(qū)啟動(dòng)時(shí)Bootloader 先把該分區(qū)的啟動(dòng)計(jì)數(shù)加 1寫到一個(gè)專門的 metadata 區(qū)。如果 App 啟動(dòng)后運(yùn)行正常會通知 Bootloader 重置計(jì)數(shù)如果 App 啟動(dòng)失敗或反復(fù)重啟計(jì)數(shù)一直累積直到達(dá)到閾值比如 3 次Bootloader 就判定這個(gè)分區(qū)是壞的自動(dòng)切換到另一個(gè)分區(qū)。健康檢查App 不僅要“啟動(dòng)”還要“健康”。我們在實(shí)際項(xiàng)目里通常會讓 App 在初始化完成后上報(bào)一次“啟動(dòng)成功”事件給服務(wù)端服務(wù)端收到后下發(fā)確認(rèn)設(shè)備端重置計(jì)數(shù)器。如果服務(wù)端長時(shí)間沒有確認(rèn)設(shè)備端會自動(dòng)回滾到上一個(gè)版本。A/B 分區(qū)的最大缺點(diǎn)是 Flash 占用翻倍。對很多成本敏感的 MCU 產(chǎn)品來說Flash 往往摳得很緊這時(shí)可以做壓縮包升級 備份恢復(fù)區(qū)方案固件版本用壓縮包傳輸解壓后寫入原分區(qū)同時(shí)保留一個(gè)小型恢復(fù) Bootloaderrecovery專門處理升級失敗后的恢復(fù)。但這個(gè)方案復(fù)雜度比 A/B 高代碼量也更大需要自己管理異?;謴?fù)邏輯。如果 Flash 容量允許A/B 分區(qū)永遠(yuǎn)是最省心的選擇。3.3 固件加簽驗(yàn)簽建立從服務(wù)器到芯片的安全信任鏈很多人在做 OTA 時(shí)有一個(gè)誤區(qū)我的 OTA 走的是 HTTPS數(shù)據(jù)是加密的所以安全。但 HTTPS 只保護(hù)了“傳輸過程”固件本身在服務(wù)端存儲時(shí)、被離線下載后都是不設(shè)防的。真正需要的是對固件本身做簽名讓設(shè)備端能夠驗(yàn)證固件來源和完整性。簽名和驗(yàn)簽的典型流程是編譯生成固件二進(jìn)制文件用哈希算法如 SHA-256計(jì)算固件哈希用私鑰對哈希做簽名如 RSA-2048 或 ECDSA P-256把簽名和固件元信息版本號、芯片型號、發(fā)布時(shí)間一起打包設(shè)備端下載后用預(yù)置的公鑰驗(yàn)簽驗(yàn)簽通過才允許寫入。這里有一個(gè)容易被忽視的細(xì)節(jié)公鑰存放在哪。如果公鑰放在固件里攻擊者可以直接替換固件里的公鑰配合自己生成的私鑰簽一個(gè)新固件。正確的做法是把公鑰放在 Bootloader 的只讀區(qū)域或者直接燒死在芯片的 eFuse 里讓 Bootloader 作為信任根逐級驗(yàn)證。還需要考慮版本回滾攻擊。攻擊者拿到一個(gè)舊版本固件雖然里面有已知漏洞但簽名是有效的。如果設(shè)備端只驗(yàn)證簽名不驗(yàn)證版本號攻擊者就可以把設(shè)備“降級”到有漏洞的舊版本。所以版本號必須參與驗(yàn)簽邏輯設(shè)備端要校驗(yàn)新固件版本不低于當(dāng)前版本。完整的信任鏈?zhǔn)荁oot ROM - Bootloader - App 固件 - 升級包 逐級驗(yàn)簽每一級只信任上一級公鑰簽名的內(nèi)容這條鏈建立起來后即使攻擊者拿到了服務(wù)器上的固件文件沒有私鑰也無法制造出能通過驗(yàn)簽的升級包。3.4 量產(chǎn)中容易翻車的工程細(xì)節(jié)與對策除了分區(qū)分區(qū)、簽名這些偏架構(gòu)的決策實(shí)際量產(chǎn)中還有一堆小細(xì)節(jié)每一個(gè)都能讓你在客戶現(xiàn)場翻車。寫入掉電保護(hù)。升級過程中最怕寫 Flash 寫到一半掉電。A/B 分區(qū)通常沒事頂多下次啟動(dòng)還是舊版本但如果是單分區(qū)原地升級寫一半斷電設(shè)備就真的“磚”了。對策是升級寫入時(shí)先寫一個(gè)“magic number”標(biāo)志到專門區(qū)域表示“開始寫入了”寫入完成后再更新標(biāo)志為“寫入完成”。Bootloader 啟動(dòng)時(shí)檢查標(biāo)志如果發(fā)現(xiàn)標(biāo)志停在“開始寫入”狀態(tài)說明上次升級沒寫完可以提示用戶或自動(dòng)進(jìn)入 recovery 模式。多分區(qū)的“事務(wù)性”升級。有些產(chǎn)品不只有 App 固件還有字庫、配置文件、AI 模型等多塊數(shù)據(jù)。如果 A 區(qū) App 升級成功B 區(qū)字庫升級失敗系統(tǒng)重啟后 App 版本和字庫版本不匹配就會出現(xiàn)很奇怪的問題。對策是把多分區(qū)的版本號打包成一個(gè)整體版本升級時(shí)要么全部成功要么全部回滾。灰度發(fā)布和限流。大量設(shè)備同時(shí)收到升級推送同時(shí)去服務(wù)器下載很容易把服務(wù)器帶寬打滿導(dǎo)致所有設(shè)備都下載超時(shí)。成熟的做法是按設(shè)備 ID 或 MAC 地址做灰度發(fā)布先升級 5% 的設(shè)備觀察一天沒問題后再逐步放量到 10%、50%、100%。失敗信息上報(bào)。設(shè)備升級失敗后如果只是 silently 保留舊版本那就失去了排查問題的機(jī)會。一定要在設(shè)備端記錄失敗原因網(wǎng)絡(luò)超時(shí)、校驗(yàn)失敗、寫入失敗上報(bào)給服務(wù)端。我在實(shí)際項(xiàng)目里就靠這個(gè)能力快速發(fā)現(xiàn)了一批設(shè)備的 eMMC 存在壞塊問題最終定位到是某批次物料質(zhì)量缺陷。3.5 加密傳輸不是必須但要考慮“過期”簽名解決的是“固件來源可信”的問題傳輸層是否加密看具體場景。如果產(chǎn)品是公網(wǎng)設(shè)備升級包里有敏感的業(yè)務(wù)邏輯建議對固件做對稱加密如果只是消費(fèi)類小設(shè)備簽名 HTTPS 基本足夠。有一個(gè)容易踩的坑是設(shè)備時(shí)間。很多設(shè)備沒有 RTC 或者 RTC 電池沒接每次上電時(shí)間都是出廠默認(rèn)值。如果你在驗(yàn)簽邏輯里用了時(shí)間戳或證書有效期設(shè)備時(shí)間不對會導(dǎo)致驗(yàn)簽失敗或者證書提前過期。所以要么在 OTA 流程里先同步時(shí)間要么在簽名機(jī)制里只用版本號不用時(shí)間窗口。4. 上篇課后思考題三道題的完整解析與踩坑預(yù)警4.1 思考題一為什么跳轉(zhuǎn) App 前必須關(guān)中斷先說結(jié)論關(guān)中斷是為了避免跳轉(zhuǎn)瞬間產(chǎn)生“孤兒中斷”或者“中斷向量錯(cuò)位”。跳轉(zhuǎn) App 是個(gè)瞬間動(dòng)作但它跨越了兩個(gè)不同的代碼世界Bootloader 的世界和 App 的世界。如果 Bootloader 期間已經(jīng)初始化了某個(gè)外設(shè)的中斷跳轉(zhuǎn)時(shí)沒有把中斷關(guān)閉可能發(fā)生兩種情況中斷在跳轉(zhuǎn)完成的瞬間觸發(fā)此時(shí) App 的向量表還沒設(shè)置好VTOR 還是 Bootloader 的值CPU 去查向量表找到的可能是 Bootloader 的中斷處理函數(shù)甚至是一個(gè)無效地址直接 HardFault即使向量表已經(jīng)切換App 的中斷處理函數(shù)、外設(shè)時(shí)鐘、中斷優(yōu)先級分組都可能還沒初始化這時(shí)候中斷來了行為完全不可控。這里說的“關(guān)中斷”不只是__disable_irq()關(guān)掉全局中斷總開關(guān)還包括逐個(gè)關(guān)閉已經(jīng)打開的外設(shè)中斷清除外設(shè)的中斷掛起位pending bit防止中斷在關(guān)閉前已經(jīng) pending 了一打開就觸發(fā)關(guān)閉 SysTick 并清計(jì)數(shù)如果用了 RTOS還要注意 SysTick 可能被操作系統(tǒng)改寫跳轉(zhuǎn)前要恢復(fù)默認(rèn)設(shè)置。我見過一個(gè)實(shí)際案例Bootloader 里開啟了串口 DMA 接收負(fù)責(zé)接收升級包。升級完成后直接跳轉(zhuǎn) App沒有關(guān) DMA。結(jié)果 App 起來后DMA 還在跑數(shù)據(jù)寫進(jìn)了 App 的某個(gè)緩沖區(qū)導(dǎo)致緩沖區(qū)被莫名覆蓋程序偶爾死機(jī)。排查了很久最后發(fā)現(xiàn)是 DMA 的鍋。所以跳轉(zhuǎn)前把所有外設(shè)清干凈看起來是“多此一舉”實(shí)際上是救命的。4.2 思考題二如何設(shè)計(jì)一個(gè)失敗也能回滾的 OTA 流程上篇留的這道題本質(zhì)上是考察你對 OTA 狀態(tài)機(jī)的理解。一個(gè)可回滾的 OTA 流程核心是把“下載”“寫入”“切換”“驗(yàn)證”四個(gè)階段分開并且每個(gè)階段都有明確的成功/失敗判定。一個(gè)成熟的回滾流程可以這樣設(shè)計(jì)下載階段新固件下載到外部存儲如 SD 卡、外部 Flash或直接分段寫入目標(biāo)分區(qū)的臨時(shí)區(qū)域。下載完成后做整體校驗(yàn)SHA-256失敗則丟棄當(dāng)前固件不受影響。寫入階段把目標(biāo)分區(qū)正式寫入。寫入前記錄當(dāng)前分區(qū)為“可回滾分區(qū)”目標(biāo)分區(qū)標(biāo)記為“升級中”。寫入過程中斷電下次啟動(dòng) Bootloader 發(fā)現(xiàn)“升級中”狀態(tài)自動(dòng)恢復(fù)為從當(dāng)前分區(qū)啟動(dòng)。切換階段寫入完成并校驗(yàn)通過后Bootloader 把啟動(dòng)標(biāo)志指向新分區(qū)同時(shí)增加啟動(dòng)計(jì)數(shù)。驗(yàn)證階段App 啟動(dòng)后執(zhí)行健康檢查自己的自檢邏輯、外設(shè)檢測、通信握手確認(rèn)正常后通知系統(tǒng)重置啟動(dòng)計(jì)數(shù)。如果 App 啟動(dòng)失敗或連續(xù)重啟啟動(dòng)計(jì)數(shù)達(dá)到閾值Bootloader 自動(dòng)切回舊分區(qū)。從實(shí)現(xiàn)角度這里的核心數(shù)據(jù)結(jié)構(gòu)是分區(qū)元信息partition metadata。每個(gè)分區(qū)至少要有分區(qū)號A/B固件版本號固件大小哈希值啟動(dòng)計(jì)數(shù)狀態(tài)標(biāo)志INVALID / VALID / UPDATING / PENDINGBootloader 在每次啟動(dòng)時(shí)都要讀元信息根據(jù)狀態(tài)和計(jì)數(shù)決定啟動(dòng)哪個(gè)分區(qū)。這跟數(shù)據(jù)庫的事務(wù)日志有點(diǎn)像——每個(gè)狀態(tài)都可回退不會出現(xiàn)中間態(tài)的災(zāi)難。4.3 思考題三沒有調(diào)試器時(shí)怎么定位死循環(huán)沒有 JTAG/SWD、沒有 printfCPU 只剩下一個(gè) LED 能亮能滅怎么定位一個(gè)死循環(huán)這是我們在資源受限 MCU 上遇到的很現(xiàn)實(shí)的問題。我的經(jīng)驗(yàn)里下面幾種方法最實(shí)用按優(yōu)先級排序方法一心跳 LED 分段標(biāo)記。在代碼的關(guān)鍵路徑上插 LED 翻轉(zhuǎn)語句。比如循環(huán) 1 結(jié)束后 LED 快閃循環(huán) 2 結(jié)束后 LED 慢閃。死機(jī)后看 LED 停在什么閃法就能知道死在哪個(gè)區(qū)間。這個(gè)方法的本質(zhì)是用 LED 狀態(tài)機(jī)替代調(diào)試器打印。方法二SysTick 計(jì)數(shù)器當(dāng)“活動(dòng)探針”。在 SysTick 中斷里維護(hù)一個(gè)遞增計(jì)數(shù)然后在懷疑的死循環(huán)代碼里周期性讀取計(jì)數(shù)器值。如果某個(gè)位置的計(jì)數(shù)一直不變說明程序根本沒跑到這里。這個(gè)方法不需要調(diào)試器只要定時(shí)器還能跑。方法三看門狗 現(xiàn)場保存。在死循環(huán)發(fā)生前CPU 可能還能跑幾個(gè)周期這時(shí)候把現(xiàn)場信息寄存器、返回地址保存到 RAM 的特定區(qū)域然后強(qiáng)制觸發(fā)一個(gè)未定義指令或?qū)懸粋€(gè)非法地址主動(dòng)進(jìn)入 HardFault。重啟后從 RAM 里把上次保存的現(xiàn)場信息讀出來串口打印或用其他方式上報(bào)。這種方法相對激進(jìn)但往往能在資源極度受限時(shí)問你出答案。方法四利用片內(nèi)調(diào)試單元DWT。Cortex-M3/M4 內(nèi)核的 DWTData Watchpoint and Trace單元有一個(gè) Cycle Counter 寄存器可以在不打斷程序的情況下測量某段代碼的執(zhí)行時(shí)間。如果某段代碼理論上應(yīng)該 10ms 執(zhí)行完但實(shí)測計(jì)數(shù)器跑了很久說明這里有死循環(huán)或阻塞。不過在陷入這些手段之前我還是想提醒一句死循環(huán)背后通常有兩類根因一是邏輯邏輯狀態(tài)機(jī)漏狀態(tài)、條件判斷遺漏二是資源問題棧溢出、堆耗盡、死鎖、優(yōu)先級反轉(zhuǎn)。如果代碼邏輯簡單還死循環(huán)優(yōu)先懷疑棧溢出——把 1/4 的棧空間填上固定值死循環(huán)后檢查剩余值是否有被篡改這是最經(jīng)典的棧溢出檢測法也是面試??嫉狞c(diǎn)。我在實(shí)際項(xiàng)目中定位過最“坑”的一次死循環(huán)原因是某個(gè)結(jié)構(gòu)體指針在條件分支里沒有賦值就使用了看似每次都會走賦值分支但恰好有一種輸入組合走入了沒有賦值的分支于是指針指向了上一次的殘留數(shù)據(jù)一訪問就死循環(huán)。當(dāng)時(shí)在現(xiàn)場沒有調(diào)試器就是把.map文件、棧填充檢測、條件分支日志三樣結(jié)合起來圈定了問題函數(shù)最后在代碼里找到了那個(gè)漏寫else的分支。嵌入式固件的進(jìn)階沒有捷徑無非是把啟動(dòng)流程、定位方法、升級工程這些“地基”一層層夯實(shí)。這些能力不會讓人在編碼時(shí)直接多寫幾行功能代碼但在設(shè)備出問題、客戶找上門、批量設(shè)備變磚的時(shí)候真正能救場的往往是平時(shí)看起來最不起眼的底層功
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字幕-区二区三区四区视频中国| 精品999999| 91操熟女| 一区二区三区四区姦女| 亚洲人妻爽爽爽| 99操碰| 久草看看看| 97人人射| 蜜臀久久99精品久久久久久-DVD| 日韩精品.久久精品.AV女优.天美传媒| 亚洲操操操无码| 久操婷婷| 夜夜高潮夜夜爽高清视频一| 天天操妹子| 99精品在线播放| 亚洲天堂精品日韩电影| 嫩草影院永久在线制服丝袜| 在线综合色| 全国男人天堂网| 另类亚洲图色| www.av在线观看| 麻豆精品.欧美精品.日韩精品.| 婷婷五月天福利| 精品欧美А∨无码黑人大荫蒂| 国产精品 午夜福利| 日韩黄色av中文字幕| www.成人无码| 亚洲精品男人的天堂| 中文字幕天堂在线| 福利大香蕉| baisiav| 欧洲成人性爱视频| 欧洲欧美视频一区二区| 翔田千里爆乳巨臀无码| 中文字幕狠狠玩| 裸体美女久久久| 久久久久久久人妻| 最新日日夜夜天天干干| 99色热| 91欧美长吊| 99色色网| 国产精品无码av| 嗯嗯不要视频| 蜜臀久久99精品久久久久久成人小说 | 中文字幕在线观看永久| 欧美不卡在线一区二区| 2021国产成人精品久久| 欧美不在线| 一区,二区,三区视频| 黄页网站免费高清在线观看| 色翁荡息又大又硬又粗又爽| 久久色精品视频在线| 久久青娱乐| 在线看片国产精品每日更新| 日本1区2区不卡视频| 午夜欧美精品久久久| 欧美亚洲se91| 亚州综合图片| 国产人妻精品久久久一区二区三区 | WWW黄片COM| 一类无码操逼视频| 亚洲h片在线免费观看| 亚洲操人| 色婷婷电影| 中文字幕jul-617人妻熟女| 久久久96| 国产精品高潮久久久无码| 国产精品香蕉| 国产中出内射一区二区| 操逼啊啊啊91| 99热色精品| 人妻加勒比东京热| 欧美性爱第1 页| 欧美性性性| 国产高清在线自在拍69| 久久激情四射婷婷丁香五月天| 免费男人的天堂| 日曰骚久久精品| 国产精品白丝www| 国产又粗又长又大的视频| 性高潮久久久| 国产精品女aA片爽爽视频| 综合av社区| 91爆操视频| 桑老女人九区| 热热色色综合| 亚洲 欧美 日本 国内 首页| 女人天堂av在线播放| 免费AV中文网在线观看| 亚洲图片偷拍视频区| 野狼激情网| 精品无人区麻豆乱码久久久| 久久久成人免费av电影| 88xx成人精品视频| 久久久涩| 日韩日本欧美在线观看| www.久久| 欧美第五页| 91M一社| 黄色免费网| 精品国产肉丝袜在线拍国语| 大香蕉色十月| 加勒比色99999| 2017人人操,人人摸| 国产免费内射视频| 国产精品亚洲天堂网址| 国产精品久久久亚洲一区| www. 男人天堂成人在线| 91n欧美| 思思性爱| AV在线播放网址| 东北少妇高潮zzzz| 青草一区二区| 欧美刺激色黄片免费看| A男人的天堂| 亚洲精品国产精品成人| 狠狠操狠狠插| 久久女人| 99久热| 欧美色色人| 蜜臀人妻少妇久久在线观看| 91色欧美| 久久草大香蕉| 亚洲色交| 日韩乱码Av| 正宗无毛一线天嫩逼| AV污污污污| 综合网久久| 中文一区二区婷婷视频| 国产精品久久久亚洲第一牛牛_在线观看| 国内毛片欧美香蕉精品| 色综合潮| 草草影院日本第一页| 亚洲。日韩。欧美| 很黄很色的视频在线观看| 97一区二区三区视频| 欧美一区二区一级岛国大片| 在线观看无码三级少妇| 日韩9999| 精品成人动漫一区二区| 少妇色综合| 天天操天天射天天日| 操逼精品视频| 久草免费在线一区二区| 国产在线激情| 亚洲女毛多水多21P| 91男人天堂网| 屌逼麻豆| 园内精品自拍视频在线播放| 午夜福利1区2区3区| 啊操爽品善一区二区三区| 欧美日韩*字幕一区| 九九九九88| 最新av网站在线观看| 欧美人妻色| 亚洲无码免费看| 久九九九九九九九热| 亚洲av在线免费观看| 精品人妻视频一区二区三区蜜桃视频| 伦伦成年午夜免费视频| 日日骚av| 欧美日韩人人精品| 超碰AV在线| 欧美日韩在线视频网站| 国产精品69久久久久孕妇欧美| 欧美不卡二区| 明星性猛交ⅹxxx乱大交| 国产青视频| 国产一区二区三区影片| 涩涩久久精品| 色婷婷丁香五月| 97人人夜夜精品视频| …中文字幕亚洲乱,97人妻无码费视… | 五月丁香色婷婷| 熟妇xxxxx性春色| 久久一本大香蕉| 粉嫩国产精品久久粉嫩| 无码精品久久久久久亚洲| 亚洲日精品| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 学生妹天天看| 麻豆久久久久久久久丝袜 | 日韩中文字幕宗合在线| 久悠悠av| 欧美夜夜狠| 午夜激情成人在线观看| 不卡av在线中文字幕| 可乐操在线| 强奸熟女一区二区三区| 亚州乱码中文字幕综合久久久| 日本久久99| 久久久久9| 极品AV网站在线观看| 97综合在线观看| 性欧美另类高清| 免费黄色视频网址| 3p国产欧美99热| 97久久久| 亚洲国产第一页综合视频| 天天视频黄网站| 久草男人天堂| 欧美日日网| 人妻夜夜爽天天爽麻豆三区网站 | 久久亚洲AV无码白度| 久久久涩| 精品玖九九久| 99无码视频| 日本福利二区视频| 婷婷久热| 欧美亚男人的天堂| 大香蕉欧美国产日韩高潮| 欧美韩国你懂得在线 | 国产精品不卡一区二区三区av| 97久久国产精品女不卡| 日本不卡五区| 国产精品一级特黄aaa大片在线观看| 亚洲精品一区二区精品| 国产精品制服丝袜清纯唯美 | 国产一区二区成人av在线播放| 91啪啪| 国产一区二区免费福利片| 一起草三级AV电影在线观看 | 亚洲欧美首页| 久久综合精品一区二区三区| 玖玖爱一区在线| 精品久久九| 免费男人的天堂| 亚州综合| 欧美极度丰满熟妇hd| 成人情色一区二区| 国产农村妇女精品1区二区| 亚洲十八禁止| 国产精品经典一卡久久久 | 大色综合| 性在久久久久久| 国产91精品福利在线| 一块操欧美性爱| 亚洲美女精品| 久热网| 青娱乐福利99| 99亚洲天堂| 青娱乐大香蕉| 一区二区三| 伦在线97| 亚洲欧美色图| 色噜噜狠狠色综无码久久合欧美| 亚码人妻| 国产成人精品必看 | 亚洲五码一区二区三区| 99热在线观看| 麻豆一区二区三区在线看| 亚洲情色一区三区| 国产丝袜一区二区三区| 国产精品网址| A级毛片在线看免费| 亚州操逼网| 97精品国产手机| 精品人妻一区二区三区日产乱码| www.久久久久| 久热这里| 99操逼| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 国产成人无码啪| 男人的天堂不卡一区二区| 日日黄色三级网站| av网站在线看| 香蕉99秘 精品一区丁香| 91无码人妻| 一本精品日本在线视频精品| 久久这里都是精品| 国产成人91一区二区三区| 爱干爱射网啊啊啊| 九九精品无码专区免费| 天天影视激情欧美| 爽爽歪在线视频| 啊啊啊想要| 无码高清专| 91日日| 国产第12页| 99精品久久| 欧美91变态| 亚洲天堂电影精品一区| 久久成年片色大黄全免费网站| 狠狠久久亚洲欧美专区| 精品国产三级av韩国在线| 黄色小说亚洲| 欧美日韩人人早| 亚洲天堂五月天国产| 欧美激情视频一区二区三区不卡| 熟女乱伦A| 五十路熟女工口 | 亚洲天堂区| 91观看 国产白丝| 一区二区三区四区姦女| 亚洲制服欧美另类内射| 精品午夜福利| 人人人摸人人| 超碰97网址| 人人摸人人叼| 精品熟女呻吟久久91| 亚洲色图20p| 九月丁香综合网| 婷婷国产精品一区二区| 亚洲网自拍| av爱爱爱| 青青草在线视频播放器| 亚洲色图国产另类| 日韩一级二级| 成人无码影片视频在线| 日韩操啪| 国产精品交换一区二区| 黄色电影在线播放综合网站| 躁躁躁日日躁2020| 国产熟女自拍| 午夜欧美J进J出白浆流出久久久| 成人情色一区二区| 日韩国产乱子伦App| 99无码狠狠久久| 日本亚欧爱爱| 97在线观看免费视频l| 操九九九九九九| 亚洲黄色影视| 亚洲欧洲综合视频在线| 久久久久亚洲?V片无码V| 色在线视频导航| 精品国产乱码久久久| 久久综合av| 99九九久久| 丁香五月激情网| 乱伦1色页| 亚洲中文字幕在现观看| 超碰午夜| 国语精品av| 午夜操操操| 色香综合天天影视综合 | www国产天美久久久| 成人av性爱电影在线观看| 97超碰香蕉| 天天综合中文字幕 91| 国产日韩怡红院| 亚洲极品| 日韩少妇无吗| 99999精品成人| 天天弄欧美| 欧美九九99久久精品| 欧美老妇综合网| 欧美一区二区传媒| 加勒比海成人视频网| 精品一久久久| 最新9久久久9免费视频| 日本一区二区不卡| 黑人精品XXX一区一二区| 人人操人人摸人人骑| 久久精品国产亚洲5555| 操www| 日韩亚洲国产视频| 亚洲高清无码AAA久久久精品| 极品美女福利在线观看| 色色丁香| 91总综合网| 美女骚尻视频| 91麻豆天美| 欧美一级黄色免费专区| 大伊香蕉在线视频免费| 女人天堂AV五区在线| 日本天天人人狠狠在线日美女| 九九无码久久精品视频| 日本黄色裸日本黄色裸体| 亚洲欧洲激情| 一级黄色性爱裸体视频| 日本性爱网址| 91殴美大片| 亚洲日韩欧美一区二区| 精品熟女呻吟久久91| 狼狼色丁香久久婷婷综合五月| 97久久超碰| 日本不卡码黄色| 蜜桃AV天堂| 亚洲av噜噜噜噜噜噜| 久久婷婷综合国际产色怕| 婷婷色综合欧美日韩| 久久久久久久国产a∨| 激情亚洲天堂| 少妇久久久久久久久| 91成人久久| 亚洲最大的黄色电影网站。| 性生活性生大爱77AV国产| 久久丁香久草综合网| 激情色播| 色香网| 脫衣舞一区二区三区| 亚洲综合春色| 欧美BT 亚洲色图| 91强热人妻| 欧美一区二区传媒| 国产欧美日本亚洲精品| 欧美日韩国产中文精品字幕自在自线, | 婷婷性爱| 欧美激情 亚洲色图| 亚洲九月丁香| 91欧美丝袜| 欧美日韩国产三级黄色| 国产熟女| 国产黄色小视频网站| 蜜桃在线观看一区二区三区 | 夜夜操美女| 九九热免费国产视频婷婷伊人| 激情婷婷黑人91| 国产一区二区在线电影| 日韩电影免费网站麻豆视频| 国产精品老师| 96久久久久| 亚洲男人天堂Av| 亚洲欧美日韩不卡人妻| 91色久| 久久久久久久久999| 欧美色图天堂在线| 91黄站| 丰满翘臀美女影院视频| 精品亚洲一区在线观看| 天天摸天天舔天天操| 国产黄片精品在线| 欧美 亚洲 另类 综合| av午夜影院在线播放| 97久久精品不卡| 久久婷婷色| 男人久久天堂| 亚洲自拍欧美国产首页网曝| 91精品国产日韩欧美综合| 精彩久久中文| 久久在肏| 日韩无码视频黄色| 久久九操在线观看| 99无码| 超碰人人操97碰| 99这里只有精品| 精品久久在线区一区| 亚洲国产欧美一区二区潘金莲| 偷拍片久久| 91四海无码日韩欧美| 精品国产乱码久久久久久久久1| 亚洲人妻久久| 亚洲天天影视色综合| A久久| 天堂俺去俺来也www久久婷婷| 久久久555| 91爰爱欧美| av天堂影视中文在字幕在线中文 | 色天使大香蕉| 亚洲宅男天堂| 天天情欲宗合网| 夜夜一区二区| 欧美日韩第一页| 国产精品国产自产高清AV| 91天美免费| 午夜天堂精品久久| 超碰av在线| 国产毛片久久久久久久| 欧美日韩97| 九9热伊人| 激情五月综合开心五月| 婷婷激情四射| 色天天野狼综合社区| 97超视频在线观看| 久偷拍| 嗯嗯,啊啊,国产精品| 久久五月婷| 无码 有码 国产18p| A 在线网址| 欧美夜夜草视频| 亚洲在线91| 东北女人性交| 国产三区免费在线观看| 日韩性爱视频在线免费观看| 国产亚洲日韩欧| 亚欧高清| 国产精品亚洲无码| 亚洲国产av中文字幕久久| 久久久久久久强迫| 69精品| 免费操逼91| 日本东京热久久久电影| 青娱乐二区免费| 岛国爱情动作片在国产AV无码专区亚洲AV漫画 | 欧美亚洲高清不卡| 噜噜噜久久亚洲精品色情| 妇女视频网站| 制服丝袜第二页| 后入福利视频| 天天92av| 国产一级137片内射麻豆| 国产精品不卡一区二区三区av| 免费a v| 人人模人人看| 久久五十路熟女人妻| 日韩少妇在线视频| 超碰538| 久久久久深夜无码| 亚洲图片小说欧洲| 国产亚洲色停停久久99精品91| 日夜干射色啊| 台湾佬大香蕉| 国产亚洲深夜激情| 免费一级特黄特色大片在线观看看| 色综合网1| 亚州成人a∨| 欧美亚州综合图片| 五月婷婷综合在线| 欧美综合加勒比在线| 久久久男人的天堂| 999精品乱码| 人人操人人操人人人操| 婷婷五月天成人网| 日韩欧美偷拍美女视频| 亚洲清纯综合| 成人无码在线视频网站| 欧美综合区| 欧美最婬乱婬爆婬性视频 | 天天看高清麻豆| 国产区在线| 中文字幕乱在线伦视频中文字幕乱码在线| 色婷五月| 后入式福利| 秋霞一级鲁丝片A片| 婷婷精品视频| 啊好爽快点-国产一区二区三区撒尿在线-成人AV| 无卡一区=区| av网站免费线看| 偷拍亚洲视频一区二区三区四区| 久久成年片色大黄全免费网站| 留下AⅤ黄色片| 熟妇一区二区三区| 午夜男人的天堂| 久精品无码av一区二免费国产在线观看| 人妻天天爽夜夜爽爽| 欧洲亚洲人人爽爽视频| 久久久久亚洲AV无码专区少妇| 热天堂一区二区| 免费在线视频97| 色色色色网站| 自拍啪啪视频| 最近2019中文字幕国语免费版| 97 国产一区| 国产91影院| 男人久久天堂| 日日干日日| 97欧美综合网| 婷婷五月天基地| 97jingpin| 国产AAAAAABBBBB| 亚洲A色| 国产精品无码成人精品| 精产国品一区二三产品| 97色伦97色伦国产欧美| 香港日本韩国人妇99www.wccm20| 亚洲精品国产无码高清| 青青草手机在线免费观看| 人人贴人人摸| 精品人妻一区春色| 日韩干B| 青娱乐国产盛宴视频| 老女人碰碰在线碰碰视频| 操逼不卡中文字幕| 素人伊尹大香蕉免费下载视频| 成人性爱电影网| 免费97视频| 国产女人成人精品视频| 婷婷10月天青娱乐| 99久久久无码| 岛国毛片手机在线观看| 91热色| 国产尹人在线视频免费| 成人青青草原伊人| 亚洲欧美天堂在线| 亚欧国产无码精品在线| 狠狠超| 欧美天堂亚洲电影院一区在线播放| 久精品无码av一区二免费国产在线观看| 色色97爱| 91综合网站| 禁十八久久| 亚洲免费人妻在| 黄色操人| 人妻丝袜二区| 97超碰精品成| 999久久久久久久精| 亚洲中文国际强奸字幕 | 丰满人妻一区二区三区| 99精品丰满人妻| 亚洲午夜AV| 国产美女裸体秘 永久无遮挡| 91女优在线观看 | 韩美日操逼| 超碰97久久国| 日本人体九九九九九九| 首页中文字幕中文字幕免费| 摸奶性爱视频网站在线免费播放| 美女黄色91| 亚洲精品骚逼| 久久九九一区二区三区成人| 99热9| 91小视频| 黄色AAAAA欧美| 超碰免费97| 26uuu性物| 久久神马| 69天堂| 欧美在线天堂| 久久中文字幕女同性恋一区| 四虎在线播放| 狠综合网| 试看福利| 一区二区三区色综合| 六月丁操逼| 男人天堂.AB| 大香蕉亚洲中文| 激情五月综合网| 伊人网高清| 日韩欧美久久婷婷网站| 四季av一区二区凹凸精品小说| 人妻少妇久久中文| 亚洲少妇自拍中文字幕懂色| 欧美欧美少妇| 男女无套 免费网站| 亚洲欧美91| 91人妻熟女| 熟女人妻精品一区二区视频| 久久97超碰| 人妻精品视频一区二区三区| 亚洲欧美日韩制服另类| 国产一区二区三区视频在线看| 亚洲97成人在线观看| 在线视频亚洲无码| 国产精品久久久久久久AV大片| 欧美自拍偷拍综合图片| 久久美女国产| 乱老女人一区二区视频| 亚洲情色 无码专区| 天天大干大香蕉| 日韩欧美麻豆 | 亚洲国产成人精品999| 国产三级资源在线观看| 国产女生在线| 日本不卡码黄色| 97在线欧| 国产欧美日本亚洲精品| 人人干人人操人人..com| 亚洲色图超碰在线| 国内97干免费看| 天天日天天插| 欧美狠狠操| 精品国产久久乱码| 九久精品| 女人午夜视频777| 国产亚洲99久久精品| 91精品电影18| 亚洲色欧| 在线免费观看日韩一区| http://qxhbdz.com| 日产123区精品免费观看| 久久久久久性爱免费视频| 国产亚洲中文不卡二区| 中国亚洲呦女专区| 亚洲天天综合| 欧美一区二区三区日韩| 神马久久久久久久久久| 92久久| 国产一级作爱毛片| 日本不卡卡一区| 清纯唯美第一页| 一级黄色性爱A级片| 歐美一級亂黃99在綫精品| 国产人妻精品一区二区三区秋霞| 日韩av无码网站| 欧美做爰无码A片视频| 中国黑人三级片网站上区| 丝袜视频网国产90| 91欧美性| 五月天婷婷在线看| 99国产精品人妻人伦| 欧美亚州综合网图片| 欧美性爱视频免费一区一A| 成人热久久精品| 国产呦精品系列在线观看| 欧美日韩99精品麻豆传媒| 精品传媒在线一区| oumeisetu综合| 大香蕉78| 99青草| 福利视频合集| 懂色av一区二区三区天美传媒| 欧美成人午夜免费福利785| 97视频在| 盗摄女人妻在线| 亚洲国产亚洲天堂| 日韩欧美俄罗斯A片| 国产精品午夜福利| 大香蕉啪啪啪| 免费成人自拍视频在线| 大香蕉免| 99这里只有精品国产| 中文字幕AV片| 久久精品国产99精品亚洲蜜... | 亚洲综合第一页| 亚洲AV永久无码精品成人调教| 婷婷色影院| 好爽视频在线观看| 一本色道久久综合精品婷婷| 久久综合av| 日本久久精品| 在线视频免费观看午夜| 久热久操| 性色一线| 小情侣高清国产在线视频| 色欲av国内精品久久久久久| 美女诱惑在线一区| 国产欧美日韩在线观看麻豆传媒公司| 三级网站超变态精品| 爱做久久久久久| 亚洲国产精品成人综合| 有码专区最新中文字幕有码| 四虎视频在线观看| 日韩精品一区二区三区四虎影视| 日本成人A片免费看| 久操视频在线观看| 亚洲做性| 欧美大色交| 老师充足的奶水小说| 色婷婷电影网| 中文字幕精品区先锋资源| 国产精品人妻一区二区| 酒色综合网| 欧美日韩久久精品爱爱| 激情综合网五月婷婷五月天| 日本黄色精品专区网站| 啊啊啊啊啊啊啊啊视频| 超碰色大香蕉| 99AV| 老鸭窝在线视频播放| 啊啊啊好疼| 成人在线午夜视频一区| 日韩啪啪啪视频| 精品97精品97| aaa淫乱视频| 色老汉色| 欧美 传媒 麻豆 日韩 偷拍| 欧美最婬乱婬爆婬性视频 | 亚欧成人一级片在线播放| 久久九九97| 性一级黄色录像片网站导航| 亚洲欧美伦综合| 精品久9| aa片毛片| 日韩无码精品综合久久| 国产精品爱欲| 亚洲五码一区二区三区| 8050无码八戒| 99操逼| 少妇免费视频| 中亚精品极乱| 无码91| 老师充足的奶水小说| 欧美韩国你懂得在线 | 国产蜜臀精品一区免费尤物| 人妻夜夜爽天天爽麻豆三区网站| 狠狠狠一区二区三区| 一本正道久久熟女| 动漫av中文| 女人18精品一区二区三区| 麻豆尤物视频网| 91狠狠综| 中文字幕一区二区日韩网| 性爱乱伦一区| 偷拍伦理视频| 欧美少妇高潮久久91| 本道在线| 9久精品| 韩国黄片aaaa| 九九香蕉网| 蜜臀亚洲中文| 性高潮久久久| 国产辣妈在线视频福利| 熟女字幕| 天天操天天射青青草| 久久少妇人妻| 亚洲91色| 小情侣高清国产在线视频| 亚洲天堂综合AV| 久草男人天堂| 伊人九九九| 日本东京热加勒比久久| 天天爽天天干| 狠狠爱AV| 精品国产av一区二区三区四区入口| 国产女人操逼视频| 国产精品一区二区在钱播放| 999熟女精品| 大奶的诱惑| 国产偷拍自拍在线视频| 亚洲欧洲美腿丝袜| 狠久久| 岛国黄| 一区麻豆 高清中文字幕| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 97国产伦理| 欧美黄色手机在线观看| 色墦五月丁香| 熟女露脸激情自拍视频| 国产最新小视频在线播放下载 | 四虎影院成年人片| 日本999精品| 中文久久| 男人的天堂啪啪| 在线 欧美 亚洲| 国产超碰AV在线精品| 亚洲 图片 综合91| 夜夜欢天天干| 综合激情五月丁香| 午夜亚洲| 色吧综合网| 欧美,日韩,中文,另类| 日韩欧美一级特黄大片| 在线中文AV| 国产综合永久精品日韩鬼片| 人人澡综合涩| 看大黄色大片原件| 国产五码丝袜屁眼| 成人av福利在线观看| 天天综合欧美综合| 激情抓乳插进去啪啪啪日韩| 欧美久久婷婷| 国产自产自拍| 久久色AV线| 天天色播亚洲综合网站| AV免费在线播放一区| 97网址97| 韩国一区二区精品亚洲| 国产精品97超碰| 欧美一级色| 91大神精品长腿在线观看网站| 搡老女人老91妇女熟女| 人妻少妇精品一区二区三区| 成人性爱av| 操人妻视频| 伊人精品国产| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 无码自拍SM| 欧美日韩99| 欧美日韩中文字幕人妻| ss久久| 色噜噜国产精品视频一区二区| 亚洲啪啪性视频| 玖玖久久久| 69人妻人人揉人人躁人人精品| 国内一级精品| 免费视频在线观看啊啊啊啊啊| 370p日韩欧美亚洲精品| 亚洲综合在线91| 久久久久久亚洲精品不卡人乳| 免费试看60秒| 少妇99| 日本一二三高清| 亚洲图片欧美在线视频| 久久久一区二区三区三州| 欧美 日韩第一性色| 91新在线欧美| 亚洲欧美精品一区天堂久久 | 国产精品呦一区二区三区| 男人下部插入女人下部| 天天插夜夜操| 精品无码产区一区二| 麻豆天美国美国产| 国内毛片国产专区二| 男女无套 免费网站| 亚洲综合贴图91| 操我啊啊啊啊啊| 日本久久精品| 欧美日韩一区二区三区四区蜜桃| 91 丝袜在线播放| 蜜臀在线网站| 91性高| 91网亚洲| 天天综合日韩网| 色婷婷导航| 日韩乱伦视频| 亚洲最新a在线观看| 欧美高清18A片| 成人怡红院| 另类欧美色| 日本 情色 1区| 污电影在线观看| 97丝袜亚洲在线播放| 色999人与兽| 精品国产乱码久久久久久久久1| 熟女乱伦二区| 国产激情综合| 久久激情视频| 色狠狠综合| 日本一区二区不卡精品| 亚洲精美粉嫩嫩泬在线观看| 强奸国产精品视频| 翔田千里爆乳巨臀无码| 日产操逼| 老熟妇91| 老熟女91| 免费看片黄| 九九干| 久久性爱大全| 欧美99| 日韩二级| 国内97干免费看| 久久亚州大香蕉| 亚洲素人综合| 欧美激情精品久久久久久| 天天爽入口| 超碰97伊人| 国产老太乱伦一区| 欧美午夜视频免费观看| 人人干人人搞人人摸| 日韩人妻少妇 一区二区三区| 日韩乱码Av| 中美日韩毛片| 91美女視頻| 综合 亚洲 欧美| 性色av大全| 国产美女高潮叫床视频| 青青草日本无码| 大香蕉99热| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 啊啊在线| 成年女人一区| juliaann丝袜大战黑鬼| 亚洲情色 自拍| 国产肏逼网站| 中文字幕精品资源在线| 国产天天骚| 婷婷五月天色网| 国产精品白丝在线播放| 强奸a片网| 亚洲欧美日产国产91毛片| julia国产在线 | 免费伦费视频在线观看| 97AV爱| 欧美图片色五月天| AA级电影三区| 日韩美女久久一区二区三区| 久久华人网| 不卡av在线中文字幕| 欧美综合站| 久久久女人| 中文字幕交换人妻| 91人人看| 激情久久久| 小骚逼被操的爽不爽| 男人天堂2019| 色官网在线| 国产和美国毛片| 欧美aa一级片| 九九成人精品| 鸥美中出| 99在线观看| 亚州九九九精品视频| 91无码西班牙视频在线| 婷婷四五区| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 中国一级特黄大片护士| 国产SV一线| 激情亚洲天堂| 色欲久久99国产精品久久久久久| www色日本| 亚洲,欧美,综合网| 日韩激情啪啪| 国产一区二区在线看| 天天躁日日躁AAAXX| 亚洲色性| 大香蕉宗合网在线| 欧美一级二级三级| 亚洲.欧美.丝袜.中文.综合| 中文区中文字幕免费看| 夜夜嗨AV一区天天| 国产又黄又粗又猛大片| 亚洲丝袜天堂| 亚洲无码成人精品| 欧美中字不卡| 超碰人人干| 欧美资源| 精品乱码久久久久| 亚洲av综合色区无码一| 无卡一区=区| 大香蕉日韩| 欧美美女自慰一区二区三区| 天天看夜夜看日日干| 欧洲小说色图视频另类| 五月色网| 国产辣妈在线视频福利| 操淫穴亚洲五月丁香| 九九色热| 久久人妻| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 大香蕉一线视频| 不卡在线观看视频| 日日干男人的天堂| 99热精品在线| 亚洲无线观看久久| 嫩草 人人网精品| 99久久99九九99九九九| 日韩成年人性爱视频| 亚洲久久东京热一二三四五区视频| www.色五月| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 综合久久久久久久久91| 丰满人妻一区| 综精品久久久aaaa| 91精品国产麻豆国产自产在| 日本人妻伦在线中文字幕| 国产自啪精品视频网站黑丝| 亚洲av乱伦色图网站| 草草影院最新网址| 亚洲a色| 97操97色| 国产精品自拍欧美在线| 久久久无码精品人妻二区| 中文字幕一区二区三区人妻少妇在线| www.狠狠| 九九内射在线| 日韩av不卡在线观看| PMv在线观看| 老鸭窝成人| 少妇久久久久久| 怡红院怡春院| 一牛影视久久久一区二区三区| 国产剧情一区在线观看| 亚洲麻豆精品二区三区| 超91综合网| 亚洲丝袜天堂| 亚洲限制级| 亚洲AV免费在线观看| 在线视频一区二区传媒| 精品网站99999| 涩涩这里只有精品视频| 又大又大又大又粗爽高潮观看| 日韩中文字幕国产| 亚洲蜜乳av| 久久精品国产精品亚洲艾通辽熟妇| 欧美第一页性| 好舒服视频| 啊啊啊啊好疼| 色噜噜日韩精品| 蜜臀久久99精品久久久电影| 成人无码在线视频网站| 操逼网免费无码视频| 色色色热| ai欧美亚洲小说| 精品日日人妻| 色y情视频免费看| 欧美,日韩,亚洲视频| 骚货人妻偷情自拍在线视频| 日韩精品9999| 欧美乱妇狂野欧美在线视频| 东京男人天堂| 思思热在线视频免费| 91精品久久综合熟女| 国产老熟女| 亚洲第一页综合在线| 日韩日本欧美在线观看| 日本免费亚洲欧美| 人人做天天爱| 五月综合色| 插入粉嫩少妇视频| 国产黄色视频久久| 每日更新AV| 91在线丝袜视频| 啊啊啊想要| 五月婷婷激情| 91精品又粗又猛又爽| 人妻中文字幕精品无码| 97人肏| 精品久久久久久久| 手机看片1025| 欧美在线综合| 91 综合 色| 国产三级资源在线观看| 久久侵犯人妻爽爽爽| 亚洲区限制级| 欧美十八禁视频| 97精品国产97久久久久久免费| 精品人妻一区二区三区蜜桃视频| 亚洲视频1区| 开心六月色| 中文字幕成人乱码熟女精品国50 | 日韩 人妻 精品| 色噜噜综合在线| 国产乱不卡| 日韩黄色一区二区三区| 日韩精品电影| 国产成年免费大片黄在线观看| 啊啊啊好舒服好爽啊啊啊视频| 男人精品区| 国产丝袜视频| 躁躁躁日日躁2020| 亚洲图片欧美日韩| 97精品网| 久久欧洲| 国产传媒操逼视频| 中文字幕av片| 国产成年免费大片黄在线观看| 屁股久久久久久久久| 精品国产91av一区二区三区| 精品人妻一二三四区视频| 天堂中文日本在线观看| 无码人妻毛片丰满熟妇精品区| 极品极品色影院| 少妇精品久久| 夜夜狼人妻| 双插性欧美一二三区| 少妇激情AV| 欧美在线视频99| 91精品丝袜久久久久久| 久操B网| 翔田千里无码一区| 日日妻色网| 五月激情影院| 亚洲高清无毛一区二区| 天堂涩涩| 猛交交| 91天天看| 91草草草| 日韩AV无码中文一区二区| 热99这里只有精品| 久久6热精品99视频| 色y情视频免费看| 淫乱图区| 国产av波波国产精品| 老司机免费视频在线91| 夜夜骑夜夜操| 色九九九| 午夜福利国产欧美日韩夜夜| 嫩草伊人久久精品| 啪啪AV导航| 四虎av在线| 大香伊人在线一区| 久热香蕉精品在线视频| 亚洲欧美日韩激情不卡| 成人精品视频一区二区| 人人插人人摸人人| 97资源亚洲| 九九成人精品| 人妻99p| 国产精品直播在线观看直播| 亚洲国内精品成人不卡| 99re在线观看| 搡老熟女免费视频| 骚熟女AV网| 亚洲av夫妻操穴网| 天天干人人看综合| 欧美性五月| 有码免费观看| 操婷婷逼| 波多野42部无码喷潮在线观看| 天美传媒麻豆一区二区三区国产精|