日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588邊緣AI設備不死機實戰(zhàn):看門狗、NPU守護與系統(tǒng)自愈機制

RK3588邊緣AI設備不死機實戰(zhàn):看門狗、NPU守護與系統(tǒng)自愈機制 先說一個我自己的真實經(jīng)歷。前兩年給客戶做一臺基于 RK3588 的邊緣 AI 盒子部署在園區(qū)配電房做 YOLOv8 安全帽檢測設備放在弱電井里7×24 跑推理。頭一個月一切正常第二個月凌晨三點值班電話打過來——畫面全黑設備失聯(lián)。我驅車來回兩小時結果到現(xiàn)場一看機器沒死是 NPU 卡死了推理線程阻塞系統(tǒng)負載飆到 20 多網(wǎng)絡假死。按一下復位好了。但這個場景發(fā)生在偏遠站端呢來回一次的成本夠買三臺設備。從那以后我開始認真研究 RK3588 平臺的“不死機”問題陸陸續(xù)續(xù)做了三版方案后來慢慢沉淀成一套完整的守護機制我管它叫 Guardian。今天把整套思路、配置、踩過的坑全部攤開講希望能幫到正在做邊緣 AI 設備的朋友。適合誰看如果你正在做基于 RK3588 的AI盒子、邊緣計算終端、工業(yè)視覺設備或者已經(jīng)遇到了設備長時間運行后死機、NPU 卡死、SSH 假死這類問題這篇文章應該能幫你省掉至少兩個月的試錯時間。1. 先說結論RK3588 邊緣設備為什么需要“守護”而不是“運維”很多做產(chǎn)品的朋友一上來就討論散熱、電源、看門狗方向對但格局小了。RK3588 這塊芯片本身是非常成熟的8nm 工藝、四核 A76 四核 A55、6 TOPS NPU算力在邊緣側完全夠用。7×24 不死機的難點從來不在芯片而在芯片之外的整個“系統(tǒng)生態(tài)”。1.1 三個真實場景告訴你“不死機”有多難第一個場景工業(yè)檢測。設備掛在產(chǎn)線旁邊環(huán)境溫度 40℃ 以上旁邊還有電焊機、變頻器這類強干擾源。RK3588 的 NPU 滿載跑 YOLOv8整板功耗能摸到 15W 以上散熱稍跟不上芯片溫度直奔 85℃。溫度一高CPU 降頻推理幀率掉一半客戶以為你算法不行其實你已經(jīng)快死機了。第二個場景無人店 / 自助終端。這種場景往往是市電不穩(wěn)晚上電壓波動大設備用著用著突然斷電或者“半斷電”——電壓忽高忽低導致 eMMC 寫入出錯。第二天開機系統(tǒng)起不來卡在 kernel panic只能派工單上門刷機。第三個場景車路協(xié)同邊緣站。設備放在戶外機柜網(wǎng)絡是 5G CPE偶爾斷網(wǎng)是常態(tài)。斷網(wǎng)期間軟件里的網(wǎng)絡重連邏輯如果寫得不好線程會不斷堆積內存慢慢漲幾天后 OOM系統(tǒng)自動殺掉關鍵進程然后整機進入假死狀態(tài)。這三個場景說明一個問題邊緣 AI 設備的不死機不是靠某一個看門狗芯片就能解決的而是一整套從硬件到內核再到應用的分層兜底機制。單純靠遠程運維去“救火”成本高、時效差用戶根本等不起。1.2 死機是表象根因都在這些位置我統(tǒng)計了自己手上 RK3588 設備的故障記錄大概 80% 的“死機”其實不是真正意義上的硬件死機而是下面這幾種情況NPU 卡死RKNN 推理進程在調用rknn_run時長時間不返回或者返回了錯誤的錯誤碼但應用層沒處理導致進程不死不活。內核鎖死常見于某些外設驅動異常比如 USB 攝像頭掉線后內核在等待 USB 枚舉超時或者 MIPI-CSI 信號異常導致 dmesg 刷屏把系統(tǒng) IO 拖垮。OOM 被殺Python 推理進程內存泄漏跑幾天后 RSS 漲到幾個 GB觸發(fā)內核 OOM killer關鍵進程被殺。文件系統(tǒng)寫滿或損壞日志沒做輪轉eMMC 被寫滿或者異常掉電導致 overlayfs/ext4 元數(shù)據(jù)損壞。有意思的是這些根因在實驗室里都很難復現(xiàn)因為實驗室環(huán)境太“干凈”了。真正到了現(xiàn)場電網(wǎng)波動、高溫、電磁干擾、斷網(wǎng)、人為誤操作各種因素疊加才會暴露問題。1.3 Guardian 守護的設計目標與分層思路我定義 Guardian 的目標很簡單即使應用層已經(jīng)“感知”不到系統(tǒng)了設備也必須能在無人干預的情況下自動恢復而且恢復時間越短越好。理想狀態(tài)下最壞情況是 3 分鐘內重啟恢復期間如果用戶詢問運維人員只需要說一句“設備自愈了”就行。為了實現(xiàn)這個目標我采取的是分層兜底架構層級守護手段解決的問題L0 硬件層硬件看門狗、電源保護、溫控系統(tǒng)崩潰、電池/電源異常L1 內核層內核 panic 自動重啟、EDAC 內存錯誤內核級死鎖、硬件錯誤L2 系統(tǒng)層systemd 服務健康檢查、日志兜底關鍵服務異常退出L3 應用層進程守護、心跳上報、RKNN 超時恢復推理進程卡死、內存泄漏核心思路是每一層都只兜住自己下面的那一層不要把寶押在單一機制上。比如你寫了很好的應用層守護但內核已經(jīng) panic 了應用層代碼再漂亮也沒用必須靠硬件看門狗把系統(tǒng)拉起來。反過來你不能只靠硬件看門狗因為它能做的只是“重啟”重啟之后應用層問題依舊存在設備會陷入反復重啟的死循環(huán)。下面我把每一層的具體做法拆開講能貼配置貼配置能貼代碼貼代碼都是實測驗證過的。2. 硬件看門狗 軟件看門狗把底兜住看門狗是整套 Guardian 的地基。如果地基打不好上面蓋什么樓都沒用。RK3588 內部自帶硬件看門狗DW_wdtIP在 Linux 下對應dw_wdt驅動設備節(jié)點是/dev/watchdog。這個看門狗一旦啟動系統(tǒng)就必須周期性去“喂狗”否則硬件強制復位。2.1 devicetree 里開啟硬件看門狗很多 RK3588 開發(fā)板出廠默認 watchdog 是 disabled 的因為默認固件不啟用喂狗服務開了不喂會一直重啟。所以第一步是在內核 devicetree 里把它打開。以 RK3588 的 dtsi 節(jié)點為例wdt { status okay; timeout-sec 16; };timeout-sec我建議設置在 10~16 秒之間。太短了系統(tǒng)高負載時喂狗線程本身被調度延遲容易誤觸發(fā)重啟太長了真死機時要等半天才復位業(yè)務中斷時間太長。16 秒是我測試下來比較穩(wěn)的值。然后是 Linux 內核配置需要確保這幾個 config 打開了CONFIG_WATCHDOGy CONFIG_DW_WATCHDOGy CONFIG_WATCHDOG_COREy如果用的是 Rockchip 的 SDK默認一般都有。但如果你是自己 build 的 mainline 內核務必檢查一下缺了這兩個 config后面的所有看門狗配置都是白搭。2.2 systemd 軟件看門狗怎么配合硬件看門狗只是最后一道保險正常運行時我們更希望用 systemd 的軟硬結合機制來提前發(fā)現(xiàn)異常。systemd 本身內置了 watchdog 支持可以讓 PID 1 周期性去喂硬件看門狗。只要 systemd 還活著系統(tǒng)就被認為是健康的。配置在/etc/systemd/system.confRuntimeWatchdogSec10 ShutdownWatchdogSec60RuntimeWatchdogSec10的意思是 systemd 每 10 秒向/dev/watchdog喂一次狗。這個值必須小于 devicetree 里的timeout-sec16 秒否則喂狗間隔比硬件超時還長系統(tǒng)會被誤殺。ShutdownWatchdogSec60是關機和重啟階段給系統(tǒng)更多時間去卸載文件系統(tǒng)、停服務避免關個機還被看門狗打斷。配置完重啟 systemd 或者整機重啟后可以用下面命令確認喂狗生效cat /dev/watchdog正常情況下這條命令會打開設備節(jié)點并觸發(fā)一次喂狗然后會報錯退出這反而說明驅動正常。更靠譜的驗證方式是watch -n 1 cat /sys/devices/platform/watchdog/watchdog0/state也可以直接禁掉喂狗服務手動觀察設備會不會在 16 秒后自動重啟。我建議每一批板子出廠前都做一次這個測試確保硬件看門狗是真實可用的而不是 devicetree 里寫了“okay”但實際沒生效。2.3 看門狗喂狗的正確姿勢這里有個關鍵細節(jié)喂狗不是在應用層隨便寫個死循環(huán)就行的必須設計成“健康檢查通過才喂”。我見過太多團隊寫一個while(1) { write(fd, w, 1); sleep(5); }的線程一直喂等于自己把看門狗廢了——任何應用層故障都不會觸發(fā)重啟因為你的喂狗線程還活著。我之前在一套方案里做的是分級喂狗喂狗線程每 10 秒讀取一次系統(tǒng)健康狀態(tài)關鍵進程是否存活、內存是否夠用、最近的 dmesg 里有沒有驅動報錯。只有所有檢查項都通過才寫入/dev/watchdog。任一檢查項失敗停止喂狗等硬件看門狗超時自動復位。偽代碼大致長這樣import fcntl import os import time WATCHDOG_FD os.open(/dev/watchdog, os.O_WRONLY) def system_healthy(): # 1. 關鍵進程存活檢查 if not check_process(rknn_infer): return False # 2. 內存檢查可用內存低于 200MB 判定為異常 if available_memory_mb() 200: return False # 3. 最近 60 秒 dmesg 是否出現(xiàn)連續(xù)驅動錯誤 if recent_dmesg_has_errors(): return False return True while True: if system_healthy(): os.write(WATCHDOG_FD, bw) time.sleep(10)注意這里我刻意把這個喂狗邏輯做成了獨立進程而不是放在主業(yè)務進程里。為什么因為主業(yè)務進程是最容易卡死的如果喂狗邏輯跟著它跑卡死就一起卡死守護就失去了意義。用 systemd 把喂狗進程拉起來加Restartalways即便這個進程本身崩了systemd 也會把它重新拉起來繼續(xù)喂——當然如果 systemd 都崩了還有硬件層兜底這是雙保險。3. 應用層守護與 RKNN 推理異常自恢復看門狗解決的是“系統(tǒng)級死機”但實際項目里更常見的是“應用級卡死”。系統(tǒng)沒死SSH 能連top 能看到進程還在但 NPU 推理線程卡住不動了畫面一直停在那。這種問題靠看門狗是發(fā)現(xiàn)不了的必須靠應用層自己的健康檢查機制。3.1 進程守護與心跳我在方案里給每一個關鍵業(yè)務進程都配了 systemd service統(tǒng)一加了Restartalways和健康檢查。以推理服務為例[Unit] DescriptionRKNN Inference Service Afternetwork-online.target rknn.service [Service] Typesimple ExecStart/usr/bin/rknn_infer --config /etc/guardian/rknn_infer.yaml Restartalways RestartSec5 WatchdogSec30 StartLimitIntervalSec60 StartLimitBurst5 [Install] WantedBymulti-user.targetRestartalways保證進程退出后 5 秒內被拉起來。但光這樣不夠因為前面說的“卡死”不是進程退出而是進程還活著但無響應。所以這里又用了WatchdogSec30——systemd 會要求服務每 30 秒調用一次sd_notify(WATCHDOG)如果超時systemd 會認為這個服務已經(jīng)“僵死”殺掉并重新拉起。服務內部需要周期性地維護看門狗通知。C 里用sd_notifyPython 里用systemd庫或者直接往/run/systemd/notify寫消息import socket import time NOTIFY_SOCKET_PATH /run/systemd/notify def notify(): sock socket.socket(socket.AF_UNIX, socket.SOCK_DGRAM) sock.connect(NOTIFY_SOCKET_PATH) sock.send(bWATCHDOG1) sock.close() while True: # 執(zhí)行一幀推理 result rknn_run() if result is not None: notify() time.sleep(1)這個機制的意義在于只要推理主循環(huán)還能跑完一幀我們才認為服務健康如果一幀推理超過 30 秒沒完成即使進程還在systemd 也直接把它干掉重來。實測下來這套機制對“NPU 卡死但進程還活著”的場景特別有效。3.2 RKNN 運行時的超時檢測與自動重初始化RKNN 的rknn_run默認是同步阻塞調用的如果 NPU 內部出現(xiàn)了異常這個調用可能永遠不返回。你寫再多的心跳代碼也走不到心跳那里。所以我在封裝 RKNN 推理時會把推理放到獨立線程里用帶超時的 join 去檢測一旦超時就認為 NPU 已卡死進入恢復流程std::futurecv::Mat future std::async(std::launch::async, [this] { return infer(frame); // 內部調用 rknn_run }); if (future.wait_for(std::chrono::seconds(5)) std::future_status::timeout) { // 推理超時判定 NPU 卡死 recover_from_npu_hang(); return; } cv::Mat result future.get();恢復流程recover_from_npu_hang()做幾件事先把舊的推理進程退出調用rknn_destroy釋放 NPU 上下文如果還能調用的話實在不行就直接exit(0)讓 systemd 重啟整個服務。然后把/dev/rknpu設備節(jié)點重新 bind/unbind 一次把 NPU 驅動復位echo 0 /sys/class/misc/rknpu/device/remove echo 1 /sys/class/misc/rknpu/device/remove注意/dev/rknpu設備節(jié)點的路徑在不同 SDK 版本里可能不一樣有的叫rknpu有的叫mpp_service需要先確認一下你們板子的實際情況。復位 NPU 驅動后再重新rknn_init加載模型繼續(xù)推理。這個過程最好能自動完成不需要重啟整機恢復正常的時間控制在 10 秒以內業(yè)務中斷的感知就很小了。3.3 進程崩潰后的現(xiàn)場保留進程崩潰后第一件事不是急著拉起來而是把現(xiàn)場保護好。我只說一個點coredump 一定要開但要寫到內存盤上不能寫 eMMC。否則每次崩潰都往 eMMC 寫幾百 MB core 文件寫幾次 eMMC 就廢了。我的做法是# /etc/systemd/coredump.conf [Coredump] Storageexternal Compressyes # 把 coredump 臨時保存到 /tmptmpfs重啟后自動清空配合掛載一個 tmpfs 到/var/log/coredumptmpfs /var/log/coredump tmpfs defaults,size256m,mode0755 0 0這樣崩潰時 core 文件先落內存盤不影響 eMMC如果現(xiàn)場非常重要再通過網(wǎng)絡把 core 傳到遠端。很多團隊的設備一到現(xiàn)場就頻繁崩潰但 Log 里什么都沒有就是因為 coredump 沒開或者開了直接寫壞存儲。4. 散熱與供電防止“慢性死亡”講完了看門狗和應用層守護可能有人覺得夠了。但我的經(jīng)驗是真正的“不死機”有一半功夫要花在散熱和供電上。白天 NPU 滿載還好到了滿載幾個小時后如果沒有合理的溫控策略RK3588 會熱到降頻甚至直接高溫關機。這種問題不是突發(fā)性的而是“溫水煮青蛙”——系統(tǒng)越來越慢最后悄悄死給你看。4.1 PWM 風扇控制與轉速讀取RK3588 開發(fā)板一般都有 PWM 風扇接口內核驅動是pwm-fan。我在設備樹里是這樣配的pwm13 { status okay; pinctrl-names active; pinctrl-0 pwm13m1_pins; }; fan: pwm-fan { compatible pwm-fan; #cooling-cells 2; pwms pwm13 0 50000 0; /* 50kHz 頻率 */ cooling-min-state 0; cooling-max-state 255; };這里的核心參數(shù)是pwms里的 period也就是 PWM 頻率。不同風扇對頻率的要求不同但我測過的大部分 4 線 12V 風扇在 25kHz~50kHz 之間都能正常工作。太低的頻率比如 1kHz會有明顯噪音太高的頻率100kHz 以上風扇驅動芯片可能跟不上。然后是讀取風扇轉速。很多 4 線風扇的轉速反饋引腳FG可以直接接 RK3588 的 GPIO用pwm-capture或者 GPIO 中斷的方式測量。但我更推薦用hwmon的方式RK3588 的 SDK 里通常已經(jīng)支持了風扇轉速的 hwmon 節(jié)點cat /sys/class/hwmon/hwmon0/fan1_input如果輸出一個 RPM 數(shù)值說明測速功能正常。如果沒有這個節(jié)點就需要檢查一下風扇的 FG 引腳是否接到了正確的 GPIO 上以及內核有沒有開CONFIG_SENSORS_PWM_FAN或者你們需要的gpio-fan驅動。轉速讀取的價值不只是讓你知道風扇轉沒轉更關鍵的是可以做風扇失效檢測。當 PWM 輸出已經(jīng) 100% 但轉速始終為 0說明風扇卡住了或者掉線了必須立即告警否則芯片溫度會直線飆升。4.2 溫控策略別讓芯片扛到最后RK3588 芯片的結溫上限一般是 105℃ 左右但長期跑在 85℃ 以上不僅加速器件老化還有可能觸發(fā)內部熱保護直接斷電。我的溫控策略是在用戶空間寫一個守護線程直接讀 SoC 溫度做分級控制import os import time def read_temp(): with open(/sys/class/thermal/thermal_zone0/temp) as f: return int(f.read().strip()) / 1000.0 def set_fan_duty(duty): # 通過 pwm-fan 的 cooling device 或者 sysfs 設置占空比 with open(/sys/class/hwmon/hwmon0/pwm1, w) as f: f.write(str(duty)) while True: temp read_temp() if temp 45: set_fan_duty(0) # 停轉安靜省電 elif temp 60: set_fan_duty(80) # 低轉速 elif temp 75: set_fan_duty(160) # 中轉速 else: set_fan_duty(255) # 全速壓溫度 time.sleep(5)閾值可以根據(jù)實際機型微調但思路是留出冗余在 75℃ 就已經(jīng)全速散熱不要等到 90℃ 才慌。另外如果你的設備是靜音優(yōu)先的場景可以考慮把 45℃ 這個停轉閾值調高到 50℃但一定要配合風扇失效檢測否則夏天必出事。還有一點RK3588 有thermal-zones的被動降頻策略建議在 devicetree 里打開讓內核在溫度過高時主動給 CPU/GPU 降頻而不是硬扛thermal_zones { soc_thermal { trips { cpu_cooling: cpu_cooling { temperature 75000; hysteresis 5000; type passive; }; }; cooling-maps { map0 { trip cpu_cooling; cooling-device cpu0 THERMAL_NO_LIMIT THERMAL_NO_LIMIT; }; }; }; };4.3 供電與硬件防護軟件做再好供電不行全白搭。RK3588 在滿負載時核心電壓對電源紋波極其敏感我碰到過一個案例設備白天跑得好好的一到晚上就隨機重啟查了半天最后發(fā)現(xiàn)是客戶配的劣質 DC 適配器紋波超標電壓一波動芯片就復位。所以硬件選型上電源部分至少要滿足三個要求輸入電壓要留足余量標稱 12V 供電實際要能扛住 9V~16V 的波動。很多開發(fā)板用的 DC-DC 方案輸入范圍就是 9~24V但有些精簡方案只在 12V 附近能穩(wěn)住。輸出紋波要小CPU 核心供電VDD_CPU的紋波最好控制在 50mV 以內否則高頻負載變化時系統(tǒng)會隨機復位。要有過壓/反接保護鄉(xiāng)村、工控現(xiàn)場的市電環(huán)境很差插錯電源是常事硬防護必須做。如果成本允許建議加一個簡單的電源監(jiān)控芯片比如 INA226在應用層定期讀電壓電流一旦發(fā)現(xiàn)輸入電壓異常波動就主動告警把問題暴露在“死機之前”。5. 存儲保護與日志策略延長 eMMC 壽命防止日志寫爆很多 RK3588 設備出廠配的是 eMMCTLC 顆粒擦寫壽命大概在 3000~5000 次 P/E 之間。如果系統(tǒng)跑一些頻繁寫日志的軟件每天寫幾十 GBeMMC 很快就廢了然后就是各種詭異故障文件系統(tǒng)只讀、應用啟動報錯、系統(tǒng)隨機重啟。這些都是慢性病等到你發(fā)現(xiàn)的時候往往只能返廠換板了。5.1 根文件系統(tǒng)只讀化能讀就不寫我的設計原則是能只讀的絕對不讀寫。根文件系統(tǒng)掛載為只讀/var、/tmp、/run這些動態(tài)目錄掛到 tmpfs所有需要持久化的數(shù)據(jù)集中到/data分區(qū)。具體做法是把根文件系統(tǒng)做成 squashfs 或者 ext4 只讀分區(qū)然后用 overlayfs 提供一個小規(guī)模的可寫層mount -t squashfs -o loop /dev/mtdblock0 /mnt/ro # 或者 ext4 ro mount -t tmpfs tmpfs /mnt/rw mount -t overlay overlay -o lowerdir/mnt/ro,upperdir/mnt/rw/upper,workdir/mnt/rw/work /這樣程序只能往內存里寫重啟后所有修改自動丟棄從源頭上杜絕了“日志寫滿磁盤”的可能。需要持久化的配置和數(shù)據(jù)明確寫到/data分區(qū)并且做好掉電保護。這個方案唯一的副作用是現(xiàn)場臨時改配置變得有點麻煩。但換個角度想這也倒逼你把配置項通過 web 界面或者遠程統(tǒng)一管理而不是每次都用 SSH 上去 vi 一通改。5.2 日志輪轉與內存緩沖如果因為業(yè)務原因必須寫日志到磁盤至少做到兩點限制大小、及時輪轉。我通常用logrotatesystemd-journald配合journald 本身已經(jīng)有大小限制功能# /etc/systemd/journald.conf SystemMaxUse128M RuntimeMaxUse32M SystemMaxFileSize32M MaxRetentionSec3day ForwardToSyslogno這個配置把 journald 的總量控制在 128MB 以內避免它無限膨脹。業(yè)務日志如果走syslog或者直接寫文件也要在應用層做好 max size 控制超過就滾動。還有一個很實用的做法日志先寫內存盤定期同步到遠端。把/var/log掛成 tmpfs應用和方法和之前的 coredump 一樣。然后寫一個腳本每 5 分鐘檢查一次日志目錄有需要歸檔的內容就通過 MQTT 或者 HTTP 上報到運維平臺上報完把這個文件刪掉。這樣日志既不會丟遠端有也不會傷 eMMC。5.3 異常掉電防護工業(yè)現(xiàn)場最怕的其實是“寫一半斷電”。文件系統(tǒng)層最穩(wěn)妥的方案還是 ext4 開 journaltune2fs -O journal_data_ordered /dev/mmcblk0p6如果用的是 overlayfs 的可寫層tmpfs斷電其實無所謂內存直接清空。但data分區(qū)如果直寫 ext4掉電后有可能損壞。所以我建議 data 分區(qū)采用“先寫臨時文件fsync再 rename 覆蓋”的方式保存配置避免原地修改主文件時掉電導致文件損壞FILE *tmp fopen(/data/config.yaml.tmp, w); fprintf(tmp, key: value\n); fclose(tmp); sync(); rename(/data/config.yaml.tmp, /data/config.yaml); sync();這算是嵌入式 Linux 上最實用、最可靠的掉電安全寫文件方式了簡單但極其有效。6. 常見問題排查與避坑速查看完前面的內容按部就班把這些機制搭起來設備大概率已經(jīng)比較穩(wěn)了。但調試過程中一定會踩到各種奇奇怪怪的坑。我把常見的幾個寫下來省得大家再走一遍彎路。6.1 開機報 “cant find suitable delayline” 是什么問題這個錯誤在 RK3588 上很常見很多人一搜出來就慌了以為板子壞了。其實這是 RK3588 的rockchip_drm驅動在初始化時嘗試去查找某個顯示接口的 delayline 校準參數(shù)失敗。多數(shù)情況下是 devicetree 里沒有包含對應的board.dtsi參數(shù)或者是顯示時序配置里缺了delayline相關字段。如果設備不接顯示屏、不跑 HDMI這些報錯通常不影響正常運行可以直接忽略。但如果你的設備需要 HDMI 輸出就要去 devicetree 里補齊對應端口的參數(shù)hdmi0_in_vp0 { status okay; }; hdmi0 { pinctrl-names default; pinctrl-0 hdmim0_tx0_cec hdmim0_tx0_sda hdmim0_tx0_scl; };注意不同開發(fā)板的 pinmux 可能不同這個要根據(jù)你的板子原理圖來確認。遇到這類問題我的建議是先確認功能是否受影響不受影響就不用管。6.2 網(wǎng)絡連接受限 / 網(wǎng)絡假死RK3588 設備跑著跑著 SSH 連不上了、Ping 不通但設備的串口界面還有響應這是邊緣設備最常見的“假死”現(xiàn)象。排查思路按順序來先看dmesg里有沒有網(wǎng)卡驅動報錯比如 RTL8211F 這種 PHY 芯片在弱電環(huán)境下偶爾會掛掉。檢查是不是省電策略把網(wǎng)卡休眠了。很多 SDK 默認開了ethtool的節(jié)能特性現(xiàn)場環(huán)境下網(wǎng)絡稍有波動就觸發(fā)網(wǎng)卡掛起。直接關掉ethtool -s eth0 autoneg on duplex full speed 1000 ethtool -K eth0 tx-checksum-ip-generic off如果還是不定期斷網(wǎng)建議在應用層加網(wǎng)絡質量巡檢每 30 秒 Ping 一次網(wǎng)關連續(xù) 3 次超時就把網(wǎng)卡 down 掉再 up 一遍。ifconfig eth0 down sleep 2 ifconfig eth0 up這個土辦法治“網(wǎng)卡假死”特別有用實際效果立竿見影。6.3 啟動進 recovery / maskrom 后怎么辦RK3588 的刷機模式有兩種Recovery 模式和 MaskROM 模式。Recovery 模式按住 recovery 鍵再上電用于日常固件升級MaskROM 模式一般出現(xiàn)在 loader 損壞、固件刷壞的情況下。如果你的設備啟動進不了系統(tǒng)而是被識別為 MaskROM 設備別慌先用 USB Type-C 線連電腦打開 RKDevTool重新燒錄完整的 Loader 和固件。從我踩過的坑來看最容易導致進 MaskROM 的情況是燒錄過程中突然斷電、或者用了和板子不匹配的 Loader/miniloader。所以我強烈建議量產(chǎn)前把 loader 文件和固件打包鎖定不要讓現(xiàn)場人員隨意用新版工具去刷否則很容易出現(xiàn)兼容性問題。6.4 miniloader.bin 版本不匹配如果你用的是自己編譯的 U-Boot 或者從網(wǎng)上拉的新版工具鏈燒錄時經(jīng)常遇到miniloader.bin報錯或者燒完起不來。原因通常是 SDK 版本和燒錄工具版本不匹配。處理辦法很簡單——用什么 SDK 編出來的 loader就用那個 SDK 配套的燒錄工具不要交叉使用。Rockchip 官方的工具版本很多但每個版本的 miniloader 和 ddrbin 都跟具體芯片和系統(tǒng)版本強相關混用很容易翻車。6.5 問題排查速查表現(xiàn)象可能原因優(yōu)先排查方向運行幾小時后整機無響應內存泄漏 / 內核鎖死檢查OOM日志、dmesg尾部、top內存占用NPU 推理越跑越慢散熱不足導致降頻查看thermal_zone0溫度、風扇轉速斷電后起不來eMMC 分區(qū)損壞進入 MaskROM 重刷固件風扇不轉但機器沒死風扇控制失效 / 溫控策略未生效手動寫pwm1測試日志刷屏導致系統(tǒng)卡頓驅動反復報錯檢查dmesg關掉或降級出問題的外設驅動WiFi/以太網(wǎng)頻繁斷開省電策略 / 供電不足關節(jié)能ethtool -K、檢查電源功率這套表是我整理給自己團隊線上排障用的基本可以覆蓋現(xiàn)場 90% 的難題。做邊緣 AI 設備拼的從來不是誰算法刷榜高而是誰能讓設備在無人看守的角落里安安穩(wěn)穩(wěn)跑上一年。RK3588 本身底子很好用好了它能成為非常可靠的邊緣算力平臺希望這些經(jīng)驗能幫你少走一些彎路。最后再啰嗦一句任何守護機制都要先做故障注入測試——手動 kill 進程、拔掉風扇、斷電、寫滿內存——確認設備都能自愈才算真正的“守護”。祝大家的設備都能安穩(wěn)運行。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产丝袜美腿美女麻豆| 欧美精品23| 超碰成人公开| 天堂日本亚洲欧美| 偷偷人人精品女女久久| 91av一区二区在线观看| 黑丝少妇在线观看| 色综合 加勒比| 麻豆国产视频精品观看| 熟女啪啪视频| 91欧美综合| 国产女性无套 免费观看| 欧亚不卡| 99久久精品欧美国产| 国产成人亚洲精品自产在线| 欧洲色综合| 久久99午夜精品一区人妻| 最新中文字幕av| 日韩三级伦理中文字幕| 久久国产三区| 丰满人妻一区二区三区色-百度| 91精品久久久久五月天精品| 丁香婷婷激情五月天无毒不卡 | 91N综合在线| av亚欧| 超碰狠狠操| 日本新免费二区三区| 美女久久久| 91在线色综合| 性欧美| 伊人五月天| 丝袜视频一区二区在线播放国产中文| 欧美人妻少妇| 又摸又舔在线观看网站| 国产高清免费不卡av| 亚欧中文字幕在线视频| 国产成年女人免费视频播放a| 大香蕉欧美伊| 日韩欧美成人综合在线| 亚洲情色综合网| 岛国艾薇凹凸视频天堂| 国产自偷| 干婷婷综合网| 亚洲精品电影| 精品人妻一区二区免费蜜桃| 亚州高清av| 亚州色综合| 国产不卡精品91| 成人羞羞视频国产| 国产视频一区二区在线观看| 狠狠操官网| 人妻黑丝袜电影| 国产精品久久久久久片| 91 丝袜在线播放| 啊嗯好大视频在线观看| 国产一级操B视频| 日日干夜夜欢| 欧美精品成人亚洲| 人人潮人人摸| 熟女露脸激情自拍视频| 无码乱人伦中文视频| 亚洲文学偷乱拍啪啪啪啪| 99热99色| 精吧天堂| 一区二区三区四区色图| 97免费视频在线| 欧美激情总合网| 日韩黄色片子| 欧美精品亚洲精品日韩传电影| 黄色av一区二区在线| 东京热综合久久一区二区| 丝袜制服字幕在线| 日韩免费看黄片| 久久久精品一区二区| 男人天堂2012| 一区二区视频在线播放| 亚洲国产97| 夜夜人妻爽| 亚洲中文字母在线播放| 四虎国产精品永久在线囯在线| 亚洲诱惑| 婷婷伊人一区| 老鸭窝成人| 色色色色色色色色色色色色色色综合| WWW操逼| 欲香欲色综合天天伊人| 丁香婷婷激情五月天无毒不卡| 男人的天堂一区三区| 午夜小电影在线插入淫高潮| 中国黄色特级精品一区二区三区片| 丁香五月色| 一个国产在线综合网站| 少妇的嫩逼图片| 五月丁香婷婷色| 国模无码人体一区二区三| 久久九九网| 一本精品日本在线视频精品| 久久东京热久久| 少妇毛片久久| 一区二区偷拍拍视频| 一级性爱啪啪视频| 另类天堂| 91亚洲狠狠色| chaopen97久久| 天色综合网| 91粉嫩萝控精品福利网站_精品影音先锋国 | 欧美有码激情视频一区二区三区| 午夜精品五区| 97在线观看播放视频| 激情欧美97| 操人妻丝袜高跟| 国产激情片在线观看| w w w.久久精品| 日本一二三免费久久| 91高清无码下载| 成人性爱免费播放| PMv在线观看| 亚洲干B| 亚洲性少妇| 色色99| A V视频日本| 国产精品直播在线观看直播| 色图综合网| 超碰97伊人| 裸体美女久久久| 久久111| 大香蕉中文aV在线| 福利风月五月天影院| 欧美性生活综合| 丰满人妻一区二区三区大胸懂色| 成人激情无码在线视频| 亚洲小电影免费涩涩成人在线高清| 日本精品五区| 亚洲成a人v欧美综合天堂下载| 清纯唯美综合| 日本精品一区二区三| 超碰久久精品| 国产亚热在线久久| 天天操天天谢| 人妻无码视频一区二区三区久久| 激情另类激情| 九九九久久久W精品| 综合亚洲网| 久久大香蕉97| 四虎影视精品| 日韩熟女无码| 强免费黄色网址| 精品视频免费在线一区| 欧美中文字幕日韩在线| www.人人cao| 日韩在线观看中文字幕视频| 婷婷五月成人| caorenqi shipin| 性站| 97精品国产97久久久| 欧美在线官网| 欲色啪| 亚洲AV永久无码精品成人调教 | 亚洲玖玖爱| 国产91 丝袜在线播放 | 亚洲日韩精品一区视频在线| 欧美中出1| 一级片在线观看高清无码| 色官网色综合| 久久久爆乳翘臀一线天伦理视频| 婷婷五月天影院| 天天干天天日天天射黄色| 熟女在线视频| 东北女人操比视频| 欧美自拍网| 亚洲精品乱码久久久久久蜜桃麻豆| 日本天堂网| 91男同| 少妇天堂| 亚洲精品xxx| 人妻精品视频一区二区| 色嘟嘟人妻天堂网| 超碰在线在公开超碰在线在公开| 97极品无码| 精品成人无码| 91丨九色丨东北熟女| 亚洲 中文 女同| 亚洲日韩久久精品一区| 亚洲欧美在线丝袜| 国产视频一区二区三区在线免费观看| 人人爱人人操人人性| 久久久天堂| 伊人AAA| 亚洲色欲一区二区三区| 大乔未久88一区| 91天堂丝袜美腿| 九九热精品视频六| 蜜乳AV一区| 婷婷伊人| 青草香蕉网| 亚洲天堂电影网99999| 激情欧美97| 韩日性爱av| 能直接看AV的网站| 亚洲男人天堂2013| 亚洲天堂一区| 色婷婷五月天| 久久久久久裸体| 国产精品国产| 免费av高清无码| 中文自拍欧美影视| 日韩内射视频| 青草伊人网| 97久久国产| 九九干| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 国产精品熟女乱伦| 欧美亚洲丝袜美女电影| 综合亚洲欧美| 亚洲欧美日韩精品久久久一区二区 | 91精品久久久久久77777| 九月AV| 九九九九久久久久| 极品尤物在线观看| 黄色一区三区| 亚洲 自拍偷拍 欧美| 91 亚洲 欧洲| 亚洲少妇激情一区二区三区| 国产欧美日本亚洲精品| www.夜夜操| 青青草久久| 18禁免费视频| 神马久久久久久久久久久久| 操b在线观看| 亚洲综合色网| 亚洲色天堂九9| 久操视频在线观看| 亚洲熟妇自偷自拍另欧美| 欧美性五月| 成人午夜小视频手机在线看| 97频视在线| 波多野结衣一级视频| 欧美亚洲性爱一区二区| 亚洲色图一区二区三区| 欧美国产日韩高清在线| 婷婷五月天无码 | 玖玖玖玖精品国产剧情| 东北女人的毛片| 天天影视色香欲综合网小说| 插老姨肥穴| 亚洲欧美日韩偷拍色图| www.婷婷六月天| 国产农村妇女精品1区二区| 欧美高清色| 99婷婷| 欧美性夜| www鬼畜国产男人的天堂| 国产久久男人天堂| 成人国产精品三级A片| 女上位精品在线| 强奸xx国产| 午夜欧美神马久久久久| 18禁精品网站在线看| 国产视频大全| xxx0国产在线播放| 蜜臀AV午夜精品久| 69精品人人人人| 国产精品96久久久久久| 另类图片五月| 久久大黄片| 亚洲棕合电彰| 加勒比久久综合网高清| 任你干在线视频| 粉嫩在线一区二区懂色| 男人天堂2030| 久热婷婷| 色汉综合| 中文字幕97色| 九九黄色视频在线观看| 久艹日日日| 欧美亚洲国产自久久| 免费精品国偷自产在线在线| 欧美天堂亚洲电影院一区在线播放 | 91欧美网| 天天看少妇| 国产精品久久久久久高清无码免费看| 亚洲日韩东京热一区| 亚洲一区二区性爱电影| 国产传媒日韩欧美| 激情露脸爱| 日韩欧美tv一区二区在线观看| 日韩欧美久久婷婷网站| 国产青一二三| 动漫爆乳3D奶水一区在线观看| 日本色日夜干| 大香蕉青青9| 久操操| 欧美手机在线综合| 嗯嗯啊啊用力视频免费| HEYZO高无码国产精品227| 国产妇女精品视频青青草| 超碰免费人人| 精品无码不卡视频| 中文字幕在线免费观看 | 日本伦理一区二区| 精品国产精品一区二区| 五月亭亭六月丁香| 日韩本不卡视频在线观看 | AA丁香综合激情| 精品国产三级av韩国在线| 午夜精品久久久99热蜜桃的功能特点| 日韩性色b| 五月丁香拍拍激情综合三级| 91久久青青草原精品| 国产 大胆 对白| 久久乐| 26UUU欧美激情一区二区| 97日亚洲欧美| 人澡逼| 97精品国产97久久久久久户外免费| 国产强上视频在线观看| 我要去看2个日本美女.com曹逼| 男人的天堂久久狠| 欧美视频第二页| 国产亚洲欧美每日在线| 三男一女不戴套的A片| 99热网站| 97超碰人人操人人操| 亚洲色综网| 九九热视频这里只有精品| 欧美麻豆成人同性GⅤ在线| 在线播放成人高清免费视频| 五十路熟女人妻一区二区在线观看| 91伊人久久在线| juliaann精品熟女一区| 亚洲激情综合| 九九综合久久| 国产超碰AV在线精品| 久久久久久久六六| 荡小穴在线观看| 思思在线免费视频| 国产成人久久精品蜜臀| 久久久久白虎| 91无码人妻精品一区二区三区蜜桃 | 亚洲在线A| 日本999精品| 三级片大波波| 午夜精品99久久久久传媒| 色色色999| 亚洲国产一级精品毛一级精品看免费视频| 成年女人黄网站| 免费观看国产小粉嫩喷水精品午| 天天插网| 欧美18老人禁| 看免费一级在线播放毛片| 亚州综合色| 91综合网站| 亚洲美女AV无码| 久久久久夜夜夜夜| 91色人妻| 国产探花日韩援交| 亚瑟国产精品久久无码| 国产美女自拍AV| 国产真乱mangent| 伊人性在线视频| 国产人妻精品一区二区三区秋霞| 视频黄站| 久久亚洲日韩国产欧| 久久亚洲熟妇在线视频| 亚洲天堂电影网| 久久骚| 九九九九九九九| 后入日本1234| 欧美色另类| 国产久久久久久| 91视频综合| 国产福利合集| 国产一区二区三区白丝| 亚洲国产一级精品毛一级精品看免费视频| 午夜福利精品| 欧美国产日韩清纯唯美| sss视频华人在线| 亚洲免费日韩在线一区二区| 大香蕉欧美国产日韩高潮| 欧美大片天天看| 极品色电影院| 97这里只有精品| 高潮毛片无遮挡高清免费| 亚洲第一黄色av网站 | 欧美精品丝袜久久久中文字幕| 密臀在线免费观看| 色天堂在线观看| 亚洲一区二区中文字幕| 人人摸人人入| 欧美αv.com| 激情五月天丁香社区| 激情99| 蜜臀久久99精品久久久久免费观| 成人欧美日超碰| 国产视频97| AVE乱伦| 秋霞蝌科网日本一区| 色999;丁香五月| 欧美一区二区情色| 9久精品视频在线观看| 五月色综合| 欧美综合加勒比在线| 蜜桃丰满熟妇av无码区不卡| 日韩欧美加勒比| 精品九九国产无码| 久久午夜伦| 97超视频在线观看| 久久免费9| 中日亚韩免费视频| 五月天婷婷成人网| 日韩欧美资源| 亚洲Av诱惑| 眼镜人妻101.com| 激情五月天色色网| 女人一区| 啊啊啊久久| 国产欧美一级在线观看| 一区黄二区黄| 男人天堂最新手机版在线青青草| 日本潮催一卡操| 婷婷在线精品| 欧美日韩亚洲五月天婷婷| 男人的天堂一区| 乱伦a片视频| 69精品少妇一区二区三区蜜桃| 国产亚洲日本| 强奸乱伦免费网站| 日韩精品区二区三区不卡| 东北操逼| 91在线超高颜值国产| 91neishe| 中文字幕乱妇免费视频| 色香色欲天天综合网天天来吧| 宗合情欲网| 酒色综合网| 伊人色综合网电影| 大香蕉92| 在线观看岛国有码| 国产五码丝袜屁眼| 九九碰九九爱97超| 欧洲色| 91国产丝袜美女| 樱花蜜乳av| 亚洲最大的黄色电影网站。 | 嗯嗯啊啊好爽| 婷婷五月天网| 嗯嗯啊啊日韩精品| 又大又长又粗又爽又黄| 操操操操操操| 亚洲av性爱电影| 丰满人妻一区二区三区| 人妻夜爽夜夜爽| 操逼片中文| 岛国999| 91网九色蝌蚪操熟女| 熟女丰满人妻一区| 国产精品96| 久久性爱视频| 亚洲在线a| 激情综合五月天| 9美女超碰在线免费观看| 家庭乱伦性爱av| 热久久99999| 51久久夜色精品国产麻豆| 超碰在线974| 五月天婷婷在线看| 欧美五区| 91影库| 日韩精品电影| 黑人操一区二区| 啊啊啊啊啊啊啊网址在线观看| 欧美日韩国产另类综合| 亚州男人的天堂| 韩国午夜理伦三级好看| 后入式五六区| 亚洲黄色影视| 啊啊啊啊无码| 丁香六月婷婷| 2024黄色视频| 磁力99AV| 福利视频一区二区微拍| 中文字幕精品专区搜索结果91| 强奸乱伦av电影| 欧美中字不卡| 久久丁香| 91熟女在线| 厕所偷拍在线| A级毛片在线看免费| 60秒免费小视频| 被体育老师抱着c到高潮| 日本大香蕉综合网红本杳社区| 成功精品影院| 国产精品无码成人精品| 我中文字幕6区| 国产在线视视频有精品| 久久少妇| 欧美成人色| 人看人人摸人人操| 久久久久久久97| 自拍视频大全亚洲专媒视频/一区二区三区 | 日本免费一级AAA大片器 | 欧美激情高清性猛交| 欧美性爱97超碰| 操逼大黄片| 毛片99-全集电影手机免费观看完整-B029AV| 国产67194| 国产精品人妻无码久久久老鸭窝| 屌妞视频久久久久久久| 无码高清专| 男人的天堂久久久| 九九九九九用不成了| 人人考人人摸人人干| 97色碰| 亚洲天堂资源| 熟女日韩| 欧美亚洲另类在线蜜桃| 欧美亚洲图片| 91国产丝袜美女| 91原创在线观看| 国产亚州高清国产拍精| 亚洲欧洲成人在线电影| 欧美人妻一区二区| 好看的91视频| 激情开心五月天| 国产精品蜜臀久久久久无码AV| 东北老熟女| 国产熟女精品区| 无码9区| 欧美日本一区二区a人| 一起草高清无码| 91老熟女91老女人| 97 国产一区| 五月婷婷六月丁香| 久久精品亚洲成a人天堂| 国产精品com| 亚洲欧美国产精品久久久久久久| 青青草精品| 五月丁香综合网| 浪人综合网| 亚洲伊人久久综合97| 久久久久久十| 亚洲AV色图一区| 少妇天堂网络| 在线播放成人网站| 午夜影美女日鸡鸡天天视频国产| 日韩一区二区精彩视频| 啊啊啊操死我| 天天操妹子| 啊嗯嗯啊好大好爽| 国产熟妇一区二区| 婷婷三区| 亚洲日本成人动漫| 色综合婷婷| 无码WWW免费视频网站| 91久久免费视频互動交流| 日韩有码专区| 色97综合中文字幕| 亚洲天堂美臀在线| a片亚洲一本通视频| 97人亚洲综合字幕| 久久婷婷在线观看视频| ss久久| 校园春色制服丝袜中文字亚洲| 日本久久天堂| 色99视频| av资源在线播放天堂| 操逼片中文| 亚洲色 国产 欧美 日韩| 自拍偷拍亚洲熟女妇人精品| 中文字幕五月婷婷免费| 亚洲日韩视频二区| 国产 亚洲 一二三四| 无码一区免费在线不卡| 麻豆国产97在线| 曰韩人妻中文字幕在线 | 国产强奸超碰AV| 东亚亚洲无码高清| 无码在线亚洲| 九九色图| 久超碰在| 亚洲五区熟女| 蜜臀AV成人精品蜜臀| 亚洲视频一二区| 麻豆伊人网| 久久久99999久网站| 美女大乳久久久久久久女人18| 佐山爱中文字幕| 97视频在| 九九九九免费视频| 亚洲美女色图| 97久久国产亚洲精品超碰热| 国产嫩草精品A88AV| 九九热精品视频六| 久久一二三四| av三级电影在线播放| 天天视频黄| 亚洲av噜噜噜噜噜噜| 黄色免费网| av在线不卡一区二区三区| 久久成人国产| 五月婷婷六月丁香| 婷婷国产精品九区| 综合视频91| 黄久在线| 青青草好吊色| 伊人五月天婷婷| 亚洲高清国产理伦片| 五月婷婷爱六月丁香色| 五月丁香啪| 欧美中文字幕日韩在线| 在线免费观看日韩一区| 青娱乐日韩无码| 亚殴在线| 国产精品乱码久久久久久| 婷婷8月天青娱乐| 五十路熟女人妻一区二区在线观看| 亚洲国产成人精品久久久国产成人一区二区| 东京热视频网| 亚洲操人| 久久精品老司| 国产精品白丝www| 亚洲国产成人精品久久久国产成人一区二区 | 五月天激情综合网| 久久视网78| 桑老女人九区| 另类图片欧美激情综合| 国产色呦呦| 高潮内射在线| 夜夜国自区| 国产拍偷精品网站| 岛国视频免费在线观看| 97精彩视频网站| 99热国产精品| 蜜乳视频网站| 五月花婷婷| 嫩草影院永久在线制服丝袜| 久久久久久久97| 福利伊人玖玖国产| 黄色成品网站| 91色欧美| 一区二区三区免费岛国片| 成人片在线播放| 日本丝袜美腿人妻九九| 欧美天天影院| www.yeyecao| 狠狠 91| 中文字幕1区2区| 一区二区三区黄色片a| 性色一线| 91老妇女| 九月丁香综合网| 黄色成品网站| 天天干18禁| 国产激情在线| 91 丝袜在线观看| 超碰精品国产无码| 亚洲 欧美 中文 日韩超碰| 99re99在线视频| 日韩丝袜二区| 美女91av| 香蕉人人操tv| 制服丝袜第二页| 欧美成人A天堂片在线观看| 国产极品999| 老鸭窝成人免费毛片视频| 国产懂色精品国产av| 国产熟妇一区二区| www.99色| 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 久草男人天堂| 国内毛片无遮挡国产| 婷婷激情综合网| 色香91| 少妇xx精品| 动漫av中文| 国产精品一区av在线| 国产人伦精品一区二区三区 | 91五月天| 天堂性色| 久久黄黄| 欧美日韩中文视频播放| 国产精品久久久亚洲一区| 亚洲欧美在线丝袜| 96久久精品一二三区色欲| 国产第二页| 久久久久亚洲?V片无码V| 青春草A| 亚洲成人性爱网站在线播放| 久久超碰98| 不卡一区二区日本视频| 天操天操夜操夜月月年年操操| 国产女生在线| 欧姜老司机| 中文字幕国产精品1区| 精品国模无码| 天天影视射综合网| 欧美成人一区二区三区在线播放| 久久99干一本高清| 日韩人妻精品久久久久| 深夜福利黄片| 极品粉嫩少妇视频| 99久久精品无码一区二区| 亚洲丝袜二区在线| 天美国产三级传媒| 久久性生大片免费观看性| 亚洲欧综合另类无码一区| 精久久久| 日韩情色视频| 无码精品久久久天天影视| 欧洲站一级二级三级h| 日韩三级视频一区二区三区| 婷婷av在线中文字幕| 九九九九精品一区| 依人大香蕉| 色色毛片| 亚洲色图第一页| 五月丁香在线| 乱伦a片视频| 久久精品成人| 桃色六月天| 色噜噜人妻丝袜a∨先锋影 | 婷婷五月天在线观看| 青青青国产手线观看视频2| 国产AV人人夜夜澡人人爽麻豆| 狠狠综合网| 国产精品久久久久久久久久梁医生| 加勒比av官网在线| 日韩国产品视频中文字| AAAAAAAAA黄片| 熟妇人妻精品一区二区| 中文字幕人妻色偷偷久久皮| 久久久国产三级黄色片| 操逼无码操逼| 少妇大屁屁| 国产亚洲欧洲在线观看| 337p大胆噜噜噜噜噜91Av| 国产亚洲福利第一页丝袜| 夜夜精品视频一区二区| 久久嫩草国产成人一区| 麻豆国产96在线| 被男人吃奶很爽的毛片| 综合网亚洲在线| 久久久久久久久久久999| 另类视频在线| japan日本高清乱xxxx| 女人天堂av在线播放| 日本道日本道中文字幕日本道最新日本道在线观看 | 色五月激情网| 日韩探花精品在线视频| 日本在线观看网址| 插欧洲美女欧美精品| 大香蕉啪啪网| 丰满人妻一区二区三区四区| 色亚州人久干视频在线观看免费版| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 久操精品| 床戏久久久av一区二区麻豆| 日韩图区| 九九九九日本| 中文字幕国产精品1区| 中文字幕在线高清男人的天堂| 色九九九综合| 刺激性视频黄页| av天堂影视中文在字幕在线中文| 国产精品岛国片在线观看| 国内毛片无遮挡国产| 91综合网| 欧美色图亚洲激情| 亚洲第一页色网| 粉嫩久久久极品| 天天激色| 中文字幕人乱码中文字的预防方法| 香蕉一区二区三区在线视频| 婷婷尹人大香蕉免费| 丰满的三级少妇欧美久久久| 亚洲国产一级精品毛一级精品看免费视频 | 狠狠操夜夜操蜜桃视频三区| 亚洲成人久久美女| 亚洲 欧美 手机在线观看| 亚洲AV无码AV吞精久久久久| 国产成人99久久亚洲综合| 91夜色| 97欧美视频| 伊人骚琪琪亚洲天堂网站| 校园春色AV天堂| 久久老熟女| 人妻娇喘 激情视频| 新91视频.cmp| 男人的天堂com| 国产馆| 69一区二区三区 | 日本五十路熟女一区二区| 金莲网址| 久久国内| 91日本在线观看| 色色色色综合网| 五月婷婷大香蕉| 农村妇女一级二级三级视频| 操一操摸一摸| 中文字幕丰满人妻日本| 欧美国产精品久久九九| 精品无码一区二区三区色欲| 白丝被操91| 在线播放免费av福利片| 无码最新| 国产亚洲禁久一区二区 | 亚洲一区二区三区麻豆传媒| 久久曰曰| 激情小说亚洲视频| 91狠狠狠| 色汉综合| 国产黄色小视频网站| 国产专区第一页| 欧美性爱在线无码| 97色色网| 久久一二三级一一一| 污污污8888| 久艹99| 猛猛干| www.99色| 人人爱人人操人人性| 看一级黄色视频| 少妇高潮99p| 香港成人一级视频在线青青草| 乱久久久| 精品免费囯产一区二区三区| 男人的天堂2019| 操婢日韩| 日韩午夜啪啪视频| 中文字幕 一区二区 亚洲无码| 天美欧美国产| 丁香六月激情综合| 精品无码久久久| 国产精品天干天干综合网麻豆| 变态另类专区| 婷婷久久五月综合激情| 中文字幕91页| 亚洲丝袜色| 欧美熟女妇同| 漂亮人妻被强中文字幕hd| 亚洲一区二区在线观看91| 国产日韩在线播放av| 久操热线| 欧美日韩一干二干| 亚洲另类色综合网站| 懂色aV一区二区天美传媒| 乱伦图av| 美女黄页| 亚洲影视第一页| A 天堂| 国产精品久久久久久久久AV大片| 久热色情精品| 久久人妻一区二区三区高清| 在线免费观看高清无码视频| 亚洲最大的综合性av| 另类综合另类| 果冻传媒一区二区三区| 国产 日韩,欧美 自拍| 特级丰满少妇一级AAAA爱毛片| 艳美熟妇先锋一二三区| 国产精品一级二级在线| 精品视频一区二区| 中文久久爆乳| 麻豆性爱视频在线播放| 大稥蕉免费视频这里只有精品| 一区二区三区色综合| 97色碰| 婷婷五月天影院| 亚洲 欧美 另类 日韩 人妻一区| 综合久久2017| 国产精品一区二区 尿失禁| 厕所偷拍在线| 国产美女自拍视频| 综合久久六月久久婷婷| 久久9亚洲| 亚洲小说视频| 国语对白在线播放视频| 日韩ab网| 午夜精品久久一区二区| 国产成人综合网| 搡老女人老91妇女熟女| 蜜乳成人AV| 大香蕉97久久| 91国产丝袜白虎| 日本性爱网址| 夜夜综合| 国产亚洲性生活视频播放| 成人综合色网| 色区97| 欧美中出1| 91精品人妻啪啪间| 婷婷丁香九月| 久久超碰、| 国产精品点击进入在线影院高清| 色五月av| 日韩三级av片| 女人爽到高潮潮喷18禁网站| 加勒比综合a∨| 一级性爱啪啪视频| 国产精品嫩草久久久久| 人妻精品4K4K4K4K4| 97超碰色色| 五月丁香综合网| 青青草在线视频播放器| 日韩成人大片一区二区| 尤物视频偷拍免费| 色乱二区| 九草九九九| 国产精品成人蜜臀AV在线| 中文字幕久久亚州无码| 成人aⅴ一区二区三区| 欧美日韩国产电影| 国产成人精品必看| 和协影院中文字幕三区| 国产精品人人爽人人做可爱福利| 色999偷自拍拍| {男男暴菊gay无套网站| 97干色天堂| 日本精品中文字幕视频| 亚洲91色在线| 欧洲综合无码| 好屌色综合| 99在线无码精品秘 入口黑人| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 91精品黄在线观看| 青娱乐黄色录像| 精品性爱| 99九九久久| 波多野结衣一级视频| 欧洲精品网| 中文字幕狠狠玩| 亚洲天天自拍| 性站 | 国产精品自产拍在线观看社区| 精品人妻一区二区蜜桃视频| 色999亚洲人成色| 久久久久久久97| 嗯嗯嗯不要不要免费视频| 国产午夜福利专区综合| 伊人伊人LD| 屁屁影院一区二区三区国产| 国产精品对白自产拍| 五月婷色| 亚洲中文字幕精品一区| 麻豆国产第一| 综合自拍| 天天插网| 久久同城AV| 午夜男女爽爽爽在线视频| 久9精品| 色诱avtt| 日韩不卡a级视频专区| 欧美激情区| 国产污视频麻豆传媒一区二区| 欧美aaaaaaa| 97欧美综合网| 超碰在线人妻不卡| 中文字幕一二三av| 蜜桃成人1区2区3区| 家庭乱伦国产| 日日躁天天躁狠狠躁| 男人天堂.AB| 波多野结衣先锋影音| 东京热av影院| 日韩精品人妻中文字幕久久久| 日韩性爱电影一区| 懂色aV一区二区天美传媒| 久久999久| 91色色色| 免费少妇一区二区| 东京热,男人的天堂| 成人女人国产| 偷窥自拍亚洲天堂网爆| 亚洲欧美国产va在线播放频| 欧美日韩亚洲电影| 91亚洲黑人| 久草国产在线视频| 中文字幕在线免费观看| 歐美性天天| 桃色五月天| 午夜男人av| 精品少妇999| 中文子幕一二三| 九久久九精品视频| 韩国一级做A片免费的| 日本伦乱九九九综合| 国产熟女高潮一区二区三区| 在线人妻熟女一区二区三区四区五区| 天天日B夜夜干B时时操B| 91在线免费精品视频| 久久激情视频| 超碰精品| 狠狠操夜夜操蜜桃视频三区| 蜜乳AV一区| 人妻少妇久久中文字幕一区二区 麻豆| 熟女人妻一区二区三区| 国产真乱mangent| 超碰色大香蕉| 夜夜操一区二区| 91女人的网站| 99re在线观看| 亚洲日韩美女中文字幕乱| 久久超碰国产一区二区三区| 校园春色AV天堂| 丰满人妻一区| 日韩精品9999| 日本天堂网| 91粉芽高清在线一区二区| 强奸乱伦日韩AV| 美国精品国产精品| 欧美组图日韩亚洲中文字幕| 欧美性爱一区二区三区| 69丨亚洲丨精品丨入口免费播放| 台湾肥佬网一区二区三区| 日韩一区二区精品视频| av片在线观看免费播放| 2019天天干天天操| 一区二区精品日韩欧美在线观看| 亚洲欧美综合| 五月情色天| 国产精品一区在线播放| 免费草草草草草视频| 超碰久久草| 九九夜精品九九在线| 亚洲乱色视频一区、二区在线| 天天摸,夜夜摸| 激情婷婷| av九九| 五月丁香色色网| 9999免费精彩视频| 手机看av网站在线看| 国产熟女乱论| 啪一啪免费视频| 国产高清MV操逼视频| 人人看欧美性爱| 日韩精品在线观看观看| 精品无码久久久久久国产浪潮| 久久双插| 免费久久一级毛片大黄| 成人a v在线播放免费| 中日韩免费看男女操逼大全| 久久AV无码AV| 国产午夜精品理论片a大结局| 97色97干| 人人搞人人插人人操| 国产在线视频午夜精华在| 成人精品在线免费视频| 国产在线视频午夜精华在| 欧美欧美啪啪视频| aaa亚无码专区| 黄色免费网| 欧美传媒| 一类无码操逼视频| 成人亚欧免费视频| 国产真实野战在线视频| 国产91美女视频| 超碰久超碰久| 亚洲日韩电影| 被操高清无码视频| 人妻干天天| 国产av又色又爽又黄| 青娱乐久久艹| 久久久97| 青青草日本无码| 黄总AV色图| 午夜后入| 亚洲区小说| 综合色一区三区二区| 久久精品国产亚洲AV清纯| 国产精品久久久久久久电影渣男| 久久精品欧美一区二区三区不卡| 日欧亚洲二三区大片不卡| 欧美综合区| 超碰亚洲97| 91黑丝美女| 国内外毛片在线观看| 91色婷婷综合久久中文字幕二区| 亚洲美女AV无码| 免费人成在线观看网站品爱网| 免费看A片毛毛片在线播| 成人AV在线电影| 日韩欧美亚洲国产日韩| 欧美色图成人网一区二区 | 亚洲人在线成线成人| 91 丝袜在线观看| 日本黄色精品| 麻豆国产精品午夜视频| 日欧亚洲二三区大片不卡| 婷婷大香蕉| 男人天堂久久日韩| 51一区二区三区| 网友自拍第一页| 欧美亚洲| 久久久久成人蜜桃精品| 玖玖爱一区在线| 欧美亚洲天天| 亚洲人体视频在线观看| 伊人女女资源在线观看| 日韩无码嘿咻黑热久| 夜夜操中文字幕| 97资源久久| 人妻一区视频| 久久女人一区二区三区| 亚爽爽爽爽爽爽爽爽| 成人一二三区| 青娱乐欧美激情一区二区| 婷婷久热| 91性感网站| 五十路一区无码| 亚洲欧美中文一区二区三| 91在线色综合| 日韩中文字幕宗合在线| 一起草在线视频| 午夜寂寞欧美| 宅男91视频在线播放| 成人资源中文字幕在线观看| 一区二区三区免费视频入口| 国产做?爰片久久毛片?片美国| 殴美日韩m| 啊啊啊啊免费视频| 亚洲中文一区二区三区| 欧美午夜精品久久久久久超碰| 97超碰中文| 爱妃国产亚洲视频中文字幕| 六月婷婷综合| 久草精品一区| 欧美精品三级黄片| 男人天堂新在线| 欧美性巨大╳╳╳╳╳高跟鞋| 久久不卡一区二区 | 成人性爱电影一区二区| 磁力99AV| 天天综合亚洲综合| 欧美视频在线视频免费va| 熟女AV一区| 日韩激情电影中文字幕| 99热思思| 色欲久久99精品久久| 亚洲一区二区三区播放在线| 夜夜操老骚逼视频网站| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 99无码视频| 国产精品69久久久久孕妇欧美| 九九热久久99精品re| 精品免费1| 福利视频网站| 五月天久久久| 99精品在线| 无码精品一区二区三区潘金莲| 久久精品72| 99久久无码| 一二三四日本视频高清| 易易A毛视频| 久久久久国产无av| 欧美日韩97在线| av网站在线观看了| 91亚洲丝袜熟女| 特级毛片特黄久久免费看| AV丝袜少妇| 日本精品中文字幕视频|