日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Jetson Virtual Channel驅(qū)動(dòng)實(shí)戰(zhàn):多路虛擬顯示與編碼推流

Jetson Virtual Channel驅(qū)動(dòng)實(shí)戰(zhàn):多路虛擬顯示與編碼推流 我最早接觸 Jetson 上的 Virtual Channel Driver是在一個(gè)需要把 8 路 USB 攝像頭畫面分別送進(jìn) 8 個(gè)容器進(jìn)程做推理的場(chǎng)景里。板子是 Jetson Orin NX 16GB系統(tǒng)是 JetPack 5.1.2。當(dāng)時(shí)最頭疼的問(wèn)題不是模型跑不動(dòng)而是顯示鏈路太擠所有容器都要去搶同一個(gè) DRM device動(dòng)不動(dòng)就報(bào)resource busy或者某個(gè)進(jìn)程一崩潰整個(gè) framebuffer 都被拉垮。后來(lái)把 Virtual Channel 這套機(jī)制徹底吃透之后才明白這其實(shí)是一套“把單個(gè) GPU 顯示輸出虛擬化成多條獨(dú)立視頻通路”的驅(qū)動(dòng)框架。它解決的核心矛盾就是 Jetson 這種嵌入式設(shè)備上“物理顯示接口少、但要跑的應(yīng)用多”的資源爭(zhēng)搶問(wèn)題。這篇文章我打算把自己從內(nèi)核驅(qū)動(dòng)到用戶空間從設(shè)備樹改動(dòng)到容器調(diào)度的完整排查思路和實(shí)操記錄整理出來(lái)。不管你是只想讓一個(gè)無(wú)界面程序能跑 EGL還是想實(shí)現(xiàn)真正的多路虛擬顯示通道這篇都值得你從頭看一遍。1. 內(nèi)容整體設(shè)計(jì)與思路拆解1.1 Virtual Channel 到底解決什么問(wèn)題先明確一個(gè)概念Nvidia Jetson 里的 Virtual Channel Driver和你在 x86 PC 上裝的NVIDIA VIRTUAL DISPLAY也就是給無(wú)頭服務(wù)器用的虛擬顯示器驅(qū)動(dòng)不完全是一回事但設(shè)計(jì)動(dòng)機(jī)非常像。Jetson 的顯示子系統(tǒng)基于 Tegra DRM/KMS 架構(gòu)硬件上有幾個(gè) display controllerDC、每個(gè) DC 又有若干 overlay planes然后輸出到 HDMI、DP、DSI、eDP 這些物理接口。問(wèn)題是物理接口是有限的。Orin NX 最多也就一個(gè) HDMI 和一個(gè) DP或者通過(guò)擴(kuò)展板引出更多但本質(zhì)也就那么幾條。如果我想同時(shí)跑一個(gè) 4K 視頻在 HDMI 上輸出兩個(gè)容器各自渲染自己的 UI 到虛擬屏另一個(gè)進(jìn)程用 NvVideoEncoder 抓取“屏幕內(nèi)容”推流到網(wǎng)絡(luò)。這時(shí)候物理接口根本不夠用。Virtual Channel 的做法是在 display controller 和物理 connector 之間插入一條虛擬的 encoder/connector 鏈。它不綁定物理輸出而是把渲染好的 framebuffer 直接交給下游消費(fèi)者比如 NVMM 做視頻編碼或者 nvrm 做 2D blit。每條虛擬通道對(duì)用戶態(tài)來(lái)說(shuō)看起來(lái)就是一個(gè)完整的 DRM device 或 connector可以獨(dú)立modeset、獨(dú)立page_flip互不干擾。這里有個(gè)很關(guān)鍵的設(shè)計(jì)取舍虛擬通道不做硬件的實(shí)際掃描輸出而是把“顯示”的終點(diǎn)從物理屏幕改成了內(nèi)存或下游硬件模塊。這意味著你繞過(guò)了物理鏈路的所有限制分辨率受接口約束、帶寬受線材約束、數(shù)量受接口數(shù)量約束但代價(jià)是你要自己負(fù)責(zé)把虛擬通道的內(nèi)容“搬運(yùn)”到真正需要的地方。NVIDIA 在用戶態(tài)提供了nvdisplay、NvMedia、EGLStream等接口來(lái)干這件事。1.2 為什么選擇驅(qū)動(dòng)層而非純用戶態(tài)方案可能有人會(huì)說(shuō)我不用 Virtual Channel直接在用戶態(tài)用 EGL 創(chuàng)建 pbuffer surface離屏渲染不也能做到“不依賴物理顯示”嗎確實(shí)可以但那只是把問(wèn)題往后推了。純用戶態(tài)的離屏渲染有幾個(gè)局限無(wú)法復(fù)用顯示控制器的合成能力。Tegra 的 display controller 帶硬件合成器hardware composition能把多層 plane 按 Z-order 合成后輸出。你用 pbuffer 就等于放棄了這個(gè)硬件加速所有合成都要走 GPU 或者 CPU帶寬和延遲都不劃算。無(wú)法被 NvVideoEncoder / NvMedia 直接消費(fèi)。Jetson 上做硬編推流最省電的路徑是渲染 → framebuffer → NVMM → NvVideoEncoder。這個(gè)鏈路的中間環(huán)節(jié)Virtual Channel 能提供零拷貝的 buffer 流轉(zhuǎn)。你走用戶態(tài)自建 buffer繞過(guò) DRM 的 dma-buf 框架就要自己處理 cache 一致性、格式轉(zhuǎn)換、同步非常痛苦。多進(jìn)程共享麻煩。DRM/KMS 本來(lái)就有 atomic commit、in-flight page_flip 這些機(jī)制來(lái)協(xié)調(diào)多進(jìn)程訪問(wèn)。Virtual Channel 繼承了這個(gè)機(jī)制而用戶態(tài)自定義方案得自己實(shí)現(xiàn)互斥和生命周期管理。所以 Virtual Channel 的本質(zhì)是在 DRM 框架內(nèi)把“顯示設(shè)備”虛擬化讓上層無(wú)感知地使用標(biāo)準(zhǔn)的drmModeSetCrtc/drmModePageFlipAPI又能拿到標(biāo)準(zhǔn) dma-buf 往下游傳遞。這對(duì)中間件層比如 GStreamer、ROS、容器運(yùn)行時(shí)非常友好幾乎不需要改代碼就能接進(jìn)來(lái)。1.3 與桌面級(jí) NVIDIA 虛擬顯示驅(qū)動(dòng)的異同如果你裝過(guò) NVIDIA 數(shù)據(jù)中心 GPUA100、L40S 這些的驅(qū)動(dòng)會(huì)看到一個(gè)Virtual Display選項(xiàng)。那個(gè)方案的原理是驅(qū)動(dòng)在缺少物理顯示器的情況下仍然提供一個(gè)虛擬 EDID 和顯示模式列表讓 X server 或 Wayland compositor 認(rèn)為有一臺(tái)顯示器接著。它主要解決的是headless 場(chǎng)景下 GUI 程序無(wú)法啟動(dòng)的問(wèn)題。Jetson 的 Virtual Channel 更進(jìn)一步它不僅僅是“假裝有顯示器”而是提供多條可獨(dú)立管理的虛擬顯示管道每條管道都可以綁定不同的 plane、不同分辨率、不同刷新率并且能把輸出內(nèi)容導(dǎo)到編碼器或者其他硬件模塊。這是為嵌入式“多路并發(fā)顯示 多路編碼”這類負(fù)載量身定做的。所以我會(huì)把 Virtual Channel 理解成一個(gè)位于 DRM KMS 層之上的虛擬化適配層它的目標(biāo)是讓每一個(gè)虛擬顯示通道都具備完整的 CRTC/Encoder/Connector 語(yǔ)義同時(shí)將實(shí)際的掃描輸出終點(diǎn)替換為下游硬化模塊或內(nèi)存緩沖。2. 核心細(xì)節(jié)解析與驅(qū)動(dòng)側(cè)實(shí)現(xiàn)要點(diǎn)2.1 內(nèi)核側(cè)Tegra DRM 與虛擬 channel 的掛載方式先從內(nèi)核角度看。Jetson LinuxL4T的顯示驅(qū)動(dòng)主要文件在drivers/gpu/drm/tegra/上游內(nèi)核的 tegra-drm和 NVIDIA 自己維護(hù)的nvidia-oot內(nèi)核模塊常見(jiàn)路徑/usr/src/nvidia/nvidia-oot/drivers/video/tegra/dc/。Virtual Channel 的實(shí)現(xiàn)集中在 NVIDIA 的 out-of-tree 驅(qū)動(dòng)里上游主線 tegra-drm 是不包含完整虛擬通道邏輯的。關(guān)鍵節(jié)點(diǎn)tegra_dc模塊負(fù)責(zé) display controller 的初始化、模式設(shè)置、plane 管理。tegra_dc_ext這是 NVIDIA 特有的擴(kuò)展接口用戶態(tài)nvdisplay/libdrm通過(guò)它訪問(wèn)擴(kuò)展能力包括 virtual channel 的創(chuàng)建、屬性設(shè)置、buffer 導(dǎo)入導(dǎo)出。nvdisplay設(shè)備節(jié)點(diǎn)通常是/dev/nvdisp這樣的字符設(shè)備配合/dev/dri/card0使用。NVIDIA 用戶態(tài)棧libnvrm、libnvbuf_utils和它交互完成 buffer 的分配、映射、轉(zhuǎn)為 dma-buf。一個(gè) Virtual Channel 在驅(qū)動(dòng)里通常對(duì)應(yīng)一個(gè)struct tegra_dc_ext_virtual_channel名稱可能隨版本變化。創(chuàng)建時(shí)指定支持的顯示模式通常繼承自某個(gè)物理顯示器的 EDID或者手動(dòng)指定一個(gè) mode使用的 plane 數(shù)量是否啟用 CRC 校驗(yàn)用于調(diào)試是否綁定到某個(gè)下游消費(fèi)者。從設(shè)備樹角度你會(huì)在 DT 里看到類似這樣的節(jié)點(diǎn)示意實(shí)際以 JetPack 對(duì)應(yīng) BSP 為準(zhǔn)display15200000 { compatible nvidia,tegra194-dc; nvidia,dc-ext tegra_dc_ext; nvidia,enable-virtual-channel; nvidia,dc-virtual-channels 8; /* 最大虛擬通道數(shù) */ }; tegra_dc_ext { compatible nvidia,tegra-dc-ext; nvidia,dc-ext-virtual-channel; };在內(nèi)核啟動(dòng)日志里如果你看到類似tegra-dc-ext: virtual channel 0 created這樣的輸出說(shuō)明驅(qū)動(dòng)已經(jīng)在初始化時(shí)把虛擬通道建好了。注意不同 L4T 版本的啟動(dòng)日志格式不一樣有的版本不會(huì)顯式打印需要靠調(diào)試節(jié)點(diǎn)確認(rèn)。2.2 用戶態(tài)可以看到什么對(duì)于應(yīng)用層來(lái)說(shuō)Virtual Channel 最直觀的表現(xiàn)是modetest或drm_info里出現(xiàn)額外的 connector。我自己的 Orin NX 上接了一個(gè) HDMI 顯示器之后modetest的輸出大致是Connector 0HDMI-A-1物理Connector 1Virtual-0虛擬通道 0Connector 2Virtual-1虛擬通道 1每個(gè) Virtual connector 都帶自己的 modes 列表。默認(rèn)情況下NVIDIA 驅(qū)動(dòng)會(huì)根據(jù)物理顯示器的 EDID 克隆一份可用的 mode 列表給虛擬通道保證格式對(duì)齊。如果你需要自定義分辨率比如讓虛擬通道輸出 1920x108030 但物理屏是 4K60需要用drmModeCreatePropertyBlob設(shè)置一個(gè)自定義 mode。用戶態(tài)程序操作虛擬通道和操作物理顯示器的區(qū)別在于要顯式指定 connector/encoder 的 type。舉個(gè)例子如果用 DRM 原生命令直接設(shè)置drmModeConnector *connector drmModeGetConnector(fd, connector_id); /* 手動(dòng)選擇一個(gè)虛擬 connector然后正常 SetCrtc 就行 */ drmModeSetCrtc(fd, crtc_id, fb_id, 0, 0, connector-connector_id, 1, mode);但我不推薦直接用 libdrm 裸寫因?yàn)?Jetson 提供了更順手的封裝接口。后面實(shí)操部分會(huì)詳細(xì)講。2.3 數(shù)據(jù)流的完整鏈路從渲染到輸出一個(gè) Virtual Channel 的典型數(shù)據(jù)流是這樣的應(yīng)用創(chuàng)建 EGL surface使用EGL_NV_stream_consumer_eglimage或EGL_KHR_gl_colorspace擴(kuò)展把渲染目標(biāo)綁定到 dma-buf。dma-buf 導(dǎo)入到 DRM framebufferdrmModeAddFB2WithModifiers然后 commit 到某個(gè) virtual channel 的 CRTC。Tegra display controller 執(zhí)行合成把 plane 內(nèi)容寫到指定的內(nèi)存地址而不是物理顯示接口的 scanout FIFO。用戶態(tài)再通過(guò)NvVideoEncoder/NvMedia把這塊內(nèi)存當(dāng)作輸入源做硬件編碼或者通過(guò)libnvbuf_utils導(dǎo)出給其他進(jìn)程使用。這里最核心的優(yōu)化點(diǎn)是第 3 步合成后的輸出直接進(jìn)入 NVMM 管理的 memory pool后續(xù)編碼器拿到的就是連續(xù)物理內(nèi)存映射避免了 CPU 拷貝和格式轉(zhuǎn)換。如果你只需要“在無(wú)物理顯示器的情況下讓 EGL 跑起來(lái)”其實(shí) Virtual Channel 不是唯一選擇NVIDIA 還提供了 headless EGL 模式選 EGL platform 為 headless。但它勝在提供了完整的 DRM modeset 語(yǔ)義下游工具鏈如 GStreamer 的drmvideosink能直接工作。3. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備與版本確認(rèn)先看一下自己手上的環(huán)境確保走通這條路。我實(shí)機(jī)的系統(tǒng)信息硬件Nvidia Jetson Orin NX 16GB 開發(fā)套件JetPack5.1.2對(duì)應(yīng) L4T 35.4.1內(nèi)核5.10.120-tegraNVIDIA 維護(hù)分支rootfsUbuntu 20.04 aarch64重要用戶態(tài)包libdrm、libnvbuf-utils、libnvmedia、nvidia-l4t-core用下面命令確認(rèn)關(guān)鍵組件在不在dpkg -l | grep -E libnvbuf|nvidia-l4t-core|libdrm ls /dev/dri/ ls /dev/nvdisp*如果/dev/dri/card0存在說(shuō)明 tegra-drm 已經(jīng)加載。/dev/nvdisp是 NVIDIA 擴(kuò)展接口沒(méi)有它Virtual Channel 基本玩不轉(zhuǎn)。JetPack 默認(rèn)帶了的如果你用的是自定義內(nèi)核可能沒(méi)有編譯tegra_dc_ext就得重新配內(nèi)核選項(xiàng)。3.2 用 modetest 確認(rèn)虛擬通道是否可用我建議第一步先用 libdrm 自帶的工具驗(yàn)證。JetPack 里沒(méi)預(yù)裝 modetest需要自己裝 libdrm-tests。sudo apt install libdrm-tests modetest -M tegra -p如果屏幕輸出里能看到多個(gè) connector包括一個(gè) HDMI 和幾個(gè) Virtual說(shuō)明內(nèi)核側(cè)已經(jīng)創(chuàng)建好了。如果沒(méi)有看到虛擬 connector可以看看內(nèi)核模塊加載參數(shù)。NVIDIA 的 tegra-dc-ext 默認(rèn)就會(huì)創(chuàng)建但有的 BSP 配置里虛擬通道數(shù)量由設(shè)備樹nvidia,dc-virtual-channels決定0就表示禁用。這種就得改 DT overlay 重新編譯比較麻煩一般到手版本不會(huì)禁。3.3 創(chuàng)建并配置一個(gè) Virtual Channel我實(shí)際踩過(guò)的場(chǎng)景需要把 1280x72030 的虛擬顯示內(nèi)容送進(jìn) H.264 編碼器推給遠(yuǎn)端的 WebRTC 客戶端。3.3.1 方案 A用 NvDisplay EGL 的官方路徑推薦這是我認(rèn)為最穩(wěn)定、最少踩坑的方式打開/dev/nvdisp通過(guò)NvDisplayGetVirtualChannelConfig查詢當(dāng)前虛擬通道能力。用NvDisplayCreateVirtualChannel創(chuàng)建一條通道指定 mode 數(shù)組和 plane 屬性。拿到通道 id 后通過(guò)NvDisplayFillAttributes設(shè)置NvDisplayAttributeVirtualChannelOutput為NV_DISPLAY_OUTPUT_VIRTUAL_CHANNEL。用 EGL Stream 的方式關(guān)聯(lián) bufferEGL_NV_stream_attrib、EGL_NV_output_drm_flip_event。渲染完成后調(diào)用NvDisplayFlip讓虛擬通道完成一次 page flip。這個(gè)路徑比較長(zhǎng)而且 NVIDIA 部分頭文件在新版 SDK 里已經(jīng)不在公開目錄了。我的建議是直接用官方 sample 里的eglstream_kms示例改造別自己從頭調(diào)。3.3.2 方案 B直接操作 DRM適合快速驗(yàn)證如果你想快速驗(yàn)證虛擬通道能不能出圖可以寫一個(gè)極簡(jiǎn) C 程序用libdrm的 API 直接設(shè) modeint fd open(/dev/dri/card0, O_RDWR); drmModeRes *res drmModeGetResources(fd); /* 遍歷找出 type DRM_MODE_CONNECTOR_VIRTUAL 的 connector */ /* 找到對(duì)應(yīng) crtc、encoder創(chuàng)建 framebuffer然后 drmModeSetCrtc */但要注意直接 DRM SetCrtc 到虛擬通道之后數(shù)據(jù)流向哪里取決于你之后怎么消費(fèi)這塊 framebuffer。如果你只是 SetCrtc 而不做其他操作內(nèi)容就“消失”了——它沒(méi)有一個(gè)物理面板幫你顯示出來(lái)。這就是為什么真正項(xiàng)目里一定要配合 NVMM/NvMedia 把這塊內(nèi)容喂給編碼器。3.4 無(wú)頭模式下讓 GPU/EGL 正常工作如果你的應(yīng)用只需要跑 GPU 推理或虛擬渲染不需要真的輸出到屏幕可以在不創(chuàng)建虛擬通道的情況下用 headless EGLexport __GL_EGL_PLATFORMegl_platform_headless export EGL_PLATFORMheadless然后程序里選EGL_PLATFORM_HEADLESS_EXT創(chuàng)建 display。這種方式創(chuàng)建的 surface 其實(shí)用的是 GPU 渲染目標(biāo)和 display controller 無(wú)關(guān)。好處是極其輕量壞處是無(wú)法被 Video Encoder 作為“屏幕內(nèi)容”直接抓取。所以它適合做渲染計(jì)算不適合做“虛擬屏編碼”這種場(chǎng)景。3.5 與編碼器對(duì)接把虛擬通道內(nèi)容變成視頻流這是我最初踩坑最多的地方。直接說(shuō)最終可用的鏈路我用的是 GStreamer 方案先創(chuàng)建一個(gè)虛擬通道m(xù)ode 設(shè)為 1280x72030。讓應(yīng)用把畫面渲染到這個(gè)通道的 dma-buf 上。用nvvidconv或nvcompositor從 DRM 導(dǎo)入 buffer轉(zhuǎn)成 NVMM 格式。交給nvv4l2h264enc硬編。偽代碼命令gst-launch-1.0 \ drmvideosink namevsink \ vsink::connector-id2 \ vsink::mode1280x720x30 ! \ nvvidconv ! \ video/x-raw(memory:NVMM),formatI420 ! \ nvv4l2h264enc bitrate4000000 ! \ h264parse ! \ rtph264pay ! \ udpsink host192.168.1.100 port5000這里connector-id2是我板上虛擬通道對(duì)應(yīng)的 DRM connector id用 modetest 查到。這樣的好處是不用寫一行代碼整個(gè)鏈路用標(biāo)準(zhǔn)工具就打通了。踩坑點(diǎn)connector-id 不穩(wěn)地不同啟動(dòng)順序和物理屏接插情況會(huì)變正式項(xiàng)目里要通過(guò) name 匹配或者 udev 動(dòng)態(tài)發(fā)現(xiàn)不要硬編碼。3.6 容器里的虛擬通道透?jìng)骰氐轿易畛醯膱?chǎng)景多容器并發(fā)每個(gè)容器都需要自己的“顯示器”。這種場(chǎng)景下容器不能共享同一個(gè) DRM 設(shè)備節(jié)點(diǎn)會(huì)互相搶 modeset需要把虛擬通道當(dāng)作獨(dú)立設(shè)備透?jìng)鹘o某個(gè)容器。實(shí)際操作中我為每個(gè)容器分配一個(gè)獨(dú)立的/dev/dri/card0 通過(guò)--device透?jìng)鲗?duì)應(yīng)的/dev/nvdispN如果驅(qū)動(dòng)把虛擬通道導(dǎo)出為獨(dú)立設(shè)備的話然后在容器里設(shè)置LD_LIBRARY_PATH指向帶有 NVIDIA 用戶態(tài)驅(qū)動(dòng)的 rootfs 路徑。容器內(nèi)運(yùn)行后用modetest驗(yàn)證每個(gè)容器只能看到自己那一條虛擬通道。這樣多容器之間互不感知資源隔離就做到了。注意不要直接透?jìng)髡麄€(gè)/dev/nvhost-*設(shè)備組那是 GPU 算力的通道和顯示虛擬通道不是一回事透?jìng)魈謺?huì)導(dǎo)致其他容器無(wú)法使用 GPU 計(jì)算。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄我把自己的記錄和社區(qū)里收集到的高頻問(wèn)題整理成了一張速查表遇到問(wèn)題先對(duì)號(hào)入座。現(xiàn)象可能原因解決方案modetest 里只有一個(gè)物理 HDMI沒(méi)有 Virtual connector設(shè)備樹中 virtual channel 數(shù)量為 0驅(qū)動(dòng)未加載 tegra-dc-ext用cat /proc/device-tree/display.../nvidia,dc-virtual-channels看數(shù)值檢查內(nèi)核模塊tegra_dc_ext是否加載設(shè)完 virtual channel mode 后畫面不“出現(xiàn)”virtual channel 默認(rèn)不連接物理輸出數(shù)據(jù)停在內(nèi)存里確認(rèn)是否有下游消費(fèi)者編碼器/NvMedia讀取該 buffer或者用nvdisp的 debugfs 抓取內(nèi)容驗(yàn)證EGL surface 創(chuàng)建失敗返回EGL_BAD_ALLOC虛擬通道使用的 buffer 格式或 modifiers 不被 display controller 支持或者分配給該通道的內(nèi)存不足用modetest -M tegra -e查 driver 支持的 modifiers分配內(nèi)存時(shí)盡量用 NVMM 內(nèi)存如NvBufferCreate同一個(gè)進(jìn)程多次 SetCrtc 到不同虛擬通道時(shí)報(bào)Permission deniedDRM master 權(quán)限問(wèn)題進(jìn)程沒(méi)有拿到 master 權(quán)限在進(jìn)程內(nèi)調(diào)用drmSetMaster(fd)容器里需要CAP_SYS_ADMIN或用--cap-addSYS_ADMINGStreamer 視頻流出來(lái)是黑屏但 dmesg 無(wú)報(bào)錯(cuò)渲染未執(zhí)行 page flip或者 plane/CRTC 關(guān)聯(lián)錯(cuò)誤檢查應(yīng)用是否調(diào)用了drmModePageFlip/NvDisplayFlip用drmvideosink時(shí)確認(rèn) connector 屬于 Virtual 類型虛擬通道數(shù)量不夠用每個(gè)虛擬通道均需占用 display controller 的帶寬/plane 資源降低每個(gè)通道的分辨率或幀率釋放不再使用的虛擬通道NvDisplayDestroyVirtualChannel物理顯示輸出與虛擬通道同時(shí)使用時(shí)性能下降display controller 的總帶寬限制用/sys/kernel/debug/nvdisp/...查看帶寬占用適當(dāng)降低某個(gè)通道的刷新率排查過(guò)程中我經(jīng)常用到的幾個(gè)調(diào)試手段dmesg | grep -i virtual看內(nèi)核側(cè)通道創(chuàng)建/銷毀日志。cat /sys/kernel/debug/dri/0/state如果內(nèi)核有 debugfs 支持能看到每個(gè) CRTC/plane 的 commit 狀態(tài)。/sys/kernel/debug/nvdisp/目錄NVIDIA 提供的顯示子系統(tǒng)帶 debugfs里面有 per-channel 的 buffer 地址和中斷計(jì)數(shù)。不只有它的顯示子系統(tǒng)這對(duì)定位“是否真的 flip 了”非常關(guān)鍵。提示不同 JetPack 版本的 debugfs 路徑有所變化建議先ls /sys/kernel/debug/ | grep -i nv看看實(shí)際位置。5. 一個(gè)完整可復(fù)現(xiàn)的最小示例這里我提供一個(gè)最小 C 程序完成“創(chuàng)建虛擬通道 → 填色 → page flip → 導(dǎo)出 buffer 給編碼器”的骨架。代碼基于 NVIDIA 公開 API但做了精簡(jiǎn)。在實(shí)際項(xiàng)目中你可以用這個(gè)骨架驗(yàn)證硬件鏈路再往上加自己的渲染邏輯。#include stdio.h #include stdlib.h #include string.h #include fcntl.h #include unistd.h #include sys/ioctl.h #include nvbuf_utils.h #include nvdisplay.h int main() { int disp_fd open(/dev/nvdisp0, O_RDWR); if (disp_fd 0) { perror(open nvdisp); return -1; } NvDisplayVirtualChannelConfig vc_cfg; memset(vc_cfg, 0, sizeof(vc_cfg)); vc_cfg.channel_index 0; vc_cfg.width 1280; vc_cfg.height 720; vc_cfg.bits_per_pixel 32; vc_cfg.double_buffered 1; int ret NvDisplayCreateVirtualChannel(disp_fd, vc_cfg); if (ret 0) { fprintf(stderr, CreateVirtualChannel failed: %d\n, ret); return -1; } /* 分配 NVMM buffer 作為 framebuffer 內(nèi)存 */ int buffer_fd -1; ret NvBufferCreate(buffer_fd, 1280*4, 720*4, NvBufferColorFormat_ABGR32, NvBufferLayout_Pitch, NvBufferMemKind_Default); if (ret ! 0) { perror(NvBufferCreate); return -1; } gst_buffer_set_metadata... /* 實(shí)際項(xiàng)目里把 buffer 傳給編碼器或顯示 */ /* 這里省略實(shí)際的 fill color 和 blit 步驟 */ NvDisplayFlip(disp_fd, vc_cfg.channel_index, buffer_fd, NV_DISPLAY_FLIP_SYNC, 0); usleep(30000); NvDisplayDestroyVirtualChannel(disp_fd, vc_cfg.channel_index); NvBufferDestroy(buffer_fd); close(disp_fd); return 0; }這段代碼不是完整可編譯版本但把三個(gè)關(guān)鍵節(jié)點(diǎn)串起來(lái)了創(chuàng)建通道、分配 buffer、提交 flip。實(shí)際項(xiàng)目里buffer 的填充是通過(guò) CUDA/OpenGL 完成的flip 的語(yǔ)義則是告訴 display controller“這塊 buffer 已經(jīng)是合成后的最終結(jié)果”之后下游硬件就從這塊 buffer 讀取數(shù)據(jù)。還有一件事必須提醒NvDisplayFlip的最后一個(gè)參數(shù)是syncpt_fd或者syncpoint id用來(lái)做同步。多通道并行時(shí)如果不同步會(huì)出現(xiàn)畫面撕裂或編碼器取到半幀的情況。Jetson 上標(biāo)準(zhǔn)做法是用NvDrmSyncpointCreate或NvBufferSyncFd獲取 fence。6. 踩坑復(fù)盤與我的最終建議做虛擬通道這段時(shí)間我印象最深的坑有兩個(gè)第一個(gè)是把 Virtual Channel 和物理顯示混在一個(gè) atomic commit 里提交通道。早期版本 tegra-drm 對(duì)混用支持不夠好一個(gè)進(jìn)程同時(shí) bind 虛擬 connector 和物理 connectorcommit 時(shí)容易出現(xiàn)-EINVAL。解決辦法是把它當(dāng)作兩個(gè)獨(dú)立的 DRM pipelines 來(lái)管理不要在一個(gè) atomic state 中混合操作。第二個(gè)是用戶態(tài)庫(kù)版本不匹配。Jetson 的 libdrm 是 NVIDIA 自己 patch 過(guò)的使用其他來(lái)源的 libdrm 很可能缺了tegradriver 的 private ioctl。如果你在自定義 rootfs 上搞一定要用 JetPack 自帶的 libdrm不要用apt install libdrm-dev覆蓋掉。如果你只是做常規(guī)開發(fā)我建議按這個(gè)優(yōu)先級(jí)選方案只需要 GPU 計(jì)算不需要顯示直接用 headless EGL。需要虛擬屏且要編碼推流直接用 GStreamer 的drmvideosinknvv4l2h264enc配置里指到虛擬 connector。需要在容器里做多路獨(dú)立顯示給每個(gè)容器單獨(dú)透?jìng)魈摂M通道并在容器內(nèi)用官方 NvDisplay 庫(kù)管理。只有萬(wàn)不得已才去直接調(diào)底層 DRM ioctl。因?yàn)?NVIDIA 的私有擴(kuò)展接口變化較大維護(hù)成本高。最后分享一個(gè)小技巧如果你在/dev/dri/card0之外還看到了/dev/dri/card1別先入為主以為一定是獨(dú)立顯卡。在部分 JetPack 版本里card1就是 Virtual Channel 用戶態(tài)的映射節(jié)點(diǎn)。把它當(dāng)成普通 DRM 設(shè)備去打開能省掉很多“找不到設(shè)備”的煩惱。這套架構(gòu)整體不復(fù)雜但涉及的面比較廣內(nèi)核驅(qū)動(dòng)、顯示控制器、DRM、EGL、NVMM、容器任一層面的版本不一致都會(huì)引發(fā)奇怪問(wèn)題。建議拿到板子先做一次最小鏈路驗(yàn)證把“虛擬通道 → 編碼器 → 網(wǎng)絡(luò)推流”跑通再往上加業(yè)務(wù)邏輯能省下好幾天的聯(lián)調(diào)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧美一区二区三区一猛片| 天天操女人| 激情网五月天| 蜜桃臀一区二区三区久久| 国产无码久久高清| 午夜精品久久久久久久99蜜桃一| 日韩成人午夜精品久久高潮| 婷婷色在线| 97资源站久久| 亚洲激情在线| 高清国产成人无码| 黑丝内射一区二区三区| 亚洲日本大香蕉1| a天堂视频| 嗯嗯啊啊亚欧精品| 婷婷五月天激情四射| 在线观看综合精品亚洲| 精品欧美日韩在线观看| 久操综合在线| 综合 亚洲 欧美| 人妻熟女午夜精品在线| 免费国产视频| 欧美人妻精品| 亚洲欧美综合| 一区二区激情国产熟女| 精品人妻一区二区三区不卡断 | 一本久道在线综合视频| 色噜噜人妻av中文字幕| 久久老子无码午夜伦不卡| 精品久久九| 超碰九7免费| 久久久久久国产手机AV| 嗯~啊~快点 死我视频免费看网站| 9久9久| 99久久久er直播网址| 亚洲天天影视色综合| 91精品国产日韩欧美综合| 天美传媒Av在线| 操逼www.| 欧美综合另类| 久久夜色一区二区| JIZZJIZZ国产精品喷水| 啪啪啪综合| 久久精品99| 日韩99999| 好爽,再快点啊哈嗯嗯嗯嗯| 国产人妻精品一区二区三区秋霞| www网站黄| 亚洲欧美伦综合| 亚洲情色电影网| 一区二区免费电影久久| 精品一区99999| 狠狠操官网| 97久久精品国产| 人人妻人射| 亚洲乱熟女一区二区| 性做久久久久久免费观看软件| 999久久久久久久久| 婷婷五月色| 麻豆区久久久久亚| 麻豆国产免费影片| 亚洲巨爆乳一区二区三区四季网| 97色色色综合网站| 97天堂| 青草成人免费视频一com| 97视频在线免费看| 99色在线| 国产成人无码啪| 91天天综合在线观看| 日本三级中国三级99人妇网站| av网站在线看| 97色欧洲| 清清草影| 亚洲av淫乱| 屁股久久久久久| 好舒服视频| 五月色网| 二男一女成人A片| 欧美情色亚洲| 大香伊人在线一区| 婷婷四五区| 成人三一级一片aaa| 久久久青青草| 久久国产对白激情浪潮| 亚洲欧洲综合成人av一区| av天堂加勒比| 3级毛片一二| 一区二区三区精品黑丝白丝酒店对鸡 | 夜夜欧美| 色97综合中文字幕| 9/A片| 美国日韩黄色片| 91欧美在线| 五月天九九日国产精品一区二区三区| 亚洲成人精品久久久| 超97在线精品视频| 98人妻精品一区二区色欲| 欧美色老汉| 欧美国产一区二区三区麻豆传媒 | 国产精品一区二区三区免费视频| 在线情色电影 91大 | 91成人社区| 天天爽天天| 无码免费精品高清| 99久久久久久亚洲精品不卡| 搡老熟女免费视频 | 99亚亚热| 大香蕉色十月| 日韩97超碰中文字幕| 麻豆国产免费影片| 五月婷婷AV| 屁屁影院一区二区三区国产| 嫩草影院在线观看精品| 脫衣舞一区二区三区| 很很操在线| 欧美亚洲小说| 激情综合网亚洲| 97免费在线观看| 国产成人五月天丁香花| 亚洲av噜噜噜噜噜噜| 亚洲高清91| 欧美黑人168页欧美黑人167| 中日无幕一二三四区| 丁香激情五月天| 精品性爱无码在线播放| 亚洲天堂热| 丁香婷婷九月| 日韩中文字幕视频在线观看| 色999五月色| 久久激情视频| 一二三四日本视频高清| 欧美亚男人的天堂| 加勒比五月天| 亚洲精品 欧美97色色| 国产精品动态一区二区三区四四| 亚洲色婷婷综合久久一区二区三区| 啊嗯嗯啊好大好爽| 日日躁夜夜躁狠狠躁超爽| 快灬快灬 一下爽蜜桃在线观看| 欧美日本视频一区| 国产在线综合网| 亚洲天堂在线怕怕视频| 日韩乱中文 | 亚州性色| 日熟女| 乱伦1色页| 精品v日韩欧美国产| 日韩一级成人毛片免费观看| 中字乱伦AV| 色一射色一射| 久草久日| 女人综合网| 天天上日日上日韩精品| 国产色产精品在线观看| 夜夜草我| 首页中文字幕中文字幕免费| 超碰久热| 操91| 操东北女人| 性夜影院爽黄A爽免费动漫| 亚洲中文字幕在现观看| 精品一区二区人妖| 久久人妻四季| 麻豆国产成人精品| 少妇综合网| 亚洲天堂自拍| 精品一区二区2| 热99re69精品8在线播放| 久久久久久99AV无码免费网站| 91社区拍啪人妻| 国产AV激情无码久久无码| 操碰97| 97亚洲资源| 丰满熟妇大乳做爰| 日本免费人成视频播放120秒| 99爱在线视频| 闷骚老熟女15P| 在线色资源| 精品欧美不卡在线播放| 五月天啪啪| 99久久无色码| AV天堂因数| www.99中文字幕| 麻豆精品久久久久久久| 无码二级三级| 国产一区二区在线电影| 超碰人妻中文在线| 欧美日韩国产一区二区小黄片大全| 在线人人人人人人精品超| 久久超碰、| juliaann欧美丝袜办公室| 国产AV色黄看到爽| 天天日天天屌天天操| 极品色| 麻豆这里只有精品| 久久久少妇诱惑精品视频| 国产亚洲福利第一页丝袜| 这里只有精品久久| 久久大线蕉一区| 亚洲成a人v欧美综合天堂下载 | 东北女人性交| 韩国成人精品久久久免费看| 美国久久一二三四| 免费国产电影一区二区| 欧插网站| 秋霞Av理论一级在线| 超碰在线91| 欧美色图97| 无码一区免费在线不卡| 97爱欧美| 日熟女| 不卡超碰护士AV在线免费播放| 性欧美999| 另类 日韩 熟女| 久久夜精品一区二区三区| 精品人妻一区二区三区四区石在线| 超踫中文字幕| 曰韩人妻中文字幕在线| 国产盗摄美女如厕大神作品在线观看| 欧美日韩另类在线播放| 久久综合女优| 日韩成年人性爱视频| 精品久久在线区一区| 伊人影院日本| 亚洲三级网址久久最新| 日韩无码三级影院| 色妇91| 三级片网站在线播放| 日本熟妇自慰性高潮一区二区三区| 3028国产精品| 久久蜜桃一区二区| 九九热精品免费视频| 色噜噜狠狠色综无码久久合欧美| 人妻91少妇| 五月天精品| 香蕉99秘 一区精品蜜桃臀| 思思热在线观看| 偷偷人人精品女女久久| 91jk色拍| 五月丁香激情啪啪| 免费操逼91| 国产成人资源| www.av在线视频| 色九色久| 日韩性爱视频免费在线| 69天堂| 99热aaa| 国产精品麻豆免费视频| 欧美色图在线视频少妇| 97色色网| 熟女这里只有精品6| 欧美日韩亚洲五月天婷婷| 亚洲第一无码播放立川理惠| 亚洲少妇免费视频\| 性在久久久久久| 国产一二三在线视频五十路| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 97任你吞精| 99操| 人人妻碰人人免费| 欧美色图亚洲色,麻豆| 2020视频1区2区3区| 老熟女网站| 一道本东京热加勒比一区二区三区| 国产一区二区三区白丝| 91成人精品| 欧美色图天堂网m| 不卡中文字幕aⅴ在线| 日日干夜夜欢| 色999偷自拍拍| 天天操天天干一区二区 | 亚洲自拍一区夜夜操| 成人精品在线免费视频| 女人香蕉久久毛毛片精品| 欧美激情亚洲色图| 人妻久久久| 性在久久久久久| 97国产人人| 一级免费精品| 精品无码久久久久| 欧美97在线观看| 五月婷婷激情| 日本欧美成人片AAAA| a级免费在线观看| 久久香蕉国产线看观看亚洲女人| 国产精品视频电影| 日本日皮视频逼| 日韩激情无码影院| 男人的天堂一区| 青娱乐 成人娱乐在线| 亚洲AV永久无码一区仙野| 亚洲天天操| 欧美日韩国产色五月综合在线| 日韩精品人妻中文字幕有码午| 91啪啪视频| 美国人人操人人操| 人人模人人看| 人妻少妇久久中文字幕一区二区 麻豆 | 九九热超碰97亚洲最新香蕉| 好淫网一二三视区| 午夜寂寞欧美| 日韩AV无码中文一区二区| 91在线免费精品视频| 玖玖久久久| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 天堂伊人久久| 久久久蜜桃一区二区三区| 欧美专区日本专区| 日韩在线观看中文字幕视频| 女人被添高潮免费视频| 亚洲AV成人精品网站在AV| 亚洲综合在线第一页| 亚洲一本色码中文字幕| 清清草影| 中出789在线视频| 91久久午夜无码鲁丝片久久人妻| 日日日啊啊啊| 偷拍超碰| 97精品视频网站| 欧美色图成人网一区二区 | 中文字幕亚洲欧美在线不卡| 中文字幕一区日韩精| 熟女突然公开看18禁影片| 日本一区二区三区四区免费观看| 色婷婷九月天天综合| 秋霞成人一级在线观看| 国产伦精品| 久久香蕉国产线看观看亚洲女人 | 中文字幕熟女人妻丝袜丝| 欧美日韩97在线| 中文字幕AV片| 揉揉揉夜夜| 欧综合网| 无码久久亚洲高清,| 尹人免费观看视频在线| av天堂5| 六月丁香婷| 99色在线视频| 国产农村妇女精品1区二区| 欧美97在线观看| julia中文字幕在线观看| 操老熟女AV| 日韩无码第3页| 欧美视频一| 小说区 图片区色 综合区| 亚洲一区操| 欧美十八禁视频| 亚欧成人中文字幕一区| 天天干天天干天天| 精品一国2| 日逼97| 亚洲欧美一区二区网址| 91丨熟女丨丰满熟女| 亚洲色五月| 亚洲一区二区三区麻豆传媒| 国产人妻精品一区二区三区秋霞| 在线午夜成人无码视频| 欧美日本一区二区a人| 红杏大香蕉| 东京热不卡视频| 91天堂网| 自拍偷拍2025在线观看| 亚洲情色在线| 亚洲女优有码无码高清| 中文字幕AV乱伦| 五月丁香| 日韩中文字幕宗合在线| 天美精品原创av片国产| 久久色情| 人人操人人射人人干| 在线不欧美| 欧美日韩国产高清在线一二三区 | 97国产超碰| 精品中文字幕第一页| 色播五月婷婷| 99这里都是精品| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 99热91| 97久操| 试看日韩黄片| 久久久蜜桃一区二区三区| 青青操97| 欧美在线天堂| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 亚洲精品人体| 国产剧情AV不卡在线观看| 国产有码一区| 日本久久女同性恋视频| 婷婷五月天伊人| 久久綜合很很很| 亚洲黑人在线| 啊啊啊操一区| 国产区在线| 蜜桃一区二区三区| 精品三级在线专区| 日本裸体久久色噜噜| 色色九区| 精品久久視頻在线| 欧美色999| 这里只有精品久久| 日韩无码第3页| 国产一区在线免费播放| 日韩色女精品| 婷婷影院入口| 91麻豆天美国产欧美高潮| 久久久久久国产精品免费网站| 亚洲综合小视频小说在线观看| 很很操在线| 亚洲人成色9999精品久久| 成人一二三区| 久久久久久久极品香蕉视频| 亚洲天堂久久久久久粉红视频| 亚洲成人综合在线| 欧美精品庄| 人妻天堂综合网| 后入国产| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 精品少妇一区二区三区在线视频| 欧美色图在线视频少妇| 日本在线播放不卡一区| 亚洲天堂少妇| 久热91| 99热一区二区三区四区| 亚 欧 美 综合| 国产成人亚洲精品无| 蜜色网色哟哟| 91人妻最真实刺激绿帽| 欧洲精品区| 日本道久久综合色色| 91情色在线| 久久激情综合| 国产精品999aaa| 成人在线视频一区| 综合色播| 51国产午夜精品视频| 国产偷仑| 国产无马av| 久久久久久久久一区二区三区| 999在线电影香蕉| 国产JDAV无码视频在线观看| 蜜臀无码一区二区| 亚洲色图激情小说| 国产人妖的免费的视频| 国产 v乱码一区二| 99久久99久久免费精品蜜臀| 亚洲综合贴图91| 9999久久久久| 神马久久久久久伦理片| 大香蕉伊人75| 少妇内射www在线观看视频| 欧亚在线视频| 久草精品国产99| av草草在线电影| 国产精品91一样| 久久久亚洲高清不打码| 亚洲影院成人| 久久久精选| 97久久久精品| 人人天天欧洲| 91干熟女| 日本操逼视频不卡直接放| 久久风骚城市人| 人妻插插人妻人| 人妻精品视频一区二区| 大香蕉一区二区在线观看.| 久久久久久久久女黄| 人妻久热在线| 91香蕉视频在线观看免费| 青青草依人大香蕉| 蜜屁Av| 亚洲国产一区二区三区四区国产| 天天做天天爱夜夜爽毛片试看| 欧美96交| 欧美色自拍| 91在线视频国产网站| 97精品中文字幕| 精品一区二区三区最新| 久久伊人大香蕉| 国产高清26uuu| 亚洲天堂精品日韩电影| 久久线上视频免费看| 龙兴卡官方查询| 美女淫穴| 人人手机欧洲亚洲国产人妻| 很很干很很操| 嗯啊不要啊在线| 欧美婷婷五月天| 日本Xx性爱| 精品日韩人妻视频| 免费A片三p视频| 天天做天天爱| 97免费视频在线观看| 亚洲色婷婷综合久久久久中文| 久久人妻无码毛片A片麻豆| 91黑丝美女| 粉嫩国产精品久久久| 久久理论字幕视频| 乱人伦 国语对白:视频直接看| 日韩不卡毛片Av免费高清| 1769国内精品视频| 欧美黄色片在线播放| 综合伊人激情| A一区片| 欧美在线永久天堂| 天天射天天操天天干天天吃2018 | 欧美性天天影视| 婷婷六月色| 欧美三级偷拍| 欧美天堂亚洲电影院一区在线播放| 开心六月色| 久久九七| 强奸熟女一区二区三区| 亚洲久久东京热一二三四五区视频| 亚洲涩涩| 久久婷婷一区| 麻豆三极片| 日韩一级性爱无码| 国模艳艳啪啪一区| 91超级碰| 日本天堂网| 大香蕉欧美伊| 青青草好吊| 抽插一区二区视频| 亚洲一区二区在线观看91| 久久精品国产Aⅴ| WWW操逼| 视频国产精品未满十八禁止在线观看| 亚洲欧美国产成人综合不卡| www.久久| 人妻大相焦在线| 99re在线精品78| 欧美精品庄| 国产超碰国产97| 国产农村妇女精品1区二区| 精品国产乱码久久久兰草影视| 欧美专区17页| 九九九精品| 亚洲一区二区三区中文字幕| 日韩中文欧美| 青青草在线视频欧美| 操老熟女AV| 亚洲综合20p| 99久国产精品午夜性色福利| 91粉嫩萝控精品福利网站_精品影音先锋国 | 中文字幕视频免费| 超碰九7| 超碰国产精品久| 亚洲免费看片| 麻豆 亚洲 97| 国产极品馒头逼| 国产精品无码av| 91neishe| 欧美人妖内射| 乱伦a片视频| 大香蕉婷婷| 日韩精品第3页| 91狠狠综合久久| 国产大陆天天艹| 日韩人妻资源在线看| 啊啊啊要高潮了| 亚洲色图欧美激情| 免费操逼视频下载| 插老姨肥穴| 国语精品av| 国产一区二区三区久久久精品| www.zbzhongsen.com| n1038 一二三区| 麻豆熟妇乱妇熟色A片在线看 | 69精品在线| 韩国毛片一区二区三区| 尤物视频一区| 热天堂一区二区| 大香蕉懂9| 加勒比在线视频一区二区三区| 久久综合乱子伦国产免费| 九九热只有精品| 亚洲成人久久一区二区| 国产不卡中文字幕免费avi| 亚洲97超碰| 强奸乱伦动态污图免费| 超碰在线97国产| 综合色91| 九九热免费视频| 九九九999久久久网站| 国产色精品午夜大片| 传媒免费一区二区三区| 天天操人人操狠狠插| 91老熟女逼| 淫荡网址| 亚洲欧美激情另类色图| 操熟女91| 无码99| 日韩色图 一区二区| 性在久久久久久| 色色综合97| 成·人免费午夜在线观看| 丁香五月激情网| 亚洲91射| 亚洲啪啪性视频| 国产吹潮女在线观看| 粉嫩粉嫩一区性色AV片| 久久久久ab| 精品无码久久久久久国产浪潮| 久久综合激情| 99久久久| 屌色在线97视频| 国产精品农村妇女| 无码免费一区二区三区啪啪| 美女久久久| 国产精品制服丝袜中文字幕日韩一区二区三区| a级免费在线观看| 熟女自慰久久久| 亚川综合视频| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 大香网站| 99国产女人| 国产黄a三级三级三级av在线看| 好色综合| 加勒比日本在线| 夜间福利片1000无码| 国产九九九九九九| 丁香五月AV| 国产无码久久高清| 精品一国2| 日韩精品亚洲专区在线影视| 国产尤物在线三区| 91视频观看网站| 综合久久久久久久综合网| 日本 情色 1区2区3区| 色婷婷五月天| 正在播放国产精品一区| 日韩毛片9| 色av中文字| 日韩精品资源专区二区| 97干综合网| 猛交交| 久久久久免费看少妇A片特黄| 97超碰中文| 五月天婷婷色| 久久五十路熟女人妻| 青青草在线视频播放器| 熟妇视频一区二区三区在线观看| jizzjizz欧美| 久久久97| 人人九九精| 人妻天天爽夜夜爽爽| 国产精品一级毛片不卡视| 蜜桃久久一区二区| 亚洲色图欧美色图制服诱惑| 91neishe| 日韩AV一起草| 一本色道综合久久欧美| 中国91AV| 国模91| 91麻豆天美国产欧美日| 国产亲戚伦亲在线| 久久欲| 超碰美国| 天天综合站| 91人妻视频| 超踫中文字幕| 国产精品免费美女视频| 亚洲一卡二卡在线免费| 日韩超碰97| 91天天爽| 超碰97久久国| 丁香五月天婷婷姐| 99热色精品| 亚洲欧美日韩夜夜| 26uuu性物| 国产午夜精品理论片一二三区区 | 亚洲在高跟鞋自慰久久在色线| AA丁香综合激情| 欧美日韩性爱操大逼| 无码直播久久久| 东京热一区二区中文字幕| 精品人妻久久久久一区二区三区| 欧美国产操逼| 歐美一級亂黃99在綫精品| AV大香蕉| 99操视频| 激情AV| 亚洲日本韩国在线| 另类 日韩 熟女| 亚洲第一精品在线视频| 亚洲欧洲中文日韩女优乱码| 久久久久亚洲Av无码专区老牛影视| 国产一区二区精品久久久不卡蜜臀| 久久人爽| 夜夜操中文字幕| 亚州综合AⅤ| 日韩激情视频| 久久九七| 欧美国产一区二区三区麻豆传媒| 国产亚洲欧洲在线观看| 啊啊啊啊啊啊好湿好爽视频| 男人天堂一区二区| 欧美有码激情视频一区二区三区| 九九碰九九爱97| 色情综合| www.狠狠操| 丁香六月综合激情| 91oumei| 青青草在线成人视频| 精品人人| 91精品丝袜久久久久久无码人妻| 91撸色网 玖玖网 欧美| 伊人精品视频| 人妻素股| 欧美日韩色| 在线不欧美| 97 色综合| 亚洲另类欧美精品| 3028国产精品| 欧美一级做a爰片免费视频| 久久综合婷婷| 91xingse| 人人妻人人色| 自拍第一页| 2017天天拍大香蕉| 思思视频免费看网站| 亚洲一区二区三区播放在线| 国产精品爱欲| 极品尤物女神在线观看| 亚洲五月婷婷| av在线人气| 我爱搞逼综合网| 亚洲欧美激情小说| 免费a v| 狼狼色丁香久久婷婷综合五月 | 亚洲久草AV色图| 中文字幕av片| 99久久精品国产系列| 国产精品亚洲天堂网址| 亚洲综合中文字幕有码| 在线观看一卡二卡| 91国产美女丝袜足交精品视频| 青青草中日韩在线| 91综合站| 最新的亚洲无吗| 多乙久久久久久| 99热97| 伊人久久亚洲色欲综合网站| 人妻少妇精品视频一区二区三区| 老熟女乱伦片| 亚洲成人免费在线| 狼天天狼天天大香蕉| 97在线无精品| 精品亚洲| 欧美黄色片AAAAA| 亚洲熟妇无码一区二区三区| 欧美图片校园春色| 久久黄片国产一区二区| 网页导航五月天免费一二三区| 人妻少妇av在线观看| 国内精品不卡无毒99999| 久久久性少妇| 激情色图| 亚洲精品无码少妇久久| 国产高清不卡视频| 青青久久艹| 麻豆这里只有精品| 蜜桃臀AV在线| 亚洲 自拍偷拍 欧美| 久久综合久久综合人久久夜精品| 成人性交免费视屏| 中文字幕 国产 精品| 日日夜夜草草草| 超碰碰97资源站| 午夜爽爽爽在线观看永久入口姬片| 青青11操操操操操操操操| 欧美高清在线| 激情五月综合开心五月| AV色天香在线| 一起草视频在线| 99re公开精品免费视频| 91日日| 在线综合网| 亚洲操操操| 久啪视频| 大香蕉一线视频| 五月天综合网| 欧美Ⅴ性爱| www狠狠| 天天久久久久久| 日本性爱少妇| 日韩成人人妻网站| 日韩精品一区二区日韩| 欧美一区二区传媒| 欧美欧美啪啪视频| 久久国产精品一级二级三级| 日韩久射综合| 精品国产片亚洲一区| 东北操逼| 国产 亚洲 丝袜 制服| 亚洲男人的天堂在线看| 免费av在线播放二区| 亚洲欧洲色情高清| 国产白嫩漂亮KTV在线| 国产精品3| 少妇滛荡视频| 欲香欲色综合天天伊人| 欧美色棕合| 亚洲影院365| 欧美暴力猛交| 久久肏大逼| 东北女人高潮视频| 美女露胸露奶头| 国产亚洲精品精AV.| 涩涩久久精品| 久热无码| 中文字幕在线免费观看2| 亚州综合AⅤ| 亚洲性爱无码乱伦av| 天天综合色图| 国产精品91ai| 99久久久无码国产精品性男| 少妇熟女一区二区三区| 乱码熟妇人妻久久久| 脫衣舞一区二区三区| 亚洲风情综合网| 区日韩亚洲乱码av电影| 操婢日韩| 亚洲色图日韩丝袜制服一区二区五月在线| 狠狠干综合| 国产精品久久久久久久久久梁医生| 欧美青青视频| 长长久久曰曰夜夜成人网| 亚洲**2021在线观看| 少妇精品久久久八区九区| 无码又爽又硬又激情免费视频| 亚洲一区在线观看欧洲| 日本天天干天天日一区| 青青草原人妻| av线电影| 三级三级三级日本99| 精品无码欧美三级| 中日韩久久久免费看| 久久久影院| 久久AV无码网址| 日本操逼视频免费| 国产欧美日产一区二区三区 - 国产欧美日 | 国产一区二区精品久久99| 国产免费内射视频| 精品美女久久一二三| 另类图片五月| 东京太热男人的天堂久久久| AV高清一区| 操操碰| 精品欧美А∨无码黑人大荫蒂| 国产精品久久久久久久久久久久久久| 亚洲 欧美 另类 日韩 人妻一区| 激情六月天| 精品一区二区成人| 亚洲影院无码在线| sewuyueav| 午夜久久久| 日日夜夜青青草母狗| 人妻天天夜夜爽一区二区| 久久一级无码精品毛片6| 久久亚洲中文字幕视频| 美女性91| 男人天堂最新手机版在线青青草| 少妇三P| juliaann精品熟女一区| 99热亚洲| 无遮挡猛进视频免费无限观看| 日本日逼高清| 视频一区二区三区精品| 97精品视频| 精品美女少妇一区二区| 好爽要喷了| 欧洲精品欧洲精品| 国内97干免费看| 久久一二三四不卡| 久草色悠悠在线视频| 色一射色一射| 人妻天天操天天爽视频免费| www.婷婷五月天| 超碰人人干| av资源在线观看少妇| 日日碰狠狠添天天爽超| 国产三区免费在线观看| 中文字幕亚洲热播人妻| 日韩人妻制服丝袜av| 日韩99精品视频综合区| 青草草免费网站av| 收看日本人日bb| 99这里只有精品国产| 一级AV性爱| 日本一区二区三区午夜观看| 人人操人人干xxx| 亚洲欧美国产va在线播放频| 日韩av无码网站| 一级性爱视频免费观看| 玖玖爱在线视频免费观看| 日韩国产精品人妻无码久久久| 大肥女高潮bbwbbwhd视频| 东京热大香蕉| 91免费看一区二区三区| 亚洲春色一区二区三区| 国产狂喷潮在线精品| 日日操免费视频| www.伪伪| 日韩黄色一区二区三区| 亚洲AV无码乱码在线观看性色| 欧美人人AAA| 99热综合| 色女网日韩| 99国产精品久久久在线播放| 亚洲一区制服诱惑| 九九九九九九综合| 91久久久久久久久18| 久9re热视频这里只有精品| 欧美探花网| 97国产高清视频在线观看| 色情五月丁香| 久妇网| 天天射夜夜| 欧美在线大香999| 日少妇视频| 人人看人人插| 黄片无码在线制服| 激情五月婷婷| 久久受www免费人成| 国产精品美女在线一区| 亚洲成人久久美女| 熟妇高潮一区二区免费视频| 亚洲人91| 欧美性爱一区二区三区| 一级性爱视频免费观看| 艹精品| 久久98| 91色图片| 国内精品久9| 国产白丝精品在线观看| 波多野42部无码喷潮在线观看| 中国探花熟女| 超碰激情808| 亚洲清纯唯美| 国产又黄又爽| 性爱1区| 成人日本精品九区| 欧美激情一| 国产毛片毛片4p懂色| 亚洲欧美国产成人综合不卡| 久操高青| 亚洲交换| 国产多人在线观看视频| 亚洲欧美日韩综合在线尤物| 欧美一区二区传媒| 久九九九九九九九热| 成人小说视频在线精品欧美| 在线国产探花| 安徽熟妇视频| 人人妻人人澡人人爽久久av| 国产精品自拍xxxx| 女人天堂AV五区在线| chaopen97久久| 国产午夜福利电影免费在线观看| 综合色图区| 91美女看B| 国产精品内射婷婷一级二| 乱色视频中文字幕| 久久综合国产精品国产| 五月天大香蕉| 手机av亚洲丝袜美腿日韩第一页二页| 日韩色香| 天天躁日日躁AAAXX| 好舒服视频| 超碰色综合| 超碰在线99| 欧美偷偷网| 国产一区在线观看无码AV| 97超碰国产精品| 日韩天天综合| 欧美一级A片在线看视频性色| 加勒比综合九九99视频在线播放| 97欧美精品| 99在线免费观看| 91精品在线播放| 思思热er精品视频| 绑缚麻绳人妻寝取完整版| 四虎精品永久在线播放| 亚洲va综合va国产va中文| 国产久9| 中文字幕狠狠玩| 中文字幕人乱码中文字的预防方法 | 九九热在线精品视频| 少妇熟女1区2区3区| 超碰 97国产熟女| 国产精品国产精品国产| 99视频只有精品| 欧美九九九| 色人久久| 人妻娇喘 激情视频| 91精品久久久久久77777| 亚洲中文字幕一区| 国产福利影视| 天美麻豆精品视频99| 三上悠亚在线毛片91| 国内毛片无码一级毛片| 青青草一区二区三区四| 熟女字幕| 精品久久久一本一道| 国产精品久久久鸭无码的功能| 人妻无码视频一区二区三区久久| 中文字幕精品日韩中文字幕| 亚洲黄色网址| 玖玖爱免费观看视频| 人妻少妇久久| 天天爽夜夜操| 97亚洲在线| 久久a久久| 999久久久免费精品国产牛牛| 嗯嗯嗯,草死我| 翔田千里爆乳巨臀无码| 欧美操逼视频二区| 久久av一级av少妇av高潮| 日日干夜夜欢| 精品国产精品一区二区| 久久这里只| 97精品一二区| 午夜精品久久久久久久久久蜜桃| 久热久| 人人干人人操人人..com| 97精品一区| 国产伦精品免编号公布| 无码免费在线观看黄色片| 国产精品久久久久久久免牛肉蒲团| 93人人操人人| 久久这里只精品| 天天综合~91入口| 伊人五月天婷婷| 日韩人妻丝袜美腿中文| 一级黄色影片| 日韩啊V| 狠狠爱夜夜干| 玖玖视频在线资源一区二区三区| a片在线播放| 亚欧美综合网。| 色墦五月丁香| 黑人精品XXX一区一二区| 亚洲国产蜜臀系列在线观看| 天天日天天操心| 色九月综合| 福利伊人玖玖国产| 欧美日韩在线小说| 美女黑人91神马| 五月丁香婷婷综合| 国内精品久久人妻性色av| 疯操AV| 人人澡综合涩| 欧美性生活综合| 久久精品国内Av熟女高清| 舔人妻中文免费视频| 欧美性战999| av资源在线观看少妇| 91视频伊人| 中国和日本人色哪个不下载能放| 欧美黑人与女人91~| 亚洲精品美女久久久久久久久| 人人操人人摸人人骑| 91青青在线视频| 夜夜操av亚洲一区二区| 玖玖婷婷五月天| 草草影院日本第一页| 精品69网| 欧美日韩中国x| 欧美综合色站| 婷婷五月丁香五月| 日韩人妻播放| 亚洲一区在线观看欧洲| 一本久久久精品| 色麻豆AV| 欧美 青青草| 日韩人妻精品久久久久| 日本色色色视频| 看免费一级在线播放毛片| 久久人妻熟女一区二区| 精品无码产区一区二| 在线观看A啊啊啊| 男人天堂婷婷五月天校园春色| 小情侣高清国产在线视频| 日韩在线一区高清在线| 97久久网| 日本大香蕉综合网| 欧美九一精品久久久熟妇| 亚洲人91| 日夜久久久九九九久| 欧美美女自慰一区二区三区| 大香蕉丝袜一级片| 蜜乳性色无码专日粉嫩骚逼AV| 翔田千里爆乳巨臀无码| 久久这里只有精品9| 国产激情在线| 密臀成人视频久久久| 青草园大香蕉| 亚洲涩涩| 天美传媒AV国产在线| 无码人妻丰满熟妇奶水区毛片| 97人妻色| 91狠婷| 超碰日本97美女人妻人人玩人人爱| 五月丁香婷婷综合| 91精品国产乱码| 国产一区二区久久| 亚洲性少妇| 91爱看| 色www精品视频在线观看| 精品亚洲俞拍视频一区| 少妇69中文| 九九久久99| 9999亚洲电影| 新视频sss国产| 偷拍五区| julia ann久久| 夜夜国自区| 超碰欧美COM| 久久久久女教师免费一区| 理论久久婷婷网8| 欧美性性性| 97精品久久| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 怡春院久久| 亚洲成成熟女人综合一区二区| 91狠婷| 人妻中文字幕日韩电影| 欧美强奸乱能| 日本国产欧美高清在线| 曰韩成人免费视频| 综合久| 操人妻少妇中文 | AV网站高清无码在线观看| 最近2019中文字幕国语免费版 | 在线人成亚洲视频免费观看| 亚洲电影中字一区二区| 男人天堂黄片| 欧美极度丰满熟妇hd| 激情综合色| 大香蕉伊人网WWWn0n| 91高跟美女在线播放| 97视频新免费| 蜜臀久久99精品久久久久电影| 亚洲 欧美 色图| 日本爽爽爽爽爽爽免费视频| 久久久精品91八戒| 欧美性爱视频免费一区一A | 台湾成人无码AV| 999国产精品999| 97精品国产97久久久| 熟妇精品juliaannAV| 久久久久国产精品喷潮免费观看臀 | 中文字幕乱妇免费视频| 国产精品ww久久| 黄页视频网站野外| 免费观看欧美日韩操逼视频| 久超超碰| 九九九偷拍| 午夜视频久久久久一区|