日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

TurboVLA實(shí)時(shí)推理拆解:0.2B參數(shù)、32Hz與0.9GB顯存

TurboVLA實(shí)時(shí)推理拆解:0.2B參數(shù)、32Hz與0.9GB顯存 第一次看到0.2B 參數(shù)、32Hz 實(shí)時(shí)推理、RTX 4090 上只要 0.9GB 顯存這三個(gè)數(shù)字?jǐn)[在一起的時(shí)候我的第一反應(yīng)是核對(duì)單位寫(xiě)錯(cuò)了。原因很樸素在視覺(jué)-語(yǔ)言-動(dòng)作Vision-Language-ActionVLA這條線上混過(guò)一段時(shí)間的人都知道實(shí)時(shí)性從來(lái)不是參數(shù)量單獨(dú)決定的顯存占用也從來(lái)不是一個(gè)能被簡(jiǎn)單除以參數(shù)量算出來(lái)的數(shù)。TurboVLA 這個(gè)組合之所以值得拿出來(lái)聊恰恰是因?yàn)樗瑫r(shí)踩中了三個(gè)通?;ハ啻蚣艿闹笜?biāo)——模型要小、頻率要高、顯存要省——而它給出的答卷看起來(lái)像是把三者的矛盾給繞過(guò)去了。這篇文章想做的事情不是復(fù)述一遍參數(shù)表而是把0.2B / 32Hz / 0.9GB這組數(shù)字背后的工程賬拆開(kāi)算一遍一個(gè)控制周期里時(shí)間到底花在哪顯存到底被誰(shuí)吃掉了想在自己的機(jī)器上復(fù)現(xiàn)這套鏈路需要注意哪些細(xì)節(jié)以及實(shí)測(cè)中最容易翻車的那幾個(gè)地方。內(nèi)容覆蓋實(shí)時(shí)推理的延遲拆解、顯存統(tǒng)計(jì)口徑、低顯存部署的取舍、動(dòng)作隊(duì)列與時(shí)間戳對(duì)齊、LoRA 微調(diào)的顯存預(yù)算等適合已經(jīng)在跑 VLA 或者準(zhǔn)備把某個(gè)策略模型塞進(jìn)真實(shí)控制回路的讀者也適合剛接觸這塊、想知道為什么大家都在摳毫秒和兆字節(jié)的朋友。1. 0.2B 參數(shù)跑到 32Hz這個(gè)組合真正的難點(diǎn)在哪1.1 把 32Hz 翻譯成毫秒預(yù)算討論實(shí)時(shí)推理最忌諱用幀率這個(gè)詞籠統(tǒng)地說(shuō)事因?yàn)閹手幻枋鼋Y(jié)果不描述約束。32Hz 的意思是每 31.25 毫秒必須完整走完一次取圖—編碼—推理—出動(dòng)作的閉環(huán)而且不是平均值 31.25ms是每一次都要在這個(gè)窗口內(nèi)結(jié)束。這兩者的差別在控制場(chǎng)景里是致命的平均值達(dá)標(biāo)、尾部抖動(dòng)到 100ms 的系統(tǒng)機(jī)械臂該抖還是會(huì)抖抓取該掉還是會(huì)掉。我把 31.25ms 切成幾段來(lái)看會(huì)更清楚。相機(jī)曝光與傳輸大概 2 到 5ms取決于曝光時(shí)間和傳輸接口圖像預(yù)處理在 CPU 上通常 1 到 3ms視覺(jué)編碼器前向 3 到 6ms動(dòng)作頭加上采樣步數(shù) 5 到 15ms動(dòng)作下發(fā)與通信 1 到 3ms剩下的是框架調(diào)度和 Python 層面的固定開(kāi)銷。你會(huì)發(fā)現(xiàn)真正留給神經(jīng)網(wǎng)絡(luò)計(jì)算的預(yù)算可能只有 15ms 左右剩下的全被工程細(xì)節(jié)吃掉了。所以當(dāng)我看到 TurboVLA 宣稱 32Hz 的時(shí)候我關(guān)注的不是它用了多大的模型而是它有沒(méi)有把那些看不見(jiàn)的開(kāi)銷摁住。一個(gè) 0.2B 的模型在 RTX 4090 上做單次前向理論算力根本不是瓶頸瓶頸永遠(yuǎn)在別處。1.2 參數(shù)小不等于跑得快VLA 的瓶頸在別處很多人有個(gè)直覺(jué)參數(shù)少就等于快。這個(gè)直覺(jué)在半對(duì)半錯(cuò)之間。參數(shù)量決定了權(quán)重讀取的帶寬需求和計(jì)算量下限但在小模型區(qū)間0.1B 到 1B單次前向的實(shí)際耗時(shí)往往被三件事主導(dǎo)一是 kernel 啟動(dòng)開(kāi)銷與框架調(diào)度二是序列長(zhǎng)度帶來(lái)的注意力計(jì)算三是采樣/解碼的迭代次數(shù)。第一條最容易被忽略。一次前向如果被拆成幾百個(gè)小 kernel每個(gè) kernel 啟動(dòng)哪怕只要幾微秒累加起來(lái)也是幾毫秒而這幾毫秒在 31.25ms 的預(yù)算里占掉了兩成。第二條是 VLA 特有的痛點(diǎn)視覺(jué) token 數(shù)量往往遠(yuǎn)多于語(yǔ)言 token224×224 分辨率、patch size 14 的 ViT切出來(lái)就是 256 個(gè) token如果再拼上語(yǔ)言指令和狀態(tài)向量序列很容易沖到 400 以上。注意力是 O(n2) 的序列一漲延遲就非線性上漲。第三條則取決于動(dòng)作頭設(shè)計(jì)——如果是擴(kuò)散策略或者流匹配采樣步數(shù)是直接乘在延遲上的。把這三條擺出來(lái)TurboVLA 的設(shè)計(jì)取向就基本能猜到了視覺(jué) token 要做壓縮或池化動(dòng)作頭要么步數(shù)極少要么干脆單步出框架層面要盡量用 CUDA Graph 之類的手段把調(diào)度開(kāi)銷攤平。這三點(diǎn)也是我在自己項(xiàng)目里優(yōu)化任何 VLA 時(shí)最先動(dòng)刀的地方順序基本不會(huì)錯(cuò)。1.3 一個(gè)經(jīng)常被引用的反例我見(jiàn)過(guò)不少團(tuán)隊(duì)在優(yōu)化時(shí)先去換更小的骨干網(wǎng)絡(luò)把 3B 換成 1B結(jié)果端到端只快了 15%。原因就是上面說(shuō)的瓶頸不在算力。反倒是把圖像分辨率從 448 降到 224、把序列長(zhǎng)度砍掉一半之后延遲直接掉到原來(lái)的六成。這個(gè)順序上的錯(cuò)誤很常見(jiàn)值得單獨(dú)提一句先測(cè)各段耗時(shí)占比再?zèng)Q定優(yōu)化對(duì)象別憑直覺(jué)換模型。2. VLA 推理耗時(shí)的拆解一個(gè)控制周期里時(shí)間都去哪了2.1 從相機(jī)曝光到動(dòng)作下發(fā)的完整鏈路把鏈路完整寫(xiě)出來(lái)你會(huì)對(duì)實(shí)時(shí)有更具體的感受。典型的一條鏈路是這樣的觸發(fā)相機(jī)采集 → 驅(qū)動(dòng)層把圖像拷到用戶空間 → 格式轉(zhuǎn)換與歸一化 → 縮放與裁剪 → 轉(zhuǎn)成張量 → 拷到 GPU → 視覺(jué)編碼 → 與語(yǔ)言指令、本體狀態(tài)拼接 → 動(dòng)作頭前向 → 反歸一化 → 下發(fā)到執(zhí)行器。這條鏈里跨 PCIe 的拷貝、CPU 上的格式轉(zhuǎn)換、以及沒(méi)做異步處理的同步等待是最容易累積延遲的三處。我自己的習(xí)慣是給每一段都打上時(shí)間戳跑一千個(gè)周期之后看 P50、P90、P99 三個(gè)分位數(shù)。只看平均值的優(yōu)化等于沒(méi)做優(yōu)化因?yàn)榭刂苹芈肥菍?duì)尾延遲敏感的。很多時(shí)候你會(huì)發(fā)現(xiàn) P50 很漂亮P99 卻因?yàn)榕紶栆淮蔚睦厥栈蛘邇?nèi)存分配漲到正常值的五倍。下面這段代碼是我常用的一個(gè)最小計(jì)時(shí)骨架直接嵌在推理循環(huán)里不引入額外依賴import time import torch torch.inference_mode() def control_step(obs_img, state, instruction, preprocess, model): t0 time.perf_counter() image preprocess(obs_img) # CPU 側(cè)固定 dtype 與通道順序 t1 time.perf_counter() token model.encode_vision(image) # 視覺(jué)編碼 t2 time.perf_counter() action_chunk model.predict_actions(token, state, instruction) t3 time.perf_counter() stats { preprocess_ms: (t1 - t0) * 1000, vision_ms: (t2 - t1) * 1000, action_ms: (t3 - t2) * 1000, total_ms: (t3 - t0) * 1000, } return action_chunk, stats這段代碼本身沒(méi)什么技術(shù)含量但它是所有后續(xù)優(yōu)化的前提。沒(méi)有分位數(shù)統(tǒng)計(jì)你根本不知道自己在優(yōu)化什么。2.2 視覺(jué)編碼器、動(dòng)作頭、采樣步數(shù)這三塊大頭視覺(jué)編碼器的耗時(shí)和 token 數(shù)量幾乎線性相關(guān)而 token 數(shù)量是分辨率除以 patch size 再平方。224/14 得到 16×16256448/14 得到 32×321024四倍差距。所以分辨率是第一個(gè)該動(dòng)刀的地方前提是任務(wù)本身不需要那么細(xì)的紋理信息——抓取大件物體和插拔細(xì)線纜對(duì)分辨率的要求完全不同。動(dòng)作頭這塊目前的常見(jiàn)做法有兩類。一類是把動(dòng)作離散化成 token用自回歸的方式逐個(gè)吐出來(lái)好處是能復(fù)用語(yǔ)言模型的解碼邏輯壞處是每一步都要過(guò)一次前向動(dòng)作維度一高就慢。另一類是連續(xù)動(dòng)作的生成式方法比如擴(kuò)散策略或者流匹配靠迭代去噪出動(dòng)作好處是動(dòng)作平滑、多模態(tài)表達(dá)能力強(qiáng)壞處是采樣步數(shù)直接乘在延遲上。流匹配在 1 到 4 步就能出可用動(dòng)作這是它比傳統(tǒng)擴(kuò)散更適合實(shí)時(shí)場(chǎng)景的關(guān)鍵原因。如果 TurboVLA 能在 32Hz 下工作動(dòng)作頭的采樣步數(shù)大概率被壓到了個(gè)位數(shù)甚至可能是單步。這一點(diǎn)對(duì)復(fù)現(xiàn)的人很重要如果你照著某個(gè)開(kāi)源實(shí)現(xiàn)默認(rèn)的 10 步采樣去跑延遲會(huì)直接翻兩三倍然后你會(huì)誤判成這個(gè)模型根本跑不到實(shí)時(shí)。2.3 Python 側(cè)開(kāi)銷那些看不見(jiàn)的 10 毫秒這一節(jié)是我最想強(qiáng)調(diào)的因?yàn)樗罘粗庇X(jué)。一個(gè)已經(jīng)算得很干凈的模型端到端卻跑不到 30Hz八成是 Python 和框架層面在拖后腿。常見(jiàn)的元兇有這些每步都新建張量導(dǎo)致的分配開(kāi)銷、.item()或.cpu()觸發(fā)的隱式同步、日志打印、隨機(jī)數(shù)生成、以及沒(méi)開(kāi)torch.inference_mode()導(dǎo)致自動(dòng)求導(dǎo)圖被偷偷構(gòu)建。.item()這一條尤其隱蔽。它本身只要幾微秒但它會(huì)把異步的 CUDA 隊(duì)列強(qiáng)制同步本來(lái)可以流水線重疊的計(jì)算被硬生生串行化實(shí)測(cè)中造成 5 到 10ms 的額外延遲非常常見(jiàn)。同理把張量搬到 CPU 再算損失或者做判斷也是同一個(gè)坑。我在實(shí)際項(xiàng)目里做過(guò)一次對(duì)比同一份推理代碼只做三件事——開(kāi)inference_mode、把日志從每步輸出改成每百步輸出、把所有.item()從主循環(huán)里挪走——端到端延遲從 48ms 降到 31ms。模型一行沒(méi)改。這個(gè)比例放在 32Hz 的語(yǔ)境下就是能跑和不能跑的區(qū)別。3. 0.9GB 顯存賬單怎么算出來(lái)的3.1 權(quán)重、KV 緩存、激活值、上下文開(kāi)銷逐項(xiàng)拆先做一個(gè)粗算看看 0.9GB 這個(gè)數(shù)是否合理。0.2B 參數(shù)如果用 FP16 存權(quán)重是 0.2×10?×2 字節(jié) 400MB約 0.39GB。如果部分層用 INT8 或者 FP8權(quán)重能壓到 200MB 上下。這部分是死的跑不掉。KV 緩存是變量。假設(shè)模型 16 層、隱藏維度 768那么每個(gè) token 的 KV 緩存是 2×16×768×2 字節(jié) ≈ 49KB。序列長(zhǎng)度 512 的話就是 25MB序列長(zhǎng)度 2048 就是 100MB。對(duì)一個(gè)小模型來(lái)說(shuō)KV 緩存完全不是主要矛盾這也解釋了為什么在 0.2B 這個(gè)量級(jí)上長(zhǎng)上下文不會(huì)像在大模型上那樣直接把顯存吃爆。激活值是另一塊。前向過(guò)程中中間張量的峰值占用和 batch size、序列長(zhǎng)度、隱藏維度都相關(guān)。做實(shí)時(shí)推理時(shí) batch 通常就是 1序列也不會(huì)太長(zhǎng)所以激活峰值一般在幾十 MB 量級(jí)除非視覺(jué)編碼器那邊分辨率開(kāi)得很高。真正容易被漏掉的是上下文開(kāi)銷。CUDA context、cuDNN/cuBLAS 的 workspace、PyTorch 的緩存分配器這些加在一起在消費(fèi)級(jí)卡上通常是 300 到 600MB。這個(gè)數(shù)字和模型完全無(wú)關(guān)只要你初始化了 CUDA 就會(huì)占。所以一個(gè)0.9GB的讀數(shù)里可能有三分之一到一半根本不是模型本身。3.2 顯存數(shù)字的口徑問(wèn)題nvidia-smi 與 torch 統(tǒng)計(jì)的差異這是我特別想提醒的一點(diǎn)不同工具給出的顯存數(shù)字可以差出一倍比較之前一定要先對(duì)齊口徑。統(tǒng)計(jì)方式統(tǒng)計(jì)對(duì)象典型差異來(lái)源nvidia-smi進(jìn)程占用的全部顯存包含 CUDA context、緩存分配器保留塊、碎片torch.cuda.memory_allocated()當(dāng)前活躍張量不含緩存分配器保留的空閑塊torch.cuda.memory_reserved()分配器向驅(qū)動(dòng)申請(qǐng)的總量通常大于 allocated反映緩存水位torch.cuda.max_memory_allocated()峰值活躍張量最接近模型真實(shí)需求的口徑舉個(gè)具體例子一個(gè)模型用nvidia-smi看是 1.6GB用max_memory_allocated看可能只有 0.85GB中間那 0.75GB 是上下文開(kāi)銷加上分配器為了減少碎片而保留的空閑塊。所以當(dāng)你看到0.9GB這個(gè)數(shù)的時(shí)候先問(wèn)一句這是哪個(gè)口徑的讀數(shù)否則拿它去和自己的 1.5GB 對(duì)比結(jié)論會(huì)完全跑偏。想干凈地測(cè)一次可以按這個(gè)順序來(lái)import torch torch.cuda.empty_cache() torch.cuda.reset_peak_memory_stats() model load_model(...) # 加載權(quán)重 _ warmup(model) # 預(yù)熱觸發(fā) kernel 編譯與緩存分配 start torch.cuda.memory_allocated() out model.infer(dummy_input) # 跑一次真實(shí)推理 print(權(quán)重與常駐:, (start) / 1024**3, GB) print(峰值活躍 :, torch.cuda.max_memory_allocated() / 1024**3, GB) print(分配器保留:, torch.cuda.max_memory_reserved() / 1024**3, GB)預(yù)熱這一步不能省。第一次前向會(huì)觸發(fā) kernel 自動(dòng)調(diào)優(yōu)、cuDNN 算法選擇、以及各種惰性初始化測(cè)出來(lái)的峰值會(huì)明顯偏高。3.3 想自己驗(yàn)證的話幾組值得記錄的指標(biāo)如果打算長(zhǎng)期維護(hù)這套推理鏈路我建議把下面這幾組指標(biāo)做成常駐監(jiān)控它們能幫你在問(wèn)題變嚴(yán)重之前發(fā)現(xiàn)苗頭峰值顯存max_memory_allocated跨版本升級(jí)、換精度之后必看能直接反映回歸。顯存保留量與活躍量的差值差值持續(xù)增大說(shuō)明碎片在累積長(zhǎng)時(shí)間運(yùn)行后可能 OOM。單步延遲的 P50 / P90 / P99只看平均會(huì)漏掉抖動(dòng)問(wèn)題。GPU 利用率與 SM 占用利用率長(zhǎng)期偏低說(shuō)明瓶頸在 CPU 側(cè)。每秒推理次數(shù)與丟幀數(shù)丟幀數(shù)是控制穩(wěn)定性的直接指標(biāo)。順便說(shuō)一句如果你懷疑顯存本身有硬件問(wèn)題比如跑長(zhǎng)任務(wù)時(shí)隨機(jī)報(bào)錯(cuò)、或者同樣的任務(wù)在不同機(jī)器上表現(xiàn)不一致業(yè)界確實(shí)有一些底層顯存檢測(cè)工具可以做壓力測(cè)試思路是反復(fù)寫(xiě)入讀出并校驗(yàn)。這類工具屬于硬件排障范疇和模型優(yōu)化是兩條線別混在一起用。4. 把 TurboVLA 跑起來(lái)環(huán)境準(zhǔn)備與最小推理腳本4.1 依賴與版本對(duì)齊小模型的部署最大的坑往往不在模型而在版本組合。我踩過(guò)的最典型的一次是PyTorch 版本和 CUDA 版本匹配但 flash attention 的實(shí)現(xiàn)和 PyTorch 版本不匹配結(jié)果是能跑通但速度只有應(yīng)有的三分之一而且精度還有細(xì)微偏差。這種問(wèn)題不會(huì)報(bào)錯(cuò)只會(huì)讓你懷疑模型本身。幾條實(shí)操建議一是把環(huán)境固定下來(lái)用torch.__version__、torch.version.cuda、torch.cuda.get_device_capability()三個(gè)值記錄基線換機(jī)器時(shí)先比對(duì)二是優(yōu)先用官方推薦的組合不要自己拼新版本三是如果用到量化和編譯加速組件注意它們對(duì) PyTorch 小版本通常非常敏感鎖死版本比追新重要得多。4.2 權(quán)重加載與精度選擇在 RTX 4090 這類消費(fèi)級(jí)卡上精度選擇有個(gè)實(shí)用的原則**權(quán)重可以量化注意力和歸一化層盡量保持 FP16/BF16。**原因是動(dòng)作輸出對(duì)數(shù)值精度比較敏感把注意力全部降到 INT8 有時(shí)會(huì)導(dǎo)致動(dòng)作出現(xiàn)細(xì)微漂移這種漂移在單次測(cè)試中看不出來(lái)但會(huì)隨著控制步數(shù)累積表現(xiàn)出來(lái)就是機(jī)械臂末端慢慢偏移目標(biāo)點(diǎn)。另外要注意 BF16 和 FP16 的選擇。4090 對(duì)兩者都支持BF16 動(dòng)態(tài)范圍更大、更不容易溢出FP16 在某些 kernel 上速度略快。如果訓(xùn)練用的是 BF16推理就別隨手改成 FP16數(shù)值分布的細(xì)微差異經(jīng)過(guò)動(dòng)作頭放大之后可能變成肉眼可見(jiàn)的行為差異。這一點(diǎn)在復(fù)現(xiàn)別人模型時(shí)特別重要。4.3 一段可以直接改的最小推理循環(huán)下面是我整理的一個(gè)最小可用推理循環(huán)結(jié)構(gòu)上刻意保持簡(jiǎn)單方便你往里加?xùn)|西import time import torch import collections torch.inference_mode().__enter__() torch.backends.cudnn.benchmark True model load_model(ckpt_path, dtypetorch.bfloat16, devicecuda) model.eval() # 用滑動(dòng)窗口記錄延遲避免每步都做同步 lat collections.deque(maxlen200) action_queue collections.deque() def loop(camera, robot, instruction, target_hz32): period 1.0 / target_hz next_tick time.perf_counter() while robot.is_running(): now time.perf_counter() if now next_tick: time.sleep(max(0.0, next_tick - now)) next_tick period img camera.capture() # 建議走零拷貝路徑 if len(action_queue) 2: # 隊(duì)列快空了才推理 t0 time.perf_counter() chunk model.predict_actions(img, robot.state(), instruction) lat.append((time.perf_counter() - t0) * 1000) action_queue.extend(chunk.tolist()) action action_queue.popleft() robot.send(action, timestamptime.perf_counter())循環(huán)里有三個(gè)設(shè)計(jì)點(diǎn)值得說(shuō)。第一time.sleep用于對(duì)齊節(jié)拍但不要指望它精確真實(shí)系統(tǒng)里更穩(wěn)的做法是配合一個(gè)高精度定時(shí)器或者實(shí)時(shí)線程。第二推理觸發(fā)條件是隊(duì)列快空了而不是每幀都推理這就是動(dòng)作塊action chunking的思想——一次推理出一小段動(dòng)作執(zhí)行若干步之后再推下一次。第三動(dòng)作下發(fā)帶時(shí)間戳方便下游做延遲補(bǔ)償。這三點(diǎn)在后面還會(huì)展開(kāi)。4.4 第一次跑通之后應(yīng)該先測(cè)什么很多人跑通第一個(gè) demo 之后就急著上真機(jī)結(jié)果在真機(jī)上遇到一堆沒(méi)法定位的問(wèn)題。我的建議是跑通之后按這個(gè)順序測(cè)先在固定輸入下測(cè)延遲分位數(shù)確認(rèn) P99 在預(yù)算內(nèi)再喂一段錄制的回放數(shù)據(jù)確認(rèn)動(dòng)作輸出穩(wěn)定、不抖然后空跑機(jī)械臂執(zhí)行動(dòng)作不接觸任何物體看軌跡是否平滑最后才上真實(shí)任務(wù)。這個(gè)順序能幫你把模型問(wèn)題和系統(tǒng)問(wèn)題分開(kāi)省掉大量排查時(shí)間。5. 32Hz 穩(wěn)定性靠什么守住幀率抖動(dòng)、動(dòng)作隊(duì)列與時(shí)間戳5.1 平均幀率好看不代表控制穩(wěn)控制回路里的抖動(dòng)jitter比平均延遲更值得關(guān)注。原因在于執(zhí)行器是按固定節(jié)拍消費(fèi)動(dòng)作的如果你的推理時(shí)不時(shí)慢一拍執(zhí)行器就會(huì)收到相鄰兩步之間間隔不均的動(dòng)作序列表現(xiàn)出來(lái)就是抖動(dòng)或者過(guò)沖。32Hz 意味著每 31.25ms 一個(gè)動(dòng)作點(diǎn)如果其中某一次的延遲漲到 60ms那一瞬間整個(gè)節(jié)奏就亂了。實(shí)測(cè)中造成抖動(dòng)的原因排個(gè)序大概是垃圾回收、顯存分配與釋放、操作系統(tǒng)調(diào)度、以及隨機(jī)出現(xiàn)的后臺(tái)任務(wù)。對(duì)付前兩個(gè)的辦法是預(yù)分配和對(duì)象復(fù)用——把輸入輸出張量提前開(kāi)好每步只做原地寫(xiě)入避免分配器反復(fù)申請(qǐng)釋放。對(duì)付后兩個(gè)則需要在進(jìn)程優(yōu)先級(jí)和線程模型上做隔離把推理線程和日志、監(jiān)控、網(wǎng)絡(luò)通信這些雜活分開(kāi)。5.2 動(dòng)作塊與隊(duì)列設(shè)計(jì)動(dòng)作塊是解決實(shí)時(shí)性最有效的一招道理很簡(jiǎn)單把每步都要推理變成每若干步推理一次推理的延遲預(yù)算立刻寬松好幾倍。假設(shè)一次推理出 8 個(gè)動(dòng)作以 32Hz 執(zhí)行那么推理本身只需要在 250ms 內(nèi)完成就行而不是 31.25ms。這個(gè)空間足夠讓模型跑得更從容也足夠讓實(shí)現(xiàn)上不那么極限。但動(dòng)作塊有它自己的代價(jià)。開(kāi)環(huán)執(zhí)行多步意味著模型看不到中間的狀態(tài)變化如果環(huán)境變化快或者模型預(yù)測(cè)偏保守中間幾步就可能出問(wèn)題。常見(jiàn)的折中是塊長(zhǎng)取 4 到 16隊(duì)列低于水位閾值時(shí)提前推理同時(shí)保留一個(gè)緊急重規(guī)劃的入口——檢測(cè)到狀態(tài)偏離閾值時(shí)立刻清空隊(duì)列重新推理。這個(gè)閾值怎么定得看具體任務(wù)容忍度抓取大件物體可以放寬松精細(xì)裝配就得收緊。5.3 時(shí)間戳對(duì)齊與丟棄策略只要鏈路里存在延遲動(dòng)作下發(fā)的時(shí)候就必須帶時(shí)間戳。原因有二一是執(zhí)行器可以用時(shí)間戳做插值把不均勻的動(dòng)作點(diǎn)映射到均勻的控制節(jié)拍上二是當(dāng)某個(gè)動(dòng)作已經(jīng)過(guò)期超過(guò)容忍延遲才輪到執(zhí)行時(shí)系統(tǒng)應(yīng)該知道該丟棄它而不是硬著頭皮執(zhí)行。過(guò)期動(dòng)作判定的容忍度一般取一到兩個(gè)控制周期比如 32Hz 下就是 30 到 60ms。這個(gè)邏輯寫(xiě)進(jìn)循環(huán)就是幾行代碼但它能顯著降低真機(jī)上偶發(fā)的怪動(dòng)作——那些讓人覺(jué)得模型突然抽風(fēng)了的時(shí)刻事后復(fù)盤(pán)往往發(fā)現(xiàn)是一個(gè)延遲很久的動(dòng)作被延遲執(zhí)行了。6. 低顯存部署踩坑記錄從精度漂移到顯存碎片6.1 動(dòng)作反歸一化統(tǒng)計(jì)量錯(cuò)位這是 VLA 部署里最高頻、也最難查的一類問(wèn)題。模型訓(xùn)練時(shí)動(dòng)作通常做了歸一化推理時(shí)需要拿訓(xùn)練集的統(tǒng)計(jì)量反歸一化回去。如果加載的統(tǒng)計(jì)量和訓(xùn)練時(shí)的不一致比如用錯(cuò)了數(shù)據(jù)集版本、或者分位數(shù)取的是 q01/q99 而不是 min/max模型輸出的動(dòng)作數(shù)值范圍會(huì)整體偏移表現(xiàn)出來(lái)就是機(jī)械臂動(dòng)作幅度不對(duì)或者明顯偏向一側(cè)。排查方法很直接喂一批訓(xùn)練時(shí)的樣本把模型輸出的原始動(dòng)作反歸一化之后和數(shù)據(jù)集里對(duì)應(yīng)的真實(shí)動(dòng)作做逐維對(duì)比。如果某一維的系統(tǒng)性偏差很大八成是統(tǒng)計(jì)量的問(wèn)題而不是模型沒(méi)訓(xùn)好。6.2 圖像通道與預(yù)處理的不一致這個(gè)坑我中過(guò)不止一次。常見(jiàn)的圖像讀取庫(kù)默認(rèn)給出的是 BGR 順序而絕大多數(shù)模型是按 RGB 訓(xùn)練的歸一化時(shí)用的均值方差也可能不一致縮放時(shí)用的插值方式最近鄰、雙線性、雙三次差異在紋理豐富的場(chǎng)景下會(huì)真實(shí)影響輸出。這些問(wèn)題都不會(huì)報(bào)錯(cuò)只會(huì)讓模型表現(xiàn)比預(yù)期差一點(diǎn)。我的做法是把預(yù)處理寫(xiě)成一份獨(dú)立的、可測(cè)試的模塊給它固定輸入然后逐像素比對(duì)參考實(shí)現(xiàn)。花半小時(shí)做這件事能省掉后面好幾天的為什么效果不對(duì)。6.3 量化后的精度漂移定位如果做了量化一定要做逐層誤差對(duì)比。思路是拿若干真實(shí)輸入分別跑一次全精度和量化版本記錄每一層的輸出差異。正常情況下誤差會(huì)在一個(gè)很小的范圍內(nèi)波動(dòng)如果某一層突然放大說(shuō)明那一層不適合量化把它單獨(dú)保留高精度就行。經(jīng)驗(yàn)上以下幾類層比較容易出問(wèn)題第一層和最后一層、做歸一化的層、以及任何涉及指數(shù)運(yùn)算的層。把它們排除在量化范圍外整體顯存增加不多但輸出穩(wěn)定性會(huì)好很多。6.4 顯存碎片與長(zhǎng)時(shí)間運(yùn)行短時(shí)間測(cè)試沒(méi)問(wèn)題、跑幾個(gè)小時(shí)之后 OOM這是碎片化的典型癥狀。PyTorch 的緩存分配器會(huì)盡量復(fù)用塊但如果你的序列長(zhǎng)度、圖像尺寸在不同時(shí)刻有變化分配器就會(huì)保留下不同尺寸的塊長(zhǎng)期下來(lái)保留量越來(lái)越大。處理辦法有幾個(gè)把輸入尺寸和序列長(zhǎng)度固定下來(lái)動(dòng)態(tài)形狀是碎片的主要來(lái)源周期性調(diào)用torch.cuda.empty_cache()但別在主循環(huán)里調(diào)它本身有開(kāi)銷以及監(jiān)控reserved和allocated的差值差值持續(xù)增長(zhǎng)就是要出問(wèn)題的信號(hào)。現(xiàn)象可能原因處理方向短時(shí)間正常數(shù)小時(shí)后 OOM顯存碎片累積固定輸入形狀監(jiān)控 reserved 與 allocated 差值換批次大小時(shí)延遲突增重新觸發(fā) kernel 調(diào)優(yōu)固定形狀并預(yù)熱或提前編譯輸出動(dòng)作整體偏移反歸一化統(tǒng)計(jì)量不匹配用訓(xùn)練樣本逐維比對(duì)原始輸出效果比預(yù)期差一點(diǎn)通道順序或歸一化不一致預(yù)處理模塊化并逐像素比對(duì)降精度后動(dòng)作輕微漂移敏感層被量化逐層誤差分析敏感層保留 FP167. 微調(diào)與擴(kuò)展0.2B 還能再壓榨出什么7.1 LoRA 微調(diào)的顯存預(yù)算小模型微調(diào)在消費(fèi)級(jí)卡上是完全可行的但顯存預(yù)算要算清楚。以 0.2B 為例全參數(shù)微調(diào)時(shí)權(quán)重、梯度、優(yōu)化器狀態(tài)三份加起來(lái)即使在混合精度下也要好幾個(gè) GB還不算激活值。換成 LoRA 之后可訓(xùn)練參數(shù)降到原來(lái)的百分之幾優(yōu)化器狀態(tài)和梯度都跟著大幅縮小主要顯存開(kāi)銷回到激活值和權(quán)重本身。激活值這塊靠梯度檢查點(diǎn)gradient checkpointing來(lái)壓原理是用時(shí)間換空間——前向時(shí)不保存中間激活反向時(shí)重新算一遍。這會(huì)增加大約三成的訓(xùn)練時(shí)間但能把激活顯存降下來(lái)一大截。訓(xùn)練顯存吃緊的時(shí)候先開(kāi)梯度檢查點(diǎn)再考慮降 batch size最后才動(dòng)序列長(zhǎng)度這個(gè)順序?qū)κ諗啃缘挠绊懽钚?。至于用不用現(xiàn)成的高效微調(diào)框架我的看法是如果你的目標(biāo)是快速驗(yàn)證一個(gè)想法用成熟框架省時(shí)間如果要做深入調(diào)參和定制自己寫(xiě)幾十行訓(xùn)練循環(huán)反而更透明、更好調(diào)試。這兩條路沒(méi)有對(duì)錯(cuò)取決于你要的是速度還是可控性。7.2 多任務(wù)與多本體的取舍0.2B 這個(gè)量級(jí)能不能承載多任務(wù)、多本體我的觀察是能但要克制。參數(shù)越少任務(wù)之間的干擾越明顯。如果硬塞進(jìn)十幾個(gè)差異很大的任務(wù)模型很容易在每個(gè)任務(wù)上都表現(xiàn)平庸。比較務(wù)實(shí)的做法是先跑通一到三個(gè)高度相關(guān)的任務(wù)把數(shù)據(jù)質(zhì)量和動(dòng)作空間對(duì)齊這兩件事做扎實(shí)再逐步擴(kuò)展。多本體不同機(jī)械臂、不同自由度的情況更復(fù)雜一些通常需要給模型喂本體標(biāo)識(shí)或者對(duì)動(dòng)作空間做統(tǒng)一映射。這里的取舍很實(shí)際統(tǒng)一映射能讓模型共享知識(shí)但會(huì)引入映射誤差分開(kāi)處理能保持精度但每條線上都要單獨(dú)維護(hù)數(shù)據(jù)和評(píng)估。我傾向于在小模型上先分開(kāi)等數(shù)據(jù)量足夠再考慮統(tǒng)一。7.3 什么時(shí)候該換更大的模型這也是很多人關(guān)心的問(wèn)題尤其在顯存充足的機(jī)器上既然卡夠大為什么不用大模型是很自然的想法。我的判斷標(biāo)準(zhǔn)是看瓶頸在哪。如果失敗案例集中在語(yǔ)義理解層面——比如聽(tīng)不懂復(fù)合指令、分不清相似物體、記不住多步任務(wù)的狀態(tài)——那說(shuō)明模型容量不夠換大模型有收益。但如果失敗集中在執(zhí)行層面——?jiǎng)幼鞑黄交?、抓取位置偏、反?yīng)慢——那換大模型基本沒(méi)用問(wèn)題在數(shù)據(jù)和系統(tǒng)上。現(xiàn)實(shí)里我見(jiàn)到的失敗執(zhí)行層面的比例遠(yuǎn)高于語(yǔ)義層面。所以每次有人問(wèn)要不要換大模型我的回答通常是先把延遲分位數(shù)、動(dòng)作平滑度、數(shù)據(jù)覆蓋度這三個(gè)指標(biāo)查一遍再談模型規(guī)模。8. 實(shí)測(cè)之后的一點(diǎn)個(gè)人體會(huì)折騰這類實(shí)時(shí)策略模型有一段時(shí)間了最深的體會(huì)是把一個(gè)大模型跑起來(lái)和把一個(gè)小模型跑穩(wěn)是兩種完全不同的能力。前者靠資源和耐心后者靠對(duì)每一毫秒、每一兆字節(jié)的敏感度。TurboVLA 這組數(shù)字之所以有意思不在于它把參數(shù)壓到了多小而在于它把一個(gè)完整的 VLA 鏈路壓進(jìn)了 31.25ms 和不到 1GB 的預(yù)算里——這背后必然是視覺(jué) token 壓縮、動(dòng)作頭步數(shù)控制、框架調(diào)度優(yōu)化一整套組合拳而不是單點(diǎn)突破。如果你準(zhǔn)備復(fù)現(xiàn)這套鏈路我的建議是先把測(cè)量工具搭好再去優(yōu)化。分位數(shù)計(jì)時(shí)、顯存分口徑統(tǒng)計(jì)、逐層精度對(duì)比這三樣?xùn)|西花不了多少時(shí)間但能讓你少走很多彎路。另外動(dòng)作塊、時(shí)間戳、過(guò)期丟棄這三個(gè)機(jī)制最好一開(kāi)始就設(shè)計(jì)進(jìn)去它們是實(shí)時(shí)控制系統(tǒng)里最便宜也最有效的保險(xiǎn)。至于后續(xù)能擴(kuò)展的方向我比較看好兩條一是把量化做細(xì)用逐層混合精度把顯存再壓一檔同時(shí)不傷動(dòng)作精度二是把視覺(jué) token 的壓縮做成自適應(yīng)的簡(jiǎn)單場(chǎng)景少算、復(fù)雜場(chǎng)景多算讓平均延遲再降一些。這兩條都不需要?jiǎng)幽P徒Y(jié)構(gòu)屬于工程側(cè)的純收益值得優(yōu)先試。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩国产九九精品一区二区三区毛片| 电影69乱码96| 大香蕉久久| 女优免费一区二区永久| 欧美熟女妇同| 国产久久天堂资源| av爱爱爱| 国产午夜激片Av毛片不卡| 91操碰| 无码动漫av中文字幕| 天天谢天天干| 国产伦精品一区二区三区视频女| 2017大香蕉国产精品久久| 精品9999| 国产精品免费1区2区视频| 97国产高清视频在线观看| 成人婷婷丁香| 国产欧美成人精品| 国产精品人妻无码久久久老鸭窝| 性爱乱伦网址| 久久只有精品一区二区三区| 亚洲91射| 国产宅男宅女在线观看| 人妻AV 中文字幕的| 欧中日成人免费影视| 亚洲日韩97| 久久久久亚洲Av无码专区老牛影视| 永久免费av无码网站国产app| 黑人嘿嘿嘿超爽免费视频| 中亚精品极乱| 东京热91| 人人操人人插人www| 91狠狠综合久久久| 亚洲日本天堂| 全免费a敌肛交毛片免费| 婷婷激情啪啪| 超碰在线综合97| WWW操逼| 天天爽天天| 夜夜青青无码影院| 内射小黄片| 色性综合| 夜夜欢天天干| 9久精品| 97网址97| 成人乱人伦一区二区| 色色无码| 999热日韩精品| 吖在线不卡一区二区国产剧情| 五月综合激情网| 天欧美在线| 国产精品视频自拍在线| 性欧美另类高清| 啊啊啊啊好疼视频| 亚洲第一免费视频| 区二区亚洲婷| 亚洲欧洲中文日韩女优乱码| 欧美久久毛片基地| 九九碰九九爱97超| 91视频国品一二三区| 四虎免费视频| 国产一区二区av综合| 91无摭挡| 午夜欧美女人操逼| com 首页 18岁 禁区 女优 免费 精选 同城| a片久久久久久久久久久久 | 中文字幕一区二区视频在线观看| 久久久人妻| 黄站在线免费观看| 国产激情av女片自拍| 久久亚码| 欧亚乱色熟女一区二区| 97欧美色综合| 少妇干B| 亚洲情色一区二区三区| 日日日日做夜夜夜夜无码| 欧美激情视频一区二区三区不卡| 天天澡天天爽日日AV| 色性综合| 沈阳熟女高潮对白视频| 男人久久精品| 国产性爱在线视频一区二区| 亚洲熟女乱综合一区二区三区| 天天谢天天干| 操亚州| 色婷婷视频| 人妻丝袜肏逼| 欧美精品1区2区3区| 任你干在线视频| 新婚人妻扶着粗大强行坐下| 国产嫩草精品A88AV| 国模吧 一区二区三区| 亚洲91射| 青娱乐亚洲热| 日韩操p| 久久精品视频在线观看| 园内精品自拍视频在线播放| 搡老女人老91妇女熟女| 色香色欲天天综合网天天来吧| 久久中文字幕女同性恋一区| 91婷婷伊人狠人| 久草午夜| 亚洲天堂人人妻| 亚洲暴力强奸AV| 97超碰色中文字幕| 丁香五月AV| 日本一级特级毛片视频| 大香网伊人久久综合网eew| 人人看欧美性爱| 超碰在线1234区| 免费毛片在线播放| 一起草在线视频| 国产精品欧美激在线| 成人八戒网站| 97超碰美女| 亚洲天堂自拍| 极品色社| 日韩欧美成人综合在线| av橘色网站| 99精品在线观看| 国产又粗又大硬免费色网视频| 91美女在线视频| 亚洲码专区| 天天肏天天干| 欧美精品欧美精品系列| www四虎| 亚洲精品国产专区在线观看| 99少妇内射| AV天天综合| 美女尤物人人操| 综合亚洲网| 有码人妻系列| 囯产乱伦一区二区三女| 日韩在线观看三级电影| 内射中国少妇高清视频免费视频 | 97色欧州| 蜜臀国产AV中文字幕| 一级特黄aaa大片在线观看成人一级片在线观看 | 丁香五月久久| 亚洲精品三区在线观看| 久久人| 91熟女综合| 午夜免费福利视频一区| 午夜男女爽爽爽影院视频| 久久久熟女一区| 日韩中文9| 久草看看看| 青青色综合| 婷婷深爱五月| 制度丝袜99| 白丝一区| 国产乱码久久久| 高潮嗯啊性感美女久久久| 国产自偷自拍一区| 另类小说综合网| 麻豆一区二区AV天美| 99re只有精品| 电影69乱码96| 大奶啊啊好爽| 欧美疯狂做爰xxxx| 久久五十路熟女人妻| 天天综合91| 208天天久久九九九| 安徽熟妇视频| 在线观看AV不卡| 一级久久久久久久久久久| 国产午夜精品在线观看| 亚洲第一页色网| 四虎视频在线观看| 日本999精品视频| 久久侵犯人妻爽爽爽| 插欧洲美女欧美精品| 亚洲国产91精品一区二区久久| 男人天堂2030| 欧美天天性| 久久这里只精品| 成人天天爽| 亚洲影院小综合| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 国产美女mm131爽爽爽爽| 中文字幕精品探花视频| 欧美色图亚洲色| 中文字幕欧美精品亚洲日韩蜜臀| 人妻天天爽| 综合网亚| 好看的91视频| 久久久久久久久九九久孕交| 久久9亚洲| 老熟女91av| 99综合网| 天天插天天射| 91人妻PORNY九色大屁股| 秋霞曰韩R级| 中国一区二区亚洲人妻| 精品国产片亚洲一区| 国产AV毛片| 欧美性爱无码一区二区三区| 久久久久久久久久久免费精品| 啊啊啊操死我| 日韩视频中文字幕| 欧美日韩国产成人高清| 亚洲欧美国产va在线播放频| 新亚洲无码| 色图综合网| 男人天堂东京热| 亚洲人妻日日日| 久久久免费高清中文视频| 人妻天天爽夜夜爽2| 亚洲精品 欧美精品| 色综和网| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 久久国产在线一区二区| 亚洲AV无码乱码| 久操操AV电影| 色色色色日本| 日韩av影片在线观看| 中文字幕 国产 精品| www.色婷婷色综合| 六月丁香网| 天天欧美欧美亚洲网| 少妇 综合| 97玖玖人妻| 欧美熟女激情| 夜夜综合| 欧美色图99| 国语精品对白| 搡老女人老91妇女老熟女| 精品无码欧美三级| 日本日逼高清| 欧美色五月| 人妻少妇蜜桃视频欧美一区| 日日黄色三级网站| 亚洲,欧美,综合网| 99re98| 精品无码欧美三级| 久久成人国产| 中文字幕 码 自拍 视频 区| 香港日本韩国人妇99www.wccm20| 四虎免费视频| 久久大黄片| 黄色片一区二区三区四区五区| 天天综合网日韩7799| 日韩激情中文字幕有码| 久久久久久夜夜夜夜夜| 神马久久69| 亚洲区小说| 91美女在线观看| 亚洲国产av中文字幕久久| 天天操天天舔| 亚洲精品一二三四区| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 国产原创剧情在线丝袜| 欧美 亚洲 制服 精品| 东京成人一区| 四虎免费在线播放| 日韩国产精品人妻无码久久久| 福利社区午夜一区二区| 26uuu国产| 久久精品72| 亚洲综人网| 亚洲国产美女久久久久 | 久久久久久久强迫| 国产九九九九九九九九| 嫩草 人人网精品| 97色欧洲| 岛国大片国产| 女色视频社区| 蜜臀99久久精品| 中文字幕第9页萱萱影音先锋| 亚洲欧美日韩精品久| 97香焦色区| 欧美色色人| 9久精品| 日韩人妻中文视频| 日本三级小说中文字幕| 尤物AV免费网站| 欧美操人视频| 99色色网| 超碰久久综合| 翔田千里无码中出中文字幕| 99精品网| 久久超碰天天| 无码在线亚洲| av线电影| 亚洲国产成人精品999| 99久久婷婷| 小骚逼被操的爽不爽| 韩国三级色呦呦| 亚洲 欧美 手机在线观看| 亚洲日本男人天堂网| 999国产精品999久久久久久| 国产精品一区二区 尿失禁| 亚洲综合性感在线| 日韩15p| 日韩不卡av一二三| 91麻豆天美国产欧美高潮| 香蕉久久AⅤ...| 九九九午夜| 久久人| a人欧美综合天堂麻豆| 密臀在线视频| 安徽熟妇视频| 精品一区二区三区四区女| 91女网站| 校园春色五月天| 亚洲性爱无码乱伦av| 色 亚洲 91| 东京热一区二区中文字幕| 婷婷五月天影院| 美女十八禁| 人人摸人人干人人拍97| 欧美日韩人妻婷婷一区| 凹凸视频在线观看伊人| 欧美熟妇亚洲版| 成人无遮挡毛片免费看| 久久中出在线| 久久无码一区二区二三区性色| 久久久久久久一级黄色打同平台| 麻豆AV一区二区天美传媒| 岛国片在线观看视频亚洲| 大学生口爆吞精| 26uuu性| 97综合在线| 人妻少妇久久| 天天夜夜rb| 四虎影院成年人片| 日日骚一区二区三区| 亚洲国产欧美中日韩成人综合视频| 秋霞福利网| 日本操大逼| 天天摸天天舔天天操| 天天色,天天干,天天干| 无卡一区=区| 五月天玖玖资源站| 天天操福利视频综合网站| 无色无码| 欧日韩一二三f区| 噜噜噜无码AV一级一级久久影院| 99蜜桃臀久久久欧美精品网站| 91精品久久久久五月天精品| 美女干逼2| 成人免费视瓶| 国产亚洲精品自在线亚洲情侣| 国产精品在线一区二区| 无码 有码 国产18p| 伊人视频| 婷婷激情五月| 精品福利| 射欧美综合| 操逼逼一区视频| 精品国产乱码久久久兰草影视| 日韩无码a片| www.男人天堂| 影音先锋中文字幕日本好一区二区| 91强在线播放| 国产动漫操逼视频| 国产精品国产精品国产| 一区=区三区视频| 99久国产精品午夜性色福利| 亚洲人精品久久久| 女人与公拘交酡2020视频| 校园春色综合色| 国产高清26uuu| 熟妇一区,二区,三区。| 91美女丝袜诱惑视频| 欧美色青| 鸥美精品一区二区久久婷婷| 久久久精品无码亚免费| 亚洲欧美碰碰| 蜜臀AV成人精品蜜臀AV久久| av午夜影院在线播放| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 蜜桃成人1区2区3区| 国产丝袜欧美在线视频| 中文字幕无码不卡啪啪| 伊人97超碰| 17c在线成人免费A片观看| 日韩97视频| 97视频在线看| 麻豆精品三区视频| 啊啊啊啊一区| 污污汅18禁网站在线永久免费观看 | 国产亚洲99久久精品熟| 久久动漫精品视频这里只有精品| 久久综合99| 超碰在线欧美性爱激情| 国产精品97超碰| 在现视频女上位好爽| 国产精品久久久久久无码红治院| 躁躁躁日日躁2020| 九九九九精品一区| 91 手机在线播放 绯色| 熟女精品va中文字幕| 欧美综合网在线| 欧美日动态视频| 久久中出| 亚洲熟女偷拍在线观看| 欧美最婬乱婬爆婬性视频| 成人性爱美曰韩| 操碰97| 岛国不卡超碰护士AV在线播放| 成人贴图日韩欧美| 青娱乐久久艹| 国产精品无码成人精品| 国产97av| A一级色女| 肥臀熟女福利视频一区二区| 综合一区中亚洲国产成人综合精品| 人妻夜夜爽天天爽三区麻豆AV网站| 亚洲国产丝袜在线观看| 91老司机在线视频免费观看| 五月丁香综合啪啪| 奇米狠999| 东北少妇高潮zzzz| 综合亚洲欧美| 亚洲国产成人高清在线| 黄色片一区二区三区四区五区| 欧美日韩狠狠爱| 91爱欧美| 日韩国产十八禁| www.av在线观看| 亚洲精品毛片在线观看| 黄色视频高清无码网站| 在线天堂资源亚洲| 综合网亚洲1| 久久綜合很很很| 精品久久視頻在线| 91精品国产麻豆国产自产在| A片 AV一级在线播放观看免费| 欧美日韩大香蕉| 97碰碰色| 超碰色大香蕉| 国产视频97| 欧美亚州色的图| 久久综合女优| 97超碰色屌| 人妻久热在线| 天天添天天干电影| 午夜精品一区二区三区三上悠亚| 色色激情五月天| 91精品啪在线观看国产城中村| 免费1级a做爰片观看| 女人天堂av在线播放| 天天碰久久入| 欧美色97| 大粗鳼巴久久久久| 艳美熟妇先锋一二三区| 婷婷国产精品九区| 久久大香蕉手机高清| 激情六月天| 99精品在线| 天天干少妇| 丁香五月激情综合| 大香蕉啪啪啪| 超91综合网| 女优视频第10页| 日日夜夜天天| 欧美久久九九| 大香蕉综合| 大香蕉综合| 亚洲男人天堂2012| 久久、1234| 青娱乐大香蕉| 中文欧丝袜诱惑| 伊人96在线| 亚洲人精品久久久| 超碰吊日色| 亚洲交性| 91精品导航| 干少妇视频| 日本不卡五区| 91久久免费视频互動交流| 影音先锋每日最新资源在线观看 | 一区中文字幕二区日韩| 九九九九免费高| 豆1无夜无码| 视频在线观看青青99国产| 亚洲色图第一页| 天天综合网亚洲综合网| 亚洲清纯综合| 五十路熟女人妻一区二区三区四区五| 插入逼91| 不卡一区二区日本视频| 国产精品熟女丝袜一区二区| 开心激情婷婷| 亚洲国产一区二区入口| 美女国产一区二区久久| 九九RE视频在线精品| 操狠狠| 二对二中文字幕。| 风骚少妇视频中文字幕| 日日骚网站| 亚洲在线网站| 91c色| 超碰狠狠操| 亚洲男人天堂2012| 97视频在线视频| 麻豆一区二区三区在线看 | 熟妇国产免费一区| 97ai亚洲| 欧美成人免费在线观看| 日本成人电影资源网| 婷婷六月色开| 婷婷色香| 欧美黄片视频在线观看免费 | 中文字幕精品一区欧美| 欧美性生活综合| 国产精品制服丝袜中文字幕日韩一区二区三区 | 91中文字幕| 视频黄色国产一级| 日韩av女优在线免费一区| 麻豆精品A片免费观看| 久欲AV| 国产v亚洲v日韩v欧美v片另类| 国产精品一区二区校花| 综合久久99| 五月天久久婷婷亚洲| 欧美日韩妖精91com| 亚洲成人激情小说视频| 日韩精品亚洲专区在线影视| 爱射综合| 超碰色美女| 日韩一级性爱无码| 激情四射五月天| 黄呦呦在线| 日韩精品午夜操呦呦不卡影院| 大香蕉免费3| 亚洲欧美日韩夜夜| 精品人妻一区二区乱码一区二区| 午夜传煤十二区精品| 亚洲欧洲激情| 51国产午夜精品视频| 色婷婷狠狠18禁| 97青娱乐超碰久久| 亚州综合网| 欧美亚洲日本激情在线| 九九拍拍精品视频在线播放| 99re视频这里只有精品| 国产伦乱91| 内射黑人| 91欧美在线| 一级免费啪啪片| 亚州色图欧美| 人妻少妇久久中文字幕一区二区 麻豆| 日韩AV熟女乱伦| 日韩精品第3页| 校园春色五月天| 人人射人人操人人摸| 丰满搜索结果 -第18页- 久久高清无码 | av无线看| 美女人妻色网站| 亚州综| 久久久久国产精品片区无码直播| 国内操逼视频二区| 国产 日韩 欧美一区| 成人情色一区二区| 亚洲中字慕不卡| 亚洲暴力强奸AV| 日韩丰满熟妇| 亚洲少妇激情视频| 国产二区三区免费视频| 老色69| 久久久久久久| 亚洲综合成人网| 天天性射网| 国产三级中文有码在线视频| baiduhicn.com。| 9丨亚洲一区二区在线| 日韩欧亚太美不卡| 精品视频久久区| 一本大道不卡一二三区| 欧美色图下一页| 亚洲欧美日韩偷拍色图| 狠狠久久四虎| 精品人妻一区二区三区日产乱码| 人妻天天夜夜爽一区二区| 人妻丝袜一区二区三区在线| 色婷婷视频| 日韩本不卡视频在线观看| 久久久精品成人国产| 久草老司机| 91精品伊人久久久大香线蕉91| 九九九九免费视频| 91天堂色男人的天堂| 日韩av情韩国爱禁区av一区二区| 国产三级中文有码在线视频| 风月影院男女十八禁| 91足交| 丁香激情五月天| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 9九九国产| 激情综合久久| 97超碰超| 美女露胸露屁股| 日欧操屄| 97爱碰| 国产伦精品一区二区三区视频女| 色爱综合网欧美| 亚洲丝袜少妇在线| 精品精品精品| 久久亚洲AV无码白度| 午夜情侣自拍网站| 欧美日韩插逼视频| av天天在线| 天天视频黄网站| 9ⅰ久久久天天| 国产a级午夜毛片| 天美麻豆一区二区三区| 天美国产精品| 欧美gv在线观看| 日韩精品怡红院| 91三级理论片播放器| 亚洲色欧| www.操| 先锋激情∨在线视频播放| 色拍偷亚洲| 五月色网| 亚洲天天综合| 激情欧美日韩女同久久| 一起草精品人妻| 人人妻人人澡人人爽久久av| 久久久噜噜噜久久久| 九九精品99| 日韩欧美中文字亚洲慕| www.婷婷| 免费?级毛片无码?∨蜜芽试看| 加勒比五月天| 99视频精品| 天美精品原创av片国产| 色色色色色色色色综合| 欧美国产日韩高清在线| 亚欧高清| 果冻传媒一区二区三区| 一区二区日韩欧美久久| 爽极品影院| 亚洲天天自拍| 天天欧美色| 久久久久亚洲AV无码专区少妇| 欧美瑟综合| 亚洲国产精品久久久久久久久久| 超碰成人人人爽人人爽| 亚洲性感丝袜诱惑在线观看| 涩涩五月天| 熟女乱伦A| 日韩91网站| 色色综合97| 成人av免费观看| 亚洲国产成人精品999| 欧美 综合 亚洲| 久久黄黄| 国产精品成人无码av无码免费| 超碰美国| 日韩一级二级三级免费看完整版国语版 | 极品国产内射| 人妻少妇久久| 中文乱码99| 色色五月丁香| 国模无码人体一区二区三| 亚洲AV永久无码精品成人调教| 中文字幕视频2区| 日韩女模中文造逼| 桃花色综合影院| 欧美大的香蕉有线电视视频 | 欧美草草高清日韩视频| 久久精品老司| 蜜桃视频精品一区二区| 福利在线黄片| 国产一国产一级毛片古装| AV天黑人| 蜜臀久久久国产| 天天摸天天插天天日| 性爱av在线免费观看| 性爱视频无打码在线观看| 99国产精品| 麻豆色99999| 日本新免费二区三区| 青青欧美在线| 国产高清成人传媒影视| 永久免费观看的毛片的网站| 亚洲中字慕不卡| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 国产热av| 成人久久精品| 躁躁日曰躁2020| 偷拍 亚洲| 九九色精品| 午夜福利视频在线一区| 国产精品久久久久久亚洲色欲| 亚州一区二区| 欧美色97| 亚洲情色 自拍| 欧美专区17页| 欧美91久久久久| 欧美日动态视频| 成人电影一区| 亚洲最新中文字幕免费| 国内精品a| 精品无码一区二区三区色欲| 青草精品视频日本久久久久网站在线| 久久风骚城市人| 亚洲免费97免费| 欧美色图中文字幕| 日韩伦理久 久久 清纯| 人妻天天夜夜爽一区二区| 日本三级日本三级99| 青青伊人这里只有精品| 波多野结衣被操50分钟免费视频| 影音先锋每日最新资源在线观看| 91精品国产91久久福利| 九色黄站| 亚洲中文字幕在现观看| 五月亭亭六月丁香| 亚洲人妻中文在线视频| 中文字幕人妻资源在线| 日本性爱视频一级| 强被迫伦姧在线观看无码网站| 国产精品久久久久久亚洲色欲| 精品国产一区探花在线观看| 日韩91网站| 人妻久久一区二区三区| 东北女人操逼| 超碰在线人人射| 绯色一区二区三区不卡少妇| 97超碰人人模人人拍人人| 2023天天操夜夜操| 国产又黄又爽又刺激久久久久久| 国产女人高潮嗷嗷嗷叫小说 | 欧美日韩国产黄色片| 久久精品中文字幕观看| 成人精品一区二区91毛片不卡| 啪啪AV导航| 最新日产中文在线麻豆| 99人人干| 97超碰jingpin| 欧美中文字幕一区| 成人一区二区三区四区| 操逼999| 俺去啦自拍| 中文字幕乱妇免费视频| 97干在线| 日本精品网站在线中文| 殴美在线AⅤ| 激情五月综合网| 欧美熟爽综合| 久视频在线观看| 欧美伦乱爱| 久久久久久久久国产| 91精品丝袜久久久久久| 国产精品午夜AV完会免费| 国产97视频| 亚洲欧洲av影音| 啪啪免费| 日本一级一级一级一级| 性色avv| 国产白丝在线| 99精品九九九九九九| 日本一区二区中文字幕久久| 国产传媒操逼视频| 99久re热视频精品98| 青青11操操操操操操操操| 伊人 俄罗斯 a v| 欧美三四五区| 精品国产三级av韩国在线| 欧美另类综合久久| 久久久夜夜嗨免费视频| 日韩一999精品| 91超碰在线播放| 超碰美女97| 久久精品日韩| 九九色逼| 区二区亚洲婷| 亚洲综合色男人网| 欧美很很操视频| 少妇精品| 超碰午夜| 日欧毛片久久| 精品久久久久瑟瑟| 国产亚洲在线观看| 艹少妇网站| 99e久久国产精品| 夜夜躁狠狠躁日日躁av| 深夜激情 | 青青青国产| 婷婷五月综合激情| 色官网在线| 中文字幕精品一区二区精| 人人看黄色视频| 91东北熟女| 久久久久久综合久久伊人蜜月| 东北操逼| 性交一区二区在线播放| 欧美色图天堂网m| 免费看污网站| 丝袜熟女2P| 91 手机在线播放 绯色| 婷婷久久久| 婷婷五月av| 人妻一区视频| 日韩无码黄色片| 精品国产91av一区二区三区| 久久亚州精品成人Av无| 亚洲美女精品九九视频| 欧美天天影院| 亚洲欧美综合网| 中文字幕av片| 欧美啪啪天堂| 99热在线只有精品| 日韩在线观看AV| 亚洲 欧美 日本 国内 首页| 这里都是精品| 91美女小视频| 九九综合九九综合| 搡老熟女免费视频| 成人无码在线超碰网| 无码免费在线观看黄色片| 欧美黄色片在线播放| 国产中文大片资源中文字幕| 国产精品色片一区二区| 影音先锋中文字幕日本好一区二区| 亚洲精品亚洲人成在线麻豆| 五月天黄色激情视频| 色青青久久影视| 欧美日韩第一页| 99爱在线视频| 日本一区三级韩国| 中文字幕91综合| 99久久九九| 美女露胸露奶头| 亚洲综合有玛| 9长久久精品| 高清孕妇孕交 交孕妇| 亚洲天堂一二| 青娱乐啪啪视频| 人人妻碰人人免费| 亚洲精品国产专区在线观看| 国产精品久久久久亚洲av| 色丁香五月婷婷| 日韩偷拍色图| 日本九九久久99| 蜜臀va69| 人人爱人人乐人人操| 天堂俺去俺来也www久久婷婷| 1769精品一区二区三区| 日韩AV一区二区三区四四| 淫色网综合| 成人久久精品| 亚洲天堂另类| 国内精品久久人妻性色av| 操我无码| 国产九九久久久精品| 国产成人主播| 色香av| 国产黄色在线播放观看| 男女激情黄色网址| 婷婷五月影院| 日本99一区二区| 久久综合av| 搡老女人老91二区| 午夜福利精品| 老色69| 91欧美丝袜| 久久区| 在线强奷到舒服的无码视频| 国产后入精品| 日本不卡码黄色 | 亚洲一区二区中文字幕| 大肥女高潮bbwbbwhd视频| 中文字幕一区二区三区高清| 亚洲精品成人激情在线| 67194无码不卡| 欧美丝袜亚洲| ji熟女.com| 亚洲一二三| 噜噜噜亚洲精| 免费观看网黄| 99久视频| 97碰碰日本乱偷人妻中文的| 伦理第一页| 无码国产精品久久久久| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 无码人妻精品一区二区三区99不卡| 伊欧美综合视频| 97亚洲资源| 亚洲欧美在线丝袜| 日本视频一区二区三区| 人妻精品综合中文字幕在线| 97网站在线观看 | 97色婷婷| 久草在| 国产 日韩,欧美 自拍| 亚洲AV成人无码一区二区三区在线观看| 欧美综合色站| 成人国产二区三区在线,男女精品。| 国产中文精品一区二区在线观看| 99re6国产精品99re在线| 国产精品97超碰| 成人无码在线超碰网| 久久免费老司机精品| 欧美色老汉| 成人性爱av| 日本伦理一区二区| 亚洲日韩国产精品| 91一起操| 欧美同性恋 的搜索结果 - 91n| 三级特黄60分钟播放| AV 少妇 人妻 偷拍| 国产精品97超碰| www..com操老师| 老熟妇综合| 欧美色www亚洲国产阿娇要播| 日韩天美| 色图综合| 天天摸,夜夜摸| 色婷婷激情| 玖玖爱视频网站| 26uuu性物| 97视频在| 黑人白女精品一区| 婷婷色网| 日韩精品国产一区二区| 久草资源在线视频官方总站日韩丝袜美腿| 少妇色| 亚洲日本成人动漫| 亚洲综合有码| 国产亚洲综合欧美一区| 97视频在线免费| 色欲日韩欧美在线一区| 日本顶级天天操狠狠操夜夜操中文字幕| 先锋激情∨在线视频播放| 五月天激情网图片| 98久久| 狼人综合婷婷激情四射| 欧美色宗合| 人妻久热在线| 亚洲欧美综合| 熟女一区二区| 亚洲国产av中文字幕久久| 清清草影| 大香蕉一线视频| 九九九只有精品| 26uuu国产| 久久东京热成人| 天天影视综合网欧美精品| 另类图片综合| 亚91亚洲网| 欧美黄色片在线播放| 久久久久元码视频| 国产92麻豆天美精品色欲5| 美女黄色91| 蜜臀久久一区二区| 2019精品国产无码成人| 性性久久| 国产97色在线| 加勒比中文av| 中文一区二区婷婷视频| 美女熟妇色| 亚洲男人的天堂网| 免费综合亚洲中文| 九九超碰综合网| 色色色综合| 欧美一区二区一级岛国大片| 久久亚洲色图中文字幕| 日韩啪啪网| 中文字幕精品探花视频| 久久久99999久网站| 曰韩成人免费视频| 性色aV一区二区三区噜噜| 人妻在线臀日韩| 尤物黄色在线观看网站| 少妇精品久久久八区九区| 大稥蕉免费视频这里只有精品| 9国产超碰| 91欧美少妇| 国产视频一区二区在线| 乱论91| 97 色综合| 欲香欲色天天天综合和网| 日本一本道A级黄色毛片试看60分钟| 78精品在线| 色爱欲亚洲| 狠狠综合网| 97超碰色情| 亚洲日产专区婷婷| 亚洲AV成人无码久久精品播放| 久久啊啊| 中文子幕一二三| 超碰亚洲97| 把腿张开老子CAO烂你| 啊啊啊好多水| 91网站18+| 有码人妻系列| 亚洲无码一区二区三区三州| 欧美成人一级麻豆| 大香蕉青青9| 久操99| 伊人久久婷婷| 成人无码电影在线观看网| 欧美翘臀视频网站一区二区三区| 有码免费观看| 欧美性爱精品一区二区| 婷婷色色五月天福利| 性欧美| 蜜伊人色综合97| 九九在线精品| 福利视频一区二区微拍| 色图综合网| 五月天人妻综合| 免费网色网站| 久久理论字幕视频| 日本中文字幕在线视频| 亚洲熟女性高潮久久久| 60秒不遮不挡| 国产精品3| 亚洲官网在线| 天天综合网站| 日日操丁香五月天| se吧提供91精品国产91久久久久久 | oumeisetu综合| 黑人无码一区二区| 日本一区二区三区午夜观看| 欧美日韩久久精品爱爱| 久久久久久少妇| 九九热免费国产视频婷婷伊人五月 | 69视频入口| 五月情色天| 性欧美第一页| 黑人干亚洲| 伊人玖玖网| 一区中文字幕二区日韩| 九九热免费国产视频婷婷伊人五月 | 色爱三区| 十八岁啪啪视频免费看| 亚洲天堂一区二区久久| 人妻天天爽天天爽三区| 99re这里只有精品9| 亚洲狠狠入| 9997se| 98超碰日本| 99青草| 成人午夜无码视频| 日韩激情中文字幕有码| 日日日日做夜夜夜夜无码| 欧美日韩插逼视频| 丝袜人妻av一区二区| 精品久久久久久中文字幕视频免费| 欧美综合色,www| 久草男人天堂| 九九夜精品九九在线| 天天日天天舔天天喷天天射| 无码 有码 国产18p| 国产精品久久久无码AV网站| 脫衣舞一区二区三区| 91精品微拍福利| 99久久亚洲精品无码毛片潘甜甜| 国产一区二区二区按摩精品啪视频| 欧美劲爆第一页| 啊啊啊啊啊啊在线观看| 做爱福利视频一区二区| jiujiujiujingpin| 国产吹潮女在线观看| 亚州高清av| 日韩AV噜噜噜一区二区三区四区 | 超碰综合97在线| 在线 欧美 亚洲| 国产精品69久久久久孕妇欧美| 欧美极品色| 97人人夜| 欧美激情高清性猛交| 伊香蕉综合久久久久久久噜噜噜| 五十路人妻在线| 91热色| 都市激情人妻一区二区青青操视频| 天天日天天屌天天操| 视频在线观看青青99国产| 老鸭窝在线视频播放| 天天天干977| 色婷婷一区二区三区久久| 久久国产在线一区二区| 人人做天天爱| www国产天美久久久| 综合久| 欧美日韩国产中文超碰| 高潮综合网| 日本道人妻久久久在线不卡色视频| 欧美成人精品一区| 青娱乐老司机视频| 日韩人妻 中文字幕| 日本午夜久久电影| 欧美最婬乱婬爆婬性视频 | 极品后入免费视频| 人妻精品一区一区三区蜜桃91| 男人的天堂com| 国产福利精品98视频| 午夜福利av电影在线| 啊视频在线| 久久9 9 9精品| 午夜AV污污污| 99夜夜操| 91精品人妻偷情| 亚洲一卡二卡在线免费| 久久久免费的精品| 夜夜爽33333| 在线国产福利网址导航| 伊人五月天| www.97在线| 欧美国产操逼| 激情小说亚洲| 国产高清免费不卡av| 91狠狠综合久久久久久| 狠狠夜色午夜久久综合在线| 日韩欧美偷拍美女视频| 久久久久久人| 亚洲男人电影天堂| 亚洲一卡二卡在线免费| 免费看欧美美女黄色大片| www.色婷婷| 精品人妻一区二区乱码一区二区| 国产精品3| 校园春色第一页| 欧美五十路熟| 探花激情视频| 欧美精品91| AV男人天堂网| 成人羞羞视频国产| 久久综合激情| 60秒免费小视频| 97在线视频网站| 亚洲精品人妻在线| 日韩丝袜人妻AV| 我想要啊 啊 啊| 国产精品亚洲四五区在线观看| 97玖玖人妻| 日本97久久| 国产又黄又爽又刺激久久久久久| 婷婷成人五月天| 天天操美美| 乱伦强奸区日韩| 婷婷五月色| 成人精品一区二区三区| 性91| 色一色综合网| 性爱AV天堂| 九九九热| 九九伊人网| 天堂综合| 人人做天天爱| 淫色网综合| 777超碰| 操操逼操操逼操操逼逼| 日本999精品视频| 色欲天天综合久久久无码网中文| 国产超碰人人操| 日韩欧亚中文在线| 超碰国产精品无码| 美女人妻色网站| 亚洲风情在线观看| 五月丁香综合啪啪| 性感美女啊啊啊在线| 99性爱在线观看|