日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Cosmos 3合成數(shù)據(jù)與VLM后訓(xùn)練實(shí)戰(zhàn):物理AI場景落地

Cosmos 3合成數(shù)據(jù)與VLM后訓(xùn)練實(shí)戰(zhàn):物理AI場景落地 在物理 AI 與具身智能項(xiàng)目里最讓人頭疼的往往不是模型算法本身而是兩件事第一真實(shí)場景數(shù)據(jù)太貴、太難采集第二模型在垂直領(lǐng)域里表現(xiàn)不穩(wěn)定。比如做智慧城市車流識別晴天效果尚可一到雨霧天氣誤報率就明顯上升做農(nóng)業(yè)機(jī)器人采摘換一個果園、換一種光照之前調(diào)好的視覺模型又要重新調(diào)參。這些問題背后其實(shí)都繞不開三個關(guān)鍵詞世界基礎(chǔ)模型World Foundation Model, WFM、視覺語言模型Vision-Language Model, VLM和合成數(shù)據(jù)Synthetic Data。本文圍繞 Cosmos 3 后訓(xùn)練實(shí)戰(zhàn)完整梳理一條可落地的技術(shù)鏈路先用 Cosmos 3 生成農(nóng)業(yè)機(jī)器人場景的合成數(shù)據(jù)再結(jié)合少量真實(shí)數(shù)據(jù)構(gòu)建 VLM 后訓(xùn)練集微調(diào)后部署到智慧城市視頻流推理任務(wù)中做效果驗(yàn)證。文章會說明每個環(huán)節(jié)為什么這樣做也會給出可運(yùn)行的示例代碼、常見報錯排查表和工程落地建議。如果你正在做視覺語言模型選型、VLM 后訓(xùn)練、合成數(shù)據(jù)增強(qiáng)或者想了解 Cosmos 3 能干什么這篇文章會比較適合你。全文采用中英雙語的術(shù)語注釋方式代碼關(guān)鍵位置也保留雙語注釋方便對照學(xué)習(xí)。1. 背景與核心概念1.1 Cosmos 3 是什么Cosmos 3 是 NVIDIA 推出的世界基礎(chǔ)模型World Foundation Model系列在 3.x 版本中的核心成果。它并不是一個單一模型而是一組面向物理 AI 場景的模型和工具鏈主要目標(biāo)是讓模型理解“物理世界如何運(yùn)轉(zhuǎn)”并能夠生成接近真實(shí)物理規(guī)律的視頻幀序列。在機(jī)器人、自動駕駛、智慧城市等場景中模型需要理解的不只是靜態(tài)圖像里的物體類別還包括物體的空間關(guān)系、運(yùn)動趨勢、光照變化、遮擋關(guān)系、因果推斷等。這類能力很難從普通圖像分類數(shù)據(jù)集中學(xué)習(xí)而 Cosmos 3 等世界模型的核心價值就是通過對海量物理世界視頻的學(xué)習(xí)建立對“下一秒可能發(fā)生什么”的預(yù)測能力。與傳統(tǒng)的文生視頻模型相比Cosmos 3 更強(qiáng)調(diào)可控性和物理合理性。它能夠在文本指令、相機(jī)參數(shù)、運(yùn)動軌跡等條件的約束下生成指定場景的連續(xù)視頻幀。這樣的合成視頻可以作為下游視覺模型的訓(xùn)練數(shù)據(jù)從而減少對真實(shí)數(shù)據(jù)的依賴。1.2 什么是后訓(xùn)練Post-training大模型領(lǐng)域通常把訓(xùn)練過程分為預(yù)訓(xùn)練Pre-training和后訓(xùn)練Post-training兩個階段。預(yù)訓(xùn)練負(fù)責(zé)讓模型學(xué)習(xí)通用語言、視覺和世界知識而后訓(xùn)練則負(fù)責(zé)讓模型適配特定任務(wù)、特定領(lǐng)域和特定的交互方式。常見的后訓(xùn)練方法包括方法英文全稱說明監(jiān)督微調(diào)Supervised Fine-Tuning, SFT用帶標(biāo)注的任務(wù)數(shù)據(jù)調(diào)整模型參數(shù)低秩適配Low-Rank Adaptation, LoRA凍結(jié)原模型只訓(xùn)練低秩矩陣節(jié)省顯存基于人類反饋的強(qiáng)化學(xué)習(xí)RLHF通過獎勵模型優(yōu)化生成質(zhì)量直接偏好優(yōu)化Direct Preference Optimization, DPO用偏好對直接優(yōu)化無需獎勵模型在本文的場景中后訓(xùn)練的主要目的是讓預(yù)訓(xùn)練 VLM 更好地理解智慧城市和農(nóng)業(yè)機(jī)器人這兩個垂直領(lǐng)域的圖像內(nèi)容例如能夠正確回答“畫面中是否有行人闖紅燈”“這個番茄的成熟度是多少”等細(xì)粒度問題。1.3 VLM 推理解決什么問題視覺語言模型Vision-Language Model, VLM能夠同時處理圖像輸入和文本輸入輸出文本描述或結(jié)構(gòu)化信息。與傳統(tǒng)的目標(biāo)檢測模型相比VLM 的優(yōu)勢在于支持開放詞匯不僅能識別訓(xùn)練集中出現(xiàn)過的類別還能理解自然語言描述的新類別。具備上下文理解能結(jié)合畫面中的物體關(guān)系、場景背景進(jìn)行推理。輸出更靈活可以直接輸出自然語言答案也可以借助提示詞輸出 JSON 等結(jié)構(gòu)化格式。在智慧城市場景里VLM 可以完成事件檢測、要素描述、異常預(yù)警等任務(wù)。例如給定一段監(jiān)控視頻幀模型能輸出“畫面中有 3 輛機(jī)動車1 輛正在左轉(zhuǎn)行人處于等待狀態(tài)”這類結(jié)構(gòu)化描述。1.4 為什么需要合成數(shù)據(jù)智慧城市和農(nóng)業(yè)機(jī)器人場景的數(shù)據(jù)采集都有明顯瓶頸。智慧城市視頻涉及隱私與合規(guī)問題農(nóng)業(yè)機(jī)器人的田間數(shù)據(jù)受季節(jié)、天氣、地域限制采集成本高且難以覆蓋長尾場景。合成數(shù)據(jù)Synthetic Data可以在一定程度上緩解這些問題。使用 Cosmos 3 生成帶有物理規(guī)律的運(yùn)動視頻讓模型在訓(xùn)練階段見過更多“對抗樣本”例如夜間強(qiáng)光、雨天反光、果實(shí)遮擋等情況。這樣當(dāng)模型部署到真實(shí)環(huán)境時泛化能力會更強(qiáng)。但需要強(qiáng)調(diào)合成數(shù)據(jù)不是萬能的它不能完全替代真實(shí)數(shù)據(jù)。更合理的做法是“真實(shí)數(shù)據(jù) 合成數(shù)據(jù)”混合訓(xùn)練并通過驗(yàn)證集持續(xù)評估數(shù)據(jù)質(zhì)量。2. 環(huán)境準(zhǔn)備與版本說明在開始實(shí)操之前先理清當(dāng)前示例環(huán)境。后續(xù)代碼基于以下配置運(yùn)行如果你的環(huán)境不同需要根據(jù)實(shí)際情況調(diào)整。2.1 硬件與系統(tǒng)要求Cosmos 3 合成數(shù)據(jù)生成和 VLM 后訓(xùn)練都屬于資源密集型任務(wù)建議使用 NVIDIA GPU。顯存規(guī)模直接決定了可以生成的視頻分辨率以及微調(diào)時使用的批量大小。資源建議要求GPUNVIDIA RTX 3090 / 4090 / A100 / H100 或更高顯存16 GB 以上生成高分辨率視頻或微調(diào) 7B 以上模型時需要更大顯存系統(tǒng)Ubuntu 22.04 或 Windows 11WSL2磁盤建議預(yù)留 100 GB 以上空間存放模型權(quán)重和數(shù)據(jù)集如果暫時沒有足夠顯存可以先使用小模型、低分辨率和更小的 batch size 驗(yàn)證流程再遷移到更大規(guī)模環(huán)境。2.2 Python 與深度學(xué)習(xí)框架以下版本組合是當(dāng)前比較常見且穩(wěn)定的配置具體以官方文檔為準(zhǔn)Python 3.10 或 3.11CUDA 12.1 或更高PyTorch 2.1 或更高Transformers 4.40 或更高PEFT 0.10 或更高Datasets 2.18 或更高Accelerate 0.30 或更高先創(chuàng)建一個獨(dú)立的 Conda 環(huán)境conda create -n cosmos-ai python3.11 -y conda activate cosmos-ai pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers peft accelerate datasets pillow tensorboard注意PyTorch 的安裝命令需要結(jié)合 CUDA 版本調(diào)整。如果使用 WSL2需要確保 Windows 側(cè)已安裝最新的 NVIDIA 驅(qū)動并在 WSL2 內(nèi)執(zhí)行nvidia-smi確認(rèn) GPU 可見。2.3 項(xiàng)目目錄結(jié)構(gòu)為了方便后續(xù)操作建議按照下面結(jié)構(gòu)組織項(xiàng)目cosmos-finetune-lab/ ├── data/ │ ├── real/ # 真實(shí)圖像與標(biāo)注 │ ├── synthetic/ # Cosmos 生成數(shù)據(jù) │ └── annotations/ # 標(biāo)注 JSON ├── models/ │ ├── pretrained/ # 預(yù)訓(xùn)練 VLM 權(quán)重 │ └── finetuned/ # 后訓(xùn)練輸出權(quán)重 ├── scripts/ │ ├── generate_synthetic.py # 合成數(shù)據(jù)生成腳本 │ ├── prepare_dataset.py # 數(shù)據(jù)集構(gòu)建腳本 │ ├── train_lora.py # LoRA 后訓(xùn)練腳本 │ └── inference.py # VLM 推理腳本 ├── configs/ │ ├── lora_config.yaml │ └── data_config.yaml └── output/ ├── logs/ └── results/3. 核心原理拆解后訓(xùn)練、VLM 推理與合成數(shù)據(jù)生成在進(jìn)入完整代碼前先拆解三個關(guān)鍵模塊的原理這能幫助你理解后面每一步操作的意義。3.1 后訓(xùn)練到底改了什么預(yù)訓(xùn)練模型已經(jīng)具備很強(qiáng)的通用能力但在垂直領(lǐng)域中會出現(xiàn)“能力有但不在點(diǎn)子上”的情況。例如模型知道番茄是紅色的果實(shí)但無法判斷“番茄表面有明顯褐色斑點(diǎn)”是否意味著病蟲害。后訓(xùn)練就是通過新的標(biāo)注數(shù)據(jù)把模型原先分散的知識引導(dǎo)到特定任務(wù)上。以 LoRA 為例它的做法是在原始權(quán)重矩陣旁邊新增兩個低秩矩陣訓(xùn)練時只更新這兩個矩陣。# 示意LoRA 的更新邏輯簡化版 # 原始公式output W * input # LoRA 公式output (W A B) * input # 其中 W 被凍結(jié)A 和 B 是低秩矩陣秩為 r import torch import torch.nn as nn class LoRALinear(nn.Module): def __init__(self, in_features, out_features, r16): super().__init__() self.weight nn.Parameter(torch.randn(out_features, in_features)) self.weight.requires_grad False # 凍結(jié)原權(quán)重 self.lora_a nn.Parameter(torch.randn(in_features, r) * 0.01) self.lora_b nn.Parameter(torch.randn(r, out_features) * 0.01) def forward(self, x): # 原始輸出 低秩增量 base_out x self.weight.T lora_out (x self.lora_a) self.lora_b return base_out lora_outLoRA 的核心優(yōu)勢是顯存占用小、訓(xùn)練速度快同時可以通過切換不同的 LoRA 權(quán)重實(shí)現(xiàn)多任務(wù)適配很適合在單卡環(huán)境下做垂直領(lǐng)域探索。3.2 VLM 推理從圖像到文字的基本鏈路VLM 的推理鏈路通常包含三個部分視覺編碼器Vision Encoder把圖像轉(zhuǎn)換為視覺令牌visual tokens。投影層Projection Layer把視覺特征映射到語言模型的嵌入空間。語言模型Language Model結(jié)合文本提示詞和視覺令牌逐步生成回答。理解這條鏈路很重要因?yàn)楹笥?xùn)練通常需要決定“改哪一部分”。如果任務(wù)主要是理解圖像語義視覺編碼器可以凍結(jié)只微調(diào)語言模型如果任務(wù)涉及特殊的圖像特征例如紅外波段或高空俯拍視角則需要考慮是否解凍視覺編碼器。# 一個標(biāo)準(zhǔn)的 VLM 推理調(diào)用流程 from transformers import AutoProcessor, AutoModelForVision2Seq from PIL import Image model_id your-finetuned-model-path processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained(model_id) image Image.open(test_frame.jpg) prompt Describe the traffic status in this image. inputs processor(imagesimage, textprompt, return_tensorspt) outputs model.generate(**inputs, max_new_tokens256) print(processor.decode(outputs[0], skip_special_tokensTrue))這段代碼把圖像和文本提示詞送入模型模型輸出文本描述。這里的processor負(fù)責(zé)將圖像和文本轉(zhuǎn)換成模型需要的張量格式。3.3 Cosmos 合成數(shù)據(jù)生成的工作流Cosmos 3 生成合成數(shù)據(jù)的工作流可以概括為文本描述 條件控制 → 視頻生成 → 抽幀標(biāo)注 → 數(shù)據(jù)集構(gòu)建。其中文本描述的質(zhì)量直接影響生成效果。為了生成符合農(nóng)業(yè)機(jī)器人視角的數(shù)據(jù)需要在提示詞中明確以下信息相機(jī)視角第一人稱、第三人稱、固定視角等。場景內(nèi)容農(nóng)作物種類、成熟度、病蟲害特征。運(yùn)動行為機(jī)械臂運(yùn)動、果實(shí)抓取、自主移動等。環(huán)境條件光照、天氣、季節(jié)。下面是一個雙語提示詞模板English prompt: A first-person view from an agricultural robot moving between tomato rows. The robotic arm extends forward and gently picks a ripe red tomato. Natural sunlight, slight shadow on the left side, leaves are green and healthy. 中文提示詞 農(nóng)業(yè)機(jī)器人第一人稱視角在番茄種植行中移動。 機(jī)械臂向前伸展輕輕摘取一顆成熟的紅色番茄。 自然光照左側(cè)有輕微陰影葉片翠綠健康。建議在合成數(shù)據(jù)生成時將英文提示詞作為主輸入中文提示詞作為輔助描述這樣可以在一定程度上提高生成結(jié)果與中文標(biāo)注的一致性。3.4 圖像批量推理的效率問題在智慧城市場景中VLM 推理往往需要處理大量圖像比如每隔幾秒從視頻流中抽幀檢測一次。如果逐張圖像調(diào)用模型耗時較長也不利于 GPU 利用率。常見的做法是批量推理batch inference將多張圖像組成一個 batch 送入模型。# 圖像批量推理的常見思路 from PIL import Image import torch images [Image.open(fframes/frame_{i:04d}.jpg) for i in range(1, 9)] prompts [Describe the traffic condition.] * len(images) inputs processor( imagesimages, textprompts, return_tensorspt, paddingTrue, ) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens128)批量推理的核心收益是提高 GPU 利用率減少推理總時間。但它也有代價batch 中不同圖像的 token 長度不同模型需要做 padding在處理超長視頻抽幀時可能遇到顯存壓力。后續(xù)在“常見問題”章節(jié)會進(jìn)一步展開。4. 完整實(shí)戰(zhàn)從合成數(shù)據(jù)生成到 VLM 后訓(xùn)練與推理下面進(jìn)入本文的核心實(shí)戰(zhàn)。整個流程分為五個步驟每一部分都提供完整代碼和運(yùn)行說明。4.1 準(zhǔn)備智慧城市監(jiān)控數(shù)據(jù)先準(zhǔn)備一組智慧城市場景的真實(shí)圖像。出于示例目的我們假設(shè)你有少量來自公開數(shù)據(jù)集的圖像和標(biāo)注。你可以先創(chuàng)建data/real目錄并準(zhǔn)備如下格式的標(biāo)注文件data/annotations/real_annotations.json[ { filename: frame_001.jpg, question: 這段路口有哪些交通參與者, answer: 畫面中有兩輛直行的小汽車、一輛左轉(zhuǎn)的電動車以及一名正在斑馬線旁等候的行人。 }, { filename: frame_002.jpg, question: 是否有車輛違規(guī), answer: 沒有。所有車輛均在車道線內(nèi)行駛行人信號燈為綠色通行狀態(tài)正常。 } ]然后運(yùn)行下面的數(shù)據(jù)準(zhǔn)備腳本將標(biāo)注轉(zhuǎn)換為后訓(xùn)練所需的統(tǒng)一格式# 文件路徑scripts/prepare_dataset.py import json import os import argparse def build_dataset(image_dir, annotation_file, output_file): # 讀取原始標(biāo)注 with open(annotation_file, r, encodingutf-8) as f: annotations json.load(f) samples [] for item in annotations: # 每個樣本包含圖像路徑和一輪對話 samples.append({ images: [os.path.join(image_dir, item[filename])], conversations: [ { role: user, content: item[question] }, { role: assistant, content: item[answer] } ] }) with open(output_file, w, encodingutf-8) as f: json.dump(samples, f, ensure_asciiFalse, indent2) print(f[INFO] Dataset ready, total {len(samples)} samples.) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--image_dir, typestr, defaultdata/real) parser.add_argument(--annotation_file, typestr, defaultdata/annotations/real_annotations.json) parser.add_argument(--output_file, typestr, defaultdata/dataset_real.json) args parser.parse_args() build_dataset(args.image_dir, args.annotation_file, args.output_file)運(yùn)行python scripts/prepare_dataset.py如果看到Dataset ready, total 2 samples.說明真實(shí)數(shù)據(jù)準(zhǔn)備完成。在實(shí)際項(xiàng)目中樣本數(shù)量建議至少在數(shù)百條以上否則后訓(xùn)練效果非常有限。4.2 用 Cosmos 生成農(nóng)業(yè)機(jī)器人合成數(shù)據(jù)接下來使用 Cosmos 3 生成農(nóng)業(yè)機(jī)器人場景的合成視頻。由于不同版本的 Cosmos 對模型導(dǎo)入方式和推理接口差異較大下面的代碼是演示思路具體 API 名稱需要參考你部署的官方文檔。# 文件路徑scripts/generate_synthetic.py # 演示代碼實(shí)際接口請參考 Cosmos 官方倉庫 import os import json from PIL import Image # 假設(shè) Cosmos 提供了一個生成器對象 # 這里用注釋說明初始化方式不綁定具體類名 # from cosmos import CosmosVideoGenerator def generate_agriculture_frame(prompt_en, prompt_zh, save_dir): 使用 Cosmos 生成農(nóng)業(yè)機(jī)器人視角的視頻幀。 參數(shù): prompt_en: 英文提示詞 prompt_zh: 中文提示詞 save_dir: 輸出目錄 # 1. 構(gòu)造生成請求 generation_prompt f{prompt_en}. {prompt_zh} # 2. 調(diào)用 Cosmos 生成視頻 # generator CosmosVideoGenerator.from_pretrained(nvidia/cosmos-3-wfm) # output_video generator.generate( # promptgeneration_prompt, # duration3.0, # 生成 3 秒視頻 # height720, # width1280, # fps30 # ) # 3. 將視頻流抽幀保存為 JPEG 圖像 # frames extract_frames(output_video) # 這里僅做目錄初始化 os.makedirs(save_dir, exist_okTrue) # 4. 記錄對應(yīng)的文本描述 annotation { prompt_en: prompt_en, prompt_zh: prompt_zh, scene: agriculture_robot, frames: [ # 假設(shè)抽幀后得到 10 幀 fsynthetic_agri_001_frame_{i:02d}.jpg for i in range(10) ] } with open(os.path.join(save_dir, annotation.json), w, encodingutf-8) as f: json.dump(annotation, f, ensure_asciiFalse, indent2) print(f[INFO] Synthetic data saved to {save_dir}) if __name__ __main__: save_dir data/synthetic/agriculture_01 generate_agriculture_frame( prompt_enFirst-person view of an agricultural robot in a tomato greenhouse, a robotic arm reaches out and gently picks a ripe tomato, natural light., prompt_zh農(nóng)業(yè)機(jī)器人第一人稱視角在番茄溫室中機(jī)械臂伸出并輕輕摘取一顆成熟的番茄自然光照。, save_dirsave_dir )你需要根據(jù)實(shí)際模型版本替換初始化與生成邏輯。生成后的視頻幀可以繼續(xù)用作圖像級 VLM 后訓(xùn)練數(shù)據(jù)也可以保留視頻序列用于后續(xù)世界模型訓(xùn)練或行為預(yù)測任務(wù)。4.3 構(gòu)建混合后訓(xùn)練數(shù)據(jù)集合成數(shù)據(jù)與真實(shí)數(shù)據(jù)需要統(tǒng)一格式才能送入訓(xùn)練腳本。這里寫一個融合腳本將真實(shí)數(shù)據(jù)集和合成數(shù)據(jù)集合并并寫入訓(xùn)練集與驗(yàn)證集。# 文件路徑scripts/merge_datasets.py import json import random import argparse def load_json(path): with open(path, r, encodingutf-8) as f: return json.load(f) def split_dataset(samples, val_ratio0.2): random.shuffle(samples) val_size int(len(samples) * val_ratio) train_set samples[val_size:] val_set samples[:val_size] return train_set, val_set if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--real_data, typestr, defaultdata/dataset_real.json) parser.add_argument(--synthetic_data, typestr, defaultdata/dataset_synthetic.json) parser.add_argument(--output_train, typestr, defaultdata/dataset_train.json) parser.add_argument(--output_val, typestr, defaultdata/dataset_val.json) parser.add_argument(--val_ratio, typefloat, default0.2) args parser.parse_args() real_samples load_json(args.real_data) synthetic_samples load_json(args.synthetic_data) all_samples real_samples synthetic_samples train_set, val_set split_dataset(all_samples, args.val_ratio) with open(args.output_train, w, encodingutf-8) as f: json.dump(train_set, f, ensure_asciiFalse, indent2) with open(args.output_val, w, encodingutf-8) as f: json.dump(val_set, f, ensure_asciiFalse, indent2) print(f[INFO] Train samples: {len(train_set)}, Val samples: {len(val_set)})合并數(shù)據(jù)的比例需要根據(jù)實(shí)際情況調(diào)整。如果合成數(shù)據(jù)出現(xiàn)明顯重復(fù)模式應(yīng)該適度降低合成數(shù)據(jù)占比避免模型對合成數(shù)據(jù)過擬合。4.4 LoRA 微調(diào) VLM下面使用 PEFT 庫對 VLM 做 LoRA 后訓(xùn)練。示例中使用的是 Hugging Face 生態(tài)的AutoModelForVision2Seq你可以替換成自己選定的 VLM 基座模型。# 文件路徑scripts/train_lora.py import json import torch from transformers import ( AutoProcessor, AutoModelForVision2Seq, TrainingArguments, Trainer, DataCollatorForLanguageModeling, ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from PIL import Image from torch.utils.data import Dataset class VLMDataset(Dataset): 讀取統(tǒng)一格式的 VLM 對話數(shù)據(jù)集。 def __init__(self, json_path, processor): self.data json.load(open(json_path, r, encodingutf-8)) self.processor processor def __len__(self): return len(self.data) def __getitem__(self, idx): item self.data[idx] image_path item[images][0] conversations item[conversations] user_text conversations[0][content] assistant_text conversations[1][content] image Image.open(image_path).convert(RGB) # 構(gòu)造模型輸入 messages [ {role: user, content: user_text}, {role: assistant, content: assistant_text}, ] text self.processor.apply_chat_template( messages, tokenizeFalse, add_generation_promptFalse ) inputs self.processor( imagesimage, texttext, return_tensorspt, paddingTrue, ) # 移除 batch 維度簡化 item 結(jié)構(gòu) return { pixel_values: inputs[pixel_values][0], input_ids: inputs[input_ids][0], attention_mask: inputs[attention_mask][0], } def collate_fn(batch): 動態(tài) padding 到 batch 內(nèi)最大長度。 pixel_values torch.stack([b[pixel_values] for b in batch]) input_ids torch.nn.utils.rnn.pad_sequence( [b[input_ids] for b in batch], batch_firstTrue, padding_value0 ) attention_mask torch.nn.utils.rnn.pad_sequence( [b[attention_mask] for b in batch], batch_firstTrue, padding_value0 ) return { pixel_values: pixel_values, input_ids: input_ids, attention_mask: attention_mask, } def main(): model_id your-base-vlm-id # 例如 meta-llama/Llama-3.2-11B-Vision-Instruct train_json data/dataset_train.json val_json data/dataset_val.json processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto, ) # 配置 LoRA lora_config LoraConfig( r16, lora_alpha32, lora_dropout0.05, target_modules[q_proj, v_proj, k_proj, o_proj], task_typeCAUSAL_LM, ) model prepare_model_for_kbit_training(model) model get_peft_model(model, lora_config) model.print_trainable_parameters() train_dataset VLMDataset(train_json, processor) val_dataset VLMDataset(val_json, processor) training_args TrainingArguments( output_diroutput/logs/, per_device_train_batch_size2, per_device_eval_batch_size2, gradient_accumulation_steps4, learning_rate2e-4, num_train_epochs3, logging_steps10, eval_strategysteps, eval_steps100, save_steps100, remove_unused_columnsFalse, report_totensorboard, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, data_collatorcollate_fn, ) trainer.train() # 保存 LoRA 權(quán)重和處理器 model.save_pretrained(models/finetuned/lora_weights) processor.save_pretrained(models/finetuned/lora_weights) if __name__ __main__: main()這段代碼有幾個關(guān)鍵點(diǎn)需要注意VLMDataset里使用了apply_chat_template不同模型對對話模板的處理方式不同。collate_fn負(fù)責(zé)動態(tài) padding確保不同長度的輸入可以在一個 batch 內(nèi)計算。LoRA 的target_modules需要與模型結(jié)構(gòu)匹配。如果模型使用了不同的線性層命名需要調(diào)整。4.5 智慧城市 VLM 推理完成 LoRA 后訓(xùn)練后將 LoRA 權(quán)重加載到預(yù)訓(xùn)練模型上對智慧城市場景的圖像進(jìn)行推理。# 文件路徑scripts/inference.py import torch from transformers import AutoProcessor, AutoModelForVision2Seq from peft import PeftModel from PIL import Image def load_finetuned_model(base_model_id, lora_path): processor AutoProcessor.from_pretrained(lora_path) model AutoModelForVision2Seq.from_pretrained( base_model_id, torch_dtypetorch.bfloat16, device_mapauto, ) model PeftModel.from_pretrained(model, lora_path) model.eval() return processor, model def infer_image(processor, model, image_path, prompt): image Image.open(image_path).convert(RGB) inputs processor(imagesimage, textprompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, do_sampleFalse, ) result processor.decode(outputs[0], skip_special_tokensTrue) return result if __name__ __main__: base_model_id your-base-vlm-id lora_path models/finetuned/lora_weights processor, model load_finetuned_model(base_model_id, lora_path) # 分別測試智慧城市和農(nóng)業(yè)場景 test_cases [ (data/real/frame_001.jpg, 描述該路口的交通參與者及通行狀態(tài)。), (data/synthetic/agriculture_01/annotation.json_frame_00.jpg, 判斷番茄果實(shí)是否成熟。), ] for image_path, prompt in test_cases: result infer_image(processor, model, image_path, prompt) print(fImage: {image_path}) print(fPrompt: {prompt}) print(fResult: {result}) print(- * 60)輸出示例Image: data/real/frame_001.jpg Prompt: 描述該路口的交通參與者及通行狀態(tài)。 Result: 畫面中有兩輛直行的小汽車、一輛左轉(zhuǎn)的電動車以及一名正在斑馬線旁等候的行人。4.6 運(yùn)行與驗(yàn)證依次執(zhí)行以下命令即可完整復(fù)現(xiàn)本文流程# 1. 準(zhǔn)備真實(shí)數(shù)據(jù) python scripts/prepare_dataset.py # 2. 生成合成數(shù)據(jù)需要 Cosmos 環(huán)境 python scripts/generate_synthetic.py # 3. 合并數(shù)據(jù)集 python scripts/merge_datasets.py # 4. 后訓(xùn)練 python scripts/train_lora.py # 5. 推理驗(yàn)證 python scripts/inference.py如果使用的是自己的模型路徑需要修改腳本中的model_id、base_model_id等參數(shù)。后訓(xùn)練過程中建議保存訓(xùn)練日志方便后續(xù)定位是否過擬合或欠擬合。5. 常見問題與排查思路在實(shí)際運(yùn)行過程中常見問題集中在環(huán)境依賴、數(shù)據(jù)格式、顯存限制和推理結(jié)果異常幾個方面。下面用表格整理排查思路。問題現(xiàn)象常見原因解決思路nvidia-smi不可用WSL2 未啟用 GPU 或驅(qū)動版本過低更新 Windows 驅(qū)動確保 WSL2 內(nèi)執(zhí)行nvidia-smi正常導(dǎo)入 Cosmos 包報錯官方庫名或依賴與版本不匹配查閱官方文檔確認(rèn)安裝命令檢查 Python 版本模型加載 CUDA out of memory顯存不足降低 batch size開啟 gradient_accumulation_steps或使用更小基座模型推理結(jié)果與預(yù)期差距大數(shù)據(jù)標(biāo)注質(zhì)量差或訓(xùn)練輪次過多檢查訓(xùn)練集標(biāo)注一致性觀察驗(yàn)證集損失降低 epoch 或?qū)W習(xí)率中文輸出質(zhì)量不穩(wěn)定基座模型中文能力有限替換中文能力更強(qiáng)的基座模型或增加中文示例在訓(xùn)練集中的占比批量推理時 padding 導(dǎo)致結(jié)果異常不同輸入長度差異大使用模型自帶的動態(tài) padding或在構(gòu)建 batch 時按長度排序LoRA 訓(xùn)練后模型輸出亂碼target_modules與模型結(jié)構(gòu)不匹配檢查模型參數(shù)名確認(rèn)q_proj、v_proj等名稱是否存在合成數(shù)據(jù)與真實(shí)數(shù)據(jù)風(fēng)格差異過大提示詞未覆蓋目標(biāo)場景加入更多環(huán)境、光照、相機(jī)參數(shù)描述生成后進(jìn)行人工篩選5.1 顯存不足的排查示例顯存不足是最常見的問題。先通過nvidia-smi查看占用情況nvidia-smi如果看到類似CUDA out of memory的錯誤依次嘗試減小per_device_train_batch_size從 2 調(diào)整到 1。開啟gradient_accumulation_steps8保證有效 batch size 不變。使用bf16或fp16混合精度訓(xùn)練。對視頻抽幀時降低圖像分辨率例如從 1280x720 降到 640x360。5.2 推理加速的常見手段智慧城市場景對推理延遲有較高要求。這里給出幾種常見的推理加速手段不同方法的收益和復(fù)雜度不同。方法 1批量推理Batch Inference 適用離線批量抽幀檢測 收益提高 GPU 利用率 方法 2TensorRT / 模型編譯 適用服務(wù)化部署、線上推理 收益顯著降低單次推理延遲 注意需要針對具體模型與 GPU 做轉(zhuǎn)換 方法 3圖編譯Graph Compiler 適用PyTorch 生態(tài)下的動態(tài)圖模型 收益減少算子調(diào)度開銷 注意可能與動態(tài) video 輸入存在兼容問題 方法 4減小輸入尺寸 / 降低幀率 適用視頻流場景 收益直接減少計算量 注意需要評估精度損失關(guān)于 TensorRT 部署需要說明的是具體安裝方式和可支持的算子版本變化較快建議以官方部署文檔為準(zhǔn)。不要盲目追求把全部模型轉(zhuǎn)成 TensorRT圖編譯和批量推理往往已經(jīng)能帶來可觀的收益。6. 最佳實(shí)踐與工程建議6.1 合成數(shù)據(jù)質(zhì)量控制合成數(shù)據(jù)不是“生成多少用多少”必須經(jīng)過質(zhì)量篩。建議記錄每段生成視頻的提示詞、生成參數(shù)和標(biāo)注來源并通過可視化工具抽幀審查。建議建立如下篩選流程自動過濾去掉黑幀、重復(fù)幀、畫面異常的視頻。規(guī)則校驗(yàn)利用目標(biāo)檢測模型檢查關(guān)鍵物體是否存在例如“畫面中是否出現(xiàn)番茄”。人工抽檢隨機(jī)抽 10% 左右的樣本由人工確認(rèn)語義一致性。標(biāo)注校準(zhǔn)如果 Cosmos 生成結(jié)果與文本描述不一致需要修正標(biāo)注或丟棄樣本。6.2 后訓(xùn)練數(shù)據(jù)混合策略真實(shí)數(shù)據(jù)與合成數(shù)據(jù)的比例需要謹(jǐn)慎控制。一般來說如果合成數(shù)據(jù)與真實(shí)場景分布差距較大合成數(shù)據(jù)占比過高會導(dǎo)致模型在真實(shí)數(shù)據(jù)上反而變差。一個比較穩(wěn)妥的做法是訓(xùn)練集 80% 真實(shí)數(shù)據(jù) 20% 合成數(shù)據(jù) 驗(yàn)證集 100% 真實(shí)數(shù)據(jù)先用這個比例評估再根據(jù)驗(yàn)證集表現(xiàn)逐步調(diào)整。如果合成數(shù)據(jù)覆蓋了真實(shí)場景缺乏的長尾情況可以適當(dāng)提高比例。6.3 后訓(xùn)練超參數(shù)調(diào)優(yōu)建議超參數(shù)建議范圍說明LoRA rank8 ~ 32rank 越大表達(dá)能力越強(qiáng)但顯存占用也更高learning rate1e-5 ~ 5e-4視覺語言模型微調(diào)通常比純文本模型更小的學(xué)習(xí)率batch size1 ~ 8根據(jù)顯存調(diào)整配合梯度累積epoch2 ~ 5從 2 開始觀察驗(yàn)證集損失防止過擬合warmup ratio0.03 ~ 0.1避免訓(xùn)練初期不穩(wěn)定6.4 安全與合規(guī)邊界在智慧城市場景中處理視頻數(shù)據(jù)時要特別注意隱私和合規(guī)問題。實(shí)際項(xiàng)目中建議做到以下幾點(diǎn)對涉及個人的視頻幀做匿名化處理例如人臉模糊、車牌脫敏。只在授權(quán)范圍內(nèi)采集和使用真實(shí)數(shù)據(jù)。使用 Cosmos 生成合成數(shù)據(jù)時保留提示詞和生成參數(shù)方便追溯數(shù)據(jù)來源。對外發(fā)布模型權(quán)重時檢查基座模型的許可協(xié)議是否允許二次分發(fā)。7. 總結(jié)與下一步學(xué)習(xí)路線到這里我們完整走通了一條“Cosmos 3 合成數(shù)據(jù)生成 → VLM 后訓(xùn)練 → 智慧城市推理”的技術(shù)鏈路。你掌握的是一套可以復(fù)用到多個物理 AI 場景的實(shí)驗(yàn)流程而不只是某個具體項(xiàng)目的配置。下一步可以從這幾個方向繼續(xù)深入把合成視頻從單一視角擴(kuò)展到多相機(jī)視角研究世界模型中的 3D 一致性問題。對比不同后訓(xùn)練方法SFT、LoRA、DPO在垂直場景中的效果差異。嘗試把后訓(xùn)練好的 VLM 接入實(shí)際機(jī)器人控制鏈路用人類反饋進(jìn)一步優(yōu)化行為策略。研究推理加速方案將模型部署到邊緣端服務(wù)于實(shí)時智慧城市監(jiān)控。實(shí)際項(xiàng)目中優(yōu)先關(guān)注數(shù)據(jù)質(zhì)量和評估指標(biāo)不要一上來就追求大模型。合成數(shù)據(jù)幫你拓寬數(shù)據(jù)邊界后訓(xùn)練幫你對齊業(yè)務(wù)需求VLM 推理幫你把能力落到具體應(yīng)用中三步缺一不可。希望這篇文章能幫你少踩一些坑也歡迎在評論區(qū)交流你的實(shí)測結(jié)果。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人人超碰在线观看黄| 黄aaaaaaaaaaaaaaaaaa色网站| 亚洲第一狼人丝袜美女另类| 丰满人妻av一区二区三区| 91人妻Pr| 久久超碰免费的| 欧美色图 人妻| 中文字幕一二三av| 亚洲 无码 偷拍| 日本不卡高清视频| 秋霞曰韩R级| 中文字幕亚韩| 厕所偷拍在线| 久艹免费| 老子午夜伦不卡影院| 成人小说视频在线精品欧美| 九九99精品| 人妻一区二区三区| 亚洲骚男同com| 亚洲第一页综合在线| 97综合国产| 国产一区二区三区视频在线看| 亚洲美女自拍偷拍视频| Av色五月| 国产一线二线三线av| 青青草啪啪网| 東南亚性呦成人伦理资源在线视频| 欧美激情激情xxxx欧美专区| 日韩性爱1级片视频| 成人看片网站| av2014 日韩在线中文字幕| 国产日本一区二区三区蜜臀在线观看| 国产网站在线播放| 少妇同性| 欧美日韩色| A 在线网址| 99热在线观看| 超碰97.com| 中文字幕精品免费一区二区| 日韩精品区二区三区不卡| 亚洲乱码国产乱码精网站| 天天操天天舔| 伊人久久亚洲中文字幕不卡| 亚洲 暴爽 AV人人爽日日碰| 黄aaaaaaaaaaaaaaaaaa色网站| 97中文超碰| 欧美最婬乱婬爆婬牲视频| 欧美性爱精品七区| 午夜天堂网| 男人天堂新| 色综合av男人天堂| 91网站18在线| 国产午夜在线观看| 超碰亚洲97| 美女黄色91| 日韩免费av片高清无码| 蜜臀久久久久久999| 成人一级二级| 成全在线观看免费观看| 欧美亚男人的天堂| 好吊色综合| 国产欧美亚洲精品a第2页| 亚洲诱惑| 精品成人亚洲午夜电影| 久久香蕉综合一本到3atv| 亚洲成人免费电影| 中文字幕一区二区三区四五区| 东京热男人的天堂精品| 欲射影视| 超清福利精品视频在线| 嗯~啊~快点 死我视频| 91亚洲欧美激情| 再深点灬舒服灬太大了好硬好爽| 男人天堂无码| 婷婷在线精品| 超碰在线日韩一区| 综合激情婷婷| 亚洲国产综合图区中文字幕| 日韩素人无码一区二区三区三州| 九月伊人中文字幕| 五月丁香在线| 熟女精品日韩一区二区三区 | 天天超级碰碰碰| 中文字幕在线观看永久| 美女干逼2| 中国少妇XXXX做受| 亚洲综合 欧美| 曰本道人妻久久久在线不卡色视频| 亚洲精品国产熟女| 欧美激情 日韩精品| 国产精品午夜AV完会免费 | 亚洲精品乱码线路中文字幕| 黄色不卡视频| jk白丝没脱就开始啪啪| 亚洲诱惑天堂| 日本99热| 日韩97| 人人喜人人妻| 91久久免费视频互動交流| 亚洲、日韩、综合、另类| 干B网| 成 人 影视 一区 二区 三区 四区| 97色碰| 亚洲欧洲美腿丝袜| 老子午夜伦不卡影院| 中文在线久久字幕| 黑人操一区二区| 久射吧| 综合自拍| 亚洲s在线观看| 男女猛烈无遮掩视频免费软件| 久草婷婷| 日韩色欲久久一二三四区| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 国产不卡片| 欧美精品69性爱| 精品免费国产二区三区| 秋霞免费AV| 99999久久精| 欧美熟妇视频| 国产成人超碰在线| 日韩电影免费网站麻豆视频| 自拍鲍鱼一区在线高清观看免费| 亚洲伊人成综合成人网| 啊啊啊啊啊啊啊啊啊啊在线观看| 99ri精品| 在线免费试看60秒| 天天干天天插| 亚洲欧洲成人在线电影| 天天操天天日天天干| 久久激情综合| 精品无码欧美三级| 国产中文日韩欧美一区二区三区人妻丝袜美腿 | 另类视频在线| 国产在线综合福利网站| 久操网在线| 午夜男人一级A片7777| 91精品老女人| 亚洲AV在线资源| 蜜桃视频精品一区二区| 爽极品影院| 精品国产乱码久久久久A| 欧美人人操人人插| 天美av在线| 亚州宗合另类| 五月天综合| 五十路六十路七十路熟婆| 国产AV天美传媒一区二区三区| 丁香五月天视频| 人人看黄色视频| 91在线一起| 久久人妻97久久久久久久| 国模无码一区二区三区在线| 欧美色综合| 欧美综合综合| 欧美手机在线综合| 日韩国产十八禁| 亚洲色图欧美| 97天天插| 欧美精品 - 91爱爱| 久久久精品成人国产| 丰满人妻区一区二区三| 91亚洲影院综合| 午夜精品探花| 久久美女国产| 亚洲小电影免费涩涩成人在线高清 | 亚洲 欧美 日韩 国产一区二区 | 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 欧美 亚洲 偷拍自拍| 91一区二区三区蜜桃| www.色婷婷| 日韩精品一区二区日韩| 久久狠狠色噜噜狠狠狠狠97| 春色91| 欧美在线综合| 精品色色| www网站黄| 91久久九九精品国产综合| 男女啊啊啊| 91碰碰| 超碰碰97| 丝袜狠狠草尤物人妻av91| 99热综合| 柠檬AV导航| 色成人Www精品永久观看| 精品无码久久久久久久久果冻糖心| 簧片免费看视频| 国产操伦| 八戒午夜福利理论片| 欲色综合| 91麻豆一二三区| 神马久久久久眼| 99热这里只有精| 日本高清一本二本免费不卡| 逼逼逼逼操操操操操操操操操午夜剧场| 操学生天天| 亚洲美女精品九九视频| 日本色婷婷| 伊人久操| 天天做天天爱天天高潮| 综合五月天| 黑人无码一区二区| 东北操逼| 久操不卡视频| 91九色丨风韵犹存| 伊人综合色网| 精品无码久久久久久久久果冻糖心| 婷婷丁香在线| 少好三P| AA特级绝黄| 天天天堂影视日韩亚洲91| 国产精品欧美日韩久久| 97jingpin| 97精品熟女少妇一区| 美女的肌被草喷水视频| 国产AV色黄看到爽| 美国三级日本三级久久99| av天堂5| 亚洲熟久久| 一级久久久久久久久久久 | 舔人妻中文免费视频| www.黄色在线| 久久宗合亚洲| 午夜精品探花| 天天日天天干天天操| 精品久久久久黄少妇| 老子午夜伦不卡影院| 欧美在线l亚洲| 国产亲戚伦亲在线| 91国产丝袜白虎| 深爱五月婷婷| 婷婷色色五月天福利| 亚洲视频一二区| 久操操AV电影| 久久久久久免费电影| av天堂手机版追回| 97碰碰色| 狠狠操夜夜| 欧美激情一| 婷婷久久久| 玖草在线视频| 色男人色天堂东京热| 国产在线强奸视频| 一二区在线观看视频| 涩五月婷婷| 九九九久久久| 综合视频91| 亚洲欧美日韩综合在线尤物| 国产午夜在线观看| 青青草成人视频在线观看二区| 操逼操网| 亚洲男人天堂av| 亚洲综合在线高清| 秋霞久久亚洲精品成人| 天堂蜜桃无码视频一区二区| 人妻献身系列第54部| 久久后入制服| 男人的天堂不卡一区二区| 国产午夜福利专区综合| 91 国产丝袜在线播放-百度| 五月天婷婷欧美三区| 四虎精品永久在线播放| 精品九九九九九九九九九| 97摸视频| 欧美一级AAAAAAA| 麻豆人妻偷人精品无码视频| 狠狠狠一区二区三区| 国产精品日日摸夜夜添骚逼| 欧美亚洲涩涩| 久久发布国产伦子伦精品| 欧美人妻精品一区二区| 熟女中出视频| 亚洲高清无码免费观看视频| 国产精品视频91久久| 天天享受天天看| 国产精品青草综合久久| 欧美成人AⅤ大片在线观看| 天天操福利视频综合网站| 熟妇女人妻呻吟久久AV| 亚洲熟女av日韩熟女| 日韩成人无码| 亚洲少妇综合| 久草婷婷| 欧美日韩99| 密乳AV免费观看| 不卡在线观看视频| 加勒比色综合| 欧美狠狠弄| 美女诱惑久久| 91艹| 亚洲精品国产精品乱码不卡| 超AV色女| 激情第四色| 丰满少妇乱子伦精品无| 日欧操屄| 成人一二| 亚洲不卡三级手机播放| 欧美亚洲首页| 九热超碰| 美女诱惑在线一区| 精品国产污一区二区三区| 亚洲色诱惑| 中日亚韩免费视频| 久久免费99精品久久久久久| 午夜毛片亚洲精品片国产久久久| 精品一区99999| 青青草乱入乱欲视频在线观看| 青青欧美在线| 久久五月份| 99热官网| 91丝袜在线观看| 超碰欧美COM| 操淫穴亚洲五月丁香| 97色视频在线| 69视频福利导航| 色一射色一射| 蜜臀精品1区2区| 炮色五月| 爱欲AV| 久久一区无码| 青娱乐亚洲热| 欧美性战999| 日韩欧美成人大香蕉| 玖色AV| 亚洲91少妇| 无码99| www.超碰| 欧美 亚洲 制服 精品| 水澄无码AV| 亚洲欧美精品一区天堂久久| 婷婷丁香五月综合| 日韩精品区二区三区不卡| 另类在线| 999在线电影香蕉| 狠狠 91| 午夜人人操| 日本操逼视频在线| 操逼大黄片| 日韩欧美成人性爱在线| 国产极品美女高潮无套在线观看| 久久久久久久亚洲Av无码| 成人三一级一片aaa| 国产中文精品一区二区在线观看 | 色爱综合网欧美| 成人精品视频一区二区| 99黄页网站| 亚州高清av| 综合色久欲| 久操免费电影| 色99999| 26uuu国产亚洲综合| 成人免费毛片| 亚洲砖码砖专无区2023| 色九九综合| 亚洲人精| 国产乱码精品久久久久久| 操淫穴亚洲五月丁香 | 亚洲熟妇一,二,三期| AAAA欧美日韩| 欧美亚洲尤物久久| 久久婷婷六月综合| 99热亚洲天堂| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 色 婷97| 日韩天天本| 欧美精品,四区。五区| 国产日本顶级一区二区三区| 淫荡网址| 伊人久操| 91AV老熟女视频| 欧美天堂超碰97| av日韩中文字幕| 啊啊啊免费| 性爱网站一区二区| 中文字幕狠狠玩| 亚洲少妇喷视频看| 国产十八禁视频| 久久精品一区一起草| 97爱亚洲| 国产精品久久久久久无码红治院| 日本123区操B视频| 江都AV在线| 91欧美巨乳| 亚洲熟女av中文字幕| 国产精品日韩在线一区| 激情综合婷婷| 97精品视频免费| 国产2.3.4区| 97色97干| 久久一级无码精品毛片6| 五月天激情小说网| 色偷偷色偷偷欧美日韩| 亚洲图片欧美偷拍| 亚洲国产一区二区入口| 日本天天操| 亚熟hd视频在线| 少妇天堂| 综合欧美激情网| 嗯啊不要啊在线 | 八戒无码国产午夜福利| 丁香五月婷婷啪啪| 日日A∨| 久久久性爱| 色色网91| 欧美精品另类人妖xxxx| 福利五区| 激情天天视频| 天天插天天干| 婷婷九月国产| 日本成a人v网站在线观看| 久草福利在线资源站| 九一综合精品视品av| 精品少妇一区二区三区| 久久久久免费看少妇A片特黄| 婷婷亚洲色| 97在线青| 内射夫妻三片| 久久久久久亚洲精品不卡人乳| 蜜臀亚洲综合一二三四区| 亚洲日韩美女丝袜美腿人妻视频| 超碰成人最新最好看| 厕所偷拍在线| 97中文字幕九区| 精品国产人成在线| 久久视网78| 中文字幕视频在线观看| 国产精品一二三在线看| 欧美另类自拍 | 99国产精品人妻人伦| 在线 欧美 亚洲| 美国黄片aaa| 大奶啊啊好爽| 丝袜美腿91| 亚洲成人免费中文字幕| 一区二区 电影 亚洲| 精品传媒在线一区| 97在线精品| 日韩人人精品| 欧美精品xxxwww| 亚洲av总站| 欧美日韩在线小说 | 精品少妇99| 强奸乱伦动态污图免费| 碰超人人在线一区二区三区| 亚洲小电影免费涩涩成人在线高清| 久久色人体| 淫淫综合网| 欧洲熟妇xxXx欧美老妇裸体| 97超级色碰碰| 凹凸视频在线观看伊人| 亚州春色| 高清无码一区二区三区| 97超碰天天爱天天爱| 久草加勒比一区在线| 久久九九网| 日本在线15p| 午夜国产成人福利视频 | 综合免费无码中文| 久久一本大香蕉 | 9长久久精品| 精品国产91av一区二区三区| 色大师网站www永久网站视频| 国产综合日韩伦理| 夜夜操av亚洲一区二区| 日韩欧美亚欧在线视频| 日本九九久久99播| 自拍偷拍草一草| 欧洲乱码一区二区| 欧美传媒| 岛国人妻少妇av在线观看| 国产精品一二三区18| 亚洲熟妇丝袜在线观看| 中文AV制服乱伦| 九九热五区| 无码一区二区精品视频久久久春药| 2025亚洲男人天堂| 日韩精品在线放| 天天弄欧美| 最新av网站在线观看| 东京热av男人的天堂| 隔壁邻居波多野结衣中文字幕| 熟妇高潮一区二| 91精品国产日韩欧美综合| 91精品婷婷国产综合久久竹菊| 中文字幕乱在线伦视频中文字幕乱码在线 | 日han少妇无码| 人人操 欧美| 久久精品视频久久久| 水多多映视AV| 91色图片| 国产成人精品无码久久| 欧洲亚洲综合| 日韩精品中文字幕二区| 在线欧美亚洲| 爱射综合| 国产福利视频精品视频| 日韩精品电影| 操逼逼无码| 亚洲图片小说欧洲| 九九九综合精品| 国产黄色视频久久| 干B| 韩国一级做A片免费的| 亚洲狠狠入| 人妻激情偷乱视频一区二区三区 | 是还免费视频1727我| 久久肏大逼| 欧美姓爱综合网| 亚洲精品久久久久久久久豆丁网| 91视频伊人| 亚洲日韩少妇一道本视频| 精品毛片久久久精品毛片| 久久精品噜噜噜成人看免欧美大片| 丁香五月成人| 乱性AV| 性爱AV天堂| 亚洲成av人片色午夜乱码| 香蕉综合网| 欧美性,色九九| 欧美一区二区观看在线| 亚洲Av诱惑| 色999人与兽| 久久黄色视频一区二区三区| 天天综合~91| 一个人在线看的黄色电影网站| 欧美午夜视频免费观看| 丝袜美腿操av| 黄网站黄视频网站进入口| www国产天美久久久| 欧美亚洲首页| 免费看污网址| 狠狠干狠狠色| 欧美日韩性爱电影在线| 日韩欧美三级| 亚洲成人一二三区| 久久鲁干| 欧美呦呦性爱| 欧成人在线| 淫淫总合网| 欧美一区二区三区另类精品| 91欧美色| 婷婷五月天无码 | av在线人气| 国产家庭乱伦网址| 草草草视频在线免费看| 呻吟 欧美 日本 中出| 日本有码影片下载| 国产97视频免费观看| 97国产人人| 日日干夜夜欢| 国产夜夜艹| 亚洲国产欧美中文永久| 国产精品日韩在线一区| 天天操妹子| 亚洲揄拍网| 超碰人人乐97| 在线性黄高清免费视频| 一级人妻性爱视频| 美女t无毒不卡不卡| 69视频福利导航| 久久五月份| 婷婷丁香五月天综合东京热| 日韩成人性日韩成人性爱视频在线免费观看| 中国黄色特级精品一区二区三区片| 又黄又爽在线观看视频| 亚洲精品乱码久久久久久蜜桃麻豆 | 中文字幕日韩精品一区二区三区| 五月婷婷六月天| 思思热er精品视频| 日韩精品资源专区二区| 亚洲 欧美综合| 超碰免费欧美7| 亚洲精品骚逼| 人妻天天操天天爽视频免费| www.91色| 欧美十八禁在线看| 思思热在线cao| 91综合网站| 日韩91网| 欧美第二页午夜| 北京美女一区二区| 九一亚洲国产免费| 日韩精品区二区三区不卡| 欧美亚洲中文字幕| 国产精品免费日韩| 美国精品国产精品| 国产JDAV无码视频在线观看| 国产91 丝袜在线播放00-百度| 五十路成人在线视频二区三区| 精品人妻一区二区乱码一区二区| 欧美中文字幕男人天堂久久精品| 日韩精品99999| 午夜精品视频777| 另类小色呦| 欧美不卡二区| 久操网无码在线| 久久亚州精品成人Av无| 欧美极品美女aaaaaa级黄片| 久久国产三区| 天天综合色| 九九性爱网| 国产AV高清AV无码| 干婷婷综合网| 亚洲免费在线探花| 欧美精品成人在线播放| 欧美1区二区三区公司| 日韩福利综合一区| 国产婷婷综合在线观看| av三级电影在线播放| 男人的天堂 在线一区| 揉揉日日日日| 日韩小电影| 啊啊啊啊好爽好舒服一区二区易域| 青青草原av| 91青青| 久久三区四区| 欧美性夜| 熟女精品日韩一区二区三区 | 中文字幕精品久久久久人妻红杏ⅰ| 日韩9999| 欧美少妇第一页| 亚洲另类色图片| 国产丝袜视频| 91在线|亚| 人妻夜夜爽天天爽麻豆三区网站 | 久久成年片色大黄全免费网站| 国产一区二区二区按摩精品啪视频| 国产一级高清免费观看| 成人五月天丁香激情综合| 成人线上超碰| 強姦亂倫a| 亚洲免费成人在线高清无码视频 | 神马久久久久久久久久| 美性中文综合网| 99热日| 激情内射| 91精品人妻| 欧美不卡五十路| 亚洲AV成人无码一二三久久| 欧美成人四级在线播放| 亚洲图片欧洲图片aⅴ| 果冻国产精品麻豆成人av| 色五月丁香五月| 蜜桃臀av在线观看| 免费看污网站| 97精品视频网站| 97干综合网| 国产成人亚洲精品自产在线| 偷窥自拍亚洲色图| 亚洲和欧美裸体美女双飞视频| 九九av| 91天天综合在线| 欲香欲色| 台湾成人无码AV| 欧美国产日韩高清在线| 淮穴色AV| 久久中出在线| 97国产精品久久久久| 久操视频这里只有精品| 国产日韩精品suv| 黄色一区二区秘书性感| 激情五月天色色| 欧美人妻二区三区| 久操影视| 夜夜爽夜夜爽| 老熟女乱子伦中文字幕一区二区| 色丁香久久| 午夜男人天堂| 欧美一区二区传媒| 色噜噜人妻av中文字幕| 色网色网色网色网色网色| 亚洲字幕一区二区| 97色碰| 中出789在线视频| 无码9区| 国产高清不卡视频| 亚洲天堂电影网99999| 美女被啪到深处抽搐视频| 中文字幕精品日韩中文字幕| 99在线免费观看| 亚洲精品欧美专业| 偷拍亚洲视频一区二区三区四区| 日本精品一区二区三区四区的功能| 免费观看国产不卡av| 99热官网| 亚洲男人综合网| 四虎精品一区二区| 污污汅18禁网站在线永久免费观看 | 色色色欧美| 99久久这里只有精品| 蜜臀th| 午夜小电影在线插入淫高潮| 亚洲少妇中文字幕网址| 成人影 天天操 亚洲| 国产又大又粗又长视频| 久久中文字幕不卡人妻| 狠狠操狠狠爱| 日韩中文字幕2020| 97久久超碰亚洲| 日本三级一区二区 在线| 亚洲国男人的天堂| 啊啊啊啊在线播放| 日本新免费二区三区| 91综合中文字幕| 粉嫩不卡一区二区性爱| 久久精品72| 91亚洲综合在线| 一级特级aaaa毛片免费观看 | 六月丁操逼| 蜜臀99久久国产| 久久久无码av精| 一区二区精品更新提醒| 91色花堂| 九九无码视频| 久噜噜| 999久久久免费精品国产牛牛| 欧美黄色片AAAAA| 久久久久国产| 综合亚洲欧美精品日韩?v| 99综合网| 综合网亚洲1| 91操操操操| 久久人妻办公室视频| 囯产精品强| 收看日本人日bb| 亚洲精品久久久久久久久豆丁网| 国产精品伦理| 国产精品自在线发布| 伊人操操| 国产精品麻豆成人av| 天天流夜夜操| 色九九久九九| 国产精品蜜乳AV| 久久日本熟女精品一区| 日韩av在线精品观看| 天天添天天干电影| 欧美色97| 婷婷久月| 好一吊区二区| 精品国产人成在线| 久草热制服丝袜在线观看 | 天天综合91入口| 牛牛aV| 麻豆传媒一区二区在线观看| 草草影院最新网址| 青青草视频久久久久| 绯色一区二区三区不卡少妇| 另类图片五月天| 国产91美女视频| 丰满人妻av一区二区三区| 18禁久极品美女久久哦哟呀!| 亚洲国产成人精品999| 婷婷三区| 国产一区二区三区高清视频| 狼人综合婷婷激情四射 | 就去色综合| 色狠狠综合| 久热精品在线| 99热最新| 3P丝袜熟女 色综合| 婷婷五月天AV| 99999国产| 亚洲中文字幕97久久精品少妇| 天天欲望网| 久久,精品一二三| 夜夜欢天天干| 97精品一二区| 午夜成人爽爽爽爽A片李冰冰| 人妻在线中出视频| yaouchengrenav| 久久99手机免费视频| 日韩人妻有码免费视频| 欧美在线55555| 久草免费福利在线播放| 欧亚揄拍偷拍精品视频| 中文字幕日本久久| 亚洲精品国产拍免费91在线| 防屏蔽在线视频| 色路综合| 女优免费一区二区永久| 美欧色综合| 91在线免费观看处女| 日韩欧美亚欧在线视频| 艳尻美人妻| 日韩久久.一级黄色片| 欧美性Fer办公室秘书| 人妻熟女av国产网站| 九热久| 黄色乱论网站| 欧美国产精品| 美女骚尻视频| 久久婷婷五月天| 大色综合| 一本一首道人妻少妇免费久久| 久久亚洲AV无码专区首页| 99精品综合久久久久五月天| 亚洲综合色网| 12一15性XXXX粉嫩国产| 伊人久久久日韩一区| 亚洲一区二区三区播放在线| 在线色资源| 亚洲激情久久| 视频一区二区三区精品| 91久久久老司机| 操人91| 91精品人| 射丝袜大香蕉| 九九伊人网| 桃花色综合影院| 9999久久久久| 麻豆人妻精品一区二区| A片大香蕉在线| 久久一区二区加油站| 婷婷五月激情综合| 91精品国产91久久福利| 欧美 亚洲 综合 制服 另类| 91狠狠综合久久久久久| 蜜臀久久99精品久久久久| 欧美精品 - 91爱爱| 亚洲欧洲综合av在线| 五月天久久人妻| 一道本东京热加勒比一区二区三区| 乱伦av麻豆| 亚洲人综合19| 极品久久久久久久久久久久久久| 中文字幕 国产 精品 | 九九在线视频| 另类TS人妖一区二区三区| 男人天堂毛片| 亚洲综合影片| 柠檬AV导航| 在线播放成人高清免费视频| 疯操AV| 亚洲人在线| 芊芊操逼视频无码| 伊人网高清| 久久日本熟女精品一区| 成功精品影院| 亚洲无无码αⅴ每日更新| 性欧美第一页| 天天日天天射天天干| 强奸乱亚洲| 91亚洲色图| 91色综合色| 9热9热综合网| 婷婷五月天色色| 欧美一级特黄淫片在线观看| 99夜夜操| 天天爱综合网| 一道本东京热加勒比一区二区三区 | 久久男女激情视频网站| 国产精品福利资源在线尤物| 日产精品久久久一区二区| 美女淫穴| 欧美另类色图片| 久久久久久亚洲Av无码| 91综合网在线| 粉嫩小泬久久久一区二区| 熟女人妻av在线资源,黄色的资源 粉嫩国产精品久久粉嫩 | www.色五月| 99久国产精品午夜性色福利| 96麻豆精品一区二区三区| 熟妇高潮一区二| 国产馆极品诱惑| 亚洲一区二区三区四区视频| 翔田千里无码中出中文字幕| 91精品久久久久| 久久久免费懂色| 人人综合| 特污免视频| 日本三级日本三级99| 日本免费一级AAA大片器| 91精片| 综合网亚洲在线| 不卡一区视频| 色女99一级片在线观看| 91麻豆天美国产欧美日| www网站黄| 青娱乐亚洲自拍| 亚洲**2021在线观看| 亚洲97超碰| 69久久| 天天干夜夜| 精品人妻一区春色| 美欧老女人97| 嗯……啊…嗯嗯…啊…好舒服| 午夜精品久久久久久久男人的天堂 | 天美传媒AV在线| 91精品国产长腿丝袜美女| 狠狠做深爱婷婷久久二区| 四虎视频在线观看| 国产精品毛片?v一区二区三区| 97香蕉网| 99在线精品视频| 青青青在线高清视频在线一二三四区| 日韩av电影网站| 青青伊人加勒比海| 亚洲 欧美 另类 日韩 人妻一区| 亚洲AO在线| 91婷婷伊人狠人| 欧美少妇熟女| 国产精品一二三区福利| 丁香五月综合| 日韩午夜啪啪视频| 色色色色综合网| 亚洲女毛多水多21P| 香蕉人人操tv| 日韩久久.一级黄色片| 日韩人妻一二三区视频| 韩国成人精品久久久免费看| 家庭乱伦国产| 人人看人人爰人人操| gogogo免费高清看中国国语| 在线播放免费av福利片| 中文字幕一区二区三区字幕| 岛国片在线播放| 嫩草美女久久| 日韩中文字幕精品一区在线| 免费av高清无码| 欧美性爱第一页久久| 日韩性爱一级片| 日韩欧无码一区二区三区免费不卡 | 欧美 综合| 啊啊好多水| 欧美国产一区二区三区麻豆传媒 | 日本精品一区三区| 中文字幕在线24| 精品大久久| 久久精品老司| 中文字幕超碰CAO| 香蕉av一区二区三区| 91n免费处女| 91九色丰满高潮| 美女天天干| 九九九九九九九九九国产精品| 欧美日韩久久精品爱爱| 亚洲加勒比| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 欧美性暴力猛交XXXX| 美女91在线观看| 在线情色电影 91大| 97超色| 欧美九九九| 97欧美在线| 无码高清少妇久久| 人妻 丝袜美腿 中文字幕| 国人欧美精品一区二区| 综合操逼| 色婷婷五月综合| 高清不卡视频| 欧美在线l亚洲| 后入日本1234| 久久这里只| 人人干人人操人人爱| 国产日韩欧美中文在线播放| 成人免费在线网站| 国产版a级片直播在线| 亚洲色吧网| 亚洲综合小视频小说在线观看| 夜夜骑操视频| 99久草| 成人蜜乳小视频网站| 99热99在线播放激情| 激情看片网站| 热天堂一区二区| 亚洲drav色图| 中文字幕激情小说| 欧洲黄色网| 亚洲少妇综合在线播放| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | av激情亚洲五月天| 脫衣舞一区二区三区| 日本在线激情一区二区三区| 亚洲色堂免费视频| 亚洲成人色情五月天丁香花| 国产一区二区精品久久久不卡蜜臀| 精品在线78| 国产精品无码成人精品| 91精品伊人久久久大香线蕉91| 激情五月天色播| 蜜臀99999| 天堂亚洲精品| 国产Av超碰| 日美免费黄片| 熟妇女人妻呻吟久久AV| 人妻少妇久久| 一区在线国产播放| 天天上日日上日韩精品| 清纯唯美亚洲综合| 免费精品中文字幕| 99热综合| 欧美人妻中出| 亚欧美综合网| 黄色AAAAAAAAAAA大片| 久久久精品国产亚洲伊人| 欧美日韩婷婷中文| 日韩欧美传媒一区国产| 中国一级特黄大片护士| 一区二区三区四区色图| 日韩无码AB| 日韩色| 欧美国产伊人久久久久| 青娱乐亚洲热| 久99在线免费观看视频| 国产乱伦亚洲| 精品久久久久久亚洲| 天天操天天谢| 91精品国产91久久青草| 欧美性爱在线无码| 色噜噜国产在线| 天天日天天干天天摸天天操| 成人性爱av| 欧美亚洲综合色| 亚洲极品| 国产不良强奸视频免费看| 五月香婷婷| 久久视频,这里只有精品| 亚洲成人激情小说视频| 337p大胆噜噜噜噜噜91Av| 日日A∨| 大JI巴好深好爽又大又粗视频| 欧美综合区| 亚洲吊色| 精品无码欧美三级| 97色干| 超碰视97中文| 中国一级操逼视频| 欧美制服网站美腿丝袜| 91欧美www| 91在线视频观看国产| 久草精品国产蜜臀 | 精品人妻一区二区乱码一区二区| 久久精品国产亚洲av水密被窝| 夜间福利片1000无码| 国产白领连续中出在线观看| 日韩十八禁| 韩国黄色片精品久久久| 动漫av中文| 欧美精品23| 精品久久久久,69国产成人精| 欧中美三级一区二区三区| 性爱乱伦网址| 亚州中文字幕超碰97| 日本国产亚洲一区在线观看| 日韩欧美女优电影| 91观看 国产白丝| 探花激情视频| 国产中文日韩欧美一区二区三区人妻丝袜美腿 | 高清无码人妻久久久一区二区三区aⅴ| 国产强奸超碰AV| 超碰综合色| 亚洲无码国产精品久久| 欧洲Au麻豆| 欧美一二三| 丰满人妻-区二区三区免费| 国产精品一区二区麻豆| 男人a天堂手机在线版| 91黑丝美女| 玖玖爱在线视频免费观看| 久久国产99精品72福利 | 国产农村妇女精品一二区| av网站免费看| a在线视频免费观看| 91少妇通奸网站| 成年人性爱日韩| 亚洲人人夜夜澡人人爽| 日本无码1| 日韩中文字幕宗合在线| 欧美性爱第一区| 手机久操欧美综合色码| 日韩精品一区二区高清| 97爱欧美| 欧美性爱日韩性爱| 骚逼一区二区| 亚瑟国产精品久久无码| 伊人精品视频| 俄罗斯一区二区视频在线观看| 中文字日本乱码| 久久透逼视频| 青青草大香蕉在线视频| 久热影视| 欧天美中出| 黄色电影观看久久9| 蜜乳av一区二区三区四区不卡| 超97在线精品视频| 天天躁夜夜躁狠狠躁AV| 久久久久久AⅤ无码免费肉站| 97国产精品久久久久| 精品超碰国产| 久久人妻熟女一区二区| www.狠狠| 老熟女网站| 亚洲精品色| 少妇久久久久久| 国产免费大片| 天天射天天操天天干天天吃2018 | 国产三级日产三级韩国三级| 欧洲站一级二级三级h| 美國A片| 蜜区区视频79 | 青青草久久一区网| 亚洲国产一区二区日韩专区| 日韩一级二级三级免费看完整版国语版| 成人免费看吃奶视频网站| 久久久久国产| 精品国产久热在线观看| 成人九九| 性欧美另类高清| 2018天天日天天日| 久干网| 日韩AV熟女乱伦| 中文字幕av一区二区三区人妻少妇 | 熟女一区二区| 欧美精品xxxwww| 天天操福利视频综合网站| 狠狠干,狠狠操| 婷婷色综合欧美日韩| 亚洲一本色码中文字幕| 亚乱色| 九九九精品美女| 精品人人| 熟妇xxxxx性春色| 亚洲精品97中文字幕| 欧美一级色| 久久精品一区二区一8| 日韩美女高潮喷水视频| 国产免费操逼| 操久久久久| 男人的天堂色偷偷青青草视频婷婷网| 中文人妻av高清一区| 九99久久| 美女黄页| 国产理论视频在线播放| 熟女少妇一区二区三区| 97超碰国产精品| 亚洲一区中文字幕一区| 91网站18+| 婷婷五月天综合网| 男女啪啪网站免费视频| 国产不卡精品91| 摸奶性爱视频网站在线免费播放| 蜜臀色乳| 丁香五月自拍| 日韩欧美性吧婷婷乱伦大香蕉 | 大香蕉92| 密桃99999| 黄片qw| 91美女精品| 伊人青青草久久| 免费久久精品麻豆一区二区av| 男女啪啪网站免费视频| 九草九九九| 内射白嫩美女| 色色色欧美| 黑人猛交| 中文欧丝袜诱惑| 97精品一二区| 人人爱人人操人人性| 日夜精品| 国产和美国毛片|