日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

2026年多模態(tài)視覺大模型開發(fā)實(shí)戰(zhàn):架構(gòu)、量化、微調(diào)與落地

2026年多模態(tài)視覺大模型開發(fā)實(shí)戰(zhàn):架構(gòu)、量化、微調(diào)與落地 2026年做多模態(tài)和視覺大模型開發(fā)這幾件事必須提前想清楚從去年開始我陸續(xù)幫團(tuán)隊(duì)落地了好幾個多模態(tài)相關(guān)的項(xiàng)目——圖文檢索、視覺問答、還有幾個內(nèi)部效率工具。說實(shí)話多模態(tài)開發(fā)跟純文本大模型完全是兩套玩法。以前做 LLM 應(yīng)用說白了就是 prompt 工程加 RAG最多再調(diào)調(diào)參數(shù)。但一旦涉及到視覺、音頻這些模態(tài)模型選型、顯存規(guī)劃、數(shù)據(jù)管線、評測方式全都變了。這篇博文就把我做多模態(tài)和視覺大模型開發(fā)實(shí)戰(zhàn)的一些積累整理出來。內(nèi)容包括整體技術(shù)架構(gòu)怎么拆分、16G 顯存能跑哪些模型、多模態(tài)融合到底怎么融、多模態(tài) RAG 和 Agent 怎么做、以及常見坑的排查思路。目標(biāo)是讓正在入門或準(zhǔn)備轉(zhuǎn)方向的同學(xué)少走彎路也讓已經(jīng)上手的同行能對照查漏補(bǔ)缺。1. 多模態(tài)開發(fā)全局思路先搞清楚架構(gòu)再動手1.1 多模態(tài)大模型的架構(gòu)流派做多模態(tài)之前先把架構(gòu)這件事想明白。市面上主流的多模態(tài)大模型大體上可以分成三類。第一類是雙塔融合結(jié)構(gòu)典型代表是 CLIP 和 SigLIP。這種結(jié)構(gòu)把圖像和文本分別編碼成向量然后拉到同一個向量空間里做相似度匹配。優(yōu)點(diǎn)是很輕量訓(xùn)練和推理都比較快適合做圖文檢索、零樣本分類這類任務(wù)。但缺點(diǎn)是它不擅長生成類任務(wù)因?yàn)楸举|(zhì)上它是一個度量學(xué)習(xí)框架不是生成模型。第二類是Tokenizer 統(tǒng)一結(jié)構(gòu)代表就是 GPT-4o、Gemini 這類原生多模態(tài)模型。它們把圖像、音頻都 Token 化喂給同一個 Transformer。這類模型有多模態(tài)能力上限最高但基本都是閉源或超大參數(shù)開源社區(qū)目前還很難復(fù)現(xiàn)。第三類是視覺編碼器LLM的復(fù)合結(jié)構(gòu)目前開源多模態(tài)模型里最主流Qwen2-VL、InternVL、MiniCPM-V 都是這類。圖像先經(jīng)過一個視覺編碼器比如 SigLIP 或 ViT變成視覺 Token再由一個投影層映射到語言模型的輸入空間。這種結(jié)構(gòu)的核心優(yōu)勢在于語言模型部分可以沿用純文本模型的成熟權(quán)重視覺部分可以靈活替換或凍結(jié)/微調(diào)。在 16G 顯存這個約束下能實(shí)踐的主要就是第三種結(jié)構(gòu)。后面我講到的模型選型、微調(diào)方案、Agent 開發(fā)也都是基于這個架構(gòu)展開的。1.2 開發(fā)路徑和技能棧拆解多模態(tài)開發(fā)比純文本開發(fā)多出來的一個關(guān)鍵環(huán)節(jié)是視覺編碼器的處理。整個鏈路可以拆成四個層次。第一個層次是推理部署就是能把現(xiàn)成模型跑起來。需要掌握 HuggingFace Transformers 的基本用法、vLLM 或 Ollama 這類推理框架以及量化工具。這個層次對應(yīng)的是會用。第二個層次是應(yīng)用開發(fā)就是基于多模態(tài)模型的 API 或本地部署實(shí)現(xiàn)具體的業(yè)務(wù)功能。比如圖文理解、視覺問答、多模態(tài) RAG這些需要懂 prompt 設(shè)計(jì)、檢索策略、后端服務(wù)封裝。這個層次對應(yīng)的是會做產(chǎn)品。第三個層次是模型微調(diào)與適配就是要解決預(yù)訓(xùn)練模型在特定業(yè)務(wù)場景下效果不佳的問題。需要掌握 LoRA、QLoRA 這些參數(shù)高效微調(diào)方法理解視覺 Token 是怎么參與訓(xùn)練的會處理多模態(tài)數(shù)據(jù)的預(yù)處理流程。第四個層次是算法創(chuàng)新就是做多模態(tài)融合算法的改進(jìn)。這個層次已經(jīng)接近科研了要關(guān)注多模態(tài)特征對齊、跨模態(tài)注意力、模態(tài)缺失處理這些研究方向。在 2026 年這個時間點(diǎn)前兩個層次是必會第三個層次是加分項(xiàng)第四個層次是少數(shù)人的選擇。我建議普通開發(fā)者把主要精力放在第一和第二個層次上把推理部署和應(yīng)用開發(fā)玩熟再根據(jù)工作需要決定要不要深入微調(diào)。1.3 一張圖看懂多模態(tài)應(yīng)用的技術(shù)棧我自己習(xí)慣把多模態(tài)應(yīng)用的技術(shù)棧分成五層基礎(chǔ)設(shè)施層GPU 服務(wù)器、推理引擎vLLM / TensorRT-LLM / Ollama、模型量化工具模型層開源多模態(tài)模型Qwen2-VL、InternVL、MiniCPM-V或其 API能力層圖文理解、OCR 識別、視覺定位Grounding、視頻理解、音頻理解應(yīng)用框架層LangChain / LlamaIndexRAG、Agent 框架ReAct / Function Calling、向量數(shù)據(jù)庫業(yè)務(wù)層知識庫問答、內(nèi)容審核、輔助駕駛、醫(yī)療影像、工業(yè)質(zhì)檢等從開發(fā)者的角度看多數(shù)工作集中在能力層和應(yīng)用框架層之間的接口處。你需要清楚模型本身能做什么、不能做什么然后決定哪些能力要自己開發(fā)哪些直接調(diào)現(xiàn)成的 API。2. 16G 顯存怎么選模型、怎么量化顯存焦慮的破局方法2.1 主流開源多模態(tài)模型選型對比顯存不夠用是我在私信里被問得最多的問題。很多人以為跑多模態(tài)模型怎么也得 40G 顯存以上但實(shí)際經(jīng)過量化和小 Batch 配置16G 的可選范圍已經(jīng)不小了。我按實(shí)際使用體驗(yàn)把適合 16G 顯存跑的多模態(tài)模型整理了一下。模型參數(shù)量視覺編碼器量化后顯存占用16G 卡適合場景備注Qwen2-VL-7B8.3BSigLIP-So400M8-10GAWQ 4bit通用圖文理解、OCR、視頻理解效果均衡工具調(diào)用能力強(qiáng)Qwen2.5-VL-7B8.4BSigLIP-So400M8-10GAWQ 4bit通用圖文問答、Agent相比 2-VL 推理更快InternVL2-8B8.1BInternViT-300M9-11GGPTQ 4bit中文場景、多輪對話中文數(shù)據(jù)支持好MiniCPM-V 2.68.1BSigLIP-So400M7-9GAWQ 4bit端側(cè)部署、長圖理解支持 180 萬像素輸入CogVLM2-9B9.7BViT12-14GGPTQ 4bit復(fù)雜視覺推理顯存偏緊吞吐受限Florence-2 0.7B0.7BViT-B2-3GOCR、定位、圖像描述極輕量只做視覺任務(wù)提示16G 顯存想跑得舒服優(yōu)先考慮 Qwen2-VL-7B 或 InternVL2-8B。前者綜合能力強(qiáng)且生態(tài)好后者中文場景表現(xiàn)更穩(wěn)。MiniCPM-V 適合顯存更小或端側(cè)部署的場景。2.2 量化方案選擇AWQ、GPTQ 怎么權(quán)衡量化是讓大模型在有限顯存下跑起來的核心手段。對于多模態(tài)模型量化的主要對象是語言模型部分視覺編碼器一般保持 FP16。因?yàn)橐曈X編碼器的參數(shù)量相對較小而且它對量化誤差更敏感。我在實(shí)踐中對比過 AWQ 和 GPTQ 兩種主流量化方案說下實(shí)際感受。AWQActivation-aware Weight Quantization基于激活值分布來選擇保留哪些權(quán)重通道的精度量化后模型輸出質(zhì)量更穩(wěn)視覺任務(wù)尤其明顯。它的速度也更快通常只在量化前做一次校準(zhǔn)校準(zhǔn)集大概需要 128-256 條樣本。我測試下來Qwen2-VL-7B 用 AWQ 和 FP16 相比圖像理解任務(wù)的準(zhǔn)確率差距基本在 2 個百分點(diǎn)以內(nèi)。GPTQ 則基于二階近似誤差最小化對語言任務(wù)的保持更好但在視覺任務(wù)上偶爾會出現(xiàn)目標(biāo)邊界框偏移之類的問題。它的歷史更早工具鏈成熟不過對于多模態(tài)場景我目前更傾向 AWQ。Bit 數(shù)方面4bit 是顯存和效果之間的甜點(diǎn)區(qū)。2bit 基本不用考慮圖片細(xì)節(jié)會嚴(yán)重丟失。如果顯存還有余量可以嘗試 4bit KV Cache 量化的組合比如 Qwen2-VL-7B 在 AWQ 4bit 基礎(chǔ)上再加 KV Cache 8bit顯存可以壓到 8G 左右同時保持良好效果。2.3 一個真實(shí)可跑的 16G 顯存部署示例我用一張 RTX 4080 16G 部署過 Qwen2-VL-7B-AWQ整個流程比較順分享出來給你參考。使用的推理后端是 vLLM它對 AWQ 支持很成熟OpenAI 兼容接口也讓后續(xù)開發(fā)省了很多事。部署步驟大概是這樣的# 1. 安裝 vllm建議使用 0.6 以上版本 pip install vllm # 2. 啟動模型關(guān)鍵參數(shù)是 quantization 和 max-model-len vllm serve Qwen/Qwen2-VL-7B-Instruct-AWQ \ --quantization awq \ --max-model-len 4096 \ --limit-mm-per-prompt image2 \ --gpu-memory-utilization 0.9 \ --port 8000這里--limit-mm-per-prompt控制每輪請求最多帶幾張圖我設(shè)為 2 是為了防止顯存溢出。--gpu-memory-utilization 0.9是讓 vLLM 最多用 90% 顯存做 KV Cache留一點(diǎn)余量給突發(fā)請求。啟動后用 Python 請求一下接口驗(yàn)證import base64 import requests # 準(zhǔn)備一張測試圖片 with open(test.jpg, rb) as f: img_b64 base64.b64encode(f.read()).decode() payload { model: Qwen/Qwen2-VL-7B-Instruct-AWQ, messages: [ { role: user, content: [ {type: image_url, image_url: {url: fdata:image/jpeg;base64,{img_b64}}}, {type: text, text: 這張圖片里有什么} ] } ], max_tokens: 512 } resp requests.post(http://localhost:8000/v1/chat/completions, jsonpayload) print(resp.json()[choices][0][message][content])這套方案實(shí)測單張 16G 卡可以支持約 4 個并發(fā)請求單請求響應(yīng)時間在 1-2 秒級別做內(nèi)部工具和小規(guī)模產(chǎn)品驗(yàn)證完全夠用。3. 多模態(tài)融合算法與視覺模型微調(diào)原理與實(shí)操兩手抓3.1 多模態(tài)融合的三個層面大家在網(wǎng)上經(jīng)??吹蕉嗄B(tài)融合算法這個詞但不同場景下它指的東西差別很大。我按實(shí)際工作的層級拆解了一下。特征層面融合這是最底層也最經(jīng)典的融合方式。圖像經(jīng)過編碼器得到視覺特征向量文本經(jīng)過編碼器得到文本特征向量然后把它們拼接或加權(quán)求和再送入分類器或生成器。CLIP 的對比學(xué)習(xí)、雙塔模型的信息檢索本質(zhì)都屬于這一層。特征層面融合的優(yōu)勢是計(jì)算量可控適合做檢索和分類任務(wù)。交互層面融合視覺特征和文本特征在 Transformer 的每一層里互相做 Attention也就是交叉注意力。這種方式信息交互更充分但對算力要求更高訓(xùn)練難度也更大。Flamingo 的 Perceiver Resampler、Qwen2-VL 中視覺 Token 接入 LLM 的方式都屬于這個范疇。決策層面融合多個模態(tài)分別獨(dú)立推理最后在決策層投票或加權(quán)。比如一個模型只看圖、一個模型只看文本最后對結(jié)果做融合判斷。這種方式在不同模態(tài)的模型無法聯(lián)合訓(xùn)練時比較實(shí)用容錯性也更好但信息交互程度最低。我在實(shí)際項(xiàng)目里總結(jié)的經(jīng)驗(yàn)是檢索類任務(wù)用特征層面融合就夠了理解類任務(wù)需要交互層面融合決策層面融合適合做兜底或集成。如果要做多模態(tài)融合算法改進(jìn)方向的產(chǎn)出優(yōu)先在交互層面做文章這個方向的可挖掘空間最大。3.2 視覺編碼器的核心作用多模態(tài)模型里視覺編碼器承擔(dān)著翻譯官的角色。它把像素級的圖片輸入轉(zhuǎn)換成語言模型能理解的 Token 序列。目前主流的開源多模態(tài)模型使用的視覺編碼器主要分兩派。一派是 SigLIP。它的特點(diǎn)是訓(xùn)練方式上做了改進(jìn)用 Sigmoid 損失替代了 InfoNCE 損失訓(xùn)練速度更快長尾數(shù)據(jù)上的表現(xiàn)也更穩(wěn)定。Qwen2-VL、MiniCPM-V 都采用了 SigLIP。另一派是 InternViTInternVL 系列自研的視覺編碼器在視覺感知的細(xì)節(jié)上做了強(qiáng)化特別適合做文檔理解和屏幕截圖理解。視覺編碼器內(nèi)部通常會做 Multi-View 或多尺度處理。比如 Qwen2-VL 會把圖片動態(tài)切分成多個像素塊Patch每個 Patch 單獨(dú)編碼再通過 MLP 投影層映射到語言模型的空間。這樣對大圖、長圖的處理效果會好很多。但這也會帶來視覺 Token 數(shù)量膨脹的問題——一張 1280x1280 的圖可能產(chǎn)生上千個視覺 Token直接拖累推理速度。一個實(shí)用的經(jīng)驗(yàn)是如果你的任務(wù)場景是看清圖里的文字或定位目標(biāo)物體優(yōu)先選擇視覺編碼器更強(qiáng)的模型InternVL、Qwen2.5-VL如果是理解整張圖的語義選通用型模型的默認(rèn)配置就行沒必要過度追求分辨率。3.3 LoRA 微調(diào)實(shí)操參數(shù)計(jì)算與效果對比微調(diào)多模態(tài)模型時大多數(shù)人會直接上 LoRA 或 QLoRA。這里有個概念必須先厘清在多模態(tài)模型里L(fēng)oRA 可以加在語言模型部分也可以加在投影層和視覺編碼器上。不同位置的 LoRA 對不同能力的影響差異很大。我做過一組實(shí)驗(yàn)對 Qwen2-VL-7B 分別做了三種 LoRA 方案方案 A只對語言模型部分加 LoRA最常見的做法方案 B對語言模型 投影層加 LoRA方案 C對語言模型 投影層 視覺編碼器后幾層加 LoRA訓(xùn)練數(shù)據(jù)用的是我整理的一批票據(jù)識別結(jié)構(gòu)化提取數(shù)據(jù)1600 條左右在單張 A100 上訓(xùn)練了 2 個 epoch實(shí)際 16G 顯存用 QLoRA 也可復(fù)現(xiàn)。結(jié)果是方案 A 在文字結(jié)構(gòu)化提取上 F1 得分提升最明顯從 0.62 到 0.87達(dá)到了業(yè)務(wù)可用水平方案 B 的提升反而不如 A因?yàn)橥队皩訁?shù)如果改動過大可能破壞原本的對齊空間方案 C 在把模型沒見過的票據(jù)版式描述出來這個能力上有幫助但訓(xùn)練穩(wěn)定性差損失波動大容易過擬合。所以我的建議是先無腦從語言模型 LoRA 開始rank 取 16 到 32如果任務(wù)非常依賴視覺理解再考慮把視覺編碼器末層也解凍訓(xùn)練。不要一上來就把所有部分都加 LoRA出了問題根本沒法定位。一個 LoRA 訓(xùn)練時的關(guān)鍵參數(shù)參考參數(shù)名建議值說明r16-32太低擬合不了太高容易過擬合alpha32通常取 r 的 1-2 倍target_modulesq_proj, k_proj, v_proj, o_proj語言模型的注意力層即可learning_rate1e-4 到 3e-4比純文本微調(diào)略低max_length2048多模態(tài)輸入 token 多太長顯存不夠batch_size1-2累積梯度受顯存限制配合 grad_accumulation注意多模態(tài) LoRA 訓(xùn)練時max_length要綜合圖片 token 和文本 token 一起算。比如 Qwen2-VL 默認(rèn)對每張圖會動態(tài)切 patch一張 1024x1024 的圖可能占幾百個 token所以文本部分不要寫太長不然會截?cái)唷?.4 數(shù)據(jù)管線搭建圖文對到底怎么準(zhǔn)備多模態(tài)微調(diào)的數(shù)據(jù)格式和純文本有非常大的不同。以 Qwen2-VL 為例訓(xùn)練數(shù)據(jù)的基本格式是[ { id: sample_001, conversations: [ { role: user, content: [ {type: image, image: train/001.jpg}, {type: text, text: 請識別這張發(fā)票的總金額和開票日期} ] }, { role: assistant, content: [ {type: text, text: 總金額1234.56元開票日期2025-11-02} ] } ] } ]這個格式里最容易踩坑的點(diǎn)是 image 字段。如果 image 傳的是相對路徑訓(xùn)練腳本通常要根據(jù)一個 base_path 拼接成絕對路徑如果 image 傳的是 base64 字符串那么需要注意轉(zhuǎn)義問題和硬盤緩存問題。我建議在訓(xùn)練前先寫一個數(shù)據(jù)校驗(yàn)?zāi)_本把每條樣本都取出來看一眼確認(rèn)圖片能正常打開、尺寸合適、文字沒截?cái)唷?shù)據(jù)量上如果只是做垂直領(lǐng)域適配一兩千條高質(zhì)量數(shù)據(jù)往往就夠了。但數(shù)據(jù)質(zhì)量要求很高——至少要有 10% 的負(fù)樣本或邊界案例否則模型容易產(chǎn)生幻覺在答案里編造圖片里沒有的內(nèi)容。4. 多模態(tài) RAG 與 Agent 實(shí)踐把圖文知識庫變成可用的產(chǎn)品4.1 多模態(tài) RAG 和純文本 RAG 的本質(zhì)差異多模態(tài) RAG 火起來是有原因的。傳統(tǒng)的純文本 RAG 只能檢索和生成文字內(nèi)容但現(xiàn)實(shí)世界里有大量知識是以圖片、掃描件、截圖的形態(tài)存在的。一個企業(yè)知識庫如果只能檢索文字等于把大約 30% 的信息直接扔掉了。多模態(tài) RAG 要解決的問題就是讓系統(tǒng)既能看、又能搜、還能回答問題。多模態(tài) RAG 和純文本 RAG 的本質(zhì)差異體現(xiàn)在兩個環(huán)節(jié)。索引階段純文本 RAG 直接把文本切塊嵌入多模態(tài) RAG 得先考慮——是一張圖配一段文字描述作為一個整體塊還是把圖里的 OCR 文字單獨(dú)提取出來建索引不同的策略決定了后續(xù)檢索的質(zhì)量。檢索與生成階段多模態(tài) RAG 里 query 可能是文字也可能是圖片——用戶拍一張海報來問這是什么活動。這種情況下query 和文檔之間的相似度計(jì)算就跨了模態(tài)。4.2 圖文知識庫的切分與索引策略我實(shí)踐下來比較可靠的多模態(tài)索引策略是雙路索引 交叉檢索。第一路是圖文聯(lián)合索引。對于帶圖的文檔PPT、PDF、網(wǎng)頁保留圖片相鄰文字作為一個整體文檔塊用多模態(tài)模型對圖片生成一段描述Caption把這個描述和原文字拼接再統(tǒng)一做向量化。這樣檢索的時候既可以通過文字匹配到內(nèi)容也可以通過圖片描述匹配到視覺信息。第二路是 OCR 文本索引。把所有圖片里的文字都做 OCR 提取純文本嵌入單獨(dú)建一個索引。這樣當(dāng)用戶查詢里包含明確的數(shù)字、專有名詞時OCR 文本索引的精準(zhǔn)度會很高。檢索階段把兩路結(jié)果做一個重排融合比如 RRFReciprocal Rank Fusion方法把兩路各自的排名結(jié)果合并。實(shí)際操作的時候我用 LlamaIndex 搭過一個基礎(chǔ)版本核心代碼如下你可以參考from llama_index.core import VectorStoreIndex, SimpleDirectoryReader from llama_index.multi_modal_llms.ollama import OllamaMultiModal from llama_index.core.node_parser import SentenceSplitter from llama_index.vector_stores.qdrant import QdrantVectorStore import qdrant_client # 1. 讀入圖文混排的文檔 documents SimpleDirectoryReader(./data/ppt).load_data() # 2. 對每個文檔塊生成圖像描述 mm_llm OllamaMultiModal(modelqwen2.5-vl:7b, temperature0.1) for doc in documents: if hasattr(doc, image_path): desc mm_llm.complete( prompt用20個字以內(nèi)描述這張圖片的內(nèi)容。, image_documents[doc] ) # 把描述并入文本節(jié)點(diǎn) doc.text f[圖片描述] {desc} \n [原文本] {doc.text} # 3. 切塊向量化并寫入 qdrant client qdrant_client.QdrantClient(path./qdrant_db) vector_store QdrantVectorStore(clientclient, collection_namemultimodal_docs) splitter SentenceSplitter(chunk_size512, chunk_overlap50) nodes splitter.get_nodes_from_documents(documents) index VectorStoreIndex(nodes, vector_storevector_store) # 4. 查詢 query_engine index.as_query_engine(similarity_top_k4) resp query_engine.query(這份材料的核心結(jié)論是什么) print(resp)這里比較關(guān)鍵的是第二步——用多模態(tài)模型生成圖片描述。描述的質(zhì)量直接影響檢索召回率。生成描述時不要只寫這是一張圖表要盡量包含圖中的關(guān)鍵數(shù)字和結(jié)論。你可以手動挑 20 條典型圖片把描述風(fēng)格打磨好再批量跑。4.3 多模態(tài) Agent 架構(gòu)從看圖說話到看懂就做多模態(tài) Agent 和多模態(tài)模型的最大區(qū)別在于前者不光要理解還要執(zhí)行——根據(jù)圖片內(nèi)容做決策、操作工具、調(diào)用 API。打個比方視覺模型像一個解說員能告訴你畫面里發(fā)生了什么多模態(tài) Agent 更像一個助理看到信息后要替你干活。一個典型的多模態(tài) Agent 流程是這樣的用戶上傳一張訂單截圖并提問這個訂單發(fā)貨了嗎Agent 調(diào)用視覺模型識別截圖中的訂單號、物流狀態(tài)Agent 根據(jù)識別結(jié)果調(diào)用訂單查詢 API 獲取最新物流信息綜合視覺信息和 API 返回結(jié)果組織最終答案在實(shí)現(xiàn)層面Qwen2-VL 系列目前對 Function Calling 支持得不錯。模型在圖文輸入下可以輸出結(jié)構(gòu)化的工具調(diào)用指令格式和 OpenAI 的 Function Calling 一脈相承。一個簡易的 ReAct 多模態(tài) Agent 路徑示例如下import json from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) tools [ { type: function, function: { name: query_order, description: 根據(jù)訂單號查詢訂單狀態(tài), parameters: { type: object, properties: { order_id: {type: string} }, required: [order_id] } } } ] def query_order(order_id: str) - str: return json.dumps({order_id: order_id, status: 已發(fā)貨, tracking: SF1234567890}) # 用戶上傳截圖 messages [ { role: user, content: [ {type: image_url, image_url: {url: data:image/jpeg;base64,...}}, {type: text, text: 麻煩幫我查一下這個訂單的狀態(tài)} ] } ] # 第一輪讓模型理解圖片并產(chǎn)出工具調(diào)用 resp client.chat.completions.create( modelQwen/Qwen2-VL-7B-Instruct-AWQ, messagesmessages, toolstools, tool_choiceauto ) # 解析工具調(diào)用 assistant_msg resp.choices[0].message if assistant_msg.tool_calls: for tc in assistant_msg.tool_calls: args json.loads(tc.function.arguments) result query_order(args[order_id]) # 把工具結(jié)果返回給模型生成最終回復(fù) messages.append(assistant_msg) messages.append({ role: tool, tool_call_id: tc.id, content: result }) final_resp client.chat.completions.create( modelQwen/Qwen2-VL-7B-Instruct-AWQ, messagesmessages, toolstools ) print(final_resp.choices[0].message.content)這里有一個我在實(shí)踐中踩過的坑多模態(tài)模型輸出 tool_call 時如果圖片里要識別的文字比較長比如一長串訂單號容易識別錯一兩位。我后來在 prompt 里加了請仔細(xì)核對訂單號逐字識別這樣的提示同時在工具調(diào)用后加了一層校驗(yàn)邏輯——如果查詢 API 返回訂單不存在就重新讓模型再看一遍圖。這種識別-執(zhí)行-校驗(yàn)-重試的閉環(huán)能大幅提升多模態(tài) Agent 的可靠性。4.4 多模態(tài) Agent 的規(guī)劃器與注意點(diǎn)當(dāng) Agent 需要處理的任務(wù)比較長時建議把規(guī)劃器和執(zhí)行器分開。規(guī)劃器負(fù)責(zé)拆解任務(wù)順序執(zhí)行器負(fù)責(zé)具體步驟。比如整理這張財(cái)務(wù)報表并生成摘要可以拆成先 OCR 提取表格結(jié)構(gòu) → 再按列匯總關(guān)鍵指標(biāo) → 分條輸出摘要。每步調(diào)用不同的視覺能力或工具最后再合并結(jié)果。做多模態(tài) Agent 時除了模型能力還要注意三個問題。一個是圖片指紋與緩存。用戶上傳的圖片可能非常大如果每次都把原圖傳給模型不僅浪費(fèi) token 還會變慢。建議在上傳環(huán)節(jié)做壓縮和緩存比如把長邊壓縮到 1280px保存一張壓縮副本以圖片 MD5 為 key 緩存視覺理解結(jié)果。相同圖片重復(fù)問答時直接走緩存成本能降一半。另一個是 Token 預(yù)算控制。多模態(tài)模型的視覺 token 消耗很容易失控。一張 2K 分辨率的截圖可能產(chǎn)生超過 1500 個視覺 token放大到整個對話歷史里顯存和速度都扛不住。建議在 Agent 對話中定期精簡歷史只保留關(guān)鍵文本摘要 最近一張圖的縮略信息而不是把所有圖片都留在上下文里。還有一點(diǎn)是工具選擇的容錯。多模態(tài) Agent 經(jīng)常出現(xiàn)工具調(diào)對了但參數(shù)抽錯了的情況。比如用戶給了一張表格截圖模型想調(diào)用生成柱狀圖工具但把參數(shù) date_column 和 value_column 抽反了。我建議工具設(shè)計(jì)時多用顯式枚舉或 schema 校驗(yàn)寧可多一步讓用戶確認(rèn)也不要讓它靜默出錯。5. 常見問題與排查技巧我把踩過的坑都寫在這里5.1 顯存不足與 OOM 排查多模態(tài)任務(wù) OOM 的發(fā)生頻率遠(yuǎn)高于純文本任務(wù)最常見的原因有三個。一是圖片尺寸過大。模型默認(rèn)會動態(tài)把圖片切塊一張 4000x3000 的圖片可能切成幾十個 patch視覺 token 數(shù)量爆炸。排查方法是在模型輸入前打印 image token 的數(shù)量如果單張圖超過 1500 token就先壓縮圖片。二是并發(fā)請求擠爆顯存。vLLM 這類框架會根據(jù)max_num_seqs和max-model-len提前分配 KV Cache如果你設(shè)的 max-model-len 太大比如 32K16G 卡很容易在低并發(fā)時 OOM。建議把 max-model-len 調(diào)到 4096 或 8192并開啟--enable-prefix-caching減少重復(fù)計(jì)算。三是多輪對話的 KV Cache 累積。多模態(tài)對話中每輪都帶圖歷史圖片的視覺 token 會一直占著顯存。精簡歷史的方案上文已經(jīng)提到另一個辦法是限制對話的最大輪數(shù)比如超過 8 輪就自動摘要前文并清空圖片。5.2 視覺理解效果不佳的定位方法如果模型給出的答案明顯不對先別急著換模型或調(diào) prompt。我用了一個降級拆分的排查方法。第一步先不看圖只把圖中應(yīng)該提取出來的關(guān)鍵文本OCR 結(jié)果單獨(dú)拿給模型問同樣的題。如果這時模型答對了說明問題出在視覺編碼環(huán)節(jié)而不是語言理解環(huán)節(jié)。第二步如果 OCR 文本單獨(dú)能答對就把 OCR 結(jié)果和原圖一起給模型看它是被多余信息干擾了還是根本沒看見圖里的重點(diǎn)。第三步如果 OCR 都提取不對那就是視覺編碼器或圖片質(zhì)量的問題。可以試試換更高分辨率的輸入或者換視覺能力更強(qiáng)的模型比如 InternVL。這個方法在絕大多數(shù)情況下都能快速定位問題所在。之前有個項(xiàng)目識別電子合同里的金額總是出錯最后排查發(fā)現(xiàn)是合同掃描件本身分辨率太低印章和數(shù)字疊在一起視覺編碼器提取不到完整數(shù)字。換了更高清的掃描文件后問題立刻解決。5.3 多模態(tài)數(shù)據(jù)加載常見問題速查問題現(xiàn)象可能原因解決方案訓(xùn)練時圖片加載異常路徑拼接錯誤或圖片損壞寫數(shù)據(jù)校驗(yàn)?zāi)_本逐條檢查圖片能否打開loss 波動大、不收斂視覺編碼器層也加了 LoRA 且 lr 過高視覺部分 lr 降為語言部分的 1/10或先凍結(jié)視覺編碼器模型輸出和圖片無關(guān)圖片 token 被截?cái)鄼z查 max_length確保給圖片 token 留足空間圖片上傳太慢請求里傳了 base64 原圖壓縮圖片后再傳輸長邊限制到 1280-1600px工具調(diào)用參數(shù)識別錯誤圖片信息密度高、文字小prompt 中要求逐字核對 工具層加參數(shù)校驗(yàn)重試檢索時永遠(yuǎn)召回同一批文檔向量化時圖片描述太泛化改進(jìn) Caption 質(zhì)量加入關(guān)鍵數(shù)字、實(shí)體、結(jié)構(gòu)說明5.4 評測多模態(tài)模型到底行不行得用數(shù)據(jù)說話很多團(tuán)隊(duì)把多模態(tài)模型接進(jìn)來之后憑肉眼感覺判斷效果好不好。這其實(shí)不太靠譜因?yàn)橐曈X任務(wù)受圖片分布影響太大同一張圖換個角度、換種光照結(jié)果差異就會很大。一個簡單但有效的評測方法是圍繞你的業(yè)務(wù)場景準(zhǔn)備 200 到 500 條評測樣本每條樣本由圖片 問題 參考答案或標(biāo)注組成。評測時設(shè)置兩種任務(wù)類型。生成類任務(wù)用 LLM-as-a-Judge。就是讓一個更強(qiáng)的模型比如 GPT-4o 或更大參數(shù)的開源模型來給回答打分打分維度包括準(zhǔn)確性、完整性和與圖片的相關(guān)性。打分 prompt 要盡量具體比如如果回答中包含錯誤金額扣 3 分這類規(guī)則。結(jié)構(gòu)化提取任務(wù)用精確匹配或字段級 F1。比如識別發(fā)票金額就比對模型輸出的金額字符串是否和標(biāo)注一致。建議按字段分別計(jì)算避免一個字段錯誤影響整體判斷。另外提醒一點(diǎn)評測集要定期更新把線上真實(shí)的 bad case 沉淀進(jìn)去。我習(xí)慣每周從線上日志里撈 50 條效果不佳的樣本人工標(biāo)注后加入評測集。這樣每次發(fā)版前跑一遍評測效果是升是降一目了然基本不會出現(xiàn)感覺變好了實(shí)際上線后被用戶罵的情況。6. 未來方向與學(xué)習(xí)路線2026 年這些能力會更值錢從整個行業(yè)趨勢來看多模態(tài)技術(shù)棧里的幾個方向值得持續(xù)關(guān)注。第一個是視頻理解。很多團(tuán)隊(duì)做完了圖文理解接下來自然想處理視頻內(nèi)容。但視頻理解比圖片理解要難不少因?yàn)橐曨l是時空數(shù)據(jù)的組合需要處理幀間時序關(guān)系。目前開源模型在短視頻片段理解上已經(jīng)有基礎(chǔ)能力但長視頻、多鏡頭切換、音頻與畫面聯(lián)合理解仍然有大量優(yōu)化空間。16G 顯存現(xiàn)在要跑視頻模型非常吃力建議先用 API 或蒸餾方案驗(yàn)證效果再考慮本地化。第二個是多模態(tài)評測和可觀測性。隨著模型越來越多怎么量化評估多模態(tài)效果會變成剛需。會寫評測工具鏈、會設(shè)計(jì) bad-case 分析系統(tǒng)的人在各團(tuán)隊(duì)里都會比較吃香。第三個是端側(cè)多模態(tài)。手機(jī)、邊緣設(shè)備上跑多模態(tài)模型會催生很多新應(yīng)用場景。MiniCPM-V 這類輕量模型的迭代會越來越快端側(cè)推理框架和量化壓縮技術(shù)也會成為熱門技能。學(xué)習(xí)路線方面我建議分三步走。第一步是跑通一個 16G 顯存的模型把部署、API 封裝、文圖問答、OCR 這四個基礎(chǔ)能力做扎實(shí)。你已經(jīng)會純文本開發(fā)的話這一步大概一到兩周就能完成。第二步是做一個小而完整的業(yè)務(wù)閉環(huán)。比如做一個發(fā)票拍照識別 自動歸檔 信息錄入的小工具覆蓋從圖片輸入到結(jié)構(gòu)化輸出的完整流程。過程里最好把數(shù)據(jù)校驗(yàn)、prompt 調(diào)優(yōu)、異常兜底這些都寫上。這個階段會在實(shí)踐中理解多模態(tài)應(yīng)用開發(fā)的完整鏈路。第三步是根據(jù)項(xiàng)目需要深入 LoRA 微調(diào)或多模態(tài) RAG/Agent。把評測體系搭起來用數(shù)據(jù)驅(qū)動迭代。到了這一步你已經(jīng)能獨(dú)立負(fù)責(zé)一個多模態(tài)項(xiàng)目的技術(shù)選型和落地了。我在這個領(lǐng)域踩過的坑比多數(shù)人都要多但做下來最大的體會是多模態(tài)開發(fā)并不比純文本開發(fā)難太多關(guān)鍵在于養(yǎng)成用數(shù)據(jù)、評測、迭代驅(qū)動的習(xí)慣同時要對視覺編碼器、token 消耗、顯存預(yù)算這些多模態(tài)特有的問題保持敏感。把這篇博客里提到的方法都過一遍你至少可以省下兩周的自我摸索時間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人人澡人人弄| 国产精品国产| 香蕉免费一区二区三区不读 | 亚洲色综合| 国产久久久9999| 久久99干一本高清| 色婷婷成人| 九九av| 成人免费性爱视视| 亚洲天堂色图| 人人操人人摸超碰| 强奸乱亚洲| 久久鲁夜| 国产精品无套内谢| 亚洲精品1区| 久操97| 亚洲天堂色图| 人人操 欧美| 麻豆久久久久久久久丝袜| 91精品在线播放| 蜜臀AV成人精品蜜臀AV久久| 青青草好吊色| 久久免费老司机精品| 亚州性色| 天天欧美色| 精久久久| 久久久精品国产亚洲AV无码| 深夜激情| 蜜桃成人1区2区3区| 中文字幕色AV| 婷婷五月天成人| 欧洲大香蕉| 激情无码日韩| 久久偷偷色综合蜜桃| 免费黄色片。| 熟妇一区,二区,三区。| 婷婷五月影院| 熟妇乱伦一区二区| 亚洲熟女综合| 啪啪视频亚洲第一| 日本最新1区2区3区| 伊人黄色视频免费观看| 亚洲天天天| 国产67194| 少妇高潮九九九九| 中文字幕天天操| 欧美性生活男人的天堂| 伊人色综合欧美| 久久久久成人亚洲国产| 九九久久久| 国产刺激视频| 美国精品国产精品| www.成人无码| 91高跟美女在线播放| 这里只有精品视频在线观看麻豆| 97se亚洲| 亚洲情色一区二区三区| 久久久18| 日本三级一区二区 在线| 自拍第一页| 成人贴图日韩欧美| 亚洲一本大道中文字幕无码在线| 国产精品日日摸天天碰| 中日韩久久人妻一区二区| 翔田千里AⅤHD无码| 爱妻综合网| 亚洲中文字幕三级在线| www.99色| 久草免费在线视频| 呦女网站| 在现视频女上位好爽| gogogo免费高清看中国国语| 天天噜| 久久精品中文| 蜜色网色哟哟| www网站黄| 精品999一区二区| 亚洲综合影片| 亚码激情| 一区二区三区精品久久| 亚洲av综合伊人久久| 欧美最大综合网| 久久发布国产伦子伦精品| 影音先锋新男人| 偷拍导航视频网站| 欧美黑人日韩少妇色情| 操人妻逼91| 中文字幕av亚洲在线| 女性91网站| 97网址97| 超碰97在线中文| 曰本精品久久久| 蜜乳av首页| 男人的天堂午夜av| 搡老女人老熟女91| 国产免费小视频| 精品国产久久乱码| 嗯嗯啊啊好疼| 日韩在线97| 小草三级久久观看| 中文字幕 人妻不满 在线视频| 久久亚洲AV无码专区国产精品| 午夜视频黄| 久 久无码人妻AV| 怡红院亚洲怡春院av| 久草色悠悠在线视频| 五月综合色| 国产亚洲色婷婷久久99精品91葵花宝典| 国内外内射高清视频| 亚洲极品| 久久机热| 麻豆91熟妇人妻中文字幕茄子| 亚洲精品人伦一区二区| 玖玖草久草99蜜月一区二区三区| 五十路熟女工口| 天天干天天日天天射黄色| 99久久9| 色官网在线| 欧美熟女操屄| 色色激情五月天| 欧美日韩国内不卡| 天天躁日日躁AAA片李宗瑞| 亚洲精品无码久久AV| 在线岛国新天堂8| AV在线性爱| 亚洲一区二区三区在线激情| 亚洲 无码 偷拍| 四虎午夜影院| 伊人久久综合精品欧美| 五月天色综合| 嗯嗯,啊啊,国产精品| 99久久久| 天堂日本亚洲欧美| 死我十八禁| 老司机午夜精品福利视频一区二区| 视频在线中文字幕| 精品亚洲天堂| 无码操逼视频一下| 久久亚洲AV成人精品无码| 全免费a敌肛交毛片免费| 色呦呦呦在线观看视频| www.av在线观看| 久久激情综合| 东北女人的毛片| 九九九精品色乱九九九| 91欧美网| 91精品微拍福利| 91动漫操逼视频| 六六久久日韩不卡| 欧美在线 亚洲| 99精品九九九九九九| 天天综合-91入口| 亚洲日韩人妻中文字幕一区| 中国乱伦一区二区| 激情婷婷| 97色色,97综合| 又黄又硬又粗又长国产视频| 天堂v无码免费视频| 国产超碰AV在线精品| 成人八戒网站| 欧美一区二区在线资源| 欲色啪| 久久久久久久97| 这里只有精品视频在线观看麻豆 | 久久色精品视频在线| 人人干人人操人人爱| 久久亚洲AV无码专区国产精品| 91精品国产高清久久久久久,亚洲成人 | 91丝袜在线观看| 91c色| 婷婷激情五月综合| 少妇色综合| 亚洲高清自拍| 99综合视频一体| 日韩美女高潮喷水视频| 国产精品com| 丝袜美腿制服人妻二区中文字幕 | h无码动漫在线观看| 91久久99久久91熟女精品| 一个人在线看的黄色电影网站| 97超碰国产亚洲精品| 麻豆精品一区二区三区四区免费观看| 日本媚薬中文字幕在线| 亚洲熟女人妻中文字幕一区二区 | 精品乱码在线观看| 富女玩鸭子一级毛片| 熟女乱伦二区| 韩国嫰模上门援交视频| 国产欧美精选自拍一区| 亚洲男人天堂2012| 九九九九精品| 欧美淫穴| 亚洲熟女诱惑| 五月婷婷大香蕉| 欧美天堂第二区| 国产强奸乱伦欧美| 天堂av2019| 精品人妻一区二区三区鲁大师| 欧美性爱中文字幕无线码| 96AV久久久| 日本精品中文字幕视频| 青青草久久一区网| 亚洲熟伦熟妇AV无码春色| 蜜臀av一区二区三区免费观看| 日本亚欧爱爱| 亚洲午夜AV| 国产一区二区在线看| AAAAAAAAA黄片| 动漫片子网站3黄| 亚洲AV成人精品网站在AV| 久久久久久久久久久久久久久性生活视频| 天天干人人乐| 大香蕉色十月| 午夜性刺激视频免费观看| 亚洲综合色男人网| 立川理惠被中出无码| 麻豆天美国美国产| 91性高朝久久久久久久久| 69视频福利导航| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 91美女视频。| 精品区9| 亚洲久9| 超碰97起碰| 精品熟女呻吟久久91| 五月天丁香| 极品另类| 欧美亚洲AN| 99国产精品视频尤物| 亚洲色悠悠久久88| 免费的黄片wwwwww| 黑人娇小av在线播放| 精品人妻中文字幕高清| 久久99999| 欧美日韩性爱无码| 亚洲欧美91| 青青11操操操操操操操操| 2024年最新色情网站在线观看| 免费视频一二三区| 亚洲,欧美,春色,另类| 91视频精品| 日日做夜狠狠爱欧美黑人| 国产综合网站在线播放 | 亚洲极品| 久热久一区二区三区| 激情小说图片亚洲首页| 丝袜狠狠草尤物 91| 全球成人中文在线| 久久伊人最新网址视频| 是还免费视频1727我| 五月婷在线| 日本一级真人黄色性爱视频| 97超碰人操| 99性爱| 懂色中文一区二区三区| 久久久四区| 亚洲性猛交| www超碰| 免费啪啪av| 97国产|免费| 国产精品丝袜久久亚洲不卡| 成人五月香网在线| 精品亚洲国产成人AV制服丝袜 | 欧洲精品二区| 久日91在线| 亚洲色啪| 男人把坤坤插入女人的下体| http://qxhbdz.com| 天天日天天搞天天干| 97久久国产精品女不卡| 韩日自拍| 亚州熟妇精品| 超碰97资源中文字幕| 超碰av在线| 一本精品日本在线视频精品| 一起草三级AV电影在线观看| 嗯嗯啊好爽| 国产女主播视频在线观看| 99.色网| 婷婷色色五月| 日本一级性爱| 最近2019中文字幕国语免费版| 青春草莓视频在线观看网址| 久久精品超碰| 亚洲 日本 不卡| 日韩精品一区,二区 九九...老司机| 夜夜高潮夜夜爽高清视频一| 亚洲色堂免费视频| a久久| 黄网在线播放| 女人高潮大叫一级毛片| 欧美性爱精品一区二区| 国产97视频免费观看| 无码操逼视频一下| 99这里只有精品国产| 精品一级毛片在线观看| 亚洲成人激情小说视频| 久久久久久九九九| 黄页av| 久操免费观看| 97碰久久| 99婷婷一区二区| 日本阿v天堂在线观看| 亚洲欧美情色| 超碰在线人人射| 一起草高清无码| 淫荡网址| 国产精品成久久久久午夜午夜| 亚洲天堂男人天堂| 你懂的在线观看区国产| 翔田千里无码中出中文字幕| 国产精品蜜臀久久久久无码AV| 日韩av免费一级电影| 日韩成人精品| 久久黄色性爱视频| 亚洲av乱伦色图网站| 亚洲精品视频在线播放| 日本狠狠干| 欧美|91色综合| 中文字幕一区二区三区蜜臀| 九一精品牛牛一区二区| 亚洲熟女乱色一区二区三区久久久 | 亚洲精品无码少妇久久| 二色av| 农村妇女一级二级三级视频| 精品.99999| 一区| 亚洲中文字幕av | 99热精品在线播放| 91精品国产综合久久久蜜臀| 歐美一級亂黃99在綫精品| 高潮嗯啊性感美女久久久| 99色日| 亚州国产成人精品女人久久| 一级AAA片一区二区三区| 免费试看60秒| 亚洲最大网站av| 夂久色| 亚洲瓯美色图| 久久久久久中文| 亚洲欧美情色| 国产女人操逼视频| 69AV女优男人的天堂| 91天美传媒在线| 91丝袜人妻| 精品无码一区二区三区| 午夜色婷婷| 在线啊啊啊啊| 久艹免费| 国内毛片国产专区二| 色色婷婷五月| 制服少妇欧美| 欧美人妻少妇| 精品黑人一区二区| 1204av韩国| 欧美亚洲特P| 日本熟女免费視颖| 午夜精品99久久久久传媒| 91男人天堂网| 97超碰人人模人人拍人人| 97任你吞精| 中文字幕加勒比海高清无码免费视频| 91模特在线观看| 人妻偷拍一区二区三区| 92福利社视频| 超碰在线综合97| 性爱视频免费网址| 男人天堂一区二区| 久久女女| 亚洲天堂第一页| 偷窥自拍亚洲| 日韩午夜啪啪视频| 4虎在线视频| 日韩一级久久毛片| 日本 成 人 小说 电影 一区二区| 色综合超碰超| 91香蕉视频在线观看免费| 天天操天天插| 欧美激情亚洲| 成人AV在线电影| 精吧天堂| 日韩精品 视频一区二区| 欧美亚综合色图| 亚洲资源站| 日本污ww视频网站| 国产精品午夜精品| 操逼不卡中文字幕| 熟女AV一区| av在线播放国产一区| 亚洲日本男人天堂网| 91老司机在线| 懂色综合久久久| 最新制服中文第一页| 中文字幕在线高清男人的天堂 | 亚洲色图20p| 日日夜夜天天| 青青草在线视频播放器| 狠狠色丁香| 精品玖九九久| 婷婷五月天激情小说| 欧美综合综合| 92福利社视频| 亚洲本色精品一区二区久久| 97久久超碰国产网站| 亚洲伊人成综合成人网| ss久久| 亚洲国产成人7777| 天天舔天天日天天射| 青青操综合网| 久久久免费高清中文视频| 日本一区二区成人在线| 大香蕉99re| 婷婷亚洲综合| 大二网站亚洲| 国产精品第二页| 欧美操逼熟女| 少妇天堂| 日韩精品人妻中文字幕有码午| 亚洲最新Av| 最新av在线| 亚洲成人性爱在线观看| 天天摸天天操视频| 97高清啪啪| 国产特级毛片AAAAAA高潮流水 | 亚州高清色综合| 久操凹凸视频| 中文字幕一区二区无码成人| 国产伦精品免编号公布| 免费一级精品啪啪视频| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 十八禁的黄污污免费网站| 操老熟女AV| 一块操欧美| 亚洲国产精品成人久久蜜臀| 久草综合视频| 亚洲人人操| 亚洲婷婷综合网| 亚洲色图综合网| 色五月婷婷在线| 国产成人超碰在线| 高清无码学生妹高潮| 精品人人| 日韩激情啪啪| 欧洲亚洲国产综合在线| 天天日天天干天天摸天天操| 日本不卡码黄色| 国产视频不卡在线观看| 小说区 图片区色 综合区| 97干综合网| 蜜桃色色网站视频三区| 精品亚洲国产成人av网站| 91观看 国产白丝| 热久日综合| 激情一区二区三区在线观看| 色久桃花影院在线观看| 欧美中文综合| 又黄又硬又粗又长国产视频| 99蜜桃臀久久久欧美精品网站| 国产毛片精品一区二区色欲黄A片| 天天谢天天干| 色哟哟 日韩精品| 精品少妇高潮久久| 中国小夫妻勾搭露脸淫荡对白| 这里有精品| 久草视频在线视频在线视频在线观看 | 99精品网站| 亚洲天堂,男人| 亚洲成人性爱在线观看| 草草影院最新网址| 伊人网青青| 亚洲精品九九九| 欧洲亚洲人妻无码高清久久三区四区| 偷拍片久久| 天天做天天爱天天爽AV| 中文字幕一二三区| 亚洲激情网一二三四区| 99综合网| 120分钟婬片免费看| 家庭乱伦性爱av| 精品人妻中文字幕4399| 日韩中文字幕国产| 男人的天堂午夜av| 日韩无码操逼片| 三级日本一区二区三区| 日本成a人v网站在线观看| 99re超碰| 青娱乐国产剧情av一区| 操逼网站网站| av爱爱爱| 国产av波波国产精品| 欧美自拍偷拍综合图片| 亚洲av国产av综合av卡| 欧美日韩国产另类综合| 精品成人动漫一区二区| 女人 A一级| 婷婷丁香五月天综合东京热| av天堂5| 在线观看国产黄色| 亚洲欧美中文日韩视频中国语| 青娱乐久久艹| 9999久久久久| 久久9精品视频| 日韩99神马视频片| 午夜AV污污污| 精品一区二区三区18| 91欧| 日本在线观看网址| 熟妇的味道HD中文字幕| 日本性爱网址| 120分钟婬片免费看| 五月天社区| 久草精品热视| 久久久久网站-538在线视频-欧美永久乱码 | 欧美日韩国内不卡| 亚洲av夫妻操穴网| 亚射在线| 啊啊啊在线看| 97欧美综合| 青娱乐福利99| 欧美日韩国内不卡| 亚洲AV无码天美传媒一区| 五月天伊人| 伊人久久亚洲中文字幕不卡| 丝袜加勒比| 天美传媒精品一区二区| 日日日日做夜夜夜夜无码| 亚洲九月丁香| 1024亚洲中文字幕久在线看片你懂的| 精品小视频在线| 啊啊啊 在线| 秋霞Av理论一级在线| 九月丁香婷婷色| 久久久久9| 99热免费精品| 欧美日韩狠狠爱| 色屁屁影院www国产| 人妻乱仑一区二区三区| 少妇免费视频| 精品欧美日韩在线观看| 放黄片放3级黄片没穿衣服| 日韩精品在线观看观看| 精品 码产区一区二-1080P高清在线www-B029AV | 亚洲成人性爱网站在线播放| www.色婷婷色综合| 中文字幕十五区| 91丝袜视频在线观看| 色就色综合| 亚洲有码 欧美精品| 亚洲的天堂网| 黄色无码高清黄色无码网站| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 色狠狠 - 百度| 熟女丰满人妻一区| 久热精品在线| 久久riav中文精品| 香蕉一区二区三区在线视频| 九九九久久久W精品| 日韩欧美tv一区二区在线观看| 91欧美高清| 夜夜春夜夜操| 综合操逼| 操亚州| 精品人妻免费观看| 色性欧美| 偷拍视频青青草在线视频| 逼逼逼逼操操操操操操操操操午夜剧场 | a片 xxxx受爽视频| 狠狠五月天| 男人天堂无码| 强奸乱伦中文字幕AV| 日本加靬比网站发布页| 2021国产成人精品久久| 天天日日夜夜| 加勒比综合88| 99在线观看| 中文字幕免费在线观看| 成人免费在线网站| 风骚少妇视频中文字幕| 久操凹凸视频| 亚欧美综合网。| 黄色激情电影在线观看| 久久骚少妇| 少妇高潮流水av免费| 麻豆av一区二区三区| 91美女视频| 91neishe| 污色区网站| ss久久| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 欧美一级久久久久久久大片动画| 少妇三P| 午夜视频久久久久一区| 绑缚麻绳人妻寝取完整版| 思思热在线视频免费| 人妻在线中出视频| 99视频这有这里有精品| 久久久久久9999| 久草国产在线视频| 久久6热精品99视频| 日韩精品黄片免费观看| 精品久久久一本一道| 国产精品国产拍高清AV| 加勒比综合88| 嗯嗯嗯,草死我| 日本色色视频网站| 98福利在线视频| 亚洲最大无码中文字幕网站| 风韵犹存大大大大香蕉 | 天天摸,夜夜摸| 97超碰欧美| 激情文学欧美| 无码聚合| 欧美 亚洲 第一页| 精品国产72| 成人三级片无码| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 91天美免费| 国产精品天美传媒| 亚欧成人综合影院| 综合网亚洲在线| 国产精品国产自产拍高清AV| 亚洲天堂AV在线播放| 嗯嗯嗯啊啊在线观看| 白嫩妹子国产骚| 95人妻爽爽人人做人人澡 | 啊啊啊啊啊好多水| 97精品97| 丁香六月婷婷综合| 性爱免费视频成人| 伊人久久AV诱惑悠悠| 精产国品一区二三产品| 日韩偷拍色图| 国产真实野战在线视频| 97在线免费观看视频| 欧美91久久久久| 欧美色偷拍| 人人爱人人操人人性| 天天做天天爱| 日韩亚洲美女一区久久| 蜜臀一区二区三区在线| 中文字幕视频免费| 六月婷激情福利天堂69| 在线综合色| 一起草高清无码| 免看60秒涩涩视频| 大香蕉在线免| 天天综合~91入口| 人人摸人人叼| 国产一区二区在线播放量| 午夜精品久久久久久久第一页按摩| 亚洲视频,小说| 午夜天堂精品久久久久91| 国产亚洲精品农村妇女| 中文?日韩?免费?精品| 淫纸中9区| 亚欧美综合网。| 91扒丝袜综合在线| 六月婷婷五月丁香| 欧美特大黄一级片片免费| 男女日B国产| 婷婷涩嫩草鲁丝久久午夜精品| 999九九九九国产动| 欧亚第一综合网| 97超碰jingpin| 日韩成人电影AV| 青草青草久热| 3028国产精品| 欧美日韩日产免费网站看| 欧美一区二区男人天堂| 97超碰超| 九九九九九九九九九国产精品| 国产人妻精品一区二区三区秋霞| 精品小视频在线| 91美乳| 操死我干死我| 夜夜高潮夜夜爽高清视频一 | 天堂俺去俺来也www久久婷婷| 国产又黄又粗又猛大片| 中文字幕97| 欧美性爱一区二区| 天天做天天爱| 九九碰九九爱97超| 亚州男人天堂| 国产精品九九九| 亚欧成人一级片在线播放| 日日摸日日碰夜夜爽视频| 97视频一区| 91精品导航| 黄页| 曰韩人妻中文字幕在线| 亚洲国产另类在线中文| 亚洲乱码精品一区二区| 操啊国产| 一牛影视成人片免费| 奇米狠999| 91精品啪在线观看国产城中村| 欧美日韩国产高清在线一二三区 | 午夜精品久久久久久久99热影院| 超碰97网址| 成人熟女区| 丝袜色综合| 欧美同性恋 的搜索结果 - 91n| 性欧美第一页| 亚洲欧美97| 亚洲性网| 亚洲 日本 国产 综合| 在线欧美69V免费观看视频| 1禁看欧美黄片免费看| 欧美日韩性爱视屏免费看了| 婷色五月天| 亚洲色偷偷色噜噜狠狠99网| 久久理论字幕视频| 成人一区二区三区四区| 好爽要喷了| 欧美在线天堂| 免费观看性欧美一级| 黄色网址在线免费观看| 婷婷五月花| 伊人成人情色综合| 综合91网| 国产精品久久泡妞网站| 久久精品人人做人人看| 97欧美性爱| 天综合网| 欧美日韩美女精品久草一区二区三区| 久久丝袜| 午夜一区二区三区国产| 99爱在线视频| 青青草成人视频在线观看二区| 亚洲性刺激| 性色AV蜜色av色欲av| 午夜无码精品免费看性色| 猛交交| 狠操91,com| 久久专区| 日韩AV一起草| 亚洲永久永久永久永久一级一级一级精品 | 久久人妇| 日韩亚洲欧美中文字幕| 强奸乱伦麻豆| 日韩一区二区熟女| 97中文字幕一区| AA级电影三区| 韩日精品四区| 色99久草| 丰满人妻一区二区三区四区| 国产精品一二三免费网站| 欧美亚州色的图| 17c嫩草51久久91嫩草| 粉嫩在线一区二区懂色| 中文字幕免费观看| 亚州男人天堂| 被体育老师抱着c到高潮| 午夜性| 久久无码精品| 国产原创剧情在线丝袜 | 一级AAA片一区二区三区| 欧美福利视频啊啊啊啊| 99热精品在线| 色九九九九九九| 天天操天天干一区二区| 欧美日韩人人精品| 97资源亚洲| 中文字幕一区二区三区视频播放| 天天摸夜夜操视频| 亚洲无码超碰免费| 小草精彩毛片| 欧美啪啪色吧在线| av在线资源| 久久久久久久综合,国产| 日韩在线一区高清在线| 91新在线欧美| 精品无码一区二区三区色欲| 超碰亚洲97| 99999亚洲| 国产一级片| 啊啊啊慢点| 女人被添高潮免费视频| 国产高清在线自在拍69| 国产精品一级毛片不卡视| 美女AV一区二区| 操www| 青娱乐大香蕉| 欧美五十路熟| 国产成人主播| 久久综合亚洲色1080p| 超碰97最新人妻| 岛国色情视频在线观看| 亚洲情色一区二区三区| 园内精品自拍视频在线播放| 国产精品第二页| 国产精品干干干| 一本久久精品中文字| 26uuu性| 91熟女.com| 日韩不卡a级视频专区| 嗯~啊~轻一点 视频| 男女性扦B| 大香蕉强奸乱伦| 久欲AV| 99热最新网址| 久久精品国产亚洲AV先锋| 欧美最婬乱婬爆婬性视频| 国产主播福利| 精品国产乱码久久久兰草影视| 超碰成人公开| 欧美成人精品一区二区男人蜜臀| 欧美性生活综合| 熟女精品日韩一区二区三区| 东京太热久久久| 亚洲密乳AV| 91激情国产| 亚 欧 美 综合| 国产又猛又粗又爽又黄| 色偷偷男人的天堂麻豆| 99久久久久| 国产h小视频在线观看免费| 神马久久久久久久久久久久| 手机在线人成免费视频| 91丰满| 宗合情欲网| 亚洲精品亚洲人成在线麻豆| 日本黄色精品| 蜜桃久久久久久久| 97人人操人人摸人人爱| 水滴偷拍| 欧美韩国你懂得在线| 日本肉体xxxx裸交| 亚洲最新Av| 久欲AV| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 青青草伊人久久| 欧美久久伊人| 91久久久亚洲| 欧洲站一级二级三级h| 俺去久久| 国产一区二区欧美日本| 色图综合网| 欧美最大综合网| 97免费在线视频在线观看| 多毛小伙内射老太婆| 91精品网站| julia中文字幕在线观看| 天天干一干| 中文字幕91页| 麻豆久久一区二区三区| 天天综合网合集91| 国产夫妻一区二区| 色婷婷网| 国产熟女完整版中字| 精…码一二三区| 亚洲国产精品久久久久婷婷老年| 男人下部插入女人下部 | 亚洲精品aa久久伊人| 亚欧无码线免费观看视频| 色噜噜人妻av中文字幕| 欧美综合在线91| 天天日老熟妇| 超碰在线看| 国产福利小视频高清在线观看| 又大又大又大又粗爽高潮观看| 97国产综合欧美| 欧美另类自拍 | 欧美综合综合| 日本天天干天天日一区| 日韩 欧美 校园一区| 吻戏激情性巴克| 国产做?爰片久久毛片?片美国| 伊人专区一区二区三区| 好爽免费视频| 国产精品日日摸天天碰| 国产精品第一页国产大屁股视频免费区i| 日韩伦理久 久久 清纯| 黑丝内射一区二区三区| 丰满人妻大屁一区二区| 亞洲久久直播| 日本免费中文字幕在线| 欧美大波激情xxxx| 韩国免费播放一级毛片| 欧美97在线欧| 91欧美网| 亚洲狠| 国产精品97视频| 亚洲色图8| 蜜区区视频79| 亚洲欧美校园| 五月天久久人妻| 中文字幕av片| 啊啊啊操死我了| 亚洲在线A| av橘色网站| 色原狠狠天天天| 国产一区二区精品久久久不卡蜜臀 | 91精品丝袜久久久久久| 人人色人人操在线| 97久久超碰| 99综合免费视频| 99色热| 大香蕉免费中文| 97国产超湿| 国产精品制服丝袜中文字幕日韩一区二区三区 | 精品日韩人妻视频| 无码外流操逼视频| 岛国网址国产| 大香蕉免费乱伦视频| 手机看片1024你懂的国产| 草莓精品视频| 婷婷午夜| 99久久无色码| 久久亚洲熟妇在线视频| 青青草乱入乱欲视频在线观看| 乱欲性色| 人妻人久久精品中文字幕| 老熟乱一区二区三区四区| 亚洲美女精品九九视频| 国产一级高清免费观看| 国产又猛又粗又爽又黄| 国内毛片婷婷六月色| HEYZO高无码国产精品227| 毛片电影一区二区三区| 淮穴色AV| 久久大线蕉一区| 粉嫩久久久极品| 欧在线一二区| 久久av无码| 强奸乱伦资源| 超91综合网| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 91爱剪切久久| 伊人网免费视频| 色一色综合网| 东北女人av| 试看60秒| 嗯嗯啊啊好爽| 国产 热久久久久国产精品| 欧美亚洲日韩人妻在线观看| 久久夜夜夜夜| 97人人夜| 8x福利精品第一福利视频导航| aaaa少妇高潮大片| 67914在线精品观看| 91国精产品| 久久精品国产亚洲AV先锋| 两性色网| 欧美成人精品一区二区三区| 夜夜天天噜狠狠爱2021| 337p大胆噜噜噜噜噜91Av| 亚欧美天堂在线| 久久久久九九九九九| J?P?NESEHD熟女熟妇伦| 日韩欧美国产高清视频| 国产专区路线| 超碰 欧美| 欧美亚洲国产91在线| 中文字幕日本久久| 丝袜视频一区二区在线播放国产中文| 91欧美www| 97精品熟女少妇一区| 97资源制服丝袜| 色香综合天天影视综合| 国产拍偷精品网站| 午夜大香蕉| 国产乱子伦一区二区三区免看| 亚洲网站一区二区在线| 91久久久久久久久18| 国产白丝在线| 91免费看一区二区三区| 婷婷亚洲色| 亚洲性综合| 国产精品免费1区2区视频| 日本免费中文一区二区三区四区| 在线观看 99热| 国产精品盗摄 偷窥盗摄| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 欧美情色亚洲| 久久久免费一级黄片| 中文字幕精品久久久久人妻红杏ⅰ| 亚洲精品97| 日本超碰在线国产一区| 日韩天天综合| 女同性恋久久| 久久九操在线观看| 欧美色视频在线| 日日夜夜草草草| 久久久精品电影| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 欧亚第一综合网| 麻豆三极片| 亚洲有薄码区日本系列中文字幕| 校园春色美腿丝袜 | 98一区二区精品| 亚洲,欧美,综合网| 欧美日本一区二区a人| 久久久九97| 99热精品在线观看| 综合色99| 天美麻豆一区二区三区| 一块操欧美性爱| 欧美少妇高潮| 色播综合| 中文字幕1区2区| 色婷婷99| 婷婷五月天激情四射| 国产亚洲综合欧美一区| 超碰九九| 色偷偷综合91久久噜噜| 人人操人人爽人人操人人| 国产四虎在线| 午夜男女爽爽爽影院视频| 99久久无色码| av毛片aaaaa免费看| 超碰人妻久久人妻中文97| 收看日本人日bb| 国产日韩人人| 91成人久久| 天天综合91入口| 色五月亚洲| 久久婷婷电影网| 欧美色一二三| 国内毛片婷婷六月色| 欧美精品亚洲精品日韩传电影| 欧美性爱伊人| 夜夜国自区| 美女黄色一级A视频| 午夜美女福利视频| 久久伊人网视频一区二区三区| a男人的天堂久久一级A毛片| 后入式在线免费观看60秒| 亚洲av影院在线观看| 夜夜高潮夜夜爽国产伦精品| 亚洲 日本 一 二 三| 国产精品com| 久久久国产精品人妻丝袜| 欧美操逼熟女| 久久久久久久久久久久97| 国产精品情侣啪啪| 欧 美 自 拍 偷 拍| 女人18精品一区二区三区| 久久麻豆一区二区| 亚洲一区中文精品| 97精品在线| 五月婷婷丁香| 欧美性爱第一页久久| Aa东京男人的天堂| 久久黄黄| 久久尹人大香焦视| 久久久久久9999| 亚州国产精品乱| 美国精品国产精品| 少妇熟女视频一二三区| 亚欧美天堂在线| 亚洲无码久久久久久久| 欧美中文综合| 国产一区二区三区,在线观看观看| 精品一区二区亚洲国产| 久久久久久久九九九九| 性交一区二区在线播放| 五月色综合| 精品免费视频国产一区| 少妇精品久久久八区九区| 强奸少妇AV导航网| 黄色片大香蕉| 91啪啪| 天天干夜夜操一区二区| 欧美一区二区三区大综合| 色综合久久88色综合久久天天| 人妻天天爽天天爽三区| 神马久久免费电影观看| 天天透伊人| 欧美成人性爱视频免费观看| 日韩AV噜噜噜一区二区三区四区| 久久这里精品国产99丫e6| 天天干天天狼在线视频| 日产操逼| 亚洲欧美综合图片| 做爱福利视频一区二区| 97干日韩| 激情五月丁香五月| 最新av网站在线观看| 日韩猛交| 免费视频观看60秒| 亚欧洲一区二区视频| 草b在线 | 亚洲成A∨人影院在线欢看| 日本性交操一区二区不卡系列| 久操国产在线| 蜜臀av网址| 亚洲色图欧美另类在线| 91暧暧| 色97| 久久婷婷五月天| 国产超碰人人操| 强奸乱伦麻豆| 偷拍亚洲熟女视频播放| 国产粉嫩蜜臀av一区二区三区 | 久久久精品日本一道| 天堂种子在线www网资源| 手机在线视频国内精品| 国产操逼视频在线观看| dy888午夜老子影视达达兔| 亚洲国产日韩精品久久久| 色噜噜人妻av中文字幕| 精久久久| 狠狠狠狠狠| 在线性黄高清免费视频| 亚欧免费| 欧洲精品二区| 久久天堂网| 日本中文字幕一区| 精品然女一区二区| 97超碰国产亚洲精品资源| 强奸a片网| 91操人| 亚洲第一狼人丝袜美女另类| 91骚熟女| 久久久久久9| 96久久久久| 日本色日夜干| 日韩兔费看黄片| 亚洲无码精品AV久久久| 中国人高清www色视频免费| 97亚洲综合影院| 人人性爱视频免费| 免费看黄片现成| 国产精品探花色| 制度丝袜99| 日韩不卡毛片Av免费高清| 日本熟女免费視颖| 变态乱伦伪娘灌肠一区二区| 在线国产福利网址导航| 欧美视频一区二区在线| 强奸乱伦αv片| 人妻AV 中文字幕的| 九九久久首页| 九九九九日本 | 激情第四色| 偷拍 精品 另类 四区| 久久中文色图| 精吧天堂| 91超碰丝袜制服| 亚洲另类天堂| 中文字幕,人妻,日韩| 久久久免费的精品| 国产无套粉嫩白浆在| 91黑丝在线播放| 欧美一区二区在线资源| av东京热男人的天堂| 亚洲欧美日韩国产丝袜自拍中文| 欧美激情一| 91美女视频在线观看| 9丨久久九九九| 亚洲视频1区| 国产偷人妻精品一区二区在线| 香蕉免费一区二区三区不读 | 日本中文字幕在线视频| 亚州精人品大香蕉| 亚洲不卡av在线| 搡老女人老91妇女熟女| 黄页| 大黄片做爱的大的|