日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

量化+蒸餾:如何在8GB顯存上運(yùn)行大模型?

量化+蒸餾:如何在8GB顯存上運(yùn)行大模型? 先拋一個(gè)有點(diǎn)反常識(shí)的結(jié)論單純靠量化不可能把 700GB 的大模型塞進(jìn) 8GB 顯存。這個(gè)說(shuō)法不是勸退而是先把賬算清楚。700GB 的模型參數(shù)按目前最常見(jiàn)的 INT4 量化來(lái)算壓縮率差不多是 4 倍也就是還要 175GB 左右距離 8GB 還有二十多倍差距。真正能解決問(wèn)題的路徑是兩條腿走路蒸餾負(fù)責(zé)把模型“變小”量化負(fù)責(zé)把變小后的模型“塞進(jìn)”顯存。這篇文章我會(huì)把兩條路分別拆開(kāi)講透結(jié)合我自己在 8GB 顯卡上跑大模型的實(shí)際經(jīng)驗(yàn)給你一套可以直接照著做的方案。先交代一下我自己的環(huán)境一張 8GB 顯存的消費(fèi)級(jí)顯卡平時(shí)主要玩本地大模型部署、微調(diào)和推理加速。這種卡在 2024 年之后越來(lái)越尷尬因?yàn)樾鲁龅哪P蛣?dòng)輒 70B、上百 B顯存卻一分錢(qián)沒(méi)漲。但尷尬歸尷尬真要用起來(lái)也不是沒(méi)有辦法關(guān)鍵看你愿不愿意把“大模型”的定義放寬一點(diǎn)。1. 先把話(huà)放這700G 不是“塞進(jìn)”顯存而是“縮”到能用1.1 顯存里到底存了什么參數(shù)、KV緩存、臨時(shí)張量很多人以為顯存只裝模型權(quán)重這是最普遍的誤解。實(shí)際跑推理時(shí)顯存里至少同時(shí)放著三類(lèi)東西。第一類(lèi)是模型權(quán)重也就是模型文件里的那些浮點(diǎn)數(shù)。700GB 的模型文件光權(quán)重就要占掉 700GB這是最基本的開(kāi)銷(xiāo)。第二類(lèi)是 KV 緩存每個(gè) token 在生成時(shí)都需要把之前所有 token 的 Key 和 Value 保存下來(lái)用來(lái)算注意力權(quán)重。KV 緩存的大小取決于模型層數(shù)、注意力頭數(shù)、上下文長(zhǎng)度這部分會(huì)隨著對(duì)話(huà)變長(zhǎng)持續(xù)增長(zhǎng)。第三類(lèi)是中間激活值前向傳播過(guò)程中每一層的輸出都要臨時(shí)保存在顯存里方便反向傳播或繼續(xù)算下一層雖然單次占用不大但峰值時(shí)刻很容易成為 OOM 的元兇。推理階段如果不需要反向傳播中間激活值會(huì)在每層算完后釋放所以顯存壓力主要是兩個(gè)權(quán)重和 KV 緩存。你盯著任務(wù)管理器看的那個(gè)顯存占用其實(shí)是這兩者加在一起的結(jié)果。1.2 成本賬從 700GB 到 8GB壓縮率到底有多夸張直接做算術(shù)。700GB 模型權(quán)重假設(shè)原始精度是 FP16也就是每個(gè)參數(shù)占 2 字節(jié)那這個(gè)模型大概有 3500 億參數(shù)。350B 是什么概念目前開(kāi)源社區(qū)能公開(kāi)下載的最大模型也基本在這個(gè)量級(jí)附近。如果做 INT8 量化每個(gè)參數(shù)占 1 字節(jié)總體積降到 350GB。再做 INT4 量化每個(gè)參數(shù)占 0.5 字節(jié)總體積降到 175GB。依然不夠 8GB。所以純量化的極限壓縮率大約是 8 到 16 倍但 700GB 到 8GB 需要的是接近 90 倍的壓縮。這個(gè)量級(jí)靠精度壓縮根本做不到只能靠蒸餾先把參數(shù)量從千億砍到幾十億甚至十幾億。換句話(huà)說(shuō)蒸餾負(fù)責(zé)把大象變成狗量化負(fù)責(zé)把狗裝進(jìn)籠子。兩個(gè)動(dòng)作缺一不可順序也不能顛倒。1.3 拆解后的正確路線(xiàn)蒸餾負(fù)責(zé)縮量化負(fù)責(zé)摳如果你的終極目標(biāo)是“在 8GB 顯存上跑一個(gè)強(qiáng)到離譜的模型”那我得潑冷水目前沒(méi)有任何一條公開(kāi)路徑能把 700GB 這種體量的模型無(wú)損壓到 8GB。但換個(gè)角度想你真正的訴求并不是“必須跑某個(gè) 700GB 模型”而是“希望在本地硬件上得到接近大模型的效果”那就有操作空間了。我推薦的路線(xiàn)是四步走。第一步選擇一個(gè)開(kāi)源的大模型作為“教師”可以是 70B 級(jí)別甚至是 API 形態(tài)的更大模型。第二步用蒸餾技術(shù)把教師模型的推理能力遷移到一個(gè) 7B 或者 3B 的小模型上。第三步對(duì)蒸餾后的小模型做 INT4/INT8 量化。第四步在 8GB 顯卡上用 llama.cpp 或 Ollama 部署量化后的模型。每一步都有成熟的工具難點(diǎn)不在選型而在理解每步到底在干什么。2. 量化最容易見(jiàn)效的顯存“減重”手段2.1 量化在做一件什么事精度換體積的底層邏輯量化這件事本質(zhì)上是把連續(xù)分布的浮點(diǎn)數(shù)映射到離散的整數(shù)區(qū)間。原始模型權(quán)重大多數(shù)是 FP16 或 BF16 格式數(shù)值范圍寬、精度高但每個(gè)數(shù)字都要占 2 字節(jié)。量化之后權(quán)重變成 INT81字節(jié)或 INT40.5字節(jié)顯存直接砍半甚至砍到四分之一。但問(wèn)題也出在這里。量化不是簡(jiǎn)單地把大數(shù)變小而是要保證“離散化”之后模型的輸出分布盡量接近原始分布。如果直接四舍五入那些數(shù)值很小的權(quán)重會(huì)被直接抹成 0模型推理結(jié)果會(huì)產(chǎn)生大量噪聲嚴(yán)重時(shí)整段輸出都是亂碼。所以業(yè)界提出了很多量化算法本質(zhì)都是在解決同一個(gè)問(wèn)題如何通過(guò)一個(gè)量化縮放系數(shù)和零點(diǎn)偏移讓有限位寬的整數(shù)能最大程度地表示原來(lái)的浮點(diǎn)數(shù)值范圍。你可以把它理解成把一張高清照片壓縮成 JPEG壓縮率越高肉眼可見(jiàn)的畫(huà)質(zhì)損失越明顯但好的壓縮算法會(huì)更聰明地保留人眼敏感的信息。2.2 主流量化類(lèi)型與工具PTQ、GPTQ、AWQ、GGUF/llama.cpp目前實(shí)際部署中最常用的量化方案可以分成兩大類(lèi)。第一類(lèi)是訓(xùn)練后量化PTQ拿已經(jīng)訓(xùn)練好的模型不需要重新訓(xùn)練直接用校準(zhǔn)數(shù)據(jù)算出量化參數(shù)。GPTQ 和 AWQ 都屬于這一類(lèi)它們各自有不同的權(quán)重處理策略。GPTQ 最早是針對(duì) GPU 推理設(shè)計(jì)的基于二階信息做逐層誤差補(bǔ)償量化后模型能用 Transformers 庫(kù)直接加載。AWQ 則是根據(jù)激活值的重要程度來(lái)保護(hù)敏感權(quán)重AWQ 在低 bit 下通常比 GPTQ 保留更多模型能力尤其是對(duì)話(huà)和代碼生成任務(wù)。第二類(lèi)是 GGUF 格式加 llama.cpp 生態(tài)。GGUF 是 llama.cpp 定義的一種模型封裝格式它把模型權(quán)重、分詞器、超參數(shù)打包在一起并內(nèi)置了多種量化等級(jí)。你在 Hugging Face 上看到的 Q4_K_M、Q5_K_S、Q8_0 這些后綴全部來(lái)自 GGUF 的量化命名體系。GGUF 系列的優(yōu)點(diǎn)是兼容 Ollama、llama.cpp、LM Studio 等各種本地推理工具且內(nèi)存管理做得非常細(xì)支持 CPU、GPU 混合推理。選型建議只有一個(gè)如果要在 8GB 顯卡上跑優(yōu)先找 GGUF 格式的模型從 Q4_K_M 或 Q5_K_M 開(kāi)始試。如果你是為了追求最低延遲、不想套 GGUF 這層殼再用 GPTQ/AWQ 的 4bit 版本。2.3 量化后的顯存怎么算一個(gè)公式快速估算關(guān)于顯存估算我給一個(gè)偏保守但很好用的公式權(quán)重顯存 模型參數(shù)量 × 每參數(shù)字節(jié)數(shù) 實(shí)際部署顯存 權(quán)重顯存 × 1.2 KV緩存每參數(shù)字節(jié)數(shù)按量化等級(jí)查FP16 是 2 字節(jié)INT8 是 1 字節(jié)INT4 是 0.5 字節(jié)。GGUF Q4_K_M 大體接近 0.55 到 0.6 字節(jié)因?yàn)樗牧炕瘔K里還混了一些更高精度的分量。舉例一個(gè) 7B 模型70億參數(shù)用 Q4_K_M 量化權(quán)重大約 70億 × 0.55 字節(jié) ≈ 3.85GB。加上 KV 緩存和其他臨時(shí)開(kāi)銷(xiāo)8GB 顯卡在 2048 token 上下文長(zhǎng)度下是能跑起來(lái)的實(shí)測(cè)顯存占用大約在 5GB 到 6.5GB 之間。再舉個(gè)例子13B 模型 Q4_K_M 量化后大約 7.2GB加載后 8GB 卡就非常緊張了幾乎沒(méi)給 KV 緩存留空間稍微加長(zhǎng)一點(diǎn)上下文就會(huì)直接 OOM。所以你也別迷信“7B 一定能跑”模型能不能上要看“量化后體積 目標(biāo)上下文長(zhǎng)度對(duì)應(yīng)的 KV 緩存”是否同時(shí)落進(jìn) 8GB。2.4 實(shí)際跑起來(lái)以后量化模型的質(zhì)量與速度經(jīng)驗(yàn)先說(shuō)我測(cè)試過(guò)的一組數(shù)據(jù)。同一個(gè) 7B 模型FP16 下顯存占用約 14GB生成速度大概 15 token/s這個(gè)速度依賴(lài)具體顯卡量化到 Q8_0 后顯存占用約 7.5GB速度提升到 22 token/s 左右再量化到 Q4_K_M 后顯存占用約 4GB速度能到 30 token/s 以上。速度提升來(lái)自?xún)煞矫嬉皇菣?quán)重體積變小顯存帶寬壓力下降二是更多層能完整放下 GPU不需要反復(fù)搬運(yùn)到 CPU。從質(zhì)量角度看Q8_0 和 FP16 的差異在絕大多數(shù)場(chǎng)景下幾乎感覺(jué)不出來(lái)Q5_K_M 損失也非常小日常對(duì)話(huà)、文本摘要這種任務(wù)完全夠用。但到 Q4_K_S 之后尤其是代碼生成和數(shù)學(xué)推理任務(wù)錯(cuò)誤率會(huì)有可感知的上升。如果你要跑的是知識(shí)問(wèn)答或者創(chuàng)意寫(xiě)作Q4 完全能忍但如果是寫(xiě)代碼或者做結(jié)構(gòu)化輸出我建議至少用 Q5_K_M。這個(gè)現(xiàn)象背后的原因不難理解代碼和數(shù)學(xué)對(duì)數(shù)值精度更敏感權(quán)重量化會(huì)破壞某些關(guān)鍵 token 的預(yù)測(cè)概率分布有時(shí)候一個(gè)小數(shù)點(diǎn)級(jí)別的誤差就把整段推理帶偏了。3. 蒸餾把大模型的“內(nèi)功”傳給小模型3.1 為什么直接量化和蒸餾不能互相替代量化是把參數(shù)精度降下來(lái)模型的參數(shù)量和網(wǎng)絡(luò)結(jié)構(gòu)完全不變蒸餾則是重新訓(xùn)練一個(gè)參數(shù)量更小的模型讓它的輸出模仿大模型。從效果上看量化不改變模型的知識(shí)容量只改變參數(shù)存儲(chǔ)和計(jì)算方式所以當(dāng)壓縮率過(guò)高時(shí)知識(shí)會(huì)因?yàn)楸磉_(dá)能力不夠而丟失。蒸餾則不然它是讓小模型把大模型“已經(jīng)學(xué)會(huì)的知識(shí)”重新學(xué)一遍雖然知識(shí)容量天生有限但在特定任務(wù)上可以做到很高的逼近程度。這就引出一個(gè)策略組合當(dāng)你手中的大模型大到量化也無(wú)法塞進(jìn)目標(biāo)顯存時(shí)不要死磕量化先把模型變小當(dāng)你完成蒸餾之后再用量化進(jìn)行最后一輪壓縮。很多開(kāi)源社區(qū)的小模型就是這么產(chǎn)出的一個(gè) 7B 模型蒸餾自 70B 模型再量化成 Q4部署在筆記本上。3.2 知識(shí)蒸餾的基本流程教師模型、學(xué)生模型、KL散度知識(shí)蒸餾這個(gè)概念最早由 Hinton 在 2015 年提出核心思想用一個(gè)比喻就能講明白教師模型像是一個(gè)經(jīng)驗(yàn)豐富的廚師學(xué)生模型像是一個(gè)剛?cè)胄械膶W(xué)徒。學(xué)徒光看菜譜原始訓(xùn)練數(shù)據(jù)學(xué)得慢但如果能有師傅在旁邊指導(dǎo)火候和調(diào)味進(jìn)步會(huì)快得多。具體到技術(shù)上蒸餾過(guò)程不是讓學(xué)生模型直接學(xué)大模型的正確答案hard label而是讓學(xué)生模型去擬合大模型輸出的概率分布soft label。教師對(duì)每個(gè) token 的輸出分布里不僅包含正確答案還包含錯(cuò)誤選項(xiàng)之間的相對(duì)概率關(guān)系這些“軟信息”才是學(xué)生真正要模仿的精華。蒸餾損失函數(shù)一般由兩部分組成學(xué)生模型與真實(shí)標(biāo)簽的交叉熵加上學(xué)生模型與教師模型輸出分布之間的 KL 散度。KL 散度衡量?jī)蓚€(gè)概率分布的差異數(shù)值越低說(shuō)明學(xué)生的預(yù)測(cè)越接近教師。你可以把 KL 散度理解成師生之間的距離度量蒸餾訓(xùn)練的過(guò)程就是不斷縮小這個(gè)距離。實(shí)戰(zhàn)中蒸餾一個(gè) 7B 模型的成本并不低哪怕是在單張 24GB 顯卡上也需要數(shù)天時(shí)間。所以如果你是個(gè)人玩家我更推薦直接使用社區(qū)已經(jīng)蒸餾好的小模型而不是自己從零蒸餾。3.3 實(shí)用蒸餾姿勢(shì)收集高質(zhì)數(shù)據(jù)、利用 API 蒸餾如果你確實(shí)需要定制蒸餾又受限于硬件最實(shí)用的姿勢(shì)是用 API 作為教師來(lái)進(jìn)行數(shù)據(jù)蒸餾也叫“模型自舉”。具體分三步第一步準(zhǔn)備一個(gè)高質(zhì)量種子數(shù)據(jù)集可以是你業(yè)務(wù)場(chǎng)景里的真實(shí)問(wèn)題也可以從公開(kāi)數(shù)據(jù)集中抽取。第二步把這些問(wèn)題發(fā)送給大模型 API讓教師模型輸出詳細(xì)回答。為了讓回答質(zhì)量更高我會(huì)在提示詞里要求模型給出推理步驟、結(jié)論和可能的邊界條件。第三步用這些“問(wèn)題-回答”對(duì)來(lái)微調(diào)一個(gè)開(kāi)源小模型這個(gè)過(guò)程叫 SFT監(jiān)督微調(diào)本質(zhì)上是讓學(xué)生模型記住教師模型的表達(dá)風(fēng)格和推理路徑。為了提升蒸餾效果你可以借鑒更強(qiáng)的思路讓教師模型同時(shí)輸出多個(gè)候選回答再?gòu)闹刑暨x最優(yōu)答案作為訓(xùn)練目標(biāo)這比單次輸出的噪聲更小。另外一個(gè)細(xì)節(jié)是不要把原始 prompt 直接丟給教師模型而是要經(jīng)過(guò)精心設(shè)計(jì)比如加一句“請(qǐng)?jiān)敿?xì)解釋你的推理步驟”這樣得到的回答包含更多中間邏輯學(xué)生模型能學(xué)到的東西更多。3.4 蒸餾之后的小模型為什么更容易量化蒸餾對(duì)小模型還有一個(gè)隱形好處它的輸出分布通常比從零訓(xùn)練的小模型更平滑、更集中。這個(gè)特性對(duì)量化極其友好因?yàn)榱炕`差主要發(fā)生在那些數(shù)值尺度差異過(guò)大的權(quán)重上而經(jīng)過(guò)蒸餾輸出的模型很多層都已經(jīng)學(xué)會(huì)了用更簡(jiǎn)潔的表示來(lái)解決同一類(lèi)問(wèn)題權(quán)重分布更均勻量化時(shí)信息損失就會(huì)更小。我在實(shí)際測(cè)試中發(fā)現(xiàn)同一個(gè) 7B 架構(gòu)如果訓(xùn)練數(shù)據(jù)來(lái)自從零訓(xùn)練INT4 量化后準(zhǔn)確率可能下降 3% 到 5%但如果是蒸餾自 70B 教師模型的 7BINT4 量化后準(zhǔn)確率下降通常能控制在 1% 到 2%。這說(shuō)明蒸餾和量化之間確實(shí)存在正向協(xié)同效應(yīng)蒸餾后的模型不僅僅是“更小”它在量化后也能保留更多有效知識(shí)。4. 實(shí)操路線(xiàn)8G 顯存機(jī)的完整選擇與部署4.1 先做一道減法題不同規(guī)模模型對(duì)應(yīng)的量化后體積設(shè)備是 8GB所以推理時(shí)大概率還要留出一些顯存給圖形界面和其他程序。根據(jù)我長(zhǎng)期壓測(cè)的經(jīng)驗(yàn)?zāi)P图虞d后的總占用最好控制在 6GB 以?xún)?nèi)留 2GB 給系統(tǒng)緩存和臨時(shí)峰值否則在對(duì)話(huà)過(guò)程中極易觸發(fā) OOM。給你一張可以直接對(duì)照的表按不同參數(shù)的模型和量化等級(jí)估算一下“加載后模型權(quán)重體積”模型參數(shù)量FP16體積Q8_0體積Q5_K_M體積Q4_K_M體積1.5B3.0GB1.5GB0.95GB0.85GB3B6.0GB3.0GB1.9GB1.7GB7B14GB7.0GB4.3GB3.9GB8B16GB8.0GB5.0GB4.5GB13B26GB13GB8.2GB7.2GB從這張表能直接得出結(jié)論想在 8GB 顯存上留足上下文空間首選 7B 量級(jí)模型配 Q4_K_M 或者 Q5_K_M或者 3B 模型配 Q8_0。13B 模型即使量化到 Q4_K_M加載后權(quán)重已經(jīng) 7.2GB幾乎把顯存占滿(mǎn)了KV 緩存稍微變長(zhǎng)就會(huì)溢到 CPU速度斷崖式下跌。4.2 部署工具鏈選擇與安裝Ollama / llama.cpp GGUF本地部署這塊我的常用組合是 GGUF 格式加 llama.cpp或者直接用 Ollama。Ollama 本質(zhì)上是對(duì) llama.cpp 的封裝安裝簡(jiǎn)單命令友好。下載模型后一條命令就能啟動(dòng)交互式對(duì)話(huà)。它的優(yōu)點(diǎn)是省心適合用來(lái)快速驗(yàn)證一個(gè)量化模型能不能跑缺點(diǎn)是它的底層參數(shù)暴露得不夠多如果你想精細(xì)控制 KV cache 和 GPU 層數(shù)還是要回到 llama.cpp。llama.cpp 的使用思路是先從 Hugging Face 下載 GGUF 文件然后用 llama-cli 加載。如果你改了量化等級(jí)也可以用 llama.cpp 自帶的 convert 腳本重新量化。不過(guò)個(gè)人建議直接在 HF 上找別人量化好的 GGUF社區(qū)量化版本的質(zhì)量通常經(jīng)過(guò)大范圍測(cè)試比自己量化更穩(wěn)。4.3 加載模型時(shí)的關(guān)鍵參數(shù)ctx長(zhǎng)度、KV cache與層數(shù)分配8GB 顯存環(huán)境下要盯住的參數(shù)有三個(gè)上下文長(zhǎng)度、GPU 層數(shù)和 Flash Attention。上下文長(zhǎng)度決定 KV 緩存的大小。KV cache 的粗略公式是2 × 層數(shù) × 注意力頭維度 × 上下文長(zhǎng)度 × 每字節(jié)數(shù)。以 7B Q4 模型為例假設(shè) 32 層、KV cache 用 FP16上下文 2048 tokenKV cache 大約占 0.5GB 到 1GB。如果拉到 8192這部分會(huì)漲到 2GB 以上稍不留神就把顯存吃光了。所以我的經(jīng)驗(yàn)是8GB 顯卡跑 7B 模型上下文長(zhǎng)度先設(shè) 2048能跑通以后再加長(zhǎng)。不要一上來(lái)就追求 32K 上下文大概率換來(lái)的是 OOM 或者無(wú)限等待。GPU 層數(shù)決定模型計(jì)算有多少放在顯卡上。llama.cpp 支持-ngl參數(shù)指定 GPU 加載的層數(shù)。對(duì) 8GB 卡可以先從 ngl32 試起把一部分層加載到顯存如果 OOM就降 ngl 到 24 或 16剩余層由 CPU 計(jì)算?;旌贤评淼乃俣炔豢斓偙韧耆懿黄饋?lái)強(qiáng)。提示Ollama 環(huán)境里可以直接在模型文件里設(shè)置參數(shù)比如num_ctx控制上下文長(zhǎng)度num_gpu控制 GPU 層數(shù)。用/set parameter命令可以臨時(shí)設(shè)置重啟后失效。4.4 我的實(shí)戰(zhàn)配置參考不同任務(wù)怎么選量化等級(jí)我自己跑過(guò)的組合里有三個(gè)配置比較滿(mǎn)意。日常聊天和內(nèi)容創(chuàng)作我用的是 7B 模型的 Q5_K_M 版本上下文 4096GPU 層數(shù)全開(kāi)首 token 延遲大約 0.8 秒流暢度可以接受。代碼生成和結(jié)構(gòu)化輸出我換成了 Q8_0 版本的 3B 模型顯存占用更少精度更高生成的代碼格式更穩(wěn)定不會(huì)經(jīng)常出現(xiàn)縮進(jìn)錯(cuò)亂或函數(shù)名拼寫(xiě)錯(cuò)的情況。如果只是偶爾跑一些簡(jiǎn)單任務(wù)比如文本摘要、郵件潤(rùn)色我會(huì)直接用 1.5B 蒸餾模型的 Q4_K_M加載速度快顯存占用不到 1GB可以跟其他程序共存。雖然能力有限但勝在輕巧。5. 常見(jiàn)問(wèn)題與避坑記錄5.1 為什么量化后輸出全是噪聲或胡言亂語(yǔ)量化模型輸出亂碼90% 的情況是權(quán)重沒(méi)有正確加載比如模型文件不完整或者 GGUF 格式與 llama.cpp 版本不匹配。另外如果你用的是自己轉(zhuǎn)換的 GGUF 文件轉(zhuǎn)換前一定確認(rèn)原始模型格式是 Hugging Face transformers 結(jié)構(gòu)并確保分片文件下載完整。從頭開(kāi)始檢查時(shí)先去跑一個(gè)官方示例模型比如 LLaMA 或 Qwen 的官方 GGUF確認(rèn)工具鏈沒(méi)問(wèn)題再排查自己下載的文件有沒(méi)有對(duì)齊分片。我在早期犯過(guò)這種錯(cuò)下載 70B 模型時(shí)少下了一個(gè)分片文件加載卻順利通過(guò)直到推理輸出中文變成亂碼才發(fā)現(xiàn)。5.2 8G顯存加載小模型還是OOM優(yōu)先檢查上下文長(zhǎng)度如果你加載 3B 模型 Q4 還 OOM那大概率不是權(quán)重放不下而是上下文長(zhǎng)度設(shè)置太大了。很多 Ollama 用戶(hù)的默認(rèn)上下文是 4096 甚至 8192KV cache 和中間激活值很容易把顯存塞滿(mǎn)。解決辦法很簡(jiǎn)單先把上下文調(diào)到 1024確認(rèn)能跑通再逐步往上加。同時(shí)可以開(kāi) Flash Attention它能減少 KV cache 的顯存占用4 到 8GB 顯存環(huán)境下收益特別明顯。5.3 量化程度越高越省顯存不一定還得看速度與質(zhì)量Q4 一定比 Q8 省顯存這是對(duì)的但并不代表 Q4 一定更好用。量化等級(jí)越低占用的顯存越少但推理速度不一定線(xiàn)性提升因?yàn)楝F(xiàn)代顯卡更依賴(lài)帶寬但也會(huì)受解碼開(kāi)銷(xiāo)影響低 bit 量化需要額外的反量化計(jì)算。實(shí)測(cè)中 Q4_K_M 和 Q5_K_M 的速度差異不大但 Q4 的質(zhì)量損失卻更明顯。所以在不追求極限顯存的情況下我會(huì)優(yōu)先選擇 Q5_K_M。它比 Q4_K_M 只重幾百 MB但回答質(zhì)量和穩(wěn)定性高了不止一個(gè)檔次這是性?xún)r(jià)比極高的一次取舍。5.4 蒸餾需要多少數(shù)據(jù)才夠這個(gè)問(wèn)題沒(méi)有標(biāo)準(zhǔn)答案取決于任務(wù)復(fù)雜度。我給一個(gè)參考區(qū)間如果你的任務(wù)是讓一個(gè)小模型模仿大模型的對(duì)話(huà)風(fēng)格5000 到 20000 條高質(zhì)量對(duì)話(huà)數(shù)據(jù)就夠了如果是做復(fù)雜推理或代碼生成可能需要 5 萬(wàn)條以上并且數(shù)據(jù)質(zhì)量比數(shù)量更重要。另外蒸餾過(guò)程不要盲目追求多個(gè) epoch。小模型參數(shù)量有限過(guò)度訓(xùn)練容易過(guò)擬合到訓(xùn)練數(shù)據(jù)反而會(huì)在未見(jiàn)過(guò)的任務(wù)上表現(xiàn)更差。我在跑蒸餾實(shí)驗(yàn)時(shí)一般先訓(xùn) 1 到 2 個(gè) epoch用驗(yàn)證集觀(guān)察 loss 曲線(xiàn)一旦驗(yàn)證 loss 不再下降就及時(shí)停止。6. 寫(xiě)在最后幾個(gè)實(shí)用心得這些年在低顯存設(shè)備上折騰大模型最深的感受是顯存不夠不等于玩不了大模型但它會(huì)倒逼你更清楚地理解大模型的存儲(chǔ)結(jié)構(gòu)和推理機(jī)制。量化讓你懂模型權(quán)重在說(shuō)什么蒸餾讓你懂模型能力是怎么傳遞的這兩樣搞明白之后再回頭看不帶量化的原版模型你對(duì)性能瓶頸的理解會(huì)完全不一樣。最后分享一個(gè)我自己踩過(guò)多次的坑下載 GGUF 模型時(shí)一定要仔細(xì)核對(duì)文件名中的量化等級(jí)不要混淆了 Q4_K_M 和 Q4_K_S。這兩個(gè)體積對(duì)比差距不大但 Q4_K_S 的質(zhì)量損失明顯更高。如果你不確定該選哪個(gè)記一個(gè)簡(jiǎn)單規(guī)律手頭顯存夠就上 Q8_0顯存緊張就選 Q5_K_M只有極度緊張才用 Q4_K_MQ4_K_S 能不用就不用。對(duì)了如果你跑 Ollama 時(shí)遇到模型推理速度很慢先看一眼是不是模型被完全放到了 CPU 上。Ollama 默認(rèn)會(huì)根據(jù)系統(tǒng)顯存自動(dòng)分配加載層數(shù)但在某些環(huán)境下它可能過(guò)度保守。手動(dòng)加一行num_gpu 999讓模型盡量全量加載到顯卡速度會(huì)有質(zhì)的飛躍。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色综合天天| 久久伊人网视频一区二区三区| 亚洲情色图片区| 一区二区亚州激情久婷婷欧美| 亚洲资源站| 67194无码不卡| 91影视亚洲| 色婷婷国产精品一区在线观看| 国产人伦a片信息免费片| 久久久 国产精品| 婷婷美人网| 久久精品无码专区| 99精品免费| 一二三卡欧美日韩人妻免费精品| 成·人免费午夜在线观看| 欧美激色| 久久精品国产亚洲妲己影视| 99视频内射三四| 欧美 亚洲 另类 综合| 另类欧美综合| 欧美亚洲日本激情在线| 久久9免费视频| 免费AV中文网在线观看| 日日夜夜国产综合| 久久久久久久久久va| 欧美日韩国第一区| 成人av在线播放| 密桃99999| 亚洲天堂资源| www.狠狠干.coom| 欧美成人精品一区二区男人蜜臀| 日本视频在线观看污污污| 色噜噜人妻丝袜AV资源| 美女9118禁| 亚洲.欧美.丝袜.中文.综合| 日本三级精品| 夜夜夜久久| 精品成人无码| 97av,com| 日日日日日| 91色色网站| 蜜桃视频一区二区三区在线观看| 天天干18禁| 91 国产丝袜在线放观看| 午夜性刺激视频免费观看| 欧美亚洲激情小说| 国产一区二区a毛片| 碰人碰碰人人开房人肉| 男人兔费天堂| 怡红院一区二区熟女人妻| 啊啊啊不要嗯嗯在线观看| 少妇3P性爱自拍| 亚洲精品 欧美精品| 乱伦Av网| 天天天干977| 97人妻色| 亚洲精品人妻在线| 日日爱99| 亚洲乱熟女一区二区| 9久综合网| 成人日本视频人妻在线| 岛国视频一二三区| 亚洲精品国产熟女| 日韩在线一区二区| 欧美色图小说综合| 懂色av中文字幕一区二区三区天美| www.久久久久| 国人欧美精品一区二区| 一区二区三区免费视频入口 | 天天躁日日躁狠狠狠躁| 超碰免费欧美7| 天天综合影院91| 91oumei| 多乙久久久久久| 一本色道熟妇| 友优传媒精品在线一区二区| 94色色电影网| 国产三级片在线观看| 嗯嗯啊啊啊好爽| 一本大道青青| 青草成人免费视频一COm| 夜夜操91744565| 日韩成人色图| 夜夜操夜夜爽夜夜高潮| 厕所偷拍在线| 日韩在线人妻网站| 欧美在线伊人色| 亚洲男人天堂网久久| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 俄罗斯及免费在线看| 9Ⅰ超碰| 男人的天堂视频精品乱在线| 亚洲av成人精品一区| 日韩中文字幕二区| 超碰在线日韩一区| 天天欧美欧美亚洲网| 伊人五月天激情| 久久亚洲精品成人av| 凸凹视频在线观看| 狠狠躁AV| 成人片视频| 蜜臀99久久精品久久久久久| 亚洲丨在线| 热99这里有精品综合久久 | 超碰99在线| 亚洲欧洲精品视频发布| 另类老少妇| 狠久久| 日本精品九九九| 亚洲天天天| 理论久久婷婷网8| 免费精品国偷自产在线在线| 亚洲制服欧美另类内射| 人妻碰碰碰碰碰碰| 国产少妇内射| 精品久久无码午夜福利| 性爱av在线免费观看| 精品99999久久久久久| 97精品国产手机| 亚洲综合情色| 中文字幕在线观| 日韩在线性爱免费视频| 超碰97起碰| 锕锕好爽 死我在线观看| 97人人夜| 欧美成人免费在线观看| 思思热在线观看| 亚洲综合113页| 人妻天堂综合网| 亚洲天堂另类小说男人| 国产伦精品| 精品亚洲国产成人精品| 亚洲熟女国产综合另类| 亚洲图片91| 欧美日韩性爱无码| 欧美夜夜| 东京热,男人的天堂| 青娱乐手机日韩在线视频| 人妻熟女一区在| 天堂蜜桃无码视频一区二区| 综合大香蕉美。| 亚洲巨爆乳一区二区三区四季网| 激情综合五| 久啪| 操淫穴亚洲五月丁香| 国模91| 亚洲欧美国产其他二区| 青青久久久| 亚欧高清在线| 91丝袜美女视频| 日本一区二区三区欧美日韩中文字幕| 欧美综合骚| 女人久久久| 久久、1234| 免费人成?大片在线播放| AV中文字幕三四五| 美女黄网| 97操在线| 亚洲AV无码天美传媒一区| 女同性恋中文字幕| 色综合中文字幕不卡| 自怕偷自怕亚洲精品| 一本一道久久综合久久| 亚洲国产综合久久久性感熟妇| 成全在线观看免费观看| 起碰97| 天天操天天看| 黑丝91视频| 久草视频在线视频在线视频在线观看| 天天日天天看| 破处bbq| 中文有码第五页| 伊人久久88国产女| 俺去俺来也在线www| 最新无码国产| 亚洲熟女综合网| 91超碰在线观看| 日韩精品人妻中文字幕久久久| 狠狠色色| 中文字幕亚洲在线一区| 日韩精品免费高清视频在线| 久操91视频| 天天欲望网| 久热99999| 亚洲欧洲色情高清| 日本东京热大香蕉a片| 色综合91| 久久9亚洲| 久久99操天天日| 日本网色| 精品妇女一区二区三区| 欧美淫穴| 欧美美女在线高潮999| 91精品国产综合久久久蜜臀| 亚洲天堂区| 日韩草久视频| 日韩久久超碰色| 99r九九| 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 久艹伊人精品综合在线| 蜜奶av| 91色五月俺来也| 性色avv| 日本不卡码黄色 | 久久一二三四| 欧美AAAA黄片| 91香蕉视频在线观看免费| 国产精品经典一卡久久久| 天天插天天插| 无码人妻丰满熟妇奶水区毛片| 色噜噜人妻av 中文字幕| 久久国产99精品72福利| 操一区| 亚洲少妇免费视频\| 国产超碰97| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 伊人视频| 久伊人网78| 亚洲视频小说| 91综合天天看| 97久久超碰| 麻豆天美电影一区二区| 新亚洲无码| 大香蕉在线视频重口味毛片在线| 无码精品久久久久久亚洲| 久操高青| 国产亚洲精品久久久久小| 97超碰精品成| 亚洲国产麻豆一区二区三区| 伊人991| 亚洲五码一区二区三区| 可以免费观看的AV| 精品国产乱码久久久影院| 1区2区3区在线视频| 在线国产探花| 91日产欧美| 日本在线视频导航| 国产黄色剧情影片麻豆免费播放| 男人的天堂2018| 欧美第五页| 不卡九肏| 热热色中文无码| 中日韩熟女| 禁十八久久| 9999久久久| 色成人Www精品永久观看| 97超碰国产精品| 2020中文字幕在线| 亚洲日韩美国人妻| 97久久超碰国产网站| 亚州男人天堂| 日韩啪啪啪啪啪| 2017,超碰| 天天操人人操狠狠插| 97神马久久| 久久二| 伊人久久婷婷| 日韩无码服务区| AV无码久久久精品| 日韩丨制服丨中文|在线| 可以在线观看的黄色网址| 搡老女人老妇女老妇老熟女怎么读| 97久久超碰日韩精品| 激情综合婷婷| 欧美日韩欧美| 插入综合网| 少妇一区二区三区| 久久97资源 网| 夜夜操美女| 欧美色图片91| 天天躁日日躁成人字幕aⅴ| 日日日日日| 狠狠爱大香蕉| 91色图片| 亚洲码专区| 97在线观看视频| 玖玖综合.com| 国产黄色在线播放观看| 国产精品在线一区二区| 最好看的中文字幕在线2018| 大干人妻| 欧美亚洲丝袜人妻制服99| 欧美色图片| 草伊人高潮喷水超碰| 在线免费观看日韩一区| 国产超碰欧美| 精品国产91久久久久久一区黄无| 啪啪视频免费在线观看| AV男人天堂网| 欧美精品四区| 立川理惠被中出无码| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 亚洲天堂7777| 超碰成人人人爽人人爽| 欧美,亚洲,日韩,v,天堂,手机在线观看| 亚洲一区二区三区AV无码| 射丝袜大香蕉| www.91人妻.com| 夜夜嗨视频| 无码一区免费在线不卡| 日韩欧美大片免费高清啪啪| 国产又黄又爽又刺激久久久久久 | 亚洲少妇色图自慰直播| 色悠久久久av| 欧美天天干| 99久久久无码国产精品性啊聊| 免费家庭乱伦视频| 超碰国产精品无码| 少妇一区二区三区精选| 国模吧 一区二区三区| 91一区二区| 性性欧美| 免费视频一二三区| 在线国产福利网址导航| 大香蕉综合在线| 亚洲综合图文| 99热婷婷一区二区三| 国产福利电影| 日韩不卡在线一区二区| 日韩不卡毛片Av免费高清| 天天欧美欧美亚洲网| 亚精品无码毛片一区二区三区| 亚洲中文字幕av| 国产黄色小视频网站| 大香蕉伊人久久| 97中文字幕一区| 日本欧美成人片AAAA| AAAAAAAAA黄片| 91精品91久久久久77777| 亚洲极品| 青青草色插素人| 可以看的av| 色哟哟511老熟女| 色网色网色网色网色网色| 色综合99999| 青青草自拍视频在线播放| 亚洲aV性爱| 色操逼网| 激情小说日韩无码| 亚洲激情视频| 无码WWW免费视频网站| 九九色精品| 青青草在线视频欧美| 午夜传煤十二区精品| 91精品无码久久久久久久| 超碰成人最新最好看| 亚洲伊人久久精品狠狠在线| 天天搞欧美| 日韩国产精品人妻无码久久久| 欧美日本中字另类在线| 色妹子A V| 成人情色综合网| 波多野结衣AV无码一区| 99这里有精品视频| 久久久九九九九| 中文字幕乱妇免费视频| 亚洲欧美自拍偷拍| 日韩AV中文字幕电影| 丝袜美腿91| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 国产最新小视频在线播放下载| 人妻一区久久二区三区色播| 欧美综合娱乐久久| 亚洲青色欧美| 超碰免费人妻在线| 97人人射| 東南亚性呦成人伦理资源在线视频| 中文字幕丝袜国产第一页不卡| 欧美日韩国第一区| 九久久精品| 久久中文字幕一区不卡| 探花精品 一区二区| 美女淫穴| 人妻丝袜二区| 久久人人爽人人爽人人片Ⅴ| 97色涩| 久久久久久人体| 黄片色区软件| 久久人妻一区二区三区高清| 少妇3P性爱自拍| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 成 人片 黄色大片| 日本日逼高清| 久久久久久十| 国产树林里野战在线看| 91 丝袜在线播放| 青青草无码视频| 97资源制服丝袜| 在免费jIzzjIzz在线视频| 999九九精品| av日韩手机在线影视| 欧美激情激情xxxx欧美专区| 欧美性战999| 欧美丝袜美女电影一二三四区| 男女性感激情网站| 被窝影院午夜看片无码| 久久久久久久久久va| 日韩操p| 亚洲第一狼人丝袜美女另类| 欧美成人四级在线播放| 强奸乱伦大香蕉| 黄色视频高清无码网站| 日韩在线观看字幕精品| 婷婷五月天色网| 婷婷色综合| 久久成人国产精品| 91夜夜蜜桃臀1区2区3区| 中文字幕一区二区三区50路| 97se综合网| 蜜奶av| 日韩精品一二三| 日本高清免费一本视频在线观看| 96国产精品| 青青草男人天堂| 婷婷亚洲天堂| 少妇内射www在线观看视频| 伊人少妇久久久| 91少妇人妻| 国产自产一区视频在线| 夜夜肏2021| 在线一区| 91国产操逼视频| 丰满人妻无码一区二区三区| 91人妻人人澡人人爽人人精品| 国产偷人伦激情在线观看| 熟女人妇一区二区三区| 性爱动态120秒| 久久婷综合| 99精品久久| PMv在线观看| 99re欧美| 另类欧美色| 婷婷久久久精品| 国产操逼网站亚洲一级黄色| 国产亚洲国产超碰| a人欧美综合天堂麻豆| 大粗鳼巴久久久久| 91 国产丝袜在线播放-百度| AV一起草在线| 欧美熟妇视频| 91色婷婷综合久久中文字幕二区| 亚洲精品一区二区三区在线播放 | 亚欧高清在线| 亚洲人精品久久久| 成人网站 免费观看| 久热精品色情| 沈阳熟女高潮对白视频| 国产少妇肉丝在线观看| 精品欧美日韩在线观看| 1人人看人人摸人人操| 五月婷视频| 亚洲成人AB| 97免费视频在线| 中文字幕一区二区视频在线观看 | 97爱啪| 亚洲综合另类小说色区亚洲成av人片在www | 久久久久国产| 亚洲精品官网在线观看| 蜜桃久久久久久久久久久久| 人妻干天天| 日本伦理一区二区| 亚洲无码电影久久久| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 男人天堂网手机版婷婷| 91操人| 五月天欧美色图| 欧美日韩国产高清在线一二三区| 少妇特黄一区二区三区| 91狼人| 88在线一区二区三区| 日韩性爱网址| 精人妻一区二区三区| 男女激情黄色网址| 国产欧美一区二区| 亚洲深夜福利| 日韩人妻中文视频| 97国产|免费| 97在线免费视频| 97色爱| 久久av无码| 综合久欧洲| 国产亚洲精品久久久久小| 美女主播色欲91抠b在线播放| 亚洲色人| 精品免费国产二区三区| 无码av永久免费专区网站| 亚洲久久东京热一二三四五区视频| 日韩激情啪啪| 欧美日韩色| 欧美内射少妇| 高跟丝袜AV专区国产| 9久9久| 天天添天天干电影| 欧美成人A√在线一区二区| 少妇内射www在线观看视频| 国产精品无码论坛| 欧美懂色综合网| 欧美少妇内射| 黄aaaaaaaaaaaaaaaaaa色网站| 久久加勒比| 亚洲激情 欧美色图| 日韩久久.一级黄色片| 日日AAvv| 亚洲A色| www色日本| 久久久精品| 人人爽人人精品乱人伦AV| 5278欧美一区二区三区| 国产精品久久久 | 强奸乱伦av电影| 亚洲欧美91| 麻豆黄四叶草网站| 一级黄色影片| 免费又黄又裸乳的视频| 91熟女网| 97精品在线| 嗯嗯啊中文字幕| 五月婷婷六月丁香网址| 天天夜夜rb| 亚洲视频,小说| 色人久久| 玖玖玖玖精品国产剧情| 日韩熟女三十乱伦| 色69大色97香蕉| 91丝袜美腿网站| 日本日皮视频逼| 新亚洲无码| 久久99草| 九九成人精品| 桃色五月天| 成人亚欧免费视频| 日本操逼视频在线| 九热中文字幕| 四虎影视国产精品| 国产亚洲日本| 超碰 另类 欧美| 日本九九九九| 亚洲另类电影| 欧美性爱三区二区| 亚洲AV秘无码一区..| 美女性91| 天美av在线| 东北操逼| 日韩精品9区| 亚洲天堂另类小说男人| 欧美日韩丝袜 | 欧美一区二区男人天堂| 97资源站国产精品| 九九人妻| 97频视在线| 天天爽夜夜欢视| 一二三啪啪专区| 婷婷丁香五月综合| 免费看日产一区二区三区| 青娱乐91| 91色宗合| 视频不卡中文字幕| 日少妇视频| 欧美 亚洲精品首页| 破处bbq| 欧美丝袜美女电影一二三四区| 另类av天堂| 亚洲熟妇丝袜在线观看| 国产欧美第五页| 99精彩视频| 伊人久久88国产女| 人妻AV 中文字幕的| 97人人模人人爽人人| 欧亚性爱啪啪| 乱伦图一区| 欧美强奸乱能| 风流老熟女一区二区三区l| 久久久久久中文字幕中文字幕最新| 伊人激情| 香一区二区三区| 在线人妻熟女一区二区三区四区五区| 97色涩| 亚洲性综合11| 啊啊啊啊啊好舒服视频| 91欧美美女日韩国产婷婷| 人妻久久久久久久久久久久久久久 | 亚洲精品亚洲人成在线麻豆| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 91天天| 在线a亚洲视频播放在线| 亚洲无 码A片在线观看麻豆| 99久久久无码国产精品性啊聊| 97免费在线视频| 欧亚无码视频| 国产91啪| 国产一级137片内射麻豆| 国产欧美日韩一区二区三区| 男人a天堂手机在线版| 黑人精品成人一区二区三区 | 91蜜臀在线久久久久| 日本亚洲vr欧美不卡高清专区| 国产视频一区二区在线| 97色视频在线| 欧亚成人在线视频| 亚洲精品97久久中文字幕| 精品人妻久久久| 97日韩欧美| 国产传媒午夜理伦精品| 在线国产一区二区av| 极品色www影院| 亚洲欧美中文日韩视频中国语| 中文字幕五区| 欧美 亚洲 大香| 后入式视频国产自| 精品国产乱子伦一区二区三区,精品一| 丰满人妻一区二区三区免费| 日本乱人伦片中文三区| 成人三一级一片aaa| 噜噜吧,噜噜色,噜噜| 日韩丝袜人妻AV| 在线观看午夜婷婷久久久久清性观看| 精品无av| 高清在线不卡一区二区 视频| 成人性爱美曰韩| 婷婷五月综合在线| 欧美日韩国产电影| 久久久免费高清中文视频| 欧美性xxxxx狂欢| 精品一区二区成人| 口爆综合网| 亚熟hd视频在线| 熟妇人妻精品一区二区| 国产强奸乱伦xd| 九九AV| 91综合国产精品| 怡红院成人视频| 免费观看国产小粉嫩喷水精品午| 欧美日韩岛国大片在线观看| 96AV久久久| 91色欧美| 日本无码1| 天天狠| 综合色久欲| 国产一区二区三区高清视频| 国产情侣自拍在线播放| 性色中出| 天天射日日干| 日韩午夜啪啪视频| 高清肉丝中文无码| 中文久久| 97操碰| 亚洲色棕合| 久久男人精品| 夜夜高潮夜夜爽| 91热| 亚洲一区二区性爱电影| 精品96久久| 免费操逼91| 啪啪啪综合网| #NAME?| 国产AV久久野战精品| 图色综合网| 夜色综合| 日本日皮视频逼| 欧美日韩大陆黑人少妇99| 麻豆视频一区二区| 中文字幕精品资源在线| 男人下部插入女人下部 | 少妇精品久久久| 欧美人与动性人交a| 欧美精品第3页| 欧洲精品欧洲精品| 日韩精品国产一区二区| 抽查国产福利主播| 精品人妻免费观看| 大香蕉男女超碰精品在线| 久久熟女精品不卡一区| 日本一区二区不卡精品| 中字一区| 精品亚洲黄色片 国产精品导航一区二区 | 18禁无码永久免费无限制| 久久久草成人网站久久久草成人久久久草久久久 | 麻豆天美国美国产| 麻豆成人影音在线| 91大学精品激情戏| 97美日韩视频| 色噜噜狠狠色综无码久久合欧美| 91天堂| 五月丁香久久| 久久啊啊| 五月天色五月| 欧美色女人| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 久久精品一区一起草| 国产精品高潮呻吟av久久4虎| 暖暖精品二区三区观看| 欧美一级A一级a爱片久久| 国产呦精品一区二区三区下载| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 中文字幕一区二区三区人妻少妇在线| 久久人妻| 日本九九久久99播| 国产精品白丝在线播放| av一区二区三区四区五区久草臀| 天天日天天搞天天干| 色娱乐色呦呦夜夜夜夜av| 中文字幕精品免费一区二区| 91美女视频在线观看| 青青伊人久久| 欧美亚洲另类在线蜜桃| 欧美色图亚州激情| 久久五月综合| 人妻一区二区三区视频 | 欧美亚洲另类在线蜜桃| 精品人妻一区二区三区鲁大师| 人妻天天爽夜夜爽精品2| 青娱乐亚洲自拍| 亚洲国产97| 尤物视频偷拍免费| 欧美少妇一区二区三区| 亚洲 欧美日韩 另类| 国产操逼网站亚洲一级黄色| 综合大香蕉美。| 91亚洲精品青草| 欧美精品1区2区3区| 免费看黄片现成| 96麻豆精品一区二区三区| 婷婷美人网| 亚州精人品大香蕉| 国产成人亚洲精品无码古代早漏男 | 国产97在线播放| 欧色综合| 色欧美天天| 亚洲一区二区精品福利| av网站在线观看了| 激情五月天中文字幕色| 国产激情在线| 欧美日本视频一区| 久久精品中文| 麻豆影音天美视频| 亚洲精品视频二区| 国产AV高清AV无码| 顶级丝袜熟女一区二区三区| 国产成人 综合亚洲 天堂| 久久久久久久97| 女人香蕉久久毛毛片精品| 久久视频,这里只有精品 | 天堂精品在线| 婷婷五月天基地| 国产精品久久久久综合| 欧美一区二区三区日韩| 国产一区二区精品久久99| 少妇熟女1区2区3区| 女沟厕偷窥piss小便| 激情五月天中文字幕色| 欧美天天干| 亚洲熟女综合一区二区| 91成人亚洲色图| 久区视频| AV女优男人的天堂| 欧美中日韩XXXX| 99热在线只有精品| 亚洲清纯唯美| 青青草在线视频欧美| 强上我不卡卡| 蜜臀99999| 妇女视频网站| 久插不卡| 殴洲老熟女| 智利AV在线网| 人妻夜爽夜夜爽| 中文字幕第二页| 亚洲第一视频 欧美风情 日韩| 素人伊尹大香蕉免费下载视频| 久久九九精品一区二区 | 国产精品视频自拍在线| 亚洲最新中文字幕免费| www国产天美久久久| 91在线精品| 激情专区综合| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 久久久草成人网站久久久草成人久久久草久久久 | 久久超碰久| 啊啊啊在线观看免费视频| 丁香六月婷婷| 国产AV超爽| 国产91精品福利在线| 不卡中文字幕aⅴ在线| 国产99999| 九九九成人| 91男人综合| 熟女视频久久| 天天搞在线综合网| 国产精品一区二区校花| 日本黄色大片一级视频免费麻豆| 亚洲伊人成综合成人网| 91成人无码| 男人的天堂视频精品乱在线| 日韩无码服务区| 熟女露脸激情自拍视频| 超碰69| 黄久在线| 伊人久久亚洲色欲综合网站| 亚洲日韩乱码中文无码蜜桃臀网站| 精品无人区麻豆乱码久久久| 美女诱惑1区2区| 精品超碰中文在线| 无码抄逼网| 久久婷婷影院| 大香蕉手机视频| 丁香六月婷婷综合| 99这里只有精品| 丁香五月婷婷基地| 中文字幕 国产区| 亚洲日韩一区电影| 欧美影音在线| 2019AV天堂| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 五月天精品| 久久久久久久久久久999| 久久草在线综合视频| 国产综合在线视频网站| 亚洲综合性网址| AV免费在线播放一区| 国产激情在线| 97欧美性爱| 黑人娇小av在线播放| 淫荡少妇免费| 欧美少妇一区二区三区| 极品人妻少妇综合| 人人操人人大香蕉| 熟女自慰久久久| 丝袜色综合| 国产第11页| 欧美 日韩第一性色| 激情在线青青操| 狼人狠干| 日韩射精| 国产精品美女久久久久久网站| 亚洲乱妇p22| 亚洲欧美黄| 日本三级A片网站com| 丝袜熟女一区二区三区| 国产一区二区三区影片| 欧美日韩高潮喷水91| 乱抡国产91| 国产日本久久免费精品| 精品二区三四区五电影 | WWW.加勒比人妻一区不卡.com| 久久精品无码专区| 大香蕉人妻| 九九九国产精品| 99热最新| AV无码久久久精品| 久久久婷| 日韩成人在线性爱视频| 熟妇艹鸡八| CCYY草草影院地址入口| 中国黑人三级片网站上区| 91美女在线视频| 色69大色97香蕉| 天堂性色| 亚洲国产成人精品久久久国产成人一区二区三.| 国产一区二区视频在线播放| 中文字暮97| 综合情欲网| 亚洲精品久久久久毛片A片拉屎 | 欧色综合| 免费a级毛片av无码久久精品中文字幕| 国产怡红院| 26uuu欧美日韩| 91人妻丝袜无码| 黄色免费网| 精品少妇一区二区三区免费观看| 99re免费| 久久超碰、| 无码黑人精品一区二区三区三| 天天情欲宗合网| 国产污视频麻豆传媒一区二区| 91爰爱欧美| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 久久曰曰| 亚洲老司机123专区| 欧美亚洲特P| 欧美日韩资源在线| 啊啊啊好多水| 人人噜夜夜操| 婷婷综合网站| 青娱乐淫乱1314| 欧美亚洲高清不卡| av绯色| 麻豆天美AV传媒第一页| 伊人激情五月天一区二区| 97视频播放| 欧美图片色综合| 亚洲国产高清福利视频| 国产内射爽爽大片| 亚洲色图 综合| 婷婷五月天福利| 人妻久热在线| 日韩精品在线放| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 欧美天天插| 天天搞欧美| 老子午夜伦不卡影院| 操我啊啊啊啊啊| 色逼综合| JIZZJIZZ国产精品喷水| 国产丝袜欧美在线视频| 午夜啊啊啊| 99热精品免费| 久精品无码av一区二免费国产在线观看| 天美精品av| 美國A片| 啊啊啊啊二区好大| 国产色图乱伦| 婷婷激情五月综合| 婷婷色网| 日韩丰满熟妇| 人妻干天天| 男人久久天堂| 99www.bibizy香蕉资源国产一区二区三区高清| 亚洲免费人妻在| 天天操天天干一区二区| 天天澡天天狠天天天做| 亚洲一区二区三区中文字幕| 97亚洲欧美| 蜜臀99久久精品| 毛片视频白嫩| 激情综合五月天| 思思热免费视频观看| 天天视频网站黄| 超碰午夜| 久草新在线| 麻豆色约约| 日韩午夜国产| 后入内射蜜桃臀| 久久久一级| 99九九久久| 性爱乱伦网址| 亚洲国产精品V?在线播放| 麻豆天美传媒毛片| 亚洲日本大香蕉1| 熟女自慰久久久| 97色欧州| 欧美色66| 嗯嗯啊啊操死我| 久久久久成人蜜桃精品| 免费精品99| 国产亚洲人妻综合日韩 久久| 高清国产av无码| 国产女人91精品嗷嗷嗷嗷| 国岛片视频| 无码高清专| 亚洲国产精品成人无码久久久 | 综合久欧洲| 99re在线观看| 色老汉玖玖爱| 台欧久久精品视频| 日han少妇无码| 亚洲美女30b| 亚州综合图片| 日本不卡免费二区| 中文字幕一区二区三区四五区| 欧美激情一| 色欧洲97| 色九色久| 国产精品露脸在线观看| 久久精品老司| 亚洲国产成人精品女人久久久| 丝袜内射| 太久视频| 男人天堂资源| 在线一区| 国内毛片国产专区二| 久久久555| 在线观看A啊啊啊| 91麻豆天美国产欧美高潮| 五月天婷婷综合| 久操91视频| 欧美偷偷网| 韩国轻伦国内自拍一区| 欧美色图欧美| 97国产中文| 欧美日韩97| 日韩欧美成人综合在线| 日韩无码黄色片| 精品一区二区2| 日本一区二区三区欧美日韩中文字幕| se01国产在线视频| 91白嫩| 久久精品72| 亚洲超碰在线| 伦激情人妻另类人妻| 日韩本不卡视频在线观看| 欧洲与亚洲欧美精品中文字幕| 丁香五月性| 天天操人人操狠狠插| 久久久一区二区三区麻豆| 三级片大波波| 依人大香蕉| 久久国产免费激情视频| 操逼无毒无码免费视频| 超碰在线人人射| 日本Xx性爱| 色婷婷aV一区二区三区麻豆综合| 男人的天堂久久狠| 综合久久97| 欧美日韩国产色图在线| 国产精品亚洲高清在线| 五月天婷婷影院| 天天操人人操骚逼网站| 综合欧美亚洲| 欧美综合加勒比在线| 色婷婷丁香五月天| 3P乱轮视频| 亚洲色图超碰在线| 有码色中文字幕在线观看| 天天操福利视频综合网站| 久久久久亚洲AV无码专区少妇| Julia在线播放亚洲久久| 超碰美国| 日韩欧美tv一区二区在线观看| 五月丁香影视| 78精品在线| 熟妇的味道HD中文字幕| 青青操97| 男人的天堂com| 婷婷五月综合在线| 亚洲精品一区二区精品| 摸奶性爱视频网站在线免费播放| 亚洲天堂无码| 天天插夜夜爽| 色欲久久久久综合网| 久99久视频| 黄色十八禁| 国产日产精品久久快鸭的功能介绍| 最新加勒比丝袜在线| 青青在线视频免费| 丁香六月婷| 欧美日韩美女精品久草一区二区三区 | 99欧美| 黄站在线免费观看| 国产一区二区在线电影| 亚洲男人的天堂在线看| 麻豆视频国产一区二区| 激情文学 国产一二三aV| 夜夜爽夜夜操| 超碰97爽| 日韩欧美日韩| 伊色久人大在线| 国产粉嫩出水在线播放| 78p欧美| 免费精品国偷自产在线在线| 91老司机在线视频免费观看| 高清孕妇孕交 交| 水野优香在线观看| 久久久久极品| 伊人久操| 小电影欧美91| 9久综合网| 97超碰色色| 精品国产一区二区三区久久久蜜臀 | 国产91丝袜在线播放蜜月| 黄页网站免费高清在线观看| 色婷婷成人综合| a片偷拍视频| 99热 按摩 日韩| 一本大道不卡一二三区| 蜜色网色哟哟| 无码区蜜乳| 国产久久男人天堂| 精品成人av一区二区三区在线| 亚洲第一页综合在线| 久久99精品视频| 玖玖综合网| 97人妻色| 久久久久久99AV无码免费网站| 欧美综合加勒比在线| 青娱乐休闲视频在线观看| 东京热激情视频一二三区| 天天日天天舔天天喷天天射| 91色艳| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 亚洲欧洲日产国产综合网| 欧美999999| 亚洲欧美天| 少妇熟女一区二区三区| 精品久久久久久中文字幕视频免费| 日韩激情无码影院| 在线国产福利网址导航| 在免费jIzzjIzz在线视频| 日日妻色网| 日韩欧美~中文字| 日日碰狠狠添天天爽超| 亚洲国产综合图区中文字幕 | 小日子操bb在线看| 久久久久久久综合,国产| 插入综合网| 亚一综合久久久久久久久久| 久热这里只有精品9| 97色爱| 无码国产Av| 欧色性第一页| 亚洲高清男人天堂| 黄页| 少妇啪啪自拍| 欧美激情综合| 国产综合久久久鬼色| 97国产精选| 亚洲中文字幕熟女| 中国大陆国产高清AⅤ毛片| 99操逼| 99久久无色码| 亚洲自拍欧美色综合| 久操| 精品人妻免费观看| 日韩亚洲Av人人夜夜澡人人爽| 国产剧情一区在线观看| 久久久久ab| 就去色综合| 在线播放免费av福利片| 五月天婷婷基地| 日婷婷| 99热亚洲| 国产乱码精品久久久久久| 欧美亚州综合网图片| 久久无码一区二区二三区性色| 国产 v乱码一区二| 久久久99久9| 青青草影视蜜久久| 日韩欧美午夜一区二区| 操操啪| 风骚少妇视频中文字幕| 欧美色999| 精品偷拍13p欧美dodk视频| 91 手机在线播放 绯色| 亚洲综人| 国产操逼视频在线观看| 国产三级电影免费观看| 天天综合网在线| 亚洲日韩97| 九九精品无码专区免费| 天天日天天舔天天喷天天射| 精彩久久中文| 国产黄色在线播放观看| 欧美一级黄片免费播放| 久日91在线| 一二三四区电影| 操逼国产免费| 夜夜狼人妻| 亚洲色电影在线| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 日韩精品在线观看网站| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 久久是精品| 不卡av在线中文字幕| 九九天堂| 熟妇色99| 五月色网| 一区二区播放| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 蜜乳AV免费观看| 欧美天天插| 精品日日人妻|