日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588/RK3576/RK3568端側(cè)大模型部署:算力、內(nèi)存與選型指南

RK3588/RK3576/RK3568端側(cè)大模型部署:算力、內(nèi)存與選型指南 最近這半年我接到的端側(cè)AI選型咨詢里十有八九都會繞到同一個問題1B、3B、7B的大模型到底該用RK3588、RK3576還是RK3568主板算力和內(nèi)存怎么配才不浪費、不卡頓說實話這個問題沒有標(biāo)準(zhǔn)答案但有一套可以復(fù)用的計算方法。本文就結(jié)合瑞迅科技這三款主流ARM主板的實際方案把端側(cè)部署大模型的算力賬、內(nèi)存賬和應(yīng)用場景賬一筆一筆算清楚。本文適合三類人看一是正在做邊緣計算盒子、智能座艙、工業(yè)AI網(wǎng)關(guān)的產(chǎn)品經(jīng)理二是準(zhǔn)備把開源大模型落到ARM板上的嵌入式工程師三是對端側(cè)推理感興趣、想用RK3588跑通自己第一個大模型Demo的開發(fā)者。讀完你至少能回答手里的項目該選哪顆芯片、配多大內(nèi)存、用什么量化精度、跑起來大概什么速度。1. 三個平臺先交底RK3588、RK3576、RK3568各是什么水平很多朋友一上來就問“RK3588能不能跑7B”但7B只是個參數(shù)規(guī)模數(shù)字真正影響部署體驗的還包括模型結(jié)構(gòu)、量化方式、上下文長度、并發(fā)數(shù)以及芯片的內(nèi)存帶寬和NPU算子優(yōu)化程度。在談選型之前先把這三款芯片的家底摸清楚。1.1 三款芯片的核心規(guī)格對比以瑞迅科技目前主推的幾款工業(yè)級ARM主板為例三款芯片的定位差異非常明顯芯片型號CPU架構(gòu)NPU算力INT8內(nèi)存支持典型接口亮點產(chǎn)品定位RK35884×Cortex-A76 4×Cortex-A556 TOPSLPDDR4/4x/5最大32GBPCIe3.0、雙千兆網(wǎng)口、HDMI2.1、多路MIPI/CSI、USB3.0旗艦邊緣算力平臺RK35764×Cortex-A72 4×Cortex-A536 TOPSLPDDR4/4x/5最大16GBPCIe2.1、雙千兆、HDMI2.0、支持8K編解碼上探邊緣AI、下壓工控RK35684×Cortex-A550.8 TOPSLPDDR4/4x最大8GB雙千兆、PCIe3.0、HDMI2.0入門邊緣計算/工控這里有個容易踩坑的點RK3576和RK3588的NPU算力標(biāo)稱都是6 TOPS但CPU、GPU、內(nèi)存控制器、接口豐富度完全不是一個級別。RK3576可以理解為“把NPU核心能力下放到中端”的方案整體成本更低但7B模型的推理性價比不如RK3588。RK3568的NPU算力只有0.8 TOPS跑大模型非常吃力更適合配合輕量模型做嵌入式語音、簡單質(zhì)檢這類任務(wù)。我一直強調(diào)一個觀點選芯片不能只看NPU算力還要看整個SoC的協(xié)同能力。RK3588的優(yōu)勢在于CPU性能強跑Python推理腳本、做前后處理、甚至直接跑llama.cpp的CPU版本都不至于太難受這在研發(fā)調(diào)試階段非常關(guān)鍵。1.2 算力評估的底層邏輯TOPS、FLOPs與token生成速率的換算想要搞懂端側(cè)大模型需要多強算力先得建立一個基本概念大模型生成一個token可以粗略理解為一個漢字或一個英文單詞的一部分需要完成多少次計算。以自回歸生成模型為例每生成一個token的理論計算量大約是2乘以模型參數(shù)量即7B模型約需14 GFLOPs1.4×10^10 FLOPs。3B模型約6 GFLOPs1B模型約2 GFLOPs。這個數(shù)字是理論下限實際推理過程中還有注意力計算、采樣、內(nèi)存存取開銷通常會比這個理論值高出不少。那6 TOPS的NPU能跑多快按理論值算6 TOPS相當(dāng)于每秒執(zhí)行6×10^12次INT8運算跑7B模型的理論速度上限是每秒幾百token。但實測遠達不到原因有幾點NPU算子的實際利用率通常只有峰值的20%~40%尤其是Attention算子很多芯片優(yōu)化得并不理想自回歸生成是“一次只算一個token”無法把所有計算并行塞滿大量時間浪費在內(nèi)存訪問上尤其是參數(shù)權(quán)重讀取和KV Cache讀寫int4量化模型雖然內(nèi)存減半但NPU對4bit算子的支持效率不等同于int8需要看編譯器支持情況所以我的經(jīng)驗是想要估算端側(cè)真實速度別用TOPS直接除FLOPs而是用“同平臺、同模型、同量化方式”的實測經(jīng)驗值做錨點。下面這張表是我在不同瑞迅主板上實測下來的速度區(qū)間雖然不同模型結(jié)構(gòu)、RKLLM版本和散熱狀態(tài)會有差異但數(shù)量級是可信的平臺模型規(guī)模量化方式生成速度經(jīng)驗值體驗判斷RK35880.5B~1BINT420~40 token/s流暢可做實時對話RK35883BINT48~15 token/s能接受適合問答RK35887BINT42~5 token/s可跑偏慢適合異步任務(wù)RK35761B~3BINT43B約6~12 token/s3B以下體驗尚可RK35680.5B~1BINT43~8 token/s僅適合極輕量任務(wù)看到這里你應(yīng)該已經(jīng)直觀感受到RK3568跑大模型屬于“能響但急死人”的水平RK3588是真正能承擔(dān)“可用級”端側(cè)大模型的底線平臺。至于為什么下面就從內(nèi)存和帶寬層面進一步拆。2. 內(nèi)存才是端側(cè)大模型的第一瓶頸很多選型的朋友只盯著NPU算力問但我實際調(diào)試下來發(fā)現(xiàn)內(nèi)存容量和帶寬對端側(cè)LLM的影響甚至比算力更致命。模型加載時內(nèi)存不夠直接OOM內(nèi)存帶寬不夠NPU就算算得再快也只能排隊等數(shù)據(jù)。2.1 模型、量化與內(nèi)存占用的換算模型參數(shù)量乘以每個參數(shù)占用的字節(jié)數(shù)就是權(quán)重部分的內(nèi)存占用FP1616bit半精度每參數(shù)2字節(jié)INT88bit量化每參數(shù)1字節(jié)INT44bit量化每參數(shù)0.5字節(jié)以7B模型為例FP16權(quán)重約14GBINT8約7GBINT4約3.5GB。這就是為什么端側(cè)部署首選INT4量化——只有這樣才能把7B模型塞進RK3588的16GB內(nèi)存版本里。但注意權(quán)重內(nèi)存只是“模型文件本身”的開銷。推理過程中還有激活值、KV Cache、推理中間緩沖區(qū)和運行時代碼占用。我習(xí)慣用“權(quán)重內(nèi)存 運行開銷”來估算總內(nèi)存需求經(jīng)驗上運行開銷大約是權(quán)重內(nèi)存的1.2~1.5倍還要再加系統(tǒng)內(nèi)存占用。下面是一張選型時可以直接套用的對照表模型規(guī)模量化精度權(quán)重內(nèi)存約推薦內(nèi)存檔位適用場景1BINT40.5GB2GB~4GB語音指令、文本分類1BINT81GB4GB輕量問答3BINT41.5GB4GB~8GB對話機器人、摘要3BINT83GB8GB更高精度問答7BINT43.5GB8GB~16GB知識庫問答、復(fù)雜推理7BINT87GB16GB~32GB不建議端側(cè)跑INT8我特別注意了一下目前RK3588平臺配16GB內(nèi)存是7B INT4模型的“甜點檔位”既能容納模型權(quán)重又給KV Cache和系統(tǒng)服務(wù)留了余量。如果預(yù)算緊張選8GB也不是完全不能跑但上下文長度和并發(fā)能力會被卡得很死后面細說。2.2 KV Cache一個被嚴重低估的內(nèi)存殺手KV Cache是大模型推理時緩存歷史token鍵值對的內(nèi)存區(qū)。每生成一個tokenK和V都會隨序列增長而增加所以它和上下文長度是線性關(guān)系。上下文越長KV Cache占用越大。拿7B模型舉例如果設(shè)置上下文長度2048KV Cache大約要占0.5GB到1GB如果把上下文拉到4096這個數(shù)字會漲到1.5GB到2GB。3B模型雖然小一些但長上下文同樣會吃掉幾百MB甚至1GB內(nèi)存。1B模型在短上下文下壓力不大但一旦多開幾路也會快速膨脹。這解釋了為什么端側(cè)大模型在實際產(chǎn)品里往往限制上下文長度而不是無限擴展。我調(diào)試瑞迅RK3588板子時默認把context_len設(shè)置為1024或2048既不影響大多數(shù)問答場景又給系統(tǒng)留足余量。忽略KV Cache盲目拉長上下文是端側(cè)部署最常見的內(nèi)存失控原因。內(nèi)存帶寬這方面也要多說一句。自回歸生成是“訪存密集型”任務(wù)NPU每算一個token都要把模型權(quán)重從頭到尾讀一遍。INT4量化后7B模型每次生成也要讀3.5GB權(quán)重如果內(nèi)存帶寬不夠速度瓶頸就卡在存儲而非NPU。RK3588和RK3576支持LPDDR5帶寬明顯優(yōu)于只支持LPDDR4x的RK3568這也是后者跑大模型體驗差的關(guān)鍵原因之一。2.3 結(jié)合瑞迅主板的內(nèi)存檔位怎么選瑞迅科技在RK3588、RK3576、RK3568三款平臺上都提供了不同的板型和內(nèi)存版本。以我接觸到的方案為例RK3588主板常見4GB/8GB/16GB/32GB版本。跑7B INT4模型建議直接選16GB起步8GB版本更適合3B及以下32GB版本適合跑INT8精度或多路并發(fā)場景但成本和功耗也上去了RK3576主板常見4GB/8GB/16GB版本。這款芯片NPU算力和RK3588同級但內(nèi)存帶寬和CPU性能略低跑3B以內(nèi)很舒服跑7B屬于“能跑但緊張”建議8GB起步RK3568主板常見2GB/4GB/8GB版本。跑0.5B~1B模型選4GB足夠8GB版本可以給系統(tǒng)更多余量但不建議跑3B以上的模型每次選型我都會畫一條“模型檔位-內(nèi)存檔位-芯片檔位”的三維匹配線先定模型和量化方式算出權(quán)重KV Cache系統(tǒng)的總內(nèi)存需求再反推平臺和內(nèi)存版本。這是最穩(wěn)妥的路徑比拿著芯片參數(shù)表猜半天靠譜得多。3. 用RKLLM工具鏈把模型部署到瑞迅板卡上選好了平臺和內(nèi)存接下來就是真刀真槍的部署環(huán)節(jié)。瑞芯微官方提供的RKLLM工具鏈?zhǔn)悄壳霸赗K3588/RK3576/RK3568上部署LLM最順手的路徑它把模型轉(zhuǎn)換、量化、板端runtime三層全部打通了。瑞迅主板作為瑞芯微方案的主流工業(yè)級落地形態(tài)同樣適用這一套工具鏈。3.1 一份可直接抄作業(yè)的部署流程整體流程大概是從HuggingFace下載開源模型在x86主機上用RKLLM Toolkit做格式轉(zhuǎn)換和量化生成.rkllm格式的模型文件然后放到板子上通過C/C或Python接口調(diào)用。模型選擇上目前在瑞迅板卡上跑得比較成熟的是Qwen系列、Llama-3.2系列、ChatGLM系列。我的推薦組合是輕量任務(wù)Qwen2.5-0.5B-Instruct、Llama-3.2-1B-Instruct中等任務(wù)Qwen2.5-1.5B/3B-Instruct、Llama-3.2-3B-Instruct偏重任務(wù)Qwen2.5-7B-InstructINT4量化轉(zhuǎn)換這一步建議在一臺內(nèi)存不低于32GB的x86主機上做因為量化和格式轉(zhuǎn)換過程本身就很吃內(nèi)存。命令行大致長這樣git clone https://github.com/airockchip/rknn-llm.git cd rknn-llm/rkllm_toolkit pip install -r requirements.txt python convert.py \ --model_path /path/to/Qwen2.5-3B-Instruct \ --output qwen2.5_3b_w4a16.rt \ --target_platform rk3588 \ --quantized_dtype w4a16其中target_platform要嚴格對應(yīng)實際板卡芯片填錯會導(dǎo)致模型在板端加載失敗。quantized_dtype參數(shù)里w4a16是目前端側(cè)LLM的主流配置意思是權(quán)重4bit、激活16bit我實測這個配置在精度和性能之間取得了一個不錯的平衡點。轉(zhuǎn)換完成后把生成好的.rkllm文件拷貝到板子上比如放在/data目錄下。板端集成的C接口大致是這樣#include rkllm.h rkllm_context ctx; RKLLMParam param rkllm_createDefaultParam(); param.model_path /data/qwen2.5_3b_w4a16.rt; param.top_k 40; param.top_p 0.9f; param.temperature 0.7f; rkllm_init(ctx, param, nullptr); RKLLMInput input; input.text 請用三句話介紹瑞迅科技RK3588主板; RKLLMOutput output; rkllm_run(ctx, input, output, callback, nullptr);這里有個非常重要的點rkllm_run是異步調(diào)用推理結(jié)果通過callback回調(diào)返回。所以實際產(chǎn)品里要維護好一個上下文狀態(tài)不能簡單當(dāng)成同步函數(shù)處理。我一開始在這里踩過坑以為調(diào)用完直接拿output結(jié)果回調(diào)先觸發(fā)、主線程還在等邏輯就亂了。3.2 RKLLM關(guān)鍵參數(shù)怎么設(shè)兼談context_len和max_new_tokensRKLLM默認參數(shù)能跑通但不代表適合你的場景。有兩個參數(shù)直接決定內(nèi)存占用和響應(yīng)體驗第一個是context_len也就是模型能參考的歷史上下文長度。端側(cè)場景我建議設(shè)為1024或2048。設(shè)得越大KV Cache占用的連續(xù)內(nèi)存越多。曾有客戶為了“顯著高級”把context_len設(shè)為8192結(jié)果7B模型在16GB板子上頻繁崩潰后來縮到2048就穩(wěn)了。第二個是max_new_tokens也就是每次生成的最大新token數(shù)量。端側(cè)部署建議按任務(wù)類型設(shè)定比如短問答設(shè)128或256總結(jié)類任務(wù)設(shè)512。如果設(shè)成1024甚至更大一方面生成時間線性增長另一方面需要預(yù)留的KV Cache內(nèi)存也跟著漲。很多“生成到一半卡死”的現(xiàn)象其實不是推理引擎掛了而是KV Cache內(nèi)存不夠被系統(tǒng)殺掉了。還有一個容易被忽視的點temperature和top_p這兩個采樣參數(shù)會影響輸出質(zhì)量和穩(wěn)定性。如果發(fā)現(xiàn)模型輸出的內(nèi)容在各種無關(guān)主題間跳躍或者回答明顯重復(fù)可以先檢查這兩個參數(shù)而不是懷疑模型沒部署好。我一般用temperature0.7、top_p0.9作為默認值追求確定性答案時再把temperature降到0.3以下。3.3 常見內(nèi)存分配失敗與模型加載報錯部署過程中最讓人頭疼的不是模型轉(zhuǎn)換而是板端運行時報各種內(nèi)存錯誤。我整理幾個高頻問題現(xiàn)象根本原因解決辦法rkllm_init返回內(nèi)存分配失敗系統(tǒng)可用連續(xù)內(nèi)存不足檢查cma參數(shù)關(guān)閉不需要的GPU/VPU服務(wù)重啟后立即加載模型模型文件加載失敗target_platform填錯或模型文件損壞重新轉(zhuǎn)換確認平臺匹配用RKLLM驗證工具檢查推理一段時間后進程被殺KV Cache內(nèi)存超限調(diào)低context_len和max_new_tokens轉(zhuǎn)換過程主機OOM量化需要大量內(nèi)存換32GB以上內(nèi)存的機器減小batch size瑞迅主板的Linux系統(tǒng)默認可能預(yù)留了一部分內(nèi)存給GPU、VPU等硬件模塊。跑大模型時如果發(fā)現(xiàn)系統(tǒng)內(nèi)存顯示充足但加載失敗優(yōu)先檢查CMAContiguous Memory Allocator配置。我調(diào)試時習(xí)慣在啟動參數(shù)里顯式預(yù)留連續(xù)內(nèi)存比如在/boot/extlinux/extlinux.conf的內(nèi)核啟動參數(shù)中加上cma256M給模型加載留出充足空間。這里多提一句堆外內(nèi)存的問題。如果你是在Android系統(tǒng)上通過JNI調(diào)用RKLLM或者用Java/Python混合方式寫推理服務(wù)native層內(nèi)存和Java堆內(nèi)存是分開管理的。很多內(nèi)存不足問題出在native層而不是JVM堆。我的建議是端側(cè)部署優(yōu)先用純C/C或Python直接驅(qū)動RKLLM盡量減少跨語言層既省內(nèi)存又省排查負擔(dān)。4. 推理速度實測與能效表現(xiàn)哪些組合能用哪些是硬上理論算完還是得回到實測。以瑞迅RK3588主板為例我把常見的幾組模型組合跑了一遍總體感覺是1B到3B是體驗分水嶺7B屬于“技術(shù)驗證可跑、產(chǎn)品落地要謹慎”的檔位。4.1 我實測的推理速度區(qū)間測試條件瑞迅RK3588主板LPDDR5 16GBUbuntu系統(tǒng)RKLLM最新版本w4a16量化context_len2048單路請求。模型組合實測生成速度首token延遲內(nèi)存峰值占用約備注Qwen2.5-0.5B35~45 token/s約0.5s1.5GB響應(yīng)非??爝m合語音交互Qwen2.5-1.5B18~28 token/s約0.8s2.5GB日常問答流暢Llama-3.2-1B20~30 token/s約0.7s2.5GB英文任務(wù)表現(xiàn)不錯Llama-3.2-3B8~12 token/s約1.2s5GB能接受適合專業(yè)問答Qwen2.5-3B8~14 token/s約1.2s5GB中文能力均衡Qwen2.5-7B2~4 token/s約3s9GB速度偏慢適合離線異步任務(wù)這個速度區(qū)間的實際體驗可以這么理解30 token/s以上人幾乎無感知適合語音助手、交互式對話10~20 token/s能感覺到模型在“打字”但可接受適合知識庫問答、文檔摘要10 token/s以下交互會明顯卡頓適合單次生成較長的文本或者接受“提交后等一會兒再看結(jié)果”的產(chǎn)品形態(tài)。我把瑞迅RK3576也測試了幾輪3B模型的速度大約比RK3588低20%左右6~10 token/s屬于“能用但不夠爽”。RK3568我只跑了0.5B和1B的模型3~8 token/s適合做離線指令識別不適合做多輪對話。4.2 從DDR帶寬看3576和3588的差距前面提到RK3576的NPU算力和RK3588同為6 TOPS但推理速度卻有差距核心原因就在內(nèi)存帶寬。RK3588支持的LPDDR5頻率更高帶寬理論上可以達到60GB/s級別而RK3576雖然也支持LPDDR5但整體內(nèi)存控制器規(guī)格略低實際帶寬不如RK3588。為什么帶寬對大模型推理這么重要因為自回歸生成就是“一遍遍重復(fù)讀權(quán)重”的過程。7B模型INT4量化后約3.5GB權(quán)重每生成一個token就要把這3.5GB從頭到尾讀一遍。如果內(nèi)存帶寬是20GB/s光讀權(quán)重就要0.175秒再加上計算和數(shù)據(jù)搬運最終速度很容易被壓到3 token/s左右。這也是為什么端側(cè)大模型的體驗天花板往往不由TOPS決定而是由“芯片能多快地把權(quán)重喂給NPU”決定。選型時同TOPS的情況下優(yōu)先選內(nèi)存帶寬更高的平臺這是一個很關(guān)鍵的隱藏指標(biāo)。4.3 能效與散熱跑大模型不只看性能還有一個選型時容易被忽略的因素功耗和散熱。RK3588在滿負荷跑7B模型時SoC功耗可以到10W以上這還沒算內(nèi)存和外圍器件。如果在密閉的工業(yè)盒子里長時間跑推理溫度會快速積累觸發(fā)降頻后速度進一步下滑。瑞迅主板一般會引出風(fēng)扇供電和PWM控制引腳我建議量產(chǎn)設(shè)備一定要把主動散熱做成標(biāo)配。后續(xù)章節(jié)我會專門講風(fēng)扇控制和板級調(diào)優(yōu)這里先給個結(jié)論端側(cè)大模型產(chǎn)品的算力選型一定要把散熱成本算進去否則標(biāo)稱6 TOPS的NPU在過熱降頻后可能連3 TOPS都發(fā)揮不出來。5. 典型應(yīng)用場景選型參考與落地建議聊完參數(shù)和實測回到最實際的選型表?;谖以诠I(yè)、商業(yè)、智能硬件項目里的開發(fā)經(jīng)驗整理了六類典型的端側(cè)大模型應(yīng)用場景對應(yīng)瑞迅三款平臺和內(nèi)存檔位的推薦配置。5.1 六類場景配置推薦應(yīng)用場景推薦平臺模型檔位內(nèi)存推薦說明智能語音交互盒子RK3576/35881B~3B INT48GB需要低首token延遲建議1B為主本地知識庫問答終端RK35883B~7B INT416GB需要檢索增強和長上下文內(nèi)存留足工業(yè)視覺AI質(zhì)檢RK3588視覺模型1B~3B8GB~16GB視覺模型和大語言模型共享算力與內(nèi)存邊緣AI網(wǎng)關(guān)/車聯(lián)網(wǎng)RK35761B~3B INT48GB側(cè)重多路接入和數(shù)據(jù)轉(zhuǎn)發(fā)低功耗嵌入式終端RK35680.5B~1B INT44GB簡單指令識別、文本分類邊緣AI開發(fā)工作站RK35883B~7B INT416GB~32GB開發(fā)者調(diào)試、多場景驗證這六類場景里我覺得第一個“智能語音交互盒子”是當(dāng)前最成熟的端側(cè)大模型落地形態(tài)。它不需要那么強的上下文能力1B模型加一個語音喚醒加ASR再加TTS整個鏈路在RK3576上就能跑得很流暢成本相比云端方案有明顯優(yōu)勢。如果是做“本地知識庫問答終端”7B檔位就比較剛需因為知識庫中的文件內(nèi)容往往較長模型需要有足夠的推理能力才能生成靠譜回答。這種場景我不建議用1B或3B雖然速度更快但回答質(zhì)量會明顯下降常見表現(xiàn)是“答非所問”或者“只復(fù)述不推理”。5.2 盡量別做的事7B全精度、長上下文、高并發(fā)聊完推薦再說幾個我實際踩過的“硬上”案例第一件別做的事是在RK3588上跑7B模型的全精度FP16版本。14GB的權(quán)重加運行開銷16GB內(nèi)存基本被占滿系統(tǒng)稍微有點其他服務(wù)就被OOM killer殺掉。即使勉強跑起來速度也只有1~2 token/s實用性非常差。端側(cè)7B的現(xiàn)實路徑一定是INT4量化。第二件別做的事是把上下文長度拉到4096甚至8192。端側(cè)設(shè)備的內(nèi)存是有限資源長上下文會成倍放大KV Cache占用。我見過一個案例客戶堅持要8192上下文做“長文檔分析”結(jié)果16GB板子在生成到第幾百個token時直接重啟。后來我建議他們在應(yīng)用層做文檔切片用多次短上下文的輪詢方式替代單次長上下文問題就解決了。這個思路在端側(cè)尤其重要——別讓模型一次吃進所有內(nèi)容而是讓應(yīng)用層幫模型“分段消化”。第三件別做的事是在端側(cè)大模型上做高并發(fā)。云端GPU集群可以橫向擴展端側(cè)SoC是單芯片單內(nèi)存多路并發(fā)意味著每個請求都要分配獨立的KV Cache和推理緩沖。RK3588跑7B模型單路都只有2~4 token/s如果同時壓上3路請求每路都會被拖到1 token/s以下首token延遲更是不可接受。端側(cè)大模型產(chǎn)品應(yīng)該設(shè)計成單用戶、低并發(fā)、異步處理的形態(tài)這符合硬件能力邊界也能給用戶一個合理的預(yù)期。5.3 外設(shè)占用對推理穩(wěn)定性的隱性影響端側(cè)設(shè)備通常不只是跑大模型還要承擔(dān)攝像頭采集、串口通信、云端上報等任務(wù)。RK3588的NPU和CPU共享內(nèi)存帶寬GPU編解碼也會搶占DMA資源這些都可能導(dǎo)致大模型推理速度波動。我有一個實操建議量產(chǎn)階段一定要做“整機滿載測試”把所有外設(shè)同時開啟連續(xù)跑24小時大模型推理任務(wù)記錄速度波動和系統(tǒng)日志。瑞迅主板外設(shè)接口豐富但每個接口的驅(qū)動和DMA通道都有可能和RKLLM的連續(xù)內(nèi)存分配產(chǎn)生競爭。提前發(fā)現(xiàn)這些干擾因素比發(fā)貨后客戶反饋“推理變慢”要省心得多。還有一點值得注意盡量在量產(chǎn)系統(tǒng)里關(guān)閉不使用的服務(wù)模塊比如藍牙、Wi-Fi的省電模式、不必要的GPU合成等。跑LLM時系統(tǒng)越“干凈”速度越穩(wěn)定。我甚至?xí)炎烂姝h(huán)境都禁掉只保留業(yè)務(wù)自啟動進程這樣內(nèi)存占用能少將近1GB。6. 板級調(diào)優(yōu)與研發(fā)期避坑到了這一章節(jié)假設(shè)你已經(jīng)選好主板、部署好模型接下來就是讓整套系統(tǒng)在工業(yè)環(huán)境里穩(wěn)定跑起來。這部分經(jīng)驗往往是最難查到的因為文檔和手冊不會寫這些細節(jié)。6.1 散熱與PWM風(fēng)扇控制RK3588跑7B模型時SoC溫度上升很快不加散熱片和風(fēng)扇幾分鐘內(nèi)就能沖到85攝氏度以上觸發(fā)降頻。瑞迅RK3588主板通常帶有PWM風(fēng)扇接口系統(tǒng)里配置好pwm-fan節(jié)點就能實現(xiàn)溫控。在設(shè)備樹里加一個pwm-fan節(jié)點大致配置如下pwm0 { status okay; }; pwm-fan { compatible pwm-fan; pwms pwm0 0 25000 0; cooling-levels 0 64 128 192 255; #cooling-cells 2; };其中cooling-levels定義的是不同溫度梯度下的PWM占空比。我建議跑大模型的設(shè)備把最低檔位起點設(shè)高一點比如128 192 255因為大模型負載起來后是持續(xù)高溫不是偶發(fā)高負載風(fēng)扇響應(yīng)太保守會導(dǎo)致溫度上去了轉(zhuǎn)速才慢慢拉起來。有個細節(jié)很多朋友問過怎么讀取風(fēng)扇轉(zhuǎn)速瑞迅部分板卡的PWM接口旁邊還有一根FAN_TACH信號線接到主板的定時器捕獲引腳上。系統(tǒng)起來后可以通過hwmon接口查看比如cat /sys/class/hwmon/hwmon0/fan1_input如果讀不到轉(zhuǎn)速大概率是設(shè)備樹里沒有配置風(fēng)扇轉(zhuǎn)速計引腳或者轉(zhuǎn)接板沒把TACH信號引出來。排查時要確認硬件連接而不是只盯著軟件配置。我實測下來RK3588跑7B模型時散熱方案至少要有鋁制散熱片加4010或5010規(guī)格風(fēng)扇環(huán)境溫度35攝氏度時芯片溫度能控制在70攝氏度以內(nèi)。如果只用被動散熱長時間推理的降頻概率非常高token生成速度可能從3~4 token/s掉到1~2 token/s。6.2 刷機、Recovery與量產(chǎn)注意事項瑞迅主板用的是瑞芯微標(biāo)準(zhǔn)刷機流程開發(fā)階段我常用的是USB燒寫和SD卡燒寫兩種方式。USB燒寫的常規(guī)操作主板用USB Type-C數(shù)據(jù)線連接電腦按住Recovery鍵部分板型是MaskROM鍵再上電電腦端的瑞芯微開發(fā)工具會識別到Loader或MaskROM設(shè)備然后燒寫鏡像。這里有個關(guān)鍵點一定要用能傳輸數(shù)據(jù)的數(shù)據(jù)線而不是充電線。我遇到過幾次識別不到設(shè)備最后發(fā)現(xiàn)是線的問題白白浪費了一個下午。量產(chǎn)階段我強烈建議用瑞迅官方提供的量產(chǎn)工具做整盤燒寫或者直接做OTA升級方案。RK3588平臺的eMMC容量通常有32GB/64GB版本跑大模型的話建議至少64GB因為一個7B的INT4模型文件就要3.5GB左右再疊加系統(tǒng)和應(yīng)用32GB會顯得捉襟見肘。另外提一下RKLLM模型文件的存放位置。放在eMMC和放在外部TF卡/固態(tài)硬盤上加載速度會有明顯差異。我建議量產(chǎn)產(chǎn)品把模型文件放在eMMC或者NVMe固態(tài)盤上一方面加載速度快另一方面避免外置存儲松動導(dǎo)致模型加載失敗。如果放在機械硬盤上那種隨機讀取的性能跑大模型權(quán)重加載會讓人崩潰。6.3 顯示與音頻外設(shè)的兼容性經(jīng)驗調(diào)試RK3588板子時很多人會遇到一個報錯cant find suitable delayline。這個報錯通常出現(xiàn)在HDMI或DP顯示鏈路上與Uboot階段顯示控制器的delayline配置有關(guān)。如果用的是瑞迅原廠BSP最好在官網(wǎng)或FAE支持下確認Uboot版本太高或太低的版本都會造成HDMI握手異常。必要時修改屏參或顯示時序參數(shù)可以解決。音頻外設(shè)方面常見如ES8388這類Codec設(shè)備樹配置需要仔細核對尤其是I2C地址、時鐘源和DAI格式。我遇到過配置半天不出聲最后發(fā)現(xiàn)是引腳復(fù)用沖突。外設(shè)調(diào)通后建議用錄音回放工具做完整環(huán)路測試不要只測播放。跑大模型時還有一個小技巧把顯示接口的GPU合成和UI渲染盡量降到最低比如用無頭模式啟動。這樣可以把寶貴的DDR帶寬留給NPU推理。特別是7B模型任何額外的內(nèi)存帶寬競爭都會直接影響生成速度。7. 最后再分享一次真實的選型心得回到文章最開始的問題RK3588到底能不能跑7B大模型我的回答是能但前提是你能接受2~4 token/s的生成速度并且把應(yīng)用場景限制在單用戶、短上下文、異步任務(wù)當(dāng)中。而如果追求“對話像真人一樣快”的體驗1B到3B才是目前端側(cè)部署最舒服的甜點區(qū)。選型這件事我最大的心得就是不要上來就盯TOPS數(shù)字也不要一聽說某芯片“跑得動7B”就上頭。先把業(yè)務(wù)場景拆清楚算出模型權(quán)重加KV Cache加系統(tǒng)開銷的總內(nèi)存再對比平臺的內(nèi)存帶寬和NPU算子優(yōu)化程度最后用實機測試數(shù)據(jù)拍板。瑞迅RK3588、RK3576、RK3568三款平臺各有各的主場沒有絕對的強弱只有適不適合你的項目。最后再提醒一句端側(cè)大模型再熱鬧落地還是要看穩(wěn)定性和成本。如果你正在做類似項目歡迎拿這份配置表做參考但一定要用真實模型、真實負載、真實環(huán)境溫度上板測一遍。紙面上算得再漂亮都不如一次長時間滿負載實測來得踏實。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产男人又猛又粗又爽| 午夜精品久久久久久久久久久久久 | 97干在线| 丝袜色综合| 国产资源中文字幕在线| 禁止观看美女黄| 成人一级二级| 欧美制服网站美腿丝袜| 手机看片日韩人妻| 久久久久亚洲一区女同性恋中文字幕| 亚洲国产91精品一区二区久久| 蜜桃久久一区二区三区| 欧美日韩国产人人| 无码av永久免费专区网站| 人妻密肉在线观看| 天天插夜夜操| 亚洲欧美国产va在线| 婷婷在线视频在线观看| 国产精品乱人伊人网| 超碰97男女| 桃花色涩综合影院| 亚洲性综合11| 欧美性爱另类综合| 蜜臀99久久精品| 两性色网| 性感美女91影视| 亚洲av强奸乱伦| 是还免费视频1727我| 少妇一级婬片免费放一级a性色.| 91AV天美在线视频| 每日更新AV| 欧美亚洲清纯| 色播五月丁香| 伊人网免费视频| 麻豆国产成人精品| 欧美性巨大╳╳╳╳╳高跟鞋| 日韩97视频| 激情五月丁香五月| 亚洲综合91| 免费视频在线观看啊啊啊啊啊| 97超碰资源网| 国产AV高清AV无码| 91夜色| 蜜臀精品1区2区| 牛牛AV人人夜夜澡人人爽| 白丝AV网站| 最新av中文字幕高清| 肥臀熟女福利视频一区二区| 精品人妻1区| 亚州欧美一区| 十八禁啪啦拍视频无遮挡| 九九热精品视频六| 夜夜嗷嗷一区二区| 秋霞一级视频在线观看免费| 亚洲另类春色| 国产熟女自拍| 精品夜夜澡人妻无码| 69XX一中文字幕人妻91| 99re在线观看| 九九av| 国产精品直播在线观看直播| 操逼无毒无码免费视频| 亚州成人A√| 人人看人人爰人人操| 超碰在线日韩一区| 久草资源欧美在线视频| 欧美综合区| 伊人久日| 欧美日韩婷婷中文| 美國A片| 韩国嫰模上门援交视频| 午夜呻吟欧美| 亚洲最大成人a毛毛片| 超碰97人人乐| 99九九久久| 99色热| 人人干人人操人人爱| 安微少妇操BBB| 人妻少妇一区二区| 超碰在线香蕉| 极品销魂美女一区二区| 午夜亚洲| 国内精品久9| 强上我不卡卡| 四季AV综合网址| 91麻豆va国产精品| 肉嘟嘟www视频在线观看高清| 偷拍亚洲| 操久久久久| 亚洲日韩国产欧美综合v| 精品九九九| 久久久999国产精品| 啪啪啪综合网| 欧美色网络| 亚洲一二三| 久久综合久久综合人久久夜精品| 激情五月婷婷综合| 久久性爱大全| 美国aaaaa一级黄片| 欧美黄色片在线播放| 亚洲图片另类| 天天综合青苹果| 熟妇无码视频三区| 中文字幕乱偷人妻久久艾草网| 青青草九九九九九| 欧美亚洲日韩16色| 激情图片伦理国产一区二区日韩| 国产少妇肉丝在线观看| 五月丁香激情综合网| 精品一区二区成人动漫| 日韩精品一区二区高清| 在线αⅴ| 精品国产91av一区二区三区| 国产高清不卡视频| 青青操少妇| 另类图片五月天| 婷婷亚洲五月***久久| 操逼逼中文字幕| 亚洲综合另类小说色区亚洲成av人片在www| 亚洲av噜噜噜噜噜噜| 特污精品女优骚货黄色视频在线免费观看| 大香蕉日韩| 四虎av在线| 亚洲骚男同com| 大鸡巴久久| 欧美日韩欧美| A 天堂| 91AV入口| 性影在线视频| 亚洲码专区| 天天天天天天天天天天干美女| 无码 有码 国产18p| 深田咏美亚洲精品福利社| 岛国在线一区二区三区| 国产日比| 人人操人人摸人人骑| 国产精品久久| 综合国产影视三级| 激情接吻视频久久久久久| 91九色在线| 夜夜爽77777| 日韩一区二区熟女| 91超碰碰在线| 东京热,男人的天堂| 欧美天天综合在线| 日本一级特级毛片视频| 思思性爱| 熟女啪啪视频| 国产精品3| 日本一二三免费久久| 亚洲丝袜少妇在线| 亚洲精品一区二区精品| 禁片 高清 在线观看视频网站| 伊人97色天使| 精品无人区麻豆乱码1区2区图片| 亚洲欧美高清| 色嗨嗨在线| 亚洲做性| 色婷婷六月丁香七月婷婷| 人妻中文字幕精品无码| 91蜜桃婷婷狠狠久久综合9色| 欧美极品女人的天堂| 婷婷色网| 天天日天天看| 久久久久人妻二区精品叶可怜| 久久‘黄片视频| 操狠狠| 亚洲中文电影| 日本色日夜干| 婷婷久久综合| 91国产在线精品| 超碰97久久| 国产亚洲中文不卡二区| 蜜桃色色网站视频三区| 在线看污网站| 国产 热久久久久国产精品| 五月天激情网站| 欧洲精品网| 毛片视频白嫩| 日韩欧视频| 色欲无码人妻日韩欧美精品| 99青草| 亚洲校园激情| 午夜男人一级A片7777| 嗯啊不要啊啊在线观看视频| 亚洲自拍小说| 99久在线精品99re8热| 中文字幕人妻色偷偷久久皮| 一起草欧美| 久久久久精| 暴力av在线| 国产AV无码AV| 成人A片男人的天堂| 欧美翘臀视频网站一区二区三区| 岛国片在线观看视频亚洲| 欧美白嫩在线放| 国产欧美第五页| www.acm成人黄色毛片| 91人妻人人澡人人爽人人精品| 亚欧国产无码精品在线| 男人的天堂久久狠| 亚洲国产精品无码AV在线| 国产SV一线| 欧美色图色综合| www久久99| 97久久久久久久久久| 美女午夜福利免费视频| 性欧美精| 国产一级αv免费看片| 亚洲加勒比色图| 人人妻人人狠人人| 超碰久草| av资源在线观看少妇| 超碰综合97在线| 青草青草久热| 欧美日韩精品久久久久东北老熟妇| h无码动漫在线观看| 亚洲色图 图片| 久久九精品| 午夜电影在线观看无码专区| 久久精品六区| 乱伦熟女区| 久久久女人| 亚洲成人碰碰| 精品人妻免费观看| 麻豆天美传媒在线视频天堂| 亚欧日韩成人| 怡春院久久| 中文字幕在线观看丝袜| 人妻夜夜爽天天爽三区麻豆AV网站| 久久最新免费视频23| 91麻豆天美国产欧美高潮| 蜜臀操逼黄色视频操的好爽| 三级色影综合网| 少妇无码太爽| av在线一区二区三区| 综合色久欲| 人妻少妇久久久| 午夜精品久久一区二区| 国产日韩色综合| 日本新免费二区三区| 国产AV毛片| 欧色网址| 中文字幕黑人大片| 久草福利在线资源站| 亚欧洲日韩国产精品| 五月婷婷六月丁香| 自拍偷拍国产欧美日韩韩| 日韩无码久久熟女一级片| 岛国成人av在线播放网址| 国产精品乱码久久久| 精品久久久中文字幕不| 韩国成人精品久久久免费看| 亚洲宅男天堂| 日本孕妇一区二区视频操逼免费看| 久久久久久久久久久999| 亚洲AV无码成人精品久久| 98超碰欧美| 蜜臀AV一区二区三区激情综合| 乱伦一区二区三区‘| 精品无码产区一区二| 艹我哪美一区无码| 懂色AV蜜臀无码精品APP| 国产又黄又爽| 国语精品av| 青青草啪啪网| 内射白嫩美女| 欧美美逼| 偷拍片久久| AV天堂丝袜| 免费簧片在线观看| 人人操人人摸人人看人人干| 97色亚洲| 蜜臀视频网站| 综合亚州欧美| 中文字幕人乱码中文字的预防方法 | 蜜桃网熟妇| 久草资源在线视频官方总站日韩丝袜美腿 | 国产精品亚洲无码| 在线a亚洲视频播放在线| 欧美激情一| 日本女厕偷拍| 四虎AV无码| 五月天丁香| 国产操逼逼网| 青草草免费网站av| 青青免费在线视频一区 | 国产精品网站www| 这里都是精品在线观看| 欧美特黄视频网站| 日本孕妇一区二区视频操逼免费看 | 色九久| AV色五月天| 欧美精品 - 91爱爱| 成人欧美一区二区三区黑人一| 精品偷拍13p欧美dodk视频| 日本高清视频xxxx| 久久精品国产AV一区二区三区| 国产一区二区在线播放| 易易A毛视频| 97精品一区二区视频在线观看| 宅男午夜在线视频| 亚洲国产剧情少妇激情| 日韩成人午夜精品久久高潮| av大香蕉网站| 欧美在线伊人色| 热久久精品| 十八禁网站在线| 偷拍 精品 另类 四区| AV一二区| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 欧美.亚洲.另类.丝袜.制服.诱惑| 免费看日本操逼视频| 九九黄色视频在线观看| 综合一区中亚洲国产成人综合精品| 在线观看AV片| 巨爆乳肉感一区二区三区竹菊影视| 在线看免费无码AV天堂的| 日韩欧美午夜视频在线| 8050午夜少妇无码| 亚洲激情久久| 磁力99AV| 亚洲九九视频在线观看| 欧美桃色网| 国产尤物在线三区| 亚洲激情视频| 久久国产乱子伦精品免费女人| 在线观看免费视频国产| 国产69精品久久久久99尤物| 婷婷丁香五月激情啪啪| 人妻天天爽天天爽三区| 99热这里只有精品18| 碰碰97| 自拍内地三级在线观看| 99婷婷一区二区| 中文字幕五月婷婷免费| a级理论午夜日本| 激情综合五| 91久久久久久久久久久| av久日| 天美av在线| 97视频在线播放| 91久久免费视频互動交流| 另类一区| 少妇人妻精品| 中文字幕一区二区三区人妻不卡| 亚洲熟伦熟妇AV无码春色| 亚洲第一精品在线视频| 99热免费| 欧美日韩中国x| 国产又粗又大硬免费色网视频| 免费1级a做爰片观看| 国产AV高清AV无码| 欧美色图片91| 国产97色在线| 欧亚第一综合网| 97精品全部| 天天看天天干| av中文在线| 欧美熟女妇同| 国产高清亚洲日韩一区| 亚洲精品国产精品乱码不99| 神马影院午夜福利久久久| 欧美色图91| 亚洲人妻中文高清| 国产伦精品一区二区三区视频女| 日本免费一区二区不卡| 97资源视频| 人妻熟女字幕一区二区| 在线电影亚洲色图| 国产成年精品高清在线观看91| 天天日夜夜| 黄色片G G G| 精品久久久久9999| 91欧美www| 国产精品呦一区二区三区| 日韩精品.久久精品.AV女优.天美传媒| 欧美熟女妇同| 成人精品在线免费视频| 天美传媒国产原创中文字幕亚洲欧美另类| 欧美一区二区三区成人性生活| 人妻一区二区三区四区视频| 伊人91| 骚逼自拍99| 先锋激情∨在线视频播放| 国产欧美伊人| 国产999精品久久久| 黄片无码在线制服| 欧美丝袜美女电影一二三四区| 蜜臀精品1区2区| 欧美另类丝袜熟女| 色999;丁香五月| 国产精品粉嫩福利在线| 日本视频一区二区三区| 97丝袜亚洲在线播放| A级片日韩欧美国产欧美视频精选观看 | 国产久9| 日本免费一级AAA大片器| 久久9精品视频| 国产女人视频三四五区| 日韩中字av一区| 日本506070| 色婷婷久久| 国产亚洲色婷婷久久99精品91| 欧美亚洲宗合色性图| 欧美探花网| 97天天操天天干| 12一15性XXXX粉嫩国产| 91欧美美女日韩国产婷婷| 日韩无码极品| 国产美女91视频| 日韩免费三级黄片电影| 精品97久久综合| 国产一区二区三区视频在线看| 午夜精品久久久久久久99热影院 | 91综合国产精品| 免费观看的黄色的网站| 国产又粗又长又大的视频| 综合婷婷| aa片毛片| 日韩图区| 国产自偷自拍一区| 蜜臀AV午夜精品久| 老熟女乱伦一区| 97干天天| 国产亚洲禁久一区二区| 狠狠爱夜夜| 精品人妻二区三区| 国产一区二区精品久久99| rivers-china.com| 校园春色制服丝袜中文字亚洲| 日韩性爱小视频| 淫乱图区 | 久久久久国产精品久久久| 国产精品久久9| 2018天天干在线视频| 人妻人久久精品中文字幕| 天堂中文日本在线观看| 91亚洲网站| 日日夜夜骚| 夜夜影视四色| 97aiaiai| 亚洲极品| 色九月综合| 美中日韩无码| 天天色图| 9九九国产| 九九玖玖精品| 色青青久久影视| 91操熟女| 中文字幕第7页| 天天弄欧美| 午夜福利 成人 91| 操人妻逼91| 二色av| 一二三四视频中文字幕在线看| 日韩成人人妻网站| 国产精品欧美激在线| 狠狠狠狠狠| av绯色| 啊啊啊啊网站| 大白逼三四级| 东京热精品97综合网| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 国产成人主播| 熟女日韩| 亚洲一区二区麻豆影院| www黄片免费看com| 日本狂喷奶水在线播放212| 欧美亚州综合网图片| 区二区亚洲婷| av婷婷色网| 激情综合五月婷婷| 牛牛aV| 欧美亚洲日韩16色| 亚洲情色1区| 丁香五月色情| 黄色av一区二区在线| 伊人久久综合影院| 欧美A片中文字幕| 国产精品96久久久久久| 青草精品视频一日本久久久久网站| 日韩电影天堂视频二区三区| 不卡码视频| 黄页18禁| 亚洲欧洲小说图片视频 | 97Ai亚洲| 99夜夜操| 精品黄色电影| 国产精品扒开腿做爽爽爽视频| 精品女同一区二区三区| 亚洲日本大香蕉1| 亚洲精品久久一区二区三区蜜桃臀| 五月婷婷丁香| 欧美日日夜夜| 欧色综合| 精品国产91久久久久久一区黄无| 亚洲 se图 欧美电影| 9热9热综合网| 精品一久久久| 99在线啪| 大香蕉婷婷| 天天干天天插| 1024亚洲中文字幕久在线看片你懂的 | 校园春色AV天堂| 大香交| 天躁夜夜躁2021| 亚洲蜜臀精品视频久久| 国产馆| 午夜啊啊| 偷拍偷窥与盗摄视频专区| 免费成人在线观看91| 青青青国产手线观看视频2| 久久受www免费人成| 亚洲91在线播放影院| 欧美不卡二区| 午夜男女爽爽爽在线视频| 99性视频| 久久久久性熟视频| 后入式在线免费观看60秒| 成人精品欧洲亚洲| 青青草久久在线| 久污| 国产高清成人免费视频| 老外又粗又长一晚做五次| 99久久亚洲精品无码毛片潘甜甜 | 色婷婷九月天天综合| 日本3级一区二区免费| 中文字幕在线观看丝袜| 爱爱动态试试看6 0秒| 97青娱乐超碰久久| 啊啊啊啊啊啊啊网址在线观看| 欧美亚洲韩国视频十五区| 天天爱天天操| 亚洲免费在线探花| 95人妻爽爽人人做人人澡| 超碰色中文| 精品久久久久成人码免| 国产400孕妇孕交群| 探花一区二区三| 九九色逼| www.av不卡中文字幕| 亚洲国产综合图区中文字幕| 在线观看AV片| 清清一区二区三区四区不卡视频| 青青草好吊| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 日日噜噜夜夜久久亚洲一区二区 | 激情综合五月| 狠狠做深爱婷婷久久二区| 91久| 日本一区二区成人在线| 丁香啪啪| 国产精品乱码久久久久久| 青草成人免费视频一com| 欧美日韩在线国产在线| 1区2区3区在线视频| 亚洲图片在线| 嗯嗯啊啊用力视频免费| 日本幼女18+| 岛国黄片网站| 中文字幕一区 二 区 三 四 五 区日 日 骚| 亚洲宗合网| 熟女激情综合网| 亚洲麻豆精品二区三区| 91美女视频电影| 亚洲人妻久久久| 国产A v无码专区| 色五月69夫妻| 97在线看| 99国产人成精品| 亚洲极品| 99精品久久久久久久婷婷| 中文字幕亚洲欧美在线不卡| 好爽视频在线观看| 色欲久久综合| 亚洲图片偷拍欧美| 久久人人爽爽人人爽人人片αV| 色香阁在线| 精品人妻一区二区三区不卡断 | 亚欧色图在线激情| 大香樵伊人网| 日夜精品| 日日不卡av| 手机在线看片免费人成视频| 任你干在线视频| 亚洲欧洲综合av在线| 中文字幕加勒比海高清无码免费视频| 久久精品店| 婷婷中文字幕| 18+91网站| 国产精品老师| 综合五月天| 高清国产av无码| 久久风骚城市| 99热9| 欧美91网| 婷婷在线视频| 亚洲欧美日韩激情不卡| 亚洲欧洲小说图片视频| 9丨久久九九九| 成人婷婷丁香| 日本成a人v网站在线观看| 亚洲AV无码乱码| 欧美黑人猛交春色影视大全| a亚洲欧美色欲| 欧美高潮在线| 日韩国产在线观看av| 天天综合网~91综合网| 亚洲精品精品一区二区| 亚洲黄色电影| 97干在线看| 国产真乱mangent| 97精品97| 久久久久9| 啊啊啊啊网站| 熟女一区二区三区| 国产Aα| 中日韩久久久免费看| 成人看片网站| 亚洲伊人久久综合97| 99蜜桃臀久久久欧美精品网站| 国产精品ⅴ无码大片在线看.| 丁香婷婷激情五月天无毒不卡 | 色欧美亚洲| wwe 天天干.com| 精品中文字幕一区二区l - 百度| 久久亚洲一区二区色婷婷| 久久国产99精品72福利| 久思思热视频在线观看| 精品人妻久久久| 日韩内射视频| 国产CHASE男男GAYGA 毛多色婷婷| 网友自拍第1页| 亚洲欧洲无码bt精品合集| 亚州欧美一区| 日本久操视频| 亚洲成a人片在线观看中文!!!| 人妻熟妇一区二区三区| 第二页中文字幕| 久久精品国产72国产精品福利| 欧美在线天堂| 欧洲亚洲天堂精品| 久久久久骚| 被体育老师抱着c到高潮| 国产女大学生AV| 精品一区二区久久| 久久曰曰| 久久黄黄| 一区二区三区精品视频| 1000部熟女视频在线观看| 青青草中出视频| 久久鲁夜| 欧美久久九九| 亚洲精品美女久久久久久久久| 草草电影院| 婷婷丁香熟妇综合网| 伊人一级免费黄片| av草草在线电影| 超碰97男人| 亚洲欧美大香蕉| 操比国产| 久久直播国产| 天天干天天舔| 麻豆精品一区二区三区四区免费观看| 亚洲国产中文字幕| 欧美 日韩 另类 亚洲| 五月天激情四射| 午夜精品五区| ji熟女.com| 2017av无码免费无线播| 精品国产乱码久久久| 伊人亚洲综合| 欧美亚洲涩涩| 97久久精品国产| 精品一区96| 免费看毛片操穴| 成人精品在线| 热热色综合网| 中文字幕欧美日本乱码一线二线| 伊人精品视频| 久操 高清| 精品无吗久久| 久久久久久久久久久97| 亚洲一区二区麻豆影院| 婷婷五月色| 婷婷视频网| 美女被艹尤物视频| 色综合尤物| 韩国三级理论在线| 黄色欧美性爱视频| 午夜福利视频在线一区| 秋霞影音一区二区三区| 中文字幕123| a v网站在线播放| 欧美经典一区二区三区| www.久久最新地址| 国产美女mm131爽爽爽爽| 超碰在线香蕉| 日日摸日日碰| 超碰97欧美日韩| 婷婷激情五月综合| 岛国天天午夜影院传媒网| com 首页 18岁 禁区 女优 免费 精选 同城| 亚洲淫色网中文| 亚洲素人网| 97超碰色中文字幕| 韩日欧亚a级| 久久精品无码专区| 91熟女视频| 在线观看亚洲成人精品| 久久精品日韩| 国产无码一二三区| 久久亚洲AV无码专区国产精品| 久久精品毛片免费不卡| 日韩av不卡在线观看| 丁香五月婷婷啪啪| 亚洲天堂另类美腿| 超碰97最新人妻| 日韩人妻精品| 91人妻人人澡人人爽人人精品| 黑人综合网| 国产美女自拍AV| xxxx网站亚洲精品| 国产精品一区二区黄片| 超碰亚洲欧美日韩无| 欧美少妇内射| 欧亚日本情色| 精品综合久久久久久五月天| 亚洲日本激情| 亚洲精品三| 蜜桃精品一区二区三区ww| 欧亚性爱在线视频| 国产女人成人精品视频| 91女人的网站| 天美传媒Av在线| 9精品久久久久| 女欧美一区二三区| 国产精品久久久久久久久AV大片 | 欧亚性爱啪啪| 97AV爱| 日韩中文字幕宗合在线| 亚洲少妇在线观看| 黄色AAAAAAAAAAA大片| 深夜啪啪啪视频免费| 天天日天天操VV| 香蕉国产97| 亚洲日本激情| 中文字幕五区| 啊灬啊灬啊灬啊灬高潮奶出了免费视 | 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | 97久久国产亚洲精品超碰热| 欧美999| 日韩精品视频在线观看一卡二卡| 美女黄页| 久久蜜桃一区二区| 思思热免费在线视频| 色五月婷婷麻豆在| 国产精品3| 99亚洲国产精品色一区二区三区| 99热这里只有精品地址| 亚洲少妇在线影音| 亚洲综合999| 国产成人无码网站在线视频| 熟女欧美日韩综合婷婷| 天天爽夜夜操| 天天影视之亚洲综合网| 囯戸精品高潮呻吟旡码| 99热综合在线| 亚洲一区二区av| 国产第25页在线观看| 免费人人搞97| 日韩成人高清一区二区| 深爱五月婷婷| 日本久久久久久久久久| 看黄片视频免费| 日韩中文字幕av在线播放| 久久国产乱子伦精品免费女,网站| 欧美麻豆成人同性GⅤ在线| 老女人碰碰在线碰碰视频| 思思热在线视频在线| 在线观看一卡二卡| 91性网| 欧美99热| 亚洲中文字幕av | 亚洲区限制级| 日韩日本欧美在线观看| 日韩美一区| 日韩精品-原创伙伴| 九九碰九九爱97| 极品出轨视频网站| 亚洲日本韩国在线| 素人伊尹大香蕉免费下载视频| av日韩国产一区二区| 久久99草| caoni国产亚洲av| 国偷自 一区二区| blacked精品一区国产| 久久久久密臀视频| 乱伦Av网| 亚洲国产福利视频| 91色久| 一区二区不卡免费| 亚洲一区中文字幕一区| 五月天社区| 天天爱综合网| 欧美日韩第一页| 春色91| 丁香五月天堂网| 97碰碰色| 超碰九色| 亚洲97在线| 国产成人无码高清| 国产一区二区三区高清视频| 日韩性爱一级片| 精品久久久久9999| 操啊国产| 韩国国产欧美情侣视频在线| 国产一区二区欧美日本| 美女黄色91| 亚洲色天堂日韩中| 亚洲97成人在线观看| 久久久久网站-538在线视频-欧美永久乱码| 中国一级特黄大片护士| 国产热av| 长长久久免费视频| 思思热在线视频免费| 伊人精品视频| 亚洲aV无码成人在线观看| 青草精品视频日本久久久久网站在线| 99色在线视频| 国产91亚洲精品一区二区三区| 国产91影院| 亚洲黄日韩无码专区| 国产成人一级av88| 亚洲高清91| 国产熟女一区二区丰满| 免费啪啪一级视频| 亚洲欧美伦综合| 久久欧洲| 色香蕉影院| 国产精品一区二区久久精品| 精品女同一区| 中文字幕 一区二区 亚洲无码| 欧美精品一区二区少妇免费A片 | 国产乱伦亚洲| 青青草AV色| 99999精品成人| 人人妻人人狠人人| 亚州欧美在线| 歐美性天天| 日韩久久三区| 免费的很黄很污的全部视频| 国产日产欧产美韩系列麻豆免费| 少妇无码太爽| h无码动漫在线观看| 色婷婷综合网| 欧美一级特黄淫片在线观看| 97亚洲中文| 97网址97| 久久久精品国产亚洲伊人| 国产亚洲深夜激情| 超碰天天去日穴| 狠狠躁天天躁日日躁| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 久九九九| 色哟哟av| 亚洲高清少妇| 日韩精品熟妇| 人妻天天操天天爽视频免费| 成人av动漫在线观看| 懂色av色欲av蜜臀av| www鬼畜国产男人的天堂| 中国国产精品一区视频| 84YTCOM性无码| 91热| 大屁股熟女一区二区三区| 天天摸夜夜摸| 国产女上位好爽在线| 久久婷婷五月综合| 国产女人91精品嗷嗷嗷嗷| 欧美日韩国产另类综合| AAAA欧美日韩| 亚洲另类色综合网站| 亚洲欧洲第二视频在线观看色图| 日本裸体久久色噜噜| 综合网欧美在线| 999岛国大片| 日本精品网站在线中文| 一区二区三区美女超清| 91美女网站| 人人操人人肉久久精品| 欧美日综合| 高清无码学生妹高潮| 国产欧洲精品亚洲午夜拍精品| 麻豆一区二区三区精品| 天天干天天日天天射黄色片| 亚洲综合在线高清| 人人天天欧洲| 亚洲一区二区麻豆影院| 91欧美网| 欧美色视| 亚洲欧美色图片| 97在线视频免费观看| 精品亚洲天堂| 欧美日韩另类在线| 久久久久久免费电影| 激情视频图片| 亚洲 欧美综合| 91五十路| 超碰色男人操熟女| 黄在线| 日韩成人大片在线观看| 丁香九月婷婷| 精品福利视频| 品亲网欧美品亲网| 人妻喷水| 日日爱99| ..日韩av毛片精品久久久| 日韩丝袜二区| 丁香五月激情五月| 尤物av网站| 9 9无尺码天堂网| 日韩无码第3页| yw尤物av无码点击进入麻豆| 免费人成在线观看网站品爱网| 黑人嘿嘿嘿超爽免费视频| av大香蕉| 91美女视频在线| 久热这里| 大二网站亚洲| 国产无码一二三区| 蜜桃色色网站视频三区| 91挑色欧美| 久九九九九九九九热| 翘臀vidoes| 亚洲日韩乱码中文无码蜜桃臀网站 | 国产精品色片一区二区| 九九热免费视频| 夜草欧美| 清纯唯美亚洲综合| 久干9操| 荡小穴在线观看| 少妇高潮喷水无套久久久久久| 日韩有码专区| 日本不卡高清视频| 国产一区二区三区中文字幕| 亚洲精品 欧美精品| 亚洲日韩电影| A 天堂在线观看视频| 999日韩中文精品观看视频。| 91美女视频在线免费观看| 亚洲动态色图| 日本高清一区二区在线| 中文字幕亚洲欧美在线不卡| 久久久久久99999国产精品| 色色毛片| 天天色播| 试看60秒| 日韩熟女操逼| a久久| 天天干1区2区在线| 亚洲欧洲中文日韩女优乱码| 99操碰| 国产免费一区| 日韩一区二区精彩视频| 天天爽天天干| 久久禁| 双插性欧美一二三区| 91欧美长吊| 97爱爱爱| 激情综合五月天| 精品视频一区二区| 亚洲成人一区二区精品| 久久欧洲| 国产h小视频在线观看免费| 日本欧美国内在线| 国产人人干| 一区二区三区黄片免费观看| 超碰在线974| 99re免费| 嗯嗯啊中文字幕| 超碰97久| 成人性爱电影一区二区| 欧亚日韩综合精品国产| 久久国产乱子伦精品免费女人| 91久热这里只有精品| 亚洲色图欧洲| 好爽视频在线观看| 亚洲色诱惑| 激情文学亚洲| 免费啪啪啪网站18岁| 欧美综合传媒| 天堂中文日本在线观看| 久久999久| 人人干黄色| 99热精品青草在线 | 久射吧| 色综合久久88色综合久久天天| 夜夜骑天天燥| 一区二区三区在线美女| 午夜精品久久久久| 国产日韩欧美中文在线播放| 97免费免费视频网| 欧美日韩色综合网| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 久久久久精| 家庭乱伦麻豆| 二对二中文字幕。| 国产亚洲精品激情| 久日综合网| 国产精品无码AV网站| 日韩电影中文字幕| 天天干,天天日| 国产精品久久久 | 日韩一级久久毛片| 日韩激情视频| 操逼逼中文字幕| 人妻天天爽夜夜爽2| 操一区| 东北女人无套内谢视频| 亚洲码和欧洲精品激情系列| 天天操夜夜操狠很操| 欧美成人国产精品| 欧美在线播放aaaa| 97超碰超碰| 日本天天干天天搞一区| 国产强奸超碰AV| 精品日日人妻| 欧美中文字幕一区| 午夜福利精品| 九九九国产| 成人女人国产| 欧美国产伊人久久久久| 台湾佬大香蕉| 久久偷拍人| aaaa少妇高潮大片| 91欧美综合| 青女在线| 色综合色色| 国产亚洲色停停久久99精品91| 欧美 亚洲 综合 制服 另类| 亚洲激情综合| ,成人免费啪啪视频| 91黄射| 熟妇人妻一区二区三区| 无码精品蜜桃一区二区三区ww| 9久久精品| 久久人妇| 少妇高潮99p| 插穴性爱视频在线观看| 五月天伊人网| 在线观看AV片| 美女91AV| 中文字幕女同在线| 日韩三级一区| 成人性爱视频在线看| 人妻铁牛TV| 99re在线视频这里只有精品| 青青欧美在线| 久久久久久AⅤ无码免费肉站| 欧美日本成人一区二区| 超碰在线1234区| 夜夜狼人妻| 男男H黄动漫啪啪无遮挡网站| 试看日韩黄片| 超碰4A| 成人在线午夜视频一区| 欧美专区在线| 超碰在线人妻| 国产人伦a片信息免费片| 97久久网| 欧美色97| 色色青青久久| 中文在线久久字幕| 国产精品久久久亚洲一区| 久久精视频美日韩在线视频| 美日韩男女操屄视频| 精品玖九九久| 日韩欧美蜜桃精品久久中文字幕久久 | 日韩乱伦视频| 亚洲欧美日韩免费电影| 97爱| 97极品无码| 超碰97久| 情色五月天就去干| 日本黄色裸日本黄色裸体| 天天干一区二区| 亚洲欧美精品91| 极品极品色影院| 尤物一级在线免费观看| 国产AV色黄看到爽| 欧美精品精品一区二区| 亚洲自拍97| 天天夜夜rb| 熟妇无码视频三区| 校园春色家庭伦理欧美激情| 无码137片内射在线影院| 2017天天操| 在线中文字幕视频| 亚州欧美在线| 中文字幕一区二区三区四五区| 亚洲丰满很很操| 自拍亚洲综合| 九九九热精品| 劲爆欧美人妖三区91| 男人把坤坤插入女人的下体| 97免费视频网| 99re69综合| 国产污视频麻豆传媒一区二区| 精品一区二区三区最新| 人人妻人人操人人乐| 久都青青视频| 97蜜桃综合| 日本精品人妻少妇一区二区| 蜜桃精品一区二区三区ww| 亚洲AV无码| 久久一二三级一一一| 男人的天堂色偷偷青青草视频婷婷网| 91色黑人少妇| 搞中出视频在线观看| 亚洲综合九| 97超碰色中文字幕| 后入式福利| 欧美+日产+中文| 欧美一级A一级a爱片久久| 夜草网站| 7777奇米影视久久| 欧美成人性爱视频免费观看 | 欧美日韩大香蕉| 日韩免费看在线黄色片| 丝袜剧情| 久久久18| 嗯啊啊啊轻点视频 | 人人色97| 91在线限制级| 9999九九九久久久| 精品丰满熟妇人妻一区 | 亚洲欧洲无码bt精品合集| 东京男人天堂| 欧美性性性| 精品蜜乳AV免费观看| 无码 黑人一区二区三区| 精品国产一区二区三区香蕉欧美| 黑人操一区二区| 色五月网址| 熟妇视频一区二区三区在线观看| 日本不卡二三区| 天天综合网合集91| 亚洲一区二区AV| 中文字幕日韩精品久久| 97人人操人人摸人人爱| 免费黄色视频网址| 少妇毛片久久| 久久人人爽av亚洲精品天堂桃色 | 91色黑人少妇| 日本天堂在线播放| 男人天堂网站| 亚洲成人福利电影免费|