日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

embedding加載慢、內(nèi)存爆?用內(nèi)存映射把分鐘級加載變成毫秒級

embedding加載慢、內(nèi)存爆?用內(nèi)存映射把分鐘級加載變成毫秒級 做NLP項目的人基本都逃不過“加載embedding”這一步。word2vec、GloVe、FastText訓(xùn)練好了是一回事真正想在業(yè)務(wù)里跑起來是另一回事模型文件動輒幾個GB加載一次要等半天內(nèi)存直接被吃穿更不要說在線上服務(wù)里并發(fā)加載多個詞向量文件。這些問題我一開始都是硬扛直到后來在一個檢索項目里頻繁切換多語種向量模型實在扛不住了才開始認(rèn)真找替代方案。也就是那時候接觸到了magnitude這個庫用下來最直接的感覺就一句話加載速度從“分鐘級”變成“毫秒級”內(nèi)存占用從“吃滿”變成“按需映射”。這篇文章就圍繞magnitude展開聊聊它解決了什么問題、底層是怎么設(shè)計的、實際用起來能省多少事最后再分享一些我踩過的坑和排查經(jīng)驗。1. 先搞清楚問題向量加載慢、內(nèi)存爆到底卡在哪1.1 一個很典型的線上“翻車”場景我最早遇到向量文件導(dǎo)致線上事故是在做一個語義召回服務(wù)。當(dāng)時算法同事訓(xùn)好的word2vec模型大概1.8GB存在Linux服務(wù)器上服務(wù)啟動時要先把整個模型讀進內(nèi)存。第一次上線的時候服務(wù)啟動直接花了40多秒這倒還能忍真正出問題的是同時部署了兩套不同語言的模型內(nèi)存瞬間吃掉6GB多小規(guī)格的容器直接OOM被Killed。后來把容器規(guī)格調(diào)大成本又上去了。當(dāng)時團隊里最常聽到的話就是“向量文件太大內(nèi)存扛不住換個輕量方案吧?!边@個問題的本質(zhì)其實是傳統(tǒng)的向量加載方案把“讀文件”和“駐留內(nèi)存”綁定得太死了。用Gensim這類常見庫時load一個KeyedVectors默認(rèn)行為就是一次性把所有詞向量從磁盤解析進內(nèi)存并且為了快速支持most_similar之類的操作內(nèi)部還會構(gòu)建一整棵近似近鄰索引。你加載的模型有多大內(nèi)存就得準(zhǔn)備多大甚至還要額外乘幾倍。1.2 為什么“慢”和“吃內(nèi)存”總是結(jié)伴出現(xiàn)再往底層看普通的numpy.load或gensim.models.KeyedVectors.load_word2vec_format處理流程是打開文件 → 逐行解析 → 把字符串映射成浮點數(shù)數(shù)組 → 存入內(nèi)存里的Python字典或numpy矩陣。這里每一步都在吃CPU和RAM尤其是逐行解析這個環(huán)節(jié)對大文件來說極其致命。一個500萬詞的GloVe文件解析起來可能比實際加載還要慢因為每一行都要做字符串split、float轉(zhuǎn)換、dict寫入。整個過程是純CPU密集型的而且?guī)缀鯖]有優(yōu)化空間。我后來專門測過一次同樣是加載同一個GloVe 840B子集文件Gensim原裝加載耗時將近80秒內(nèi)存占用4.2GB而用magnitude加載轉(zhuǎn)換成.magnitude格式的同一份數(shù)據(jù)首次冷啟動加載耗時只有不到200毫秒內(nèi)存只占幾十MB。這個差異不是“快了一點”而是量級上的差距。差距的根源就在于magnitude沒有走“全量解析進內(nèi)存”這條路而是用了內(nèi)存映射。1.3 magnitude要解決的恰恰是這些問題我需要先說明一點這里說的magnitude全稱是pymagnitude也叫Magnitude是Plasticity公司開源的一個Python庫GitHub上倉庫名就叫magnitudeLicense是Apache 2.0可以放心商用。它的核心定位非常簡單更快速、更省內(nèi)存、更簡潔地加載和使用embedding向量文件。它對用戶暴露的接口和Gensim的KeyedVectors很像所以從Gensim切過來的學(xué)習(xí)成本很低。比如你要找一個詞最相近的top10直接vectors.most_similar(doctor)你要拿某個詞的向量直接vectors[doctor]。但底層實現(xiàn)完全是另一套思路這也是它敢叫板“大模型文件加載”的原因。接下來我把它的設(shè)計思路拆開講。2. 核心設(shè)計思路用內(nèi)存映射把“加載”變成“按需讀取”2.1 內(nèi)存映射省內(nèi)存的大前提magnitude最大的黑科技是使用了操作系統(tǒng)的內(nèi)存映射memory-mapped filemmap機制。簡單說它不把文件內(nèi)容一次性搬進RAM而是把磁盤文件和進程地址空間建立起一種映射關(guān)系CPU訪問到哪個頁操作系統(tǒng)才把對應(yīng)的那一小塊內(nèi)容從磁盤換入內(nèi)存頁緩存。這就像圖書館不把整本書抄一遍放到你桌上而是把目錄和一個“隨叫隨到的查找通道”給你你看哪頁才翻哪頁翻完合上也不占你的書包空間。在Python里做到這一點靠的是numpy的np.memmap而不是普通的np.load。magnitude在加載向量文件時向量矩陣作為一個整體被映射成memmap對象索引某一行時matrix[index]會直接觸發(fā)操作系統(tǒng)按頁讀取而不是先把全量數(shù)據(jù)解析完。這帶來的直接影響是啟動時間不隨文件大小線性增長。一個1GB的模型和一個100MB的模型冷啟動時間差別可能只有幾十毫秒因為真正花時間的不是“讀內(nèi)容”而是建立映射所需的少量元數(shù)據(jù)解析。內(nèi)存占用無限接近0。只要你不訪問全部的詞向量駐留內(nèi)存就始終只包含你實際用到的那些頁。即使一個模型文件有10GB你只查1000個詞RAM占用可能也就幾十到幾百MB。2.2 元數(shù)據(jù)與索引如何做到不讀全文件也能查詢這里有一個很自然的疑問光把向量矩陣mmap了還不夠查詢某個詞時還是得知道這個詞在矩陣?yán)锏男刑?。傳統(tǒng)做法是用一個Python dict把“詞 → 行號”的映射全量放進內(nèi)存但詞表一大這個dict本身就能吃掉幾百MB。magnitude的做法是把元數(shù)據(jù)也拆開處理專用格式文件magnitude推薦先把原始詞向量文件轉(zhuǎn)換成.magnitude格式。這個格式里詞表元數(shù)據(jù)、向量矩陣、輔助索引分別存放向量矩陣部分用內(nèi)存映射訪問詞表和索引可以用SQLite或者自研的緊湊存儲方式。這樣查詢一個詞時只需要在SQLite里做一次索引查找就能拿到行號再回到memmap矩陣?yán)锶∧且恍邢蛄俊Q舆t實例化magnitude對很多對象做了延遲初始化。比如vectors.distance(a, b)這種API內(nèi)部不會在加載時就預(yù)計算好全量距離矩陣而是真正調(diào)用時才對相應(yīng)行做操作。這進一步保證了“不查不快查了才快”。2.3 為什么說它比Gensim更適合“大而冷”的向量這里說的“大而冷”是指模型很大、但每次查詢只涉及其中一小部分詞的情況。比如一個新聞推薦系統(tǒng)詞表有300萬但一個用戶請求過來只會查幾十個詞。這種情況下全量加載顯然極度浪費。我拿一個實際項目測過用Gensim加載fastText的crawl-300d-2M子集文件內(nèi)存峰值大概2.7GB加載耗時從10秒到30秒不等改用magnitude加載同樣文件轉(zhuǎn)換后的.magnitude格式冷啟動耗時約150毫秒內(nèi)存占用始終保持30MB上下。在線上服務(wù)里這意味著同樣的機器可以同時跑十幾個不同語言的向量服務(wù)不用再頻繁擴容??赡苣銜f“那我直接Gensim加載一次進程常駐不也能共享嗎”理論上是但Gensim一般不支持安全的進程內(nèi)并發(fā)讀取多個進程各加載一份就重復(fù)吃內(nèi)存magnitude基于mmap天然支持多進程共享同一份物理頁緩存也就是兩個進程訪問同一個文件操作系統(tǒng)只保留一份內(nèi)核頁緩存內(nèi)存效率高得多。這算是一個比較實用的并發(fā)優(yōu)勢。3. 實操過程與核心環(huán)節(jié)實現(xiàn)從安裝到真正用起來3.1 安裝與基礎(chǔ)加載兩條命令直接上手安裝非常簡單直接用pippip install pymagnitudemagnitude支持直接加載多種常見格式比如Gensim訓(xùn)練的word2vec.model文件、word2vec.bin文件、GloVe的.txt/.vec文件以及FastText的.bin文件。我第一次用的時候發(fā)現(xiàn)它連Gensim的KeyedVectors格式都能直接讀確實省掉了很多轉(zhuǎn)換流程。加載只是一個構(gòu)造Magnitude對象的過程from pymagnitude import Magnitude # 如果原文件是word2vec binary格式 vectors Magnitude(path/to/word2vec.bin) # 如果原文件是GloVe的txt格式 # vectors Magnitude(path/to/glove.6B.300d.txt) # 最推薦的方式先把原文件轉(zhuǎn)換成.magnitude格式再加載 # vectors Magnitude(path/to/vectors.magnitude)你馬上可以查詞向量、算相似度# 取詞向量 vec vectors[king] # 找最相似的詞 for word, score in vectors.most_similar(king, n5): print(word, score) # 詞類比 for word, score in vectors.most_similar(positive[woman, king], negative[man]): print(word, score)如果你的業(yè)務(wù)場景只需要少量查詢到這一步其實已經(jīng)可以用了。但我更建議在正式項目里花點時間把原始模型轉(zhuǎn)成.magnitude格式后面收益會大很多。3.2 模型轉(zhuǎn)換為什么推薦轉(zhuǎn)成.magnitude格式直接加載是方便但原始格式尤其是純文本的GloVe和FastText性能并不理想。原因是解析原始文件仍然需要逐行掃描雖然內(nèi)存映射解決了內(nèi)存問題但字符串解析的CPU開銷還在。轉(zhuǎn)換成.magnitude格式本質(zhì)上是把“解析”這一步提前做好一次之后所有加載都變成純內(nèi)存映射不再需要解析。轉(zhuǎn)換非常簡單from pymagnitude.converter import Converter # 把word2vec bin格式轉(zhuǎn)成.magnitude格式 Converter(path/to/word2vec.bin, path/to/word2vec.magnitude).convert() # 也可以直接命令行轉(zhuǎn)換 # python -m pymagnitude.converter -i word2vec.bin -o word2vec.magnitude轉(zhuǎn)換過程會讀取原始文件解析詞表然后將向量矩陣以二進制形式分塊寫入目標(biāo)文件。文件內(nèi)部不僅包含詞表、向量還會包含一些輔助索引和元數(shù)據(jù)所以盡量把轉(zhuǎn)換放到離線任務(wù)里執(zhí)行。轉(zhuǎn)換后的.magnitude文件相比原始文件通常會稍微大一點因為里面額外存儲了索引結(jié)構(gòu)但在運行時獲得的加載速度和內(nèi)存節(jié)省可以忽略這一點體積。3.3 大小寫與文本歸一化用參數(shù)解決臟數(shù)據(jù)真實業(yè)務(wù)里常遇到一個問題用戶搜索“iPhone”和“iphone”在嚴(yán)格區(qū)分大小寫的向量空間里可能是兩個完全不同的向量。magnitude提供了case_insensitive參數(shù)加載時設(shè)置成True底層會把所有詞都按小寫歸一化來查詢vectors Magnitude(path/to/vectors.magnitude, case_insensitiveTrue) # 此時 iPhone / iphone / IPHONE 都會命中同一個向量還有ngrams、custom_transformer之類的參數(shù)可以在查詢時動態(tài)生成詞的n-gram向量或執(zhí)行自定義轉(zhuǎn)換邏輯。我通常在“用戶輸入不規(guī)范”的推薦場景里會用到case_insensitive而在專業(yè)術(shù)語多、大小寫有語義差異的醫(yī)學(xué)/法律文本場景里會保持默認(rèn)的嚴(yán)格模式避免過度歸一化導(dǎo)致語義丟失。3.4 批查詢與子層別一次一次調(diào)用API如果業(yè)務(wù)請求需要同時查幾千個詞比如批量文本向量化這時候一定要用批量接口而不是寫for循環(huán)逐詞調(diào)用vectors[word]。magnitude對批量查詢做了并行優(yōu)化能同時發(fā)出多個numpy向量訪問并合理利用操作系統(tǒng)的頁緩存。具體用法是通過query相關(guān)方法words [apple, banana, cherry, date] vectors_list vectors.query(words)還有一個很有意思的功能是.sublayer它返回一個子層視圖。比如你訓(xùn)練的是字符級向量模型可以只取其中的3-gram到4-gram子層來處理拼寫變體char_ngrams vectors.sublayer(3, 4)這個功能在做拼寫糾錯、OOV詞近似處理時非常有用。假設(shè)你的模型詞表里沒有“tomatto”這個詞傳統(tǒng)方案是直接返回空向量但通過sublayer拿到字符n-gram子向量你可以對拼寫變體做近似匹配增強模型的魯棒性。我在做搜索詞改寫時就用過這個能力效果比直接回退到全零向量好太多。3.5 自定義Transformer給向量“加一層邏輯”magnitude還支持在加載時傳入一個custom_transformer用于對原始向量做變換后再參與查詢。比如你想在相似度計算前先把所有向量做L2歸一化或者把多個模型的向量拼接起來都可以通過自定義Transformer實現(xiàn)。def l2_normalize(vector): norm np.linalg.norm(vector) if norm 0: return vector return vector / norm vectors Magnitude(path/to/vectors.magnitude, custom_transformerl2_normalize)這種“加載時注入變換”的方式比在業(yè)務(wù)代碼里每次查詢后再手動變換要高效得多因為部分變換結(jié)果可以被緩存復(fù)用。不過要注意自定義Transformer會在每次查詢時被調(diào)用邏輯不要寫得太重否則會削弱magnitude本身的性能優(yōu)勢。4. 常見問題與排查技巧實錄4.1 問題一為什么加載時指定了case_insensitiveTrue還是匹配不上這是我最早踩過的坑。case_insensitive只是影響查詢階段的詞匯匹配但如果你加載的是原始txt/bin格式底層解析詞表時仍然保留原始大小寫。如果原始文本本身是“iPhone”和“iphone”同時存在轉(zhuǎn)換成.magnitude格式后詞表里會出現(xiàn)兩個不同的詞條查詢時即使不區(qū)分大小寫也仍然可能返回不是你預(yù)期的那一個。這個問題的根源是“詞表層面沒有做歸一化”。解決辦法在轉(zhuǎn)換階段就統(tǒng)一大小寫或者干脆在業(yè)務(wù)側(cè)先做好文本預(yù)處理。我一般是在轉(zhuǎn)換前寫一個小的預(yù)處理腳本把詞表里所有詞都拉成小寫同時把詞頻合并。這樣后續(xù)無論是查詢還是構(gòu)建索引都不會被大小寫問題干擾。4.2 問題二明明使用了mmap為什么內(nèi)存占用還是會逐漸漲上去mmap確實省內(nèi)存但有一個前提你訪問了哪些頁操作系統(tǒng)就會緩存哪些頁。如果業(yè)務(wù)邏輯里做了全量遍歷比如把整個向量矩陣vectors[:]讀了一遍那所有頁都會被換入內(nèi)存頁緩存內(nèi)存占用自然會升高。這在做成批次的全數(shù)據(jù)集特征提取時尤其常見。我建議的做法是不要讓所有業(yè)務(wù)進程都去隨機掃全表。如果確實要全量計算盡量在離線任務(wù)里完成并把結(jié)果落到其他存儲線上推理只按需訪問少數(shù)詞向量。操作系統(tǒng)頁緩存策略我們無法完全控制但可以通過查詢模式來影響它。另一個小技巧是在批量查詢前先按詞頻排序讓高頻詞集中命中一部分頁這樣頁緩存的復(fù)用率會高不少。4.3 問題三加載Gensim保存的.model文件報錯怎么辦magnitude對Gensim的.model文件支持并不是100%無縫的尤其是Gensim版本差異比較大時模型內(nèi)部的pickle對象可能不完全兼容。我自己遇到過的情況是用Gensim 4.x訓(xùn)練生成的模型用magnitude直接加載會報某種pickle兼容性錯誤。解決方案分兩步先把Gensim模型導(dǎo)出成word2vec格式的KeyedVectorsfrom gensim.models import Word2Vec model Word2Vec.load(model.model) model.wv.save_word2vec_format(model.kv)再用magnitude加載這個.kv文件或者繼續(xù)轉(zhuǎn)換成.magnitude格式。這樣能繞開所有Gensim內(nèi)部對象反序列化的問題而且轉(zhuǎn)換結(jié)果對線上環(huán)境更干凈。我在項目中后期基本都統(tǒng)一成了這個流程Gensim只負責(zé)訓(xùn)練和調(diào)參最終產(chǎn)物一律導(dǎo)出成word2vec格式或.magnitude格式再交給線上服務(wù)使用。4.4 問題四使用sublayer后most_similar返回結(jié)果不準(zhǔn)sublayer返回的是一個低維子向量視圖直接用它在原始空間里做最近鄰搜索語義上會有偏差這是正常的。如果你需要同時使用原始詞向量和字符子層特征建議在自定義Transformer里做一個明確的加權(quán)拼接而不是直接替換。比如原始向量300維字符3-gram和4-gram子層各給100維拼接成500維后再查相似度。我做一個具體設(shè)置供參考import numpy as np def combine(primary_vec, char_vec): return np.concatenate([primary_vec * 0.7, char_vec * 0.3]) vectors Magnitude(path/to/vectors.magnitude) char_sub vectors.sublayer(3, 4)你可以在這里按自己的任務(wù)調(diào)權(quán)重。這個方案對詞表內(nèi)詞和OOV詞都有效果但一旦引入拼接就不要再和原始向量做余弦相似度對比了因為維度不同數(shù)值不具可比性。4.5 問題五多進程同時加載同一個.magnitude文件會不會沖突不會。這正是mmap的另一個優(yōu)勢。多個進程對同一個文件做內(nèi)存映射最終共享的是操作系統(tǒng)同一份頁緩存文件本身沒有寫操作就有天然的安全性。唯一要注意的是不要邊寫邊讀也就是轉(zhuǎn)換還沒生成完文件時就啟動加載。我在自動化流水線里特意加了一個“文件完整性檢查”步驟檢測到.magntidue后綴文件還在臨時路徑時就不去觸發(fā)加載任務(wù)避免讀到半個文件。4.6 問題六線上內(nèi)存還是高怎么排查如果你確認(rèn)查詢模式是稀疏的但線上內(nèi)存仍然明顯升高建議按以下順序排查先看是不是有地方對vectors做了整體賦值、拷貝或pickle操作。再用htop看是不是系統(tǒng)頁緩存整體吃掉了內(nèi)存。頁緩存出現(xiàn)后如果機器總體內(nèi)存吃緊可以通過echo 1 /proc/sys/vm/drop_caches手動回收測試環(huán)境緩存但生產(chǎn)環(huán)境建議還是通過部署方式調(diào)整。最關(guān)鍵的是看有沒有多處調(diào)用Converter做在線轉(zhuǎn)換轉(zhuǎn)換過程會重建整個矩陣極耗內(nèi)存。我自己遇到過最離譜的情況是同事在Flask服務(wù)啟動代碼里順手調(diào)了一次Converter(...).convert()導(dǎo)致每次重啟服務(wù)都要吃將近4GB內(nèi)存來轉(zhuǎn)換模型明明是查詢服務(wù)活活變成了構(gòu)建任務(wù)。這種問題排查起來其實不難只要盯著啟動日志里的內(nèi)存曲線就能發(fā)現(xiàn)。5. 從實戰(zhàn)角度看magnitude的邊界與擴展5.1 適合使用magnitude的場景結(jié)合我自己的項目經(jīng)驗下面幾類場景用magnitude會特別順手多語種向量服務(wù)每個語言一個模型內(nèi)存加在一起動輒十幾GB。用magnitude按進程共享mmap單個模型內(nèi)存占用可以壓到幾十MB機器規(guī)格不用跟著語種數(shù)量線性增長。線上實時語義搜索查詢延遲敏感又不能把全量模型放內(nèi)存。magnitude的這種“按需讀取”特性正好匹配。啟動時間敏感的無狀態(tài)服務(wù)比如K8s里頻繁擴縮容服務(wù)啟動要快。加載一個幾GB的模型如果只要幾百毫秒擴容效率會大幅提升。跨進程共享向量文件比如多個worker進程都要用同一個向量表做召回用magnitude幾乎零額外內(nèi)存。5.2 不適合或者要慎用的場景沒有銀彈magnitude也有自己的適用邊界需要全量向量做矩陣運算的場景。比如你在做PCA、SVD、聚類本質(zhì)上就是要把整個矩陣讀入內(nèi)存計算mmap的“省內(nèi)存”優(yōu)勢就體現(xiàn)不出來了。此時更合適的做法是把矩陣加載到內(nèi)存或直接用GPU顯存。需要反復(fù)修改向量的場景。magnitude定位是讀取與查詢不適合對向量做大量原地更新因為傳統(tǒng)文件映射在頻繁寫入時會有性能損耗還會導(dǎo)致臟頁刷盤問題。我之前做過一個小規(guī)模的增量學(xué)習(xí)項目需要不斷更新詞向量用magnitude更新起來就比較別扭后來還是改回了內(nèi)存里的numpy方案更新完再定期導(dǎo)出成.magnitude格式做部署。超低延遲、超高頻查詢的場景。mmap每次訪問還是有極小概率觸發(fā)缺頁中斷如果你要求每次查詢都要微秒級且極度穩(wěn)定全量駐留內(nèi)存依然是更可靠的選擇。5.3 如何把magnitude融入現(xiàn)有技術(shù)棧這里給一個我實踐下來的參考方案。一個典型的數(shù)據(jù)流是離線訓(xùn)練用Gensim、fastText或者HuggingFace訓(xùn)練詞向量訓(xùn)練時不用考慮線上加載問題。轉(zhuǎn)換沉淀把訓(xùn)練好的模型統(tǒng)一導(dǎo)出成word2vec格式再通過magnitude的Converter轉(zhuǎn)換成.magnitude格式。這一步驟做到離線任務(wù)里生成文件后存到對象存儲或共享文件系統(tǒng)。線上加載各服務(wù)直接指向共享文件路徑用Magnitude類加載進程啟動時只做內(nèi)存映射查詢按需讀取。更新機制訓(xùn)練產(chǎn)物的命名帶版本號服務(wù)定期檢測到新版本文件后reload一個新的Magnitude對象。因為加載時間快舊對象可以和新對象短暫共存交替期內(nèi)查詢不受影響。這套流程我跑了大半年沒出過嚴(yán)重事故。唯一要留意的是文件版本切換時舊詞表和新詞表可能重疊度不足導(dǎo)致查詢時出現(xiàn)空向量。我在切換前會先把新舊詞表做一個交集統(tǒng)計確保覆蓋率滿足業(yè)務(wù)底線再切流量。5.4 和向量數(shù)據(jù)庫搭配使用的思路如果你已經(jīng)上了Milvus、Faiss這類向量數(shù)據(jù)庫magnitude仍然有它的位置。向量數(shù)據(jù)庫解決的是“海量向量檢索”問題而magnitude解決的是“模型文件本身怎么高效加載”的問題。兩者不是替代關(guān)系而是可以銜接的用magnitude做線上向量查詢/詞向量轉(zhuǎn)換得到需要入庫的向量把向量批量寫入向量數(shù)據(jù)庫做ANN檢索檢索得到的結(jié)果ID再回到業(yè)務(wù)系統(tǒng)映射。6. 踩坑總結(jié)與一些實際操作建議6.1 轉(zhuǎn)換后的文件盡量放到SSD上mmap的性能非常依賴磁盤隨機讀能力。機械硬盤上做隨機頁讀取一旦缺頁中斷出現(xiàn)延遲可能到幾十毫秒而SSD上的缺頁中斷延遲通常在亞毫秒級。如果你用的是云盤盡量選SSD類型而且別把.magnitude文件放到會被定期清理的臨時目錄里。我在一個項目里把.magnitude文件放到了網(wǎng)絡(luò)盤查詢延遲明顯波動換成本地SSD后立刻穩(wěn)定了。6.2 case_insensitive和模型詞表要一起看上面提到了case_insensitive我再展開一句如果原始詞表里同時存在大、小寫兩個詞條case_insensitive只會影響查詢鍵的歸一化不會合并詞項。合并詞項需要在轉(zhuǎn)換前做。如果你不想重新訓(xùn)練也可以在加載后通過自定義邏輯統(tǒng)一查詢詞為小寫但這只能保證“命中某一個詞條”無法保證命中語義最合理的那個。6.3 監(jiān)控指標(biāo)要盯這幾個使用magnitude時我最??吹谋O(jiān)控指標(biāo)有進程RSS駐留內(nèi)存確認(rèn)沒有因為全量讀入猛漲。頁緩存大小排查是否被全表掃描“污染”。該文件的磁盤讀IOPS和延遲判斷是否因為存儲性能導(dǎo)致查詢變慢。服務(wù)啟動耗時確認(rèn)擴容時不會因模型加載拖慢P99。這幾個指標(biāo)一旦出現(xiàn)異?;灸芸焖俣ㄎ坏绞羌虞d方式問題還是查詢模式問題。6.4 一個小技巧用預(yù)計算加速batch推理magnitude其實還支持預(yù)計算precompute功能。如果你在查詢前就知道要反復(fù)使用同一批向量的某種變換結(jié)果可以把變換后的向量保存成新的.magnitude文件。比如我在做文章向量化時會先把文章里出現(xiàn)的高頻詞向量用IDF加權(quán)求和得到一個“偽文章向量”。這個計算如果放在線上每次query去做開銷不小我改成離線任務(wù)把每一篇文章的偽向量先算好存成一個小型.magnitude文件供線上讀取線上延遲基本可以忽略。最后再分享一點個人體會我在實際項目中體會最深的一點是很多人以為NLP的性能瓶頸在模型訓(xùn)練其實線上推理時的向量加載往往才是真正拖后腿的地方。magnitude沒有改變模型本身的效果但它把“加載快、內(nèi)存省、部署爽”這幾個工程指標(biāo)完全拉高了。它也不是萬能的遇到全量計算場景該換方案就換方案但只要你做的是稀疏查詢、多模型共存、快速擴縮容這類事情magnitude確實是一款值得放進工具箱的利器。如果你也正被大embedding文件折磨我建議你先拿手頭最大的那個模型轉(zhuǎn)成.magnitude格式對比測試一輪看看啟動時間和內(nèi)存占用的差距。多數(shù)情況下光這一步就足以讓你決定要不要繼續(xù)用下去。反過來如果你測試下來發(fā)現(xiàn)你的業(yè)務(wù)是密集計算型頻繁訪問全部向量那magnitude就不是你的最優(yōu)解盡快把向量放進向量數(shù)據(jù)庫或直接加載到顯存才是正路。工具始終要匹配場景這才是做工程最該有的判斷力。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美高清无码免费视频高清版| AV男人天堂网| 伊人网青青| 久久AV色| 久久九九综合| 日韩国产成人自拍视频| 精品视频日日夜夜| 97超碰亚洲| 91亚州欧美| 久久久久久久九九九九九九| 91天堂视频| 国产 无码 一区二区| 99在线精品观看视频中文| 亚洲综合色男人网| 亚洲最大的综合性av| 丁香五月成人| 久草新在线| 99热9| 日韩中文字幕av在线播放| 亚洲av性爱电影| 欧美色一二三| 狠狠色综合网| 青娱乐国产盛宴视频| 亚洲国产精品乱码在线观看| 91骚熟女| 天堂8在线新版官网| 大香蕉免费乱伦视频| 亚州精品人妻一二三区| 黄色AV免费| 一区超碰一区| 欧美91久久久久| 久久欧美按摩999| 久草色悠悠在线视频| 色婷婷影院| AV在线性爱| www.人人摸在线视频| 亚洲第2页| 亚洲黑人在线| 日本加勒比无码专区| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 熟女熟妇一区二区三四区| 综合夜夜| 69久久| 久草加勒比一区在线| 啊啊啊啊啊啊啊在线| 在线 亚洲 网爆 自拍| 另类在线| 亚洲综合激情五月久久| 高清无码 国产精品| 一二三卡欧美日韩人妻免费精品| 中文字幕精品专区搜索结果91| 桑老女人九区| 国产农村妇女精品| 天天爽天天| 欧美 亚洲 第一页 | 中文字幕久久婷婷丁香五月天| 超碰在线974| 色姑娘综合网| 九九亚洲| 欧美日韩在线小说| 久久人妻熟女一区二区| 五十路六十路七十路熟婆| 91亚洲不卡一区| 岛国免费黄色网址| 囯产精品久久久久久久久久梁医生| 精品无码少妇| 秋霞一区二区三区四区五区六区七区| 内射黑人| 久久久一区二区三区四区五区| 亚洲欲| 国产探花日韩援交| 欧美亚洲国产日本在线,久久精品国产| 国产一级内射无挡观看| 中文字幕老熟妇黄色视频| 日本九九久久99| 蜜臀av中字字幕网站| 亚洲熟女诱惑| 91欧美在线| 欧美在线91| 狠狠操狠狠燥| 内射夫妻三片| 国产乱码精品一区二区三区四川| 日韩在线97| 97爱免费插| 国产精品亚洲免费| 亚洲中文字幕在现观看| 日韩成人性日韩成人性爱视频在线免费观看 | 亚洲综合贴图91| 91亚洲综合| 亚州一区二区成人片免费| 欧美激情 亚洲色图| 欧州激情视频在线一区二区| 午夜后入| 狠狠狠狠狠狠| 日韩一二三区| 激情五月天婷婷| 久久久工口| 色约约一区=区三区| 精品九九九九九九| 夜夜嗨AV蜜臀av| 国产精品高潮久久AV| 欧美三级免费伊人| 91久久国产精品| 国产福利一区二| 男女啪啪啪18禁网站| 日本国产高清色www视频在线| 97人妻免费中文字幕| 亚洲无线码一区国产欧美国| 色拍偷亚洲| 亚洲AV无码乱码| 国产福利av精彩对白| 欧美熟爽综合| 久久久四区| 精爱久久| 亚洲国产av中文字幕久久| 蜜桃av综合网发布| 九九热五区| 国产av强奸美女| 懂色av中文字幕一区二区三区天美 | 精品免费成人久久| 丁香五月色| 亚洲欧美自拍偷拍| 刺激精品视频| 中文有码第五页| 思思热免费视频观看| 亚洲一二三四区机械| se吧提供91精品国产91久久久久久 | 国产成人无码高清| 中文字幕无码不卡啪啪| 亚洲高清无毛一区二区| 日韩人妻无码专区| 久区视频| 色眯眯av| 久久久久国产精品喷潮免费观看臀 | 操逼视频国产无套| 肉丝网站91| 亚洲婷婷丁香在线| 青青草在线成人视频| 亚洲资源一区| 亚洲第一页色| 黄片视频观看| 亚洲熟久久| 一区二区三区亚洲| 久久综合久色欧美综合狠狠 | 夜夜爽夜夜高潮夜夜爽| 激情五月天婷婷| 亚洲男人天堂视频| 久久午夜鲁丝片| 视频在线观看免费一区二区三区 | 美女裸体无遮挡永久免费观看网站 | 天美国产三级传媒| 深夜国产福利| 亚洲AV无码| 日B操| 九九九九97| 色欲日韩欧美在线一区| 欧美双插| 青青草日本中文字幕| 萌白酱自拍视频| 狠狠97| 亚洲有薄码区日本系列中文字幕| 成人小说另类在线| 久久久艹艹艹| 亚洲高清欧美总合| 国产精品又黄又猛又粗| 97国产精选| 探花精品视频| 国产精品直播在线观看直播| 97超碰中文字幕| 91网站18+| 天堂8在线新版官网| 男人天堂新| 色好看av| 色九九九九久| 亚洲精品国产专区在线观看| 蜜臀99久久精品久久久久久| 天天干2019| 久久国产性爱| 欧美大片91| 丰满精品人妻少妇久久字幕| av天堂天堂av日韩| 国产精品视屏| 久操| 日韩啪啪啪视频| 婷婷五月天久久久| 97se综合网| 欧美性xxxxx狂欢| 国产日韩无码一区二区三区久久区| 亚洲日韩熟女人妻高清在线| 亚洲精品无码少妇久久| 老熟女阿 国产91| 国产 码在线成人网站| 久久久精品中文字幕爱豆| 在线观看A啊啊啊| 加勒比在线视频| 青草一区二区| 亚洲国产激情国产av| 欧美巨大性舒爽顶到了| 九色黄站| 男人精品区| 97干天天| 亚洲精品 欧美精品| 91精品国产长腿丝袜美女| 色97综合中文字幕| 97在线视频观看| 色噜噜人妻丝袜a∨先锋影| 一类无码操逼视频| 密乳无码| 大香蕉淫人| 国产精品久久久鸭无码的功能| 精品一区二区三区四区外站| 日韩乱插| 国产女同性恋视频| a片在线播放| 丁香九月激情| 丰满欧美放荡少妇在线| 97爱爱影院| wwe 天天干.com| 欧美熟女妇同| 欧美情色亚洲| 亚洲一二三| 五月天色五月| 久草久日| 日本道人妻久久久在线不卡色视频| 中文字幕亚洲欧美在线不卡| 人妻在线中出视频| 天天日熟妇| 日韩欧美aⅴ综合网站发布| 国产中出内射一区二区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 日韩在线女优天天干| 蜜臀久久久99久久久久| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 啊啊啊啊啊好舒服视频| 人妻黑丝袜电影| 青青草日本中文字幕| 日本少妇va7777| 中文字幕55555| 麻豆久久久久久久久丝袜 | 91爱网| 怡春院久久| 在线视频资源| 精品国产Av无码久久久伦古装| 少妇人妻在线| 91 国产丝袜在线播放-百度| 先锋音影AV| 密臀AV在线| 99久久久久| 国产情侣自拍在线播放| 欧美精品成人亚洲| 秋霞 色色| 午夜精品探花| 四虎国产精品永久在线囯在线| 欧美乱伦专区| 亚洲影视综合| 日本在线不卡一二区| 九九九九九用不成了| 久久久精品无码亚免费| 亚洲国成人情色好看电影| 五月天综合网| 超碰4A| 欧美色www亚洲国产阿娇要播| 久草资源在线| 日本精品网站在线中文| 日本在线一二 | 人妻二区| 乱欲一区二区| 蜜桃不卡一区二区| 人妻啊啊人妻啊啊| 老外又粗又长一晚做五次| а√天堂资源官网在线资源| 天美国产精品| 青青操日韩| 欧美日韩人妻精品一区二区三区| 国产久久av| 日本高清免费一本视频在线观看| 欧美精品23| 怡红院视频在线| 亚洲欧美不卡线| 江都AV在线| 小说区 图片区色 综合区| 久久婷婷国产一区二区色| 爱妻综合网| 久久啊啊啊视频| 91成人久久 | 色女网日韩| 夜夜高潮夜夜爽夜夜爱爱一区| 久久久久久99999国产精品| 亚洲欧美人妻| 在线人人人人人人精品超| 久久午夜伦| 日韩三级性| 欧美一区二区情色| 91狠婷| 9999亚洲精品| 影音先锋少妇| 久久、1234| 性爱欧美五月| 亚洲乱熟女一区二区三区大香蕉| 大香蕉乱伦视频网| 国产精品一二三| 日本不卡三级网在线播放| 久久久99999久网站| 激情小说日韩无码| 欧洲Au麻豆| 久久 精品| 人妻久久久| 日韩影片中文字幕一区二区三区| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 国产精品久久久久9999小说| 中文字幕国产| 亚洲一卡2卡3卡4卡乱码网站| 乱伦熟女专区| 五月婷婷六月激情| WWW美腿丝袜香蕉中文| 啊啊啊啊啊啊啊国| 欧美成不卡网| 91欧美长吊| 91色久| 欧美精品99久久久**| 9999久久久| 国产女人9999| 2019精品国产无码成人| 激情黄色片在线观看| 天天综合91在线| 日韩乱插| 婷婷五月色| 国产精品午夜精品| 九九综合久久| 99蜜桃臀亚洲成人在线观看| 99热这里只有精品18| 日韩成人性日韩成人性爱视频在线免费观看| 人人人人插| 中亚黄色三级大片| 午夜无码精品免费看性色| 亚洲天堂情色| 激情综合二| 麻豆天美在线| 中文字幕乱碼在线| 97人妻碰碰中文无码久热丝袜| 国产免费一区| 国产白领连续中出在线观看| 欧美少妇性爱网站| 91丨人妻丨国产丨丝袜| 久久久久久久久国产| 强免费黄色网址| 热热色青青草| 欲色影视综合吧| 国产AV激情无码久久无码| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 黄色区免费观看中文字幕| 岛国不卡超碰护士AV在线播放| 色婷婷色99国产综合精品| 久久男人的天堂| 精品十三区| 97精品第3页| 啪啪AV导航| 人妻一区视频| 动漫片子网站3黄| 好吊妞转入那个网| 国产欧美伊人| 国产精品第一区第一页| 久久女女| 333kkkk·亚洲com久久| 色97综合中文字幕| 中文字幕第2页| 精品亚洲黄色片 国产精品导航一区二区| 中文字幕乱码在线观看| av天堂5| 国产1769在线| 国产白丝av| 欧美性爱视频免费一区一A | 17c嫩草51久久91嫩草| 久久有码| 久久神马影院| 操www| 久久精品国产亚洲AV片多多| 在线小视频| 九月婷婷久久| 大香蕉综合在线| 欧美 亚洲| 精品一区二区三区蜜桃| 国语国产操逼伊人AV网| 精品视频久久| 亚洲淫乱骚妇AV| 日韩精品99久久久久久中文字幕| 少妇综合网| 殴洲老熟女| 蜜臀久久99精品久久久久久无删减 | 国产蜜臀在线| 91久久久老司机| 国产偷仑| 一区二区三区蜜桃成人撸久久东京热 | 粉嫩AV一区夜夜嗨| 91jk色拍| 97综合国产精品高潮久久| 又黄又爽在线观看视频| 日韩三级视频一区二区三区| 熟女字幕| 人妻丝袜日本| 色色国产| 自拍偷拍 高清无码| 亚洲操操| 日韩九区| 成人女人国产| 国产a片操逼| 91天堂丝袜美腿| 欧美大香蕉久| 日韩欧美福利视频看看| jizz啪啪| 伦理第一页| 欧美综合传媒| 91青青在线视频| 91劲爆| 久久熟女久| 91色综合色| 天天综合网亚洲综合网| 色原狠狠天天天| 国产中午字一暮区| 97一区二压| 97国产伦理| 五月天AV资源| 97超碰超碰| 久操av在线| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 免费人成毛片乱码| 人妻中文字幕精品无码| 婷婷久久大香蕉| 青娱乐亚洲热| 老熟女乱子伦中文字幕一区二区| 日本免费人成视频播放120秒| 成年人黄色视频免费| 伊人AAA| av橘色网站| 96久久久精品| 国产99999久久精品| 久极品在线观看| 欧洲熟妇xxXx欧美老妇裸体| 女人双腿搬开让男人桶| 在线观看中文av字幕| 97丝袜亚洲在线播放| 97超碰欧美手机| 另类亚洲一区二区三区| 一区二区三区黄色片a| 人妻中文字幕日韩电影| 亚洲另类综合欧美| 欧美十八禁视频| 人妻精品一区二区三区| 国产高清无码一区三区二区| 亚洲熟女中文字幕在线| 麻豆人妻少妇在线免费观看| 91国产丝袜美女| WWW.操逼.COM| 97人人模人人爽人人| 青青草国产亚洲精品久久| 国产三级中文字幕粉嫩| 国产精品国产自产高清AV| 在线观看AV不卡| 日韩精品一区,二区 九九...老司机| 日日夜夜精品视频| 天天日夜夜爽| 亚洲 欧美 另类 日韩 人妻一区 | 精品视频在线观看| 综合五月婷婷| 国产精品天干天干综合网麻豆| 国产精品岛国片在线观看| 少妇国产不卡| 美女的肌被草喷水视频| 亚洲综合五月天| 欧美极品美女aaaaaa级黄片| 亚川综合视频| 九色97| 亚州操操穴网| 日本大香蕉综合网| 亚洲国产欧美日韩人妻日中文| 国产亚热在线久久| 国产高清成人传媒影视| 2017大香蕉国产精品久久| 中文字幕一区二区三区人妻不卡| 影音先锋中文字幕日本好一区二区| 97人人操人人摸人人爱| 国产精品久久久久久久久久久久久久久久| 中国AAAAAA黄色片| 红桃视频高潮| 1769国内精品视频| 嫩草伊人久久精品| 丰满人妻一区二区三区性色| 天天干天天日天天射黄色| 久久久久96| 欧美日韩黄片精品在线| 97色色,97综合| 久久透逼视频| 91无摭挡| 婷婷丁香在线| 女生91网站| 色av中文字| 亚洲伊人成综合成人网| 超碰国产情侣自拍网| 青青网三级视频| 91精品国产一区三一| 国产精选三级在线观看| 蜜臀99久久国产| 五月天色五月| 日韩性爱啪啪视频| 久久99精品国产| 亚洲熟女乱色一区二区三区| 韩国轻伦国内自拍一区| 天天日天天搞天天干| 鸥美极品| 男人的天堂99| 好吊色一区| 亚洲天堂在线怕怕视频| 职场同事知名国产国产精品久久欧美日韩| 黄色香蕉视频网站一区| 亚洲?V无码专区在线电影| 精品视频久久区| 亚洲中文字幕97久久精品少妇| 五月丁香六月婷| 欧美黄页| 久久久草成人网站久久久草成人久久久草久久久 | 久久久精品网站| 九九热免费视频| 搡老熟女免费视频| 黑人综合色| 国产精品suv一区| 国产一级操B视频| 男人的天堂com| 夜夜骑夜夜操| 高颜值美女口爆高潮浪叫| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 欧美天堂日韩三级国产传媒| 色偷偷色偷偷欧美日韩| 亚洲美女av无码| 天天看片天天爽| 无码操逼视频一下| 熟人人妻少妇精品久久| 天天天天做夜夜夜夜做| 日韩有码免费视频| 丁香五月综合| 色在线综合| 97超碰超| 人妻熟女一区二区| 欧美高潮在线| 亚洲色图超碰在线| 国产av强奸美女| 97免费在线观看| 久久视频,这里只有精品| 特污免视频| 国产成人无码网站在线视频| 国产精品黄色三级av| 人妻精品一区二区三区| 国产性感在线观看| 婷婷香网站| 国产操伦| 亚洲 欧美 精品专区 极品| 91天天综合在线观看| WWW4虎| 丁香五月综合| 特级丰满少妇一级AAAA爱毛片| 亚洲欧美清纯| 116美女午夜| 极品尤物女神在线观看| 国产v亚洲v日韩v欧美v片另类| 96超碰网| 亚州成人a∨| 不卡在线一区,精品一区二区三区中| 国产日韩欧美中文在线播放| 狠狠躁久久躁| 欧美亚洲清纯| 欧美手机在线综合| 中文字幕精品三级久久久| 欧亚综合一卡二卡中文字幕| 国产11页| 久久啊啊| 97欧美精品| 欧美精品,四区。五区| 欧洲精品一二三在线| 精品三级在线专区| 久久最新免费视频23| 色网色网色网色网色网色| 国产馆| 青青草视频导航官网| 狠狠色色| 色香综合| 欧美日韩1234| 欧美少妇性爱网站| 久久精品亚洲成a人天堂| 日韩性爱免费视频在线网站| 欧美 日韩 亚洲 春色| 大香焦A片| 深夜国产一区二区三区在线看| 91高清无码下载| 亚洲色阁| 久久久久亚洲| 亚洲男人久久综合天堂| 国产精品3| 78精品在线| 国产熟妇 码视频户外直播| 久久精品区| 久久久久国色αv免费观看| 91欧美综合| Aa东京男人的天堂| 蜜臀久久99精品久久久久久-DVD| 韩日欧亚a级| 天天看天天日| 可以在线观看AV的网站| 天天操天天舔| 精品网站9999| 久久精品成人一区二区三区蜜臀| 啊啊啊爽爽| 亚洲日本激情| 97福利视频| 和协无码影院| 国产后入清纯| 国产免费黄色一级大片| 人人干人人操人人..com| 亚洲欧美日韩精品久久久一区二区 | 欧美成人精品一区二区三区| 国产乱人妻精品入口| 十八禁黄色| 又黄又硬又粗又长国产视频| 乱伦熟妇一区二区| 91艹B视频| 欧插网站| 新怡红院| 男人的天堂在线2| s片在线观看| 91大神精品长腿在线观看网站| 亚洲砖码砖专无区2023| 九九干| 免费的黄片wwwwww| 91丝袜美女| 激情文学小说一区二区 | 国产精品久久aV| 91被操| 色情成人五月天| 九九热最新| 精品无人区麻豆乱码1区2区图片| 精品然女一区二区| 人妻夜爽夜夜爽| 伊人影院中文字幕| 欧美情色男人的天堂| 色牛牛AV| 日本性爱欧美性爱| www熟女乱伦com| 五十路六十路七十路熟婆| 狠狠躁伊人中文字幕| 立川理惠被中出无码| 婷婷操逼| 蜜臀99久久精品| 亚瑟国产精品久久无码| 亚洲综合性感在线| 亚洲综合另类| 在线播放中文字幕| 97 国产精品| 噜噜噜在线视频| 伊人久久大香线综合无码| 9丨久久九九九| 99热欧美| 精品夜夜澡人妻无码AV| 国产精品免费日韩| 国产版a级片直播在线| 欧美中字不卡| 91九九| 性爱动态120秒| 99无码| 日本免费不卡二区| 凹凸视频在线一区二区| 人人看人人摸人人色| 玖玖大干人妻| 九九AV| 一区二区视频在看| 亚洲天堂,男人| 欧美性性性| 99久久网站| 91伊人影视综合| 超碰偷拍| 韩国一区二区精品亚洲| 精品99999| 日本精品免费一区二区三区四区| 超碰天天操| 好吊色青靑草| 久 久无码人妻AV| 翔田千里AV无码秘 三区| 蜜桃成人1区2区3区| 久操精品| 超碰人妻中文在线| 日逼国产| 妇女一区二区三区| 久久综合中文国产| 欧美日韩精品一区二区三区高清| 欧美亚洲20p| AV网站高清无码在线观看| wuyechaopeng| 国产精品一二三免费网站| 99精品无码| 欧美制服另类丝袜| 91色色网站| 五月丁香激情综合| 2020中文字幕在线观看| 国产AV人人 夜夜人人澡| 手机在线观看不卡无码av| 欧美激情在线观看视频| 欧美色图片91| 亚洲天堂无码| 亚洲国产97| 热久日综合| 六月丁香啪啪| 午夜视频久久久久一区| 欧美96交| 丰满人妻一区二区三区四区| 色操逼网| 日日干日日摸| juliaann丝袜大战黑鬼| 午夜男女爽爽大片免费观看| 大鸡巴久久| 久热69九色熟妇97| 久久久久斤小| 大胆91| 日韩欧美性吧婷婷乱伦大香蕉 | 亚洲欧美爆| 尤物国产一区在线观看| 亚洲综合网91| 9长久久精品| 九久久九精品视频| 日韩,欧美,中文在线| 东北少妇高潮zzzz| 99热精品在线观看| 国产偷人妻精品一区二区在线| 天天色综合图片| 亚洲 日韩 丝袜 熟女 变态| 久久东京热久久| 久久一区二区加油站| 久久激情视频| 国产在线视视频有精品| yellow网站免费观看日韩高清无码| 99热在线只有精品| 青青草白白色| 欧美AB在线观看| 成人性爱美曰韩| J?P?NESEHD熟女熟妇伦| 国产热av| 亚洲日产专区婷婷| 97视频620| 天天弄欧美| 九九在线视频| 2019久久久久久久久福利| 欧美97| 日韩啪啪视频| 九久9精品| 男人的天堂com| 天天夜夜rb| 少妇人妻在线| 国产三级中文字幕粉嫩| 夜夜骑日日| 成人AV在线网站| 超碰天天操你比| 久久熟妇五十路一区| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 丁香7月婷婷| 茄子社区国产精品| 综合色久欲| 国产传媒一区二区三区| 久久久久免费少妇| 99在线免费观看| 久久丁香五月天| 亚洲超碰在线| 九九在线视频| 国产女上位好爽在线| 久久久草成人网站久久久草成人久久久草久久久 | 骚女高跟AV在线| 激情四射五月天| 东北操逼| 2020天天色综合| 麻豆 美女 丝袜 人妻 中文| 69精品人人人人| 98超碰日本| 久久大香蕉97| 爱逼综合| 国产精品ⅴ无码大片在线看.| 影视综合无码少妇| 亚洲AV无码乱码| 亚洲欧洲av影音| 欧美天天干| 日本肏逼视频在线观看| 人妻少妇久久久| 国产精品2020| 超碰伊人在线| 一区二区视频你懂的| 超碰1997| 岛国不卡超碰护士AV在线播放| 91国产美女丝袜足交精品视频| 殴美综合色88| 视频二区美腿丝袜制服人妻欧美 | 国产精品操| 色久综合| 台湾佬激情综合| 欧美色日本| 久久机热| 久操视频在线观看| av天堂5| 永久免费av无码网站国产app| 97人妻免费中文字幕| 9久综合网| 天天看片麻豆| 九九九九精| 国产精品久久久久久久电影渣男| 久久久网站| 亚洲精品久| 国产精品丝袜久久亚洲不卡| 啊啊啊水好多| 人人操人人搞人人草| 欧美色网| 狠狠色婷婷777| 亚洲影院小综合| 狠狠入| 欧洲成人性爱视频| 观看视频图片一区二区三区| 91在线丝袜| 牛牛操视频逼| 欧美夜夜狠| 东京热精品97综合网| 99日视频在线免费| 亚洲天天做日日做天天谢日日 | 色久桃花影院在线观看| 超91综合网| 美女天天干| 免费一级特黄特色大片在线观看看| 艳美熟妇先锋一二三区| 熟女露脸激情自拍视频| 无码人妻精品一区二区中文| 97色冈| 黑人在线91| 日韩在线一区高清在线| 91爽啪| 亚洲女人91| 性爱av在线免费观看| 亚洲欧美在线综合| 亚洲色图尤物视频| 亚州色图欧美| 亚洲一区二区三区在线激情| 欧美色婷婷| 国产9熟妇视频网站| 亚洲最新中文字幕免费| 特污免视频| 国产精品动态一区二区三区四四| 亚洲成aⅴ人片不卡无码| 97人人草| 久久久久久99999国产精品| 日韩综合97P| 日日操免费视频| 五月天综合在线| 久9综合在线| 欧美成人黄网色网站| 一区二区影视| 欧美夜色| 国产精品久久久久久亚洲色欲| 天美av在线观看| 熟女露脸激情自拍视频| 欧美日韩另类在线播放| 国产青视频| 亚洲无码超碰免费| 欧美亚男人的天堂| 国产精品麻豆成人av| 密臀在线免费观看| 国产日韩手机视频在线| 色九九九九| 色五月大香蕉| 国产成人AV麻豆| 激情文学88| 狠狠搞 亚洲91| 国产中文大片资源中文字幕| 99色婷婷中文字幕乱色| 日本最新1区2区3区| 日韩久久.一级黄色片| 岛国在线免费视频| 亚洲激情网一二三四区| 欧美色图片91| 一级@啪啪视频| 色网1| 日本亚洲熟女视频| 久久偷偷色综合蜜桃| 久久亚洲婷婷| 欧美国产婷婷久久| 色婷婷香蕉| 久久五月婷| 91老熟女| 91欧美成人色站| 欧美高清无码免费视频高清版| 大香蕉在线86| 亚洲AV无码黄色强奸| 美女好片色日本| 91麻豆天美传媒HD| 欧美少妇性爱网站| 日本午夜久久电影| 欧洲射精91| 久久少妇人妻| 神马久久久久久| 久久超碰av在线| 久操 高清| 国产中文字幕在线点播| 五月天成人综合| 一区二区视频你懂的| 三级特黄60分钟播放| 亚洲超碰综合网| 日韩精品在线放| 免费的很黄很污的全部视频| 国产亚洲精品美女久久久久久2021| 熟妇综合一区二区三区| 国产精品成人无码a v毛片| 国产又黄又粗又猛大片| 手机在线观看不卡无码av| 精品一国2| 超碰超碰超碰超碰的大鸡吧操黑丝袜 | 欧美春色| 国产视频一区二区免费| 九九拍拍精品视频在线播放 | 2020中文字幕在线| 亚洲精品一卡二卡三卡福利视频网站 | 国产免费小视频| 蜜臀AV成人精品蜜臀| 亚洲熟女性高潮久久久| 久久大香蕉97| 久久妇| 日韩免费人妻色情网站| 亚洲二区精品在线观看| BBBBB97COM| 精品美女久久一二三| 麻豆国产原创AV色哟哟 | 涩综合导航| 久夜操| 97久久久精品| 91扒丝袜综合在线| 狠狠操夜夜操蜜桃视频三区| 97人人操人人摸人人爱| 五月丁香黄色网| 超碰99re| 人人操超碰在线| 九九av| 91老熟女老女人国产老太| 大香蕉 222| 九九九综合精品| 大香蕉在线视频15| 99热免费| 99热只有| 熟妇在线视频一区二区| 91人妻Pr| 丁香激情五月天| 99热66| 95人妻爽爽人人做人人澡| 免费一级视频特黄色大片| 欧美日韩国产黄色片| A一区片| 亚洲一卡二卡在线免费| 欧美亚洲天天| 91热| 啊啊啊啊啊在线| 噜噜噜噜天天狠狠| 国产精品久久久亚洲第一牛牛_在线观看 | 久久riav中文精品| 国产性爱在线视频一区二区| 亚州欧美色图| 91色综合| 色视频蜜乳| 国产无码精品高清| 岛国片在线视频网站| 97超碰人妻| 永久电影三级在线观看| 日本媚薬中文字幕在线| 熟女91网站| 超碰色97| 亚欧无码线免费观看视频| 艹比视频国产精品| 欧美99热| 丝袜六区| 野狼激情网| 麻豆性爱视频在线播放 | 亚洲 欧美 小说| 亚洲综合校园春色| 久久久久久性爱视频| 天美国产三级传媒| 九九九九九九成人| 国产大片精久久久久久| 亚洲色悠悠久久88| 乱操9999| 欧美色偷偷| 亚洲欧美日韩激情不卡| 青娱乐老司机视频| 91人妻素女| 精品久久一区二区三区四区五区| 国产小u女在线观看| 人妻少妇视频在线播放| 欧美国产一区二区三区麻豆传媒| 91xingse| 五月天综合网| 乱操9999| 老司机午夜精品视频| 性在久久久久久| 黄色片A级一区二区三区| 色婷婷九月天天综合| 91色女| 亚洲天天影视色综合| 欲色综合| 国产精品亚洲天堂网址| 欧美人妻一区| 91久精品| chaopen97久久| 精品久久久久综合无码| 另类TS人妖一区二区三区| 亚洲 欧美 手机在线观看| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | yy少妇精品久久| 97国产中文| 欧美色图亚洲色| 夜夜久久久| 91色艳| 九九热免费国产视频婷婷伊人| 青青伊人加勒比海| 国产丝袜美女在线一区| 日韩精品黄片免费观看| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 九9热伊人| www.天天干| 好好的日:com久久九九| 久久这里只| 色小视频蜜乳| 色老牛| 97精品一区二区视频| 日韩中文字幕在线视频观看| 国产欧美日韩臀| 伊人网在线观看| 怡红院网站在线视频| 黄色激情电影在线观看| 一个色导综合| 成人贴图日韩欧美| 96国产精品| 强奸抽插av| 亚洲色人妻综合| 欧美 日韩 国产传媒| 69人妻精品丰满熟女区| 久久久久久久九九九九| 九九亚洲视频| 91欧美长吊| 亚洲麻豆av一区二区| 熟女精品一区二区三区| 综合视频91| 操逼天美3区| 中文字幕久久精视频久久大全| 偷拍新久久| 久久成人国产精品| 中文字幕版| 色欧美综合| 色综合91| 人妻熟女一区在| 婷婷五月天色色| 美国一区二区三区视频| 乱色视频中文字幕| 今日头条成人一区二区三区四虎精品 | 精品久久99| 日本一二三免费久久| 91超碰在线观看| 日韩无码黄色片| 花野真衣| 国产亚洲精品一区二区三区| 蜜桃精品一区二区三区ww| 色综合一区二区三区| 日韩人妻操B| 搡老熟女免费视频| 久久精品国产99国产精品亚洲| 亚洲欧洲无码bt精品合集| 久久男人网| 永久免费发布性爱网| 青青久久久| 日本人妻A片成人免费看片| 熟妇人妻丰满久久久久久久无码| 九九成人| 中文字幕丰满人妻日本| 日本 欧美 亚中文字幕| 白嫩少妇| 骚逼一区二区| 人妻一二三区| 精品国产肉丝袜在线拍国语| 美女t无毒不卡不卡| 红杏大香蕉| 另类亚洲一区二区三区| 久9久精品视频| 人人操人人操人人操人人操人人操人人人11.CM | 日日夜夜干| 亚洲色系另类精品国产| 99re在线视频国产| 91操操| 久久久久免费看少妇A片特黄| 天天超级碰碰碰| 久久久久成人亚洲国产| 精品免费囯产一区二区三区| jizzjizz欧美| 精品九九| 欧美传媒一区| 超碰av人人人| 国产最新小视频在线播放下载| 97在线播放| 色人久久| 中文字幕视频二区| 91亚州欧美| 免费一级视频特黄色大片| 婷婷五月天无码 | 色综合98| 天天做天天爱夜夜爽毛片试看| 国偷自 一区| 四虎永久在线精品免费网址| 欧美αv.com| 午夜超碰| 偷拍2020| 色五月亚洲| 青青久久手机线视频| 超碰97护士| 天美一区在线| 亚洲黄色a级片| 精品视频一区二区| 快播久久人人aV| 久久久∴| 久久精彩视频9| 曰韩无码777| 99re欧美| 国产不卡片| 国产成人午夜视频网址| 天天干18禁| 夜夜做夜夜爽精品视频| 久久偷拍人| 天天综合中文字幕 91| 亚洲一二三四区在线免费看视频 | 搡老女人老91妇女老熟女| 亚洲日韩久久精品一区| www.婷婷五月天| 高清在线偷拍自拍视频| 国产精品亚洲天堂网址| 日韩欧美性爱电影在线观看| 亚洲精品一区二区免费在线观看| 九九九午夜| 95人妻爽爽人人做人人澡| 久久久免费一级黄片| 乱论91| 黑人粗大V S日韩女优视频| 久久久噜噜噜久久久| 日韩在线电影| 欧美综合传媒| 丝袜喷水在线| 视频二区美腿丝袜制服人妻欧美| 久久精品国产96精品亚洲拳交| 尤物网址| 97在线精品观看视频| 襙一襙| 欧美少妇人妻| 夜夜免费视频| 加勒比伊人综合| 欧美成人综合| 无码欧美有限公司| 久久精品亚洲婷婷| 最新AVzaixian| AA丁香综合激情|