日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

BERT-PyTorch源碼解析:從注意力機制到預(yù)訓練全流程

BERT-PyTorch源碼解析:從注意力機制到預(yù)訓練全流程 簡介面向NLP學習者與PyTorch使用者這是Google AI 2018年BERT模型的PyTorch實現(xiàn)以帶注釋的簡潔代碼呈現(xiàn)Transformer雙向編碼器的預(yù)訓練思路可幫助理解語言模型遷移到下游任務(wù)的原理。包內(nèi)共33個文件27個Python腳本構(gòu)成核心實現(xiàn)覆蓋模型架構(gòu)、數(shù)據(jù)集處理、訓練器與入口模塊同時包含Makefile、requirements配置、說明文檔等壓縮包僅28KB輕量且便于逐行研讀。發(fā)布至今已有878人學習下載項目代碼保持原始結(jié)構(gòu)配套注釋降低了上手門檻適合想深入BERT原理、動手實踐預(yù)訓練流程的中級NLP開發(fā)者能從中獲得從語料準備到模型訓練的可運行參考。1. 項目概述與核心價值1.1 這個項目到底解決什么問題先交代一下背景。BERT是Google AI在2018年提出的預(yù)訓練語言模型全稱是Bidirectional Encoder Representations from Transformers中文常譯作“基于Transformer的雙向編碼器表示”。當年它一出直接刷新了11項NLP任務(wù)的SOTA成績幾乎成了自然語言處理領(lǐng)域的“分水嶺”式成果。不過原始官方實現(xiàn)用的是TensorFlow而PyTorch生態(tài)在學術(shù)界和工業(yè)界的普及度同樣極高。于是就有了BERT-pytorch這個項目——把Google官方BERT模型用PyTorch框架重新實現(xiàn)一遍讓PyTorch用戶也能跑BERT、微調(diào)BERT、甚至從零預(yù)訓練BERT。我最初看到這個項目標題時第一反應(yīng)是“這不就是換個框架復(fù)刻一遍嗎”但真正深入去讀代碼、跑實驗之后才意識到事情沒這么簡單。BERT-pytorch不是一個簡單的“翻譯”項目它把BERT的完整結(jié)構(gòu)拆解成了清晰可讀的PyTorch模塊包括Tokenizer、Embedding、Transformer Encoder層、預(yù)訓練任務(wù)NSP MLM等每一步都給了簡潔的實現(xiàn)。對想搞懂BERT內(nèi)部原理的人來說這個項目的代碼比官方TensorFlow實現(xiàn)好讀太多了。1.2 適合誰讀、能帶來什么收獲這個項目的目標讀者非常明確一類是剛?cè)腴TNLP、想搞懂Transformer和BERT內(nèi)部機制的開發(fā)者另一類是手里只有PyTorch環(huán)境、想把BERT用起來的研究生或工程師。前者可以從代碼里學到BERT的核心組件怎么拼裝后者可以直接基于這份實現(xiàn)做下游任務(wù)微調(diào)。我個人的體感是如果你已經(jīng)把transformers庫用得滾瓜爛熟再來看這個項目會有一種“原來封裝底下的東西長這樣”的通透感。因為transformers庫為了兼容所有BERT變體把代碼抽象得比較深有時候反而不容易看清主脈絡(luò)。BERT-pytorch則把注意力機制、多頭自注意力、LayerNorm、位置編碼、預(yù)訓練損失函數(shù)全部攤開在面前每一行都能對著論文找到來源非常適合作為“BERT原理閱讀的配套代碼”。這篇文章我就基于自己踩坑、調(diào)試、二次開發(fā)的經(jīng)驗把這個項目從環(huán)境搭建、代碼結(jié)構(gòu)、關(guān)鍵實現(xiàn)細節(jié)到常見坑位全部捋一遍希望能幫你少走彎路。2. 環(huán)境準備與PyTorch版本選型2.1 推薦的環(huán)境組合與安裝步驟先把環(huán)境搞定。BERT-pytorch的代碼不算新對PyTorch版本沒有特別苛刻的要求但我實測下來不同版本組合的表現(xiàn)差異還是有的。先說結(jié)論我最后穩(wěn)定跑通的組合是Python 3.9或3.10PyTorch 2.1.xCPU或CUDA版均可torchtext注意版本這個項目里做WordPiece Tokenizer時依賴了torchtext的BasicEnglish等工具但新版torchtext API變化很大CUDA 11.8或12.1如果要用GPU安裝PyTorch時我建議直接用官方命令生成器。比如要裝CUDA 12.1版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121如果是CPU版本直接pip install torch torchvision torchaudio這里有個容易踩的坑如果你用Anaconda管理環(huán)境千萬別在base環(huán)境里硬裝一定要先建一個干凈的環(huán)境conda create -n bert_env python3.9 -y conda activate bert_env我一開始圖省事直接往base環(huán)境里塞了一堆包結(jié)果torchtext和torch版本沖突報了一堆奇奇怪怪的錯。新建環(huán)境之后世界清凈了。2.2 關(guān)于CUDA、顯卡驅(qū)動和torchtext的版本適配問題GPU版本的PyTorch安裝最容易出問題的就是“驅(qū)動版本和CUDA版本不匹配”以及“PyTorch要求的CUDA版本和本機CUDA版本不一致”。這里分享一個核心認知PyTorch的CUDA版本并不需要和你系統(tǒng)里安裝的CUDA Toolkit完全一致PyTorch是自帶CUDA runtime的。你只需要保證顯卡驅(qū)動夠新就行。比如你想裝cu121的PyTorch但系統(tǒng)里CUDA Toolkit還是11.8這完全沒問題只要驅(qū)動版本支持CUDA 12.1就行。怎么查驅(qū)動支持的最高CUDA版本在命令行敲nvidia-smi右上角會顯示“CUDA Version: 12.1”之類的這代表你的驅(qū)動最高支持到12.1只要PyTorch的CUDA版本號小于等于這個數(shù)就行。torchtext是個比較麻煩的東西。BERT-pytorch項目里的tokenizer.py使用了torchtext.datasets.text_classification或者torchtext.data.utils中的tokenizer。老版本torchtext0.9及以下有torchtext.data.functional.sentencepiece_numericalizer等接口新版本0.12API大改很多老代碼直接跑不動。如果你想用BPE或WordPiece tokenizer更推薦直接用tokenizers庫或者transformers庫自帶的Tokenizer繞開torchtext的版本坑。我自己在復(fù)現(xiàn)時直接改用了transformers庫的BertTokenizer來做tokenization因為BERT-pytorch官方訓練用的vocab文件本質(zhì)上就是WordPiece格式和BertTokenizer完美兼容。這樣既享受了transformers的便利又保持了項目的核心訓練邏輯不變。3. 核心代碼結(jié)構(gòu)拆解與實現(xiàn)原理3.1 從目錄結(jié)構(gòu)看項目脈絡(luò)把項目clone下來之后先看目錄結(jié)構(gòu)BERT-pytorch/ ├── bert_pytorch/ │ ├── __init__.py │ ├── __main__.py │ ├── dataset/ │ │ ├── __init__.py │ │ ├── dataset.py │ │ ├── tokenization.py │ │ └── vocab.py │ ├── model/ │ │ ├── __init__.py │ │ ├── attention.py │ │ ├── bert.py │ │ ├── embedding.py │ │ ├── layer_norm.py │ │ ├── linear.py │ │ ├── transformer.py │ │ └── utils.py │ └── trainer/ │ ├── __init__.py │ ├── optim_schedule.py │ ├── pretrain.py │ └── trainer.py ├── scripts/ │ ├── preprocess.py │ └── train.py └── tests/ └── sanity_check.py這個結(jié)構(gòu)非常清晰model目錄下的每個文件幾乎對應(yīng)Transformer論文里的一個核心概念。transformer.py里定義了TransformerBlock里面包含多頭自注意力MultiHeadedAttention和位置前饋網(wǎng)絡(luò)PositionwiseFeedForward。attention.py則是自注意力的具體實現(xiàn)。embedding.py負責Token Embedding、Segment Embedding、Positional Embedding的構(gòu)造。bert.py則是最終模型的組裝。3.2 關(guān)鍵組件Embedding層的實現(xiàn)細節(jié)BERT和原始Transformer的一個重要區(qū)別在于輸入表示。BERT的輸入由三部分加和而成Token Embedding把每個詞映射成768維向量BERT-base配置Segment Embedding區(qū)分兩個句子句子A和句子B的segment id分別為0和1Positional Embedding這里用的是可學習的絕對位置編碼而不是Transformer原論文里的正弦余弦函數(shù)這段邏輯在embedding.py里實現(xiàn)得很直白class BERTEmbedding(nn.Module): def __init__(self, vocab_size, d_model, n_segments, max_len, dropout0.1): super().__init__() self.token_embedding nn.Embedding(vocab_size, d_model) self.segment_embedding nn.Embedding(n_segments, d_model) self.position_embedding nn.Embedding(max_len, d_model) self.dropout nn.Dropout(pdropout) def forward(self, tokens, segments): seq_len tokens.size(1) positions torch.arange(seq_len, devicetokens.device).unsqueeze(0).expand_as(tokens) embeddings self.token_embedding(tokens) \ self.position_embedding(positions) \ self.segment_embedding(segments) return self.dropout(embeddings)這里有一個值得品味的點position_embedding用的是nn.Embedding意味著位置編碼是“學出來的”而不是固定的。在原始Transformer論文里作者用固定的三角函數(shù)位置編碼后來發(fā)現(xiàn)可學習的位置編碼在類似規(guī)模的數(shù)據(jù)下效果也夠好BERT就選擇了可學習方案。如果你自己實現(xiàn)時候想把sinusoidal位置編碼換進去直接在forward里生成常數(shù)矩陣就行但要注意和后續(xù)預(yù)訓練階段的分布保持一致。3.3 自注意力與多頭機制的完整解讀attention.py實現(xiàn)了縮放點積注意力Scaled Dot-Product Attention。核心公式是[ \text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]代碼里也就是這幾行的事def forward(self, query, key, value, maskNone): scores torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) p_attn F.softmax(scores, dim-1) return torch.matmul(p_attn, value), p_attn這里面關(guān)鍵的“為什么除以根號d_k”值得多說一句。如果不縮放當d_k比較大時點積結(jié)果的方差會變大導致softmax之后的梯度非常小模型就很難訓練。把點積除以(\sqrt{d_k})讓方差回到1量級softmax的輸入分布才比較穩(wěn)定。這是原論文作者通過實驗驗證出來的細節(jié)很多初學者容易忽略但實際上對訓練穩(wěn)定性影響很大。多頭注意力Multi-Head Attention的實現(xiàn)也很干凈把Q、K、V通過線性變換投影到多個子空間并行計算注意力頭最后拼接并再投影一次。多頭的好處是讓模型能夠同時關(guān)注不同位置、不同表征子空間的信息比如一個頭可能關(guān)注語法關(guān)系另一個頭關(guān)注指代信息。代碼里通過view和transpose完成頭的拆分和合并不算復(fù)雜但動起手自己寫一遍還是很考驗基本功的。3.4 Transformer Encoder層的組裝邏輯transformer.py定義了TransformerBlock里面是標準的兩層結(jié)構(gòu)多頭自注意力子層后接殘差連接和LayerNorm位置前饋網(wǎng)絡(luò)子層兩層線性GeLU激活后接殘差連接和LayerNormclass TransformerBlock(nn.Module): def __init__(self, hidden, attn_heads, feed_forward_hidden, dropout): super().__init__() self.attention MultiHeadedAttention(hattn_heads, d_modelhidden) self.feed_forward PositionwiseFeedForward( d_modelhidden, d_fffeed_forward_hidden, dropoutdropout) self.input_sublayer SublayerConnection(sizehidden, dropoutdropout) self.output_sublayer SublayerConnection(sizehidden, dropoutdropout) def forward(self, x, mask): x self.input_sublayer(x, lambda _x: self.attention.forward(_x, _x, _x, maskmask)) x self.output_sublayer(x, self.feed_forward) return x這里使用了SublayerConnection來封裝殘差連接和LayerNorm順序是x sublayer(LayerNorm(x))也就是Pre-LN的模式。這個細節(jié)值得注意Transformer原論文用的是Post-LN先加殘差再做LayerNorm而BERT用的是Pre-LN。Pre-LN在訓練早期更穩(wěn)定對學習率沒那么敏感這也是BERT能夠用較大學習率預(yù)訓練的原因之一。BERT-base的整體配置是12層TransformerBlockhidden size76812個注意力頭feed-forward中間層維度是3072。你可以通過修改這些超參來拼出不同規(guī)模的模型。注意hidden size必須能被注意力頭數(shù)整除否則view操作會報錯。這是非常常見的一個低級錯誤。4. 預(yù)訓練任務(wù)與訓練流程全解析4.1 MLM與NSP兩個預(yù)訓練目標的設(shè)計邏輯BERT的預(yù)訓練階段有兩個任務(wù)缺一不可。第一個是Masked Language ModelMLM掩碼語言模型。做法是隨機遮蓋句子中15%的token然后讓模型去預(yù)測被遮蓋的token。但這里有一個小細節(jié)在這15%的token里不是全部用[MASK]替換而是有講究的——其中80%換成[MASK]10%換成隨機詞剩下10%保持不變。為什么要這樣因為如果訓練時看到的全是[MASK]而下游任務(wù)中根本不會出現(xiàn)[MASK]就會產(chǎn)生預(yù)訓練和微調(diào)之間的分布不一致。加入一定比例的隨機詞和原詞能迫使模型更多依賴上下文來預(yù)測而不是單純記住[MASK]標記本身。這個小trick在代碼里體現(xiàn)為一個隨機選擇邏輯。第二個是Next Sentence PredictionNSP下句預(yù)測。輸入是一對句子A和B50%的情況下B是A的下一句標簽為150%的情況下B是隨機句子標簽為0。模型需要判斷兩句是否連續(xù)。這個任務(wù)讓BERT學會句子級別的關(guān)聯(lián)信息對問答、自然語言推理等任務(wù)幫助很大。后來的實驗中有論文對NSP是否必需提出過質(zhì)疑比如RoBERTa模型就移除了NSP但在BERT的本體設(shè)計里NSP和MLM共同組成了完整的預(yù)訓練目標。4.2 數(shù)據(jù)準備從文本到訓練樣本的完整流水線在scripts/preprocess.py里原始文本要經(jīng)過一系列處理才能變成BERT的輸入格式文本清洗去掉特殊符號統(tǒng)一小寫是否區(qū)分大小寫可配置WordPiece分割把單詞切成子詞比如“playing”切成“play”和“##ing”加上[CLS]和[SEP]標記[CLS]放在序列開頭[SEP]放在每個句子結(jié)尾構(gòu)建token ids、segment ids、attention mask如果需要的話按照最大長度做padding或截斷這里的核心工具是Vocabulary它維護一個“詞和id”的映射表。BERT-pytorch默認提供了一個簡單的vocab構(gòu)建方式但如果你要復(fù)現(xiàn)BERT-base的效果直接使用Google發(fā)布的全詞表bert-base-uncased-vocab.txt更省事有30522個詞條。在實際操作中我建議先寫一個小腳本驗證一下tokenize的結(jié)果from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-uncased) tokens tokenizer.tokenize(Hello, how are you playing today?) print(tokens) # [hello, ,, how, are, you, playing, today, ?]這樣基本就能和BERT-pytorch的輸入對齊。4.3 Trainer與前向傳播的最小實現(xiàn)項目的trainer/pretrain.py是預(yù)訓練的核心循環(huán)。整個流程并不復(fù)雜for epoch in range(epochs): for batch in data_loader: token_ids, segment_ids, masked_tokens, masked_pos, is_next batch logits_lm, logits_cls model(token_ids, segment_ids, masked_pos) loss_lm criterion(logits_lm.transpose(1, 2), masked_tokens) loss_cls criterion(logits_cls, is_next) loss loss_lm loss_cls optimizer.zero_grad() loss.backward() optimizer.step()注意這里的logits_lm并不是對所有token都計算損失而是只對被mask的位置計算。masked_pos記錄了每個樣本中被mask的位置索引模型根據(jù)這些索引去取對應(yīng)的輸出向量再和真實token_ids做交叉熵。這個細節(jié)過濾掉了很多無關(guān)位置的噪聲是模型能夠高效學習的關(guān)鍵。學習率調(diào)度上BERT-pytorch實現(xiàn)了Transformer論文里的warmup decay策略。前若干步學習率線性上漲之后逐步衰減這樣做能避免早期更新幅度太大導致訓練不穩(wěn)定。optim_schedule.py里自己實現(xiàn)了這個調(diào)度器。如果你用PyTorch 2.x也可以直接用現(xiàn)成的get_cosine_schedule_with_warmup等接口替代效果類似。4.4 從零開始訓練的最小實驗記錄為了驗證整個流程我用一個小型數(shù)據(jù)集約50MB英文新聞文本做了從零開始的預(yù)訓練實驗配置為4層Transformer、hidden size256、4個注意力頭。這個配置遠小于BERT-base但足以跑通流程。訓練的batch size設(shè)為32序列長度128Adam學習率1e-4warmup步數(shù)1000。跑了大約3萬步之后MLM的準確率從初始的不到1%漲到了35%左右NSP準確率穩(wěn)定在80%以上。如果用標準的BERT-base配置去跑完整預(yù)訓練需要16張TPU跑4天所以自己玩的話一定要調(diào)小參數(shù)。這個“調(diào)參”的過程本身就是理解BERT的好機會——你隨便改一個參數(shù)都能直觀感受到訓練速度和loss的變化這是直接用官方預(yù)訓練模型體會不到的。5. 常見問題與避坑手記5.1 安裝和依賴問題速查這是新手最容易卡住的環(huán)節(jié)我整理了幾個高頻問題問題1torchtext導入報錯老版本BERT-pytorch的tokenization.py依賴torchtext的bert vocab相關(guān)接口。新版torchtext里很多API被移除直接導入會報AttributeError。解決辦法是改用transformers庫的tokenizer或者把torchtext鎖在0.9.0版本使用。我更推薦前者因為transformers生態(tài)更持續(xù)。問題2訓練時顯存不足OOMBERT-base輸入長度512、batch size 16在GTX 1080Ti上就非常吃力。解決辦法降低序列長度到128或256減小batch size打開混合精度訓練torch.cuda.amp.autocast()問題3masked_fill中的-1e9會導致loss為NaN嗎如果mask把整行都遮住了softmax后全0反向傳播時會出現(xiàn)NaN。這種情況在padding部分可能出現(xiàn)。更安全的做法是用torch.finfo(dtype).min代替-1e9并確保每一個樣本中至少有一個位置是有效的。問題常見原因解決方案torchtext API不兼容版本過新改用transformers tokenizerCUDA版本不對驅(qū)動太舊升級驅(qū)動或降低cu版本顯存不足模型太大/batch大降序列長度、開AMP訓練loss震蕩學習率過高/warmup不夠調(diào)低學習率/增加warmup微調(diào)效果差預(yù)訓練數(shù)據(jù)域不匹配在目標域上繼續(xù)預(yù)訓練5.2 訓練過程中的幾個反直覺經(jīng)驗有些經(jīng)驗光看文檔是學不到的必須實際操作過才能體會第一輸入序列的長度對訓練速度影響是線性的但對內(nèi)存影響是平方級的。因為注意力分數(shù)的形狀是[batch, heads, seq_len, seq_len]序列長度從128提升到256內(nèi)存消耗直接變成原來的4倍256/128的平方。所以做實驗時先從短序列跑通再逐步加長。第二LayerNorm層的epsilon參數(shù)不要隨便動。項目中用的是1e-12這個值看起來小得離譜但BERT官方實現(xiàn)里就是這樣的。如果你把它改成常見的1e-5反而可能導致訓練初期不穩(wěn)定。這個細節(jié)也是從官方代碼里傳下來的“奇奇怪怪的設(shè)定”。第三預(yù)訓練的warmup步數(shù)不能太少。我在小數(shù)據(jù)集上踩過坑warmup只設(shè)100步結(jié)果前2000步loss大幅震蕩后來把warmup加到1000步就穩(wěn)定了。要知道在大型語料上warmup步數(shù)經(jīng)常要設(shè)置到10000步以上。第四如果條件允許直接用Google發(fā)布的預(yù)訓練權(quán)重做微調(diào)而不是從零預(yù)訓練。從零預(yù)訓練需要的數(shù)據(jù)量和算力對個人開發(fā)者來說非常不友好。BERT-pytorch的意義更多在于“理解原理”和“復(fù)現(xiàn)實驗”而不是和生產(chǎn)環(huán)境里用現(xiàn)成權(quán)重搶精度。做下游情感分類、命名實體識別等任務(wù)時加載bert-base-uncased權(quán)重再微調(diào)效果和速度會好得多。5.3 一個實用的復(fù)現(xiàn)檢查清單如果你想完整跑通BERT-pytorch并驗證自己的理解我建議按這個順序檢查輸入tokens是否正確添加了[CLS]和[SEP]長度是否一致多頭注意力的num_heads是否能夠整除d_modelEmbedding層三個矩陣的維度是否都是vocab_size, d_model/max_len, d_model/n_segments, d_modelMLM損失是否只統(tǒng)計masked位置而不是所有位置NSP的標簽是否和segment id滿足對應(yīng)關(guān)系“句子B確實是隨機句或下一句”訓練時有無用一個小batch做一次前向和反向確保沒有維度不匹配的報錯這個清單看起來非?;A(chǔ)但我敢說至少有50%的人第一次復(fù)現(xiàn)時報錯都源自這幾個地方。我自己當時就在多頭注意力拆分合并那一步卡了很久最后打印每個tensor的shape才排查出來。6. 基于BERT-pytorch的二次開發(fā)思路6.1 如何替換成你自己的TokenizerBERT-pytorch默認的tokenization模塊比較簡陋如果你要做中文文本的處理建議直接替換成transformers的BertTokenizer。中文BERT有兩種做法一種是基于字character切分每個漢字作為一個token另一種是基于詞切分。Google提供的中文模型bert-base-chinese就是按字切分的。替換時只需要把原始的tokenizer換成from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese)然后改寫數(shù)據(jù)預(yù)處理流程里調(diào)用tokenizer的部分保持輸出的token_ids、segment_ids仍是list of int即可。后續(xù)模型代碼完全不用動。6.2 如何用這個項目做下游任務(wù)微調(diào)這里提供一個典型的文本分類微調(diào)思路。先加載BERT-pytorch的預(yù)訓練模型可以是Google權(quán)重轉(zhuǎn)換過來的然后取出[CLS]位置的輸出向量接一個全連接分類層class BertClassifier(nn.Module): def __init__(self, bert_model, num_classes): super().__init__() self.bert bert_model self.classifier nn.Linear(bert_model.hidden, num_classes) def forward(self, tokens, segments): _, pooled self.bert.forward(tokens, segments) # 這里需要從輸出中取出CLS位置的hidden state logits self.classifier(pooled) return logits注意BERT-pytorch模型的bert前向返回的是所有token的隱藏狀態(tài)[batch, seq_len, hidden]你要取[:, 0, :]才是[CLS]的表示。很多代碼里所謂的“pooled output”其實就是一個簡單的[CLS]取出操作不像transformers庫中還有額外的pooler層。這個細節(jié)在微調(diào)時直接影響分類頭的效果。微調(diào)的技巧也很直接用較低學習率2e-5到5e-5因為預(yù)訓練好的參數(shù)已經(jīng)處于一個較優(yōu)區(qū)域?qū)W習率太大容易破壞它。通常只需要跑3~5個epoch就能在下游任務(wù)上得到不錯的效果。6.3 項目之外從BERT到更現(xiàn)代的模型BERT-pytorch雖然經(jīng)典但如今NLP領(lǐng)域已經(jīng)有了很多更強的模型。但坦白說如果你想真正理解RoBERTa、ALBERT、DistilBERT乃至GPT系列的核心思想先啃透BERT-pytorch的代碼會是一個非常扎實的起點。因為后續(xù)很多模型都是在BERT的骨架上做減法或加法——RoBERTa去掉了NSP但加大了數(shù)據(jù)和訓練時長ALBERT用參數(shù)共享和矩陣分解大幅度減少了參數(shù)量DistilBERT用知識蒸餾把模型縮小了40%。你理解了BERT的每一塊部件再去看這些模型的“改動點”就會非常輕松。我在實際做項目時也經(jīng)常會把BERT-pytorch的代碼拿來當作“最小可運行”的基線用來測試新數(shù)據(jù)集上是否存在數(shù)據(jù)泄漏、處理流程是否合理。它的代碼足夠短短到你可以在半小時內(nèi)讀懂全部關(guān)鍵邏輯這一點在生產(chǎn)級的transformers庫中是做不到的。7. 最后的實操心得這篇文章寫到這里其實已經(jīng)沒有“總括性結(jié)論”的必要了。我記得自己第一次獨立把BERT-pytorch從環(huán)境搭建到預(yù)訓練小模型跑通花了整整一個周末。期間踩過torchtext的坑踩過CUDA版本不對的坑也踩過多頭注意力維度錯誤導致loss不下降的坑。但正是這些排查過程讓我對BERT的理解遠超“會用transformers庫”的程度。如果讓我給剛接觸這個項目的朋友三條建議第一先別急著跑大數(shù)據(jù)拿一個只有幾千條的小語料把整個訓練流程跑通觀察loss變化理解每一步在干什么第二一定要動手改參數(shù)改hidden size、改層數(shù)、改學習率看看訓練曲線有什么不同這種直觀感知是看多少文章都替代不了的第三把官方預(yù)訓練權(quán)重轉(zhuǎn)換到PyTorch環(huán)境后用在下游任務(wù)上這樣既能保證效果又能體會BERT-pytorch代碼和官方權(quán)重的兼容性。這個項目雖然名叫“BERT-pytorch”但它實際上是一個深度學習愛好者極佳的學習素材——它把一個曾經(jīng)刷新無數(shù)榜單的模型壓縮到了幾千行清晰可讀的PyTorch代碼里。弄懂它之后你再看其他NLP模型的實現(xiàn)大概率都能舉一反三。這大概就是經(jīng)典項目給人留下的最寶貴的財富。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
女人喷水视频在线观看| 激激五月| av三级电影在线播放| 成人一二三区| 激情内射| 嗯啊抽插大香蕉网页| 欧美色青| 免费成人自拍视频在线| 国产无码高清操逼视频| 亚洲āv网址在线观看| 日本视频在线中文字幕| 天天综合亚洲综合| 日人妻视频91| 99操碰| 岛国黄色大片网站| 啪啪啪综合网| 神马久久中文字幕| 激情婷婷丁香| 婷婷性网| 国产又黄又爽| 在线日韩视频| 色综合中文字幕不卡| 哈哈操电影AV| 成人无码欧美一级A片狼牙直播| av情色影音| 欧美色自拍| 黑人精品欧美一区二区蜜桃| 久久精品店| 精品日韩人妻视频| 色色色色色色色色色色色色色色综合 | 国产日韩精品无码去免费专区国产| 97爱爱| 亚洲五码一区二区三区| 亚洲黑丝在线| 亚洲性刺激| 97精| 丁香九月激情啪| 久操操AV电影| 色999偷自拍拍| 91高清无码下载| 激情五月天视频| 亚洲欧美性生活| 天天舔日美女视频| 亚洲性爱无码乱伦av| 91大神电影天堂| 少妇色综合| 亚洲无码免费看| 超碰天天久久79| WWW黄片COM| 九月丁香综合网| 欧美在线中M| 日韩pv中文| 99热这里只有精品1| 艹我哪美一区无码| 国产精品96| 五月色丁香| 骚鸭AV| jk白丝没脱就开始啪啪| 我中文字幕6区| 成人无码在线超碰网| 五月婷婷久久综合| 亚洲欧美洲综合| 9久超碰| 欧在线一二区| 男人的天堂2019AV| 综合另类| 91欧美丝袜| 操逼日韩无码| 91丨人妻丨国产丨丝袜| 午夜啊啊啊| 欧美日韩亚洲一区二区在线观看| 成人情色综合网| 婷色五月| 欧美v日韩v亚洲v最新在线| 欧美大片一区二区三区| 人妻人人操| 不卡视频一区蜜桃视频| 人妻加勒比东京热| 亚洲乱码国产乱码精网站| 噜噜噜噜天天狠狠| 26uuu国产| 成人国产精品三级A片| 骚逼自拍99| 国产精品自在线发布| 亚洲国产中文字幕| 一区二区三区探花在线观看| A级在线视频| 国产精品黄色三级av| 亚洲啪啪视频一区二区| 亚洲中文字幕网| 精品人妻一区二区三区鲁大师| 久久久久婷婷| 成人aⅴ一区二区三区| www.男人天堂| 色综合1991| 日韩AC| 超碰地址久久| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 老熟妇一区二区三区| 26uuu国产成人综合| 日韩91网| 加勒比色99999| 97久精品| 婷婷丁香五月激情啪啪| 国产高清吃奶免费视频网站| 久久99干一本高清| 秋霞福利网| 歐美一級亂黃99在綫精品| 天天摸夜夜摸| 欧美色吧综合| 日日AV加勒比| 超碰97玖玖爱| 欧美顶级黄色大片免费| 熟妇熟女一区二区三区| 欧洲亚洲天堂精品| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 国产女人高潮嗷嗷嗷叫小说| 欧美日韩国产成人高清| 97在线免费| 日本国产欧美一区三区二区 | 97在线视频观看网站| 97在线视频免费看| 色五天伊人| 日韩无码极品| 18禁看网站一区| 人妻少妇精品久久久久久| 亚洲欧美天| 免费久久9999| 区二区亚洲婷| 碰超人人在线一区二区三区| 91无码人妻| 91挑色欧美| 亚洲性网| 精品国产片亚洲一区| 黄片视频,下载| 91无遮挡| 涩爱AV在线| 性欧美另类高清| 亚洲操逼网| 色五月激情综合网| 中文字幕艹艹| 夜夜夜夜爽| 干妹子| 中文字幕视频在线观看一区二区| 九九综合网| 天天天天天天天天综合| 蜜桃AV天堂| 蜜臀99久久国产| 亚洲成成熟女人综合一区二区| 91丝袜| 色五月婷婷麻豆在| 天天摸夜夜添无码小视频| 国产精品人人爽人人做可爱福利| 国产三级中文有码在线视频| 操比国产| 亚州乱码中文字幕综合久久久| 我中文字幕6区| 丰满人妻一区二区三区免费 | 开心五月天激情网| 久久中出在线| 性感美女啊啊啊在线| 啊啊啊啊网站| 人妻22p| 精品人妻一区二区三区-国产精品| 超碰无码五月97| 国产精品白领在线观看 | 成人资源中文字幕在线观看天天| 亚洲 欧美 另类 日韩 人妻一区| 国内偷拍精品一区二区| 久久综合婷婷| 91精品国产高清久久久久久,亚洲成人| 老外又粗又长一晚做五次| 久久婷婷色| 午夜毛片高清免费不卡| 日韩成人在线性爱视频| 日韩中文字幕熟妇人妻 | 曰韩av中文字幕专区| 欧美综合网1| 插欧洲美女欧美精品| 色眯眯av| 午夜爽爽爽在线观看永久入口姬片| 色盈盈影院| 好色综合| 330dv亚洲成年视频网| 日韩无码精品综合久久| 91偷拍欧美亚洲| 婷婷人妻激情| 在线天堂999| 97亚洲中文| 男人亚洲91首页在线| 免费a v| 噜噜噜噜天天狠狠| 国产一区二区三区高清视频| 超碰97综合| 不卡中文字幕aⅴ在线| 自拍欧美| 东京热AV男人的天堂| 在线观看黄色电话| 大象AV在线| 日本操逼无码| 爱欲AV| 五月天黄色激情视频| 久久 国产 无码| 自拍欧美| 密臀在线免费观看| 黄aaaaaaaaaaaaaaaaaa色网站| 蜜桃午夜视频一区二区 | 天美av在线| 欧洲精品一级二级精品综合视频综合| 亚洲男人天堂Av| 欧美在线91| 久久人妻| 亚洲欧美在线观看免费| 精品免费国产二区三区| 天天综合色| 久久无码一区二区二三区性色| 亚洲精品一卡二卡三卡福利视频网站| 欧美暴力猛交| 国产AV色黄看到爽| 久久久久久九九九| 美女黄页网站| 色香综合天天影视综合| 精品国产乱码久久久久久网站入口| 操逼操逼逼操操逼91 | 91精品人妻一区二区三区蜜桃| 久九干| yiren97| 熟女这里只有精品6| 一本色道人妻久久| 青青草一区二区高清无码视频| 国产精品69久久久久久久| 九九热精品视频在线观看| 蜜桃无码AV一区二区| 熟妇一区,二区,三区。| 26uuu性| 国产精品分类在线观看| 男人天堂欧美| 欧美v日韩v亚洲v最新在线| 91成人精品| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 熟女精品日韩一区二区三区| 97久久久网站| 91亚洲网| 精品人妻视频一区二区在线播放| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 欧美日韩美女精品久草一区二区三区 | 91青青草| 久久中文字幕女同性恋一区| 日韩av免费一级电影| 欧亚乱色熟一区二区三四区| 久久久999日本大片| 99热aaa| 中文字幕一二区二三区人妻专区| 中文字幕一区二区无码成人| 国产91 丝袜在线播放00-百度| 麻豆国产精品午夜视频| www.亚洲成人一区| 天堂种子在线www网资源| 久久9 9 9精品| 超碰无码加勒比| 黄色AAAAAAAAAAA大片| 色情五月综合婷婷| 久久有码| 91人妻最真实刺激绿帽| 1区2区3区视频| 日本黄 R色 成 人网站| 嗯……啊…嗯嗯…啊…好舒服| 久久久久9| 色91综合网| 久久久久熟女| 亚洲少妇中文字幕网址| 一二三四日本视频高清| 欧美传媒| 天天舔日美女视频| 另类欧美色| 东京热男人的天堂精品| 亚洲一级黄色毛片| 9997se| 亲子敌伦对白在线播放| 亚洲制服欧美另类内射| 免费网色网站| 日韩熟女三十乱伦| 亚洲色图久久成人| 欧美亚洲在线| 97天堂| 亚洲乱伦图片视频| 欧美日韩另类在线播放| 欧美色图私拍91| 男女打扑克高清网站| ai欧美亚洲小说| 精品国产一区二区三区av在线资源| 黄色免费一级在线毛片| 亚洲国男人的天堂| 天天日夜干| 99色在线| 日本国产二线女色| 69视频福利导航| 欧美日本成人一区二区| 日本九九久久99播| 91亚洲色人| 男人高清无码一区二区| 加勒比AV天堂| 免费一级视频特黄色大片| 安微少妇操BBB| 岛国色情视频在线观看| 又粗又长又爽在线观看| 人成午夜免费大片| 天天插天天射| 色婷婷五月综合| 欧美激情精品| 9久久9综合| 欧美国产成人在线| 日韩欧美久久婷婷网站| 欧美日韩在线视频网站| 天天澡天天爽日日av| 欧美,日韩综合久久| 国产午夜精品在线观看| 乱理日韩中文| 青青久草| 日韩黄色av中文字幕| 国产强奸乱伦第1页| 欧美色亚洲色| 搡老女人老妇女老妇老熟女怎么读| 精品无码一区二区三区| 宗合情欲网| 在线播放免费av福利片| 操逼逼一区视频| 精品女同一区二区三区| 射丝袜高跟鞋99| 十八禁视频网站| 久久久久久久久999| 日噜夜夜夜夜夜夜夜夜夜夜爽爽爽爽爽爽爽爽爽爽爽爽 | 人人妻人人操人人乐| 欧美性爱日韩高清| 无码人妻1727| 高清孕妇孕交 交孕妇| 中文字幕丝袜人妻| 97色五月天完| 国产三区免费在线观看| 亚洲激情av| 午夜欧美J进J出白浆流出久久久| 一级久久久久久久久久久| 少妇久久久久久| 婷婷婷婷婷婷久久久久| 男人的天堂2018东京热啪啪啪| 人人操人人摸人人看人人插| 久久免费少妇| 国产精品扒开腿做爽爽爽视频| 色哟哟精品1精品2| 丰满人妻一区二区三区四区| 亚洲伊人久久综合97| 91欧美性| 国产嫩草精品A88AV| 香蕉av一区二区三区| 国产精品老师| 蜜乳中文字幕a在线| 少妇高潮一区二区三区在线| 欧美曰韩国产精品| 91+欧美| 伊人综合色网| 黄片直播三级黄片两女一男| 色区久久| 97操97色| 日韩精品影视| 一区二区三区四区理论片| 亚洲风情在线观看| 国产亚洲精品精AV.| 欧美1区二区三区公司 | 超碰97精品在线| 精品国产嫩穴视频| 久久国99999| 在线五区| 激情抓乳插进去啪啪啪日韩| 麻豆黄站| 欧美日韩亚洲国产中文永久天天看| 2019亚洲男人天堂| 秋霞免费AV| 囯产精品久久久久久久久久梁医生 | 最新9久久久9免费视频| 久久欧美激情| 国产99热| 成人网站 免费观看| 日本天天操| 天天操av懂色| 亚洲综合射| 91丝袜美女视频| 夜夜爽夜夜爽| 日韩国产成人自拍视频| 天天肏夜夜肏| 人妻丝袜肏逼| 八戒无码国产午夜福利| 熟妇视频一区二区三区在线观看| 亚洲熟女乱色一区二区三区久久久| 日韩 欧美 国产 麻豆| 欧美天天综合站| 久久免费9| 五月丁香拍拍激情综合三级| 狠狠色综合网| 久久精品国产97欧美精品亚洲 | 超碰97人人乐| 成人线上超碰| 啊啊啊好舒服好爽啊啊啊视频| 97网址97| 丁香五月综合| 91 丝袜在线| 天天综合,91入口| 日韩99精品视频综合区| 欧美九九爱| 国内一区二区免费| 欧洲一级性爱视频在线观看| 97免费视频在线观看| 后入式视频国产自| 又粗又长又爽在线观看| 激情综合网五月婷婷| 成人欧美日超碰| 8x福利精品第一福利视频导航| 五月天丁香网| 日逼97| 操逼操操操91| 国产精品白丝AV| 日日操天天操| 日韩精品中文字幕二区| 欧美午夜精品久久久久久超碰| 极品一区二区三区免费| 在线中文字幕| 天堂伊人久久| 欧美精品99久久久**| 久久精品成人一区二区三区蜜臀 | 91丨熟女丨丰满熟女| 大香蕉之青青草原| 婷婷大香蕉| 天天欧美97| 国产精品一二三区福利| 国产不良强奸视频免费看| 亚洲男人的天堂AV| 亚洲成人福利电影免费| 女生看匆91网站| 99999精品成人| 18禁中文字幕| 亚洲AV在线资源| 日本 欧美 亚中文字幕| 欧美成人性爱视频在线播放| 亚州色图片在线色| 欧美亚州手机在线| 约操熟妇| 国产一区二区在线播放| 91中文精品日韩欧美在线| 香蕉国产精品麻豆亚洲欧美日韩| 精久久久| 欧美天堂超碰97| 亚洲午夜免费狠狠干| 欧美色www亚洲国产阿娇要播| 亚洲极品| 久噜噜| 99超碰色| 亚洲午夜福利在线影院| 大香蕉中文201| 东京热熟女亚洲视频网站| 成人情色一区二区| 日本亚洲熟女视频| 久久久久久久久久久免费精品| 久久人妻无码毛片A片麻豆| 国产热RE99久久6国产精品首 | 亚洲麻豆av一区二区| 躁躁日曰躁2020| 日韩不卡av一二三| 亚洲蜜乳av| 亚洲清纯综合| 我中文字幕6区| 欧美一级三级| 免费看久久久性性| 少妇综合| 蜜乳中文字幕a在线| 综合欧美色图| 射久久| 搡老女人老91二区| 久久久久久久久久久久97| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 国产免费内射视频| 国产精品久久久午夜夜伦鲁鲁| 青青操视频在线| 亚洲伊人久久精品影院| 国产精品一区二区密臀| 久久久一区二区三区四区五区| 国产天天噜一噜久久久| 中文久久久| 欧美激情综合网| 国产路线专区| 欧美不卡在线一区二区| 韩国手机不卡无码三级视频| 97在线精品观看视频| 欧美性爱91| 欧美三级中文字幕hd| 懂色综合久久久| 欧美老妇女内射网址| 91精品久久久久久77777| 欧美激情 亚洲色图| 97在线/亚洲| 91被操| 亚洲色五月| 欧美亚洲AN| 日韩精品影视| 清纯唯美激情| 国产日韩区| 日韩激情中文字幕有码| 91精品久久久久久77777| 九久9热| 裸体美女久久久| 97资源站日韩| 强奸乱伦动态污图免费| 国产中文字幕在线观看| 色小视频蜜乳| 性综合网| www.av不卡中文字幕| 亚洲久久久久| a男人的天堂久久一级A毛片 | 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 99re公开精品免费视频| 台湾肥佬网一区二区三区| 国产激情在线| 人妻中文字幕日韩电影| 91天美传媒精品| 啊啊啊啊操死我| 亚洲操逼无码| 色男人色天堂东京热| av中亚| 天天色综亚洲91污| 蜜桃一区二区三区| 亚洲国产成人7777| 日日干日日| 韩国女主播青草在线| 亚洲成人在线乱码色午夜| 国产成人免费观看在线视频| 呦女网站| 亚欧Av| 天堂亚洲精品| 中日韩欧美精品无码AⅤ一区二区| 九九英色视频| 狠狠久久手机视频精品| 欧美嗯啊……在线观看视频免费| 男人久久天堂| 熟女中出视频| 日韩人妻一区二区| 亚洲精品一二三四区| 91综合站| 成人AV素股で擦久久| 不卡免费av在线播放| 亚洲 欧美 天天| 青青草国产盗摄一二三区| 国产精品久久久久无码A√| 特级丰满少妇一级AAAA爱毛片| 日本不卡码黄色| 亚洲综合另类小说色区亚洲成av人片在www | 亚洲综合夜色| 97人人射| 国产狂喷潮在线精品| 欧美在线视频播放| 狠狠综合网| 亚洲 暴爽 AV人人爽日日碰| 日韩操啪| 超碰碰97资源站| 最新加勒比丝袜在线| 台湾一区国产高清在线| 午夜福利在线合集| 一区二区 韩日AV| 2020中文在线一区二区三区| 啊啊啊97视频| 97超碰jingpin| 日韩三A大片在线观看| 丝袜美腿操av| 日本一久是| 欧美激情综合色综合啪啪五月| 少妇久久久久久| 欧美日韩精品国产91| 久久人妻丝袜一区二区三| 国产一区二区在线播放量| 国产偷拍自拍在线视频| 亚洲丝袜诱惑| 男人的天堂久久狠| 国产天天看| 久久久99久9| 日本熟女免费視颖| 国产乱伦视频污| 香蕉视频精品亚洲一区二区三区在线播| 艾草av| 亚洲一区深夜| 口爆综合网| 五月激情在线| 久久AV无码网址| 中日韩欧美精品无码AⅤ一区二区| 91亚洲色图| 久久线上视频免费看| 激情久久日韩精品中文字幕麻豆| 麻豆2区1区天美| 天堂8在线新版官网| 欧美成人一级免费电影| 熟妇一区二区三区| 国产极品久久久| 综合激情五月天| 成人性爱高清视频免费看| 神马久久午夜| 东方亚洲在线操逼天堂| 国产午夜视频| 久久伊人网视频一区二区三区| 小情侣高清国产在线视频| 日韩美女啪啪一区| 大香蕉中文| 东京热,男人的天堂| 狠狠干妹子| 蜜臀久久99精品| 69XX一中文字幕人妻91| 国产欧美岛国精品一区| 综合色图,成人综合网| 五月天婷婷基地| av绯色| 91精品亚洲内射孕妇| 嗯啊视频免费在线观看| 校园春色欧美色图| 一区中文字幕二区日韩| 精品久久久久,69国产成人精| 在线97在线| 超碰在线1234区| 久久人妻无码毛片A片麻豆| 蜜乳成人AV| 无码高清操逼| 国产h片在线观看视频| 欧美人妻少妇| 国产成人亚洲精品无码古代早漏男| 亚洲自拍一区夜夜操| 精彩久久中文| 超碰九九| 精品蜜乳AV免费观看| 国产精品分类在线观看| 亚洲最新中文字幕免费| 亚洲成人碰碰| 五月丁香在线| 91网18| 亚洲永久AV无码精品秋霞| 99国产精品自在自在| 欧美猛交黑寡妇中文字幕| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 乱色老一区二区三区的观看方式| 超碰97护士| 中文字幕成人理论在线| 亚洲中文字幕av| 性色avv| 综合性视频99| 密乳AV免费观看| 丁香婷婷久久| 日本精品性生活久久久| 春色综合免费| 天天操人人操狠狠插| 青青青在线高清视频在线一二三四区| 人人玩人人添人人澡免费| av婷婷色婷婷色六月| 亚洲一区二区专区-国产丝袜精品丝袜-成人AV | 黄页网站成人免费| 一区在线国产播放| 91热色| 一区二区三区亚洲| 精品久久青青草| 天欧美在线| 成人羞羞视频国产| 国产高清精品一区二区三区毛片| 熟妇在线视频一区二区| 欧洲亚洲人人爽爽视频| 岛国免费黄色网址| 色婷婷成人综合| 国产精品久久久久久久久久久久| av网站免费线看| 黄色污污污污污污网站| 欧美色999| 久久久新亚洲AV| 91色碰| 欧美色网| 亞洲久久直播| 久久久九九| 日韩另类| 久久综合精品一区二区三区| 亚洲中文字幕在线视频一区二区| 亚洲 日本 一 二 三| 久久精品区| 性做久久久久久免费观看软件| 日韩中文字幕国产| 一区二区乱码福利| 亚洲激情网| 日本女人久久久| 啊啊啊好湿国产一二| 色吧 综合| 新精精品久久精品| 黄aaaaaaaaaaaaaaaaaa色网站 | 极品粉嫩一区二区| 成人国产二区三区在线,男女精品。| 97欧美色资源| 精品国产乱码久久久久久口爆网站| 亚州男人天堂| 玖玖爱一区在线| 91天堂色男人的天堂| 久久久久久99999国产精品| 国产福利小视频高清在线观看| 国产中文日韩欧美一区二区三区人妻丝袜美腿 | 蜜乳Av成人片网站| 免费男人的天堂| 91人妻爽爽人人做人人澡| 老司机福利青青草| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 欧美极度丰满熟妇hd| 久久男人的天堂| 欧美另类自拍 | 91亚洲欧美综合高清在线| 日本大片日本一区二区免费高清| 中文字幕蜜乳av| av草草在线电影| 操九九九九九九| 久操不卡视频| 性爱综合一区二区| 五月婷亚洲精品天堂| 97人人夜| 大干人妻| 亚州 综合 色图| 九九成人视频| 国产18精品亚洲精品| 综合另类| 另类图片综合| 久久久久久久久女黄| 色五月激情AV在线| 伊人午夜福利视频| 亚洲涩图欧美| m欧洲一级午老| 色拍偷亚洲| 欧美熟妇人体| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 欧美劲爆第一页| AAAAAAAAA黄片| 午夜福利久久久噜久噜久久综合 | 奇米四色影视777久久久| 在线欧美亚洲| 探花视频免费观看国产专区| 69av一区二区三区| 欧美日韩另类在线播放| 天堂俺去俺来也www久久婷婷| A片 AV一级在线播放观看免费| 91亚洲人| 美女视频尤物网在线看| 国产精品一区二区 尿失禁| 78m啪啪啪| 高清国产精品福利网站| 黄色无码高清黄色无码网站| 91久久免费视频互動交流| 91N综合网在线| 国产女生在线| 加勒比大香蕉视频在线| 天天看高清麻豆| 91丝袜美女视频| 男女猛烈无遮掩视频免费软件| 国产成人一级av88| 天美精品av| 啊啊啊97视频| 東南亚性呦成人伦理资源在线视频| 麻豆av一区二区| 91老熟妇| 欧美一区91大爱| a片亚洲一本通视频| 久久9精品| 最新日产中文在线麻豆| 成人日本精品九区| 天天草AV| 人人摸人人摸人人干| 熟女在线视频| 天堂综合网| 欧美日产国产在线成人第一区| 久热九九| 黑丝制服中文字幕| 亚洲成人一区二区精品| 久久久无码国精品无码三区三区| 色娱乐色呦呦夜夜夜夜av| 人人妻人人玩人人澡人人爽| 日韩精品-原创伙伴| 色九色久| CCYY草草影院地址入口| 亚洲中文字幕精品一区| 欧美性生活男人的天堂| 欧美色自拍| 爱丝福利| 99婷婷一区二区| 亚洲 欧美 91| 日本布卡一区二三区| 国模精品娜娜一二三区| 亚洲日韩久久精品一区| 老司机福利青青草| 日韩欧美女优电影| 91综合天天看| 在线欧美69V免费观看视频| 日韩AV电影网站| 欧美一区二区三区互相| 97精品视频免费| 97神马久久| 欧美老熟另类| 国产精品ⅴ无码大片在线看.| 五月天伊人| 91快色色色色色| 亚洲熟女一区| 9久久精品| 2019天天干| 97色妞| 国产精品呦一区二区三区| 风骚少妇视频中文字幕| 成人七区| 人人操人人摸超碰| 国产白嫩精品久久| 91精品女厕偷拍视频| 国产九区| 91九色精品熟女内射| 亚洲深夜福利| 欧洲亚洲人妻无码中字久久三区四区| 97在线视频免费观看| 97日视频| 九九九九久久久| 强奸乱伦亚洲第一页| 九九九不卡| 色狠狠综合噜一二三区| 视频分类 国内精品| 91春色| 后入式999| 91日本在线观看| 97国产超碰| 亚洲欧美综合| 99re99在线视频| 亚洲伊人久久精品狠狠在线| 亚洲中文日韩欧美大香蕉视频| 人妻精品一区二区| 亚洲无线观看久久| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 一区二区中文| 蜜桃狠狠色伊人亚洲综合 | 怡红院成人av| 超91综合网| 91人妻Pr| 国产精品女生av| 91女色| 亚洲999综合| 熟妇人妻一区二区三区| 天天干天天插| 日韩AV一起草| 欧美黄色片在线播放| 亚洲se91| 蜜臀一二三区| 午夜无码熟妇丰满人妻| 亚洲美女30b| 白丝AV网站| 大香蕉在线视频15| 国产伦精品免编号公布| www.99视频| 99热官网| 伊人成人中文字幕久久网| 国产福利精品最新在线| 国产精品老师| 综合色99| 夜夜嗨AV一区天天| 日日干日日| 色区久久| 97青青操视频| 天堂精品小草| 免费看国产大AB| 欧美BT 亚洲色图| 国产精品国产精品国产| 天天日天天干天天操| 色爱天堂| 91精品国产91久久青草| 国产家庭乱伦表演| 97国产精品| 偷拍亚洲| 久久伊人东京热| 亚洲精品一二三四区| 欧洲精品二区| 91美| 免费人成毛片乱码| 高清国产性猛交xxxx乱大交| 1000午夜黄色| 久久久久久九九九九九| 天天懆天天日| 大香蕉人妻| 女人的天堂大香蕉网| 搡老女人老熟女91老熟女综合网| 澳门黄片一香蕉视频| 5278欧美一区二区三区| 96精品久久久久中文字幕| 欧美综合亚洲| 精品无码秘 人妻一区二区| 91P0RNY大屁股人妻| 无码精品一区二区三区潘金莲| AV 少妇 人妻 偷拍| 干B| 天堂成人网| 亚洲国产一级精品毛一级精品看免费视频 | 久久久无码av精| 怡红院怡春院| 欧美天天搞| 国产免费永久精品无码| 91国产丝袜美女| 岛国A V在线免费看| 天天懆天天日| 旡码电影特区| 国产精品白丝www| 久久无码电影| 精久久久| 免费一级欧美片片线观看| 九九九九精品一区| 美国精品国产精品| 四虎884a| 麻花传媒免费网站在线观看| 欧美国产视频| 人人操人人干xxx| 9/A片| 久久综合久色欧美综合狠狠 | 男人久久天堂| 国产精品岛国片在线观看| 偷拍综合亚洲| 成 人 A V免费视频在线观看| 狠狠爱综合网| 99操逼| 久草综合京东| 免费av在线播放二区| 久草热制服丝袜在线观看| 亚洲系列第一页| 天操天操夜操夜月月年年操操| 久久久久久久久久久免费精品| 一区二区三区男女操逼黄色小电影| 欧美人与动性人交a| 午夜欧美神马久久久久| 五月丁香社区婷婷日韩欧美精品影院| 天天操熟妇| 天天欧美欧美亚洲网| 999精品国产高清一区二区| 美女干逼2| 手机在线观看不卡无码av| 国产乱伦亚洲| 一区二区三区四区久久视1| 欧美性爱18观看| 日韩欧美三级| 中文字幕88av在线| 五月色综合| 国产久久日韩网站导航| 青青草啪啪网| 亚洲欧洲综合视频在线| 91av熟女人妻| 欧美少妇大量自拍视频在线观看| 国产亚洲美日韩Aⅴ中文字幕无码成人| 婷婷精品久久av影视| 蜜臀99999| 久久黄黄| 一区二区三区视频| 密臀成人视频久久久| 99综合自拍| 亚洲成人碰碰| 国产精品一区二区校花| 少妇无码999| 日韩大香蕉精品在线视频| 91碰碰碰| 操逼操网| 天堂俺去俺来也www久久婷婷| 99精品高潮| 午夜免费视频1000| 日韩强奸av| 91啦人妻| 张柏芝国产一区在线观看| 五月天加勒比啪| 久草毛片电影怡| 婷婷五月天激情网| 探花一区在线| 性久久| 午夜视频黄| 精品视频在线观看精品| 性91| 精品高潮| 91东北熟女| 久久精品国产精品| 天操天操夜操夜月操月年年操操| 色香在线| 久插综合| 亚洲欧美在线综合| 久久影视二区三区行押| 久久久久久九九九九九九| 精品一区99999| 高清肉丝中文无码| 在线视频一区二区传媒| 亚洲电影91| 中文字幕乱码在线观看| 亚洲av噜噜噜噜噜噜| 黄色视频60分钟| 国产超碰人人爽人人做| 人妻AV在线| renqi久久久久久久久久久久| 久久久工口| www.高清无码诱惑一区.com | 日日夜夜骚| 蜜屁Av| 一区二区三区一亚洲中文字幕、综合区灬 | 中文高清一区二区的| 麻豆久久久久久久久丝袜| 亚洲免费97免费| 日韩资源网| 久久精品日韩专区免费观看| 人妻乱仑一区二区三区| 久久久久久久久久久精| 易易A毛视频| 97精品一区二区视频| 毛片麻豆91糖心精品毛情片| 中文熟女五十乱码在线| 午夜福利在线合集| 日本视频在线观看污污污| av线电影| 欧美夜夜狠| 中文字幕日韩人妻视频一区二区三区| 欧美综合网A| 在线天堂999| 亚洲一本大道中文字幕无码在线| 精品日韩| 欧美日韩系列| 操亚州| 亚洲美乱| 精品一区二区成人动漫| 欧美伊人久久综合网| 操一对老熟妇爽上天视频| 亚洲欧美日产国产91毛片| 欧美色婷婷| 这里只有精品视频在线观看麻豆| 新视频sss国产| 丰满少妇一区二区三区四区观看| 欧美人妻一区| 亚洲乱色熟女一区| 一区二区三| 老鸭窝黄色视频网站| 男人天堂站| 九九亚洲| 日韩成人精品中文字幕| 少妇xx精品| 国产中文字幕在线点播| 日本熟妇浓毛hdsex| 亚洲高清在线se| 99热aaa| 九九在线精品| 欧美性爱系列| 欧美综合区| 国产精品久久久久久 百度| 成年人黄色视频免费| 欧美专区17页| 亚洲熟妇白浆无码AV| 性色av一区二区| 久偷拍欧美日韩三区| 蜜桃色院一区久久 | 亚洲成人一区二区精品| 亚洲人妻精品一区二区| 东京热天堂网| 97在线视频免费观看| 怡红院成人av| 青青操在线亚洲视频观看欧美在线| 毛片电影一区二区三区| 日韩另类| 嗯嗯啊中文字幕| 激情第四色| 欧美在线官网| 亚洲情色在线| 99精品在线| 综合亚洲网| 神马久久久久久| 岛国1区2区3区在线观看| 91午夜无码| 一级黄色性爱A级片| 日韩国产成人自拍视频| 成人国产精品三级A片| 九色97| 品亲网欧美品亲网| 夜夜 中文视频rt| 激情文学亚洲| 亚洲男人天堂av| 国产精品自拍xxxx| 婷婷99| 欧美不卡在线美女| daxiangjiao你懂的| 高清无码人妻久久久一区二区三区aⅴ| 中文字幕在线观看第二页| 欧美色五月| 欧美熟女少妇| 国产一| 欧美亚洲自拍另类人妻| 九一国产精品| 91免费看一区二区三区 | 欧美性生活内射| 欧美日韩久久精品爱爱| 亚洲国产成人精品女人久久久| 欧美日韩另类在线播放| 99这里有精品视频| 午夜AV污污污| 久久久久亚洲Av无码专区老牛影视| 色综合天天| 在线天堂999| 青青草色AV| 丰满美女一级毛片在线播放| 蜜乳AV网址| 亚洲男人的天堂V| 蜜臀99久久国产| 久久成人国产精品| 日本中文字幕在线视频| 欧美日韩97在线| 啪啪资源网| 日韩美女,国产传媒,视频一区| 男女一进一出视频久久| 久久五月份| 啊啊啊好大好深| 久久超碰国产一区二区三区| 激情接吻视频久久久久久| 男人的天堂久久狠| se吧提供91精品国产91久久久久久| 亚洲丝袜二区| 日本一区二区三区四区五区六区七区八区九区| 欧美日韩操逼动图| 激情小说亚洲视频| 一级特级aaaa毛片免费观看 | 欧美日韩电影一区二区| 中文字幕欧美精品亚洲日韩蜜臀| 亚洲一区操| 亚洲男人的天堂在线看| 国产乱伦亚洲| 青青草啪啪网| 99精品久久久久久久婷婷| 影音综合网| 国产又黄又爽又刺激久久久久久| 好吊色一区| 免费人成在线观看网站品爱网| 久久精品老司| 两性色网| Aa东京男人的天堂| 日韩乱伦影音先锋| 久久久久久无码人妻中文字幕| 国语av最新自产拍在线观看| 欧美一区二区成人一卡| 激情抓乳插进去啪啪啪日韩| 屁股久久久久久久久| 国产精品久久久久久久电影渣男| 欲女人妻性色av| 无码色| 国产成人99久久亚洲综合| 国产精品视频在线播放| 十八禁啪啦拍视频无遮挡| 久久久少妇诱惑精品视频| 人人操,操人人| 久久精品一区一起草| 欧美黑人猛交春色影视大全| 97色碰| 亚洲日韩欧美一区二区| 婷婷五月天伊人| 日本性感人妻91| 少妇特黄一区二区三区| 天天综合网国产| 欧美色www亚洲国产阿娇要播| 精品一国2| 色欧美天天| 日韩性爱电影一区| 色99视频|