日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

連續(xù)擴(kuò)散語言模型與昇騰算力:ELF架構(gòu)解析及實(shí)踐指南

連續(xù)擴(kuò)散語言模型與昇騰算力:ELF架構(gòu)解析及實(shí)踐指南 最近 AI 圈有兩個(gè)方向熱度很高一個(gè)是 Meta 何愷明團(tuán)隊(duì)提出的 ELF——一種利用擴(kuò)散模型直接生成任意長(zhǎng)度的連續(xù)語義特征的語言模型架構(gòu)簡(jiǎn)潔到極致卻在同等參數(shù)規(guī)模下超越了主流自回歸模型另一個(gè)是國內(nèi) AI 算力生態(tài)的快速成熟——昇騰從“可用”走向“好用”越來越多高校和科研團(tuán)隊(duì)開始基于昇騰算力做前沿算法驗(yàn)證。這兩個(gè)熱點(diǎn)在 2025 年突然交叉了南京大學(xué)團(tuán)隊(duì)基于昇騰算力同步提出了連續(xù)擴(kuò)散語言模型并完成了訓(xùn)練與推理驗(yàn)證。這意味著連續(xù)擴(kuò)散語言模型不再只是英偉達(dá)生態(tài)里的“高端玩具”在國產(chǎn)算力上也能跑通、能復(fù)現(xiàn)、能繼續(xù)做研究。本文不打算只做新聞復(fù)述而是站在技術(shù)實(shí)踐角度拆解三件事ELF 和連續(xù)擴(kuò)散語言模型到底解決了什么問題昇騰算力跑這類模型時(shí)架構(gòu)上有什么特殊之處如果你想在自己項(xiàng)目里復(fù)現(xiàn)類似思路從環(huán)境搭建到代碼驗(yàn)證該怎么落地以及會(huì)遇到哪些坑。1. 為什么連續(xù)擴(kuò)散語言模型值得關(guān)注先看傳統(tǒng)自回歸語言模型的工作方式逐 token 預(yù)測(cè)生成第 t1 個(gè) token 時(shí)依賴前 t 個(gè) token 的完整上下文。ChatGPT、Claude、Llama 基本都是這個(gè)套路。它的優(yōu)點(diǎn)是生成質(zhì)量穩(wěn)定、訓(xùn)練目標(biāo)清晰但有兩個(gè)硬傷推理速度受限于逐步解碼無法并行生成訓(xùn)練時(shí)需要嚴(yán)格的前后依賴擴(kuò)展超長(zhǎng)上下文時(shí)計(jì)算成本呈二次增長(zhǎng)。何愷明團(tuán)隊(duì)的 ELF 給的解法很直接把文本序列編碼成一組連續(xù)的語義向量然后用擴(kuò)散模型一次性生成整段語義特征最后通過一個(gè)輕量解碼器把語義特征映射回 token 序列。整個(gè)過程不再逐 token 自回歸而是“先整體語義再局部還原”。這里有一個(gè)容易誤解的點(diǎn)ELF 不是第一個(gè)把擴(kuò)散模型用在文本生成上的方案但它做了一個(gè)關(guān)鍵簡(jiǎn)化——用預(yù)訓(xùn)練語言模型獲取連續(xù)語義特征擴(kuò)散模型只需要學(xué)習(xí)這些特征的分布而不是直接學(xué)習(xí)離散 token。這繞開了離散文本和連續(xù)擴(kuò)散過程之間的梯度斷裂問題。所以連續(xù)擴(kuò)散語言模型的本質(zhì)是一套“語義特征生成”框架語言模型負(fù)責(zé)把文本映射成語義空間擴(kuò)散模型負(fù)責(zé)在語義空間內(nèi)做生成解碼器負(fù)責(zé)把生成結(jié)果還原。它讓自然語言生成從“逐字造句”變成了“整體勾勒再細(xì)化”這個(gè)轉(zhuǎn)變帶來的直接收益就是生成階段的并行度大幅提升。南京大學(xué)團(tuán)隊(duì)在昇騰上復(fù)現(xiàn)并驗(yàn)證了這一思路說明這套框架對(duì)底層硬件沒有強(qiáng)依賴只要算力平臺(tái)提供完整的算子庫和分布式訓(xùn)練能力就能支撐擴(kuò)散語言模型的訓(xùn)練和部署。2. ELF 與連續(xù)擴(kuò)散語言模型的核心概念2.1 什么是 ELFELFContinuous Latent Language Model是 Meta 何愷明團(tuán)隊(duì)提出的語言模型架構(gòu)。它的全稱和內(nèi)部細(xì)節(jié)在論文里有完整描述這里只提煉關(guān)鍵設(shè)計(jì)。ELF 的流程可以分成三段編碼階段輸入文本通過一個(gè)預(yù)訓(xùn)練語言模型如 Llama 的 encoder 部分映射為連續(xù)語義特征即 latent representation。擴(kuò)散生成階段把這些連續(xù)語義特征當(dāng)作擴(kuò)散模型的訓(xùn)練目標(biāo)訓(xùn)練一個(gè)擴(kuò)散模型學(xué)習(xí)從高斯噪聲逐步去噪還原出語義特征。解碼階段還原出的語義特征通過一個(gè)輕量解碼器映射回 token 序列得到最終文本。這里最重要的設(shè)計(jì)判斷是為什么用連續(xù)語義特征而不是直接生成離散 token因?yàn)樵谶B續(xù)空間里可以定義平滑的噪聲添加和去噪過程而離散 token 之間沒有天然的“距離”概念擴(kuò)散模型難以直接學(xué)習(xí)。通過語義特征這個(gè)中間表示擴(kuò)散模型成功規(guī)避了離散空間生成的核心障礙。2.2 什么是連續(xù)擴(kuò)散語言模型連續(xù)擴(kuò)散語言模型是一類方法的統(tǒng)稱ELF 是其中的代表性工作。它的核心特征如下對(duì)比維度自回歸語言模型連續(xù)擴(kuò)散語言模型生成方式逐 token 順序生成整段語義特征并行生成訓(xùn)練目標(biāo)最大化下個(gè) token 概率最小化語義特征還原誤差推理速度受限于序列長(zhǎng)度可并行去噪理論上可加速上下文建模依賴注意力機(jī)制逐步擴(kuò)展依賴擴(kuò)散步數(shù)控制全局一致性硬件適配各類加速卡均可需要較強(qiáng)的矩陣運(yùn)算和連續(xù)張量支持需要特別說明的是連續(xù)擴(kuò)散語言模型并不是要全面取代自回歸模型。它在長(zhǎng)文本全局一致性、可控生成、并行推理加速這些維度上有潛力但當(dāng)前在復(fù)雜推理、多輪對(duì)話、代碼生成等任務(wù)上還沒法完全追平自回歸模型。更準(zhǔn)確的說法是它為語言模型提供了一條互補(bǔ)的技術(shù)路線。2.3 ELF 與昇騰結(jié)合的背景昇騰是華為推出的 AI 算力產(chǎn)品系列包含昇騰 310、昇騰 910B 等不同定位的加速卡。昇騰 910B 面向訓(xùn)練和推理是目前國內(nèi)科研機(jī)構(gòu)使用較多的高端 AI 加速卡。過去在昇騰上跑大模型開發(fā)者經(jīng)常遇到的問題是主流框架 PyTorch 的算子不能直接跑在昇騰卡上需要經(jīng)過 CANNCompute Architecture for Neural Networks昇騰的異構(gòu)計(jì)算架構(gòu)做算子適配。這意味著很多新模型不能“裝完即跑”需要做一層適配和算子遷移。南京大學(xué)團(tuán)隊(duì)的工作恰恰驗(yàn)證了連續(xù)擴(kuò)散語言模型這個(gè)較新的架構(gòu)可以通過昇騰的 PyTorch 適配層Torch-NPU完成訓(xùn)練和推理。這說明昇騰生態(tài)對(duì)前沿算法結(jié)構(gòu)的支持已經(jīng)比早期完善很多不再局限于跑通常見 CNN、Transformer。3. 昇騰算力跑 ELF 類模型的硬件與軟件棧如果你打算在昇騰上跑連續(xù)擴(kuò)散語言模型需要先理解它的軟硬件分層。3.1 昇騰硬件產(chǎn)品定位從材料看昇騰系列主要包括以下類型昇騰 310面向邊緣推理場(chǎng)景功耗低適合部署輕量模型。昇騰 910B面向訓(xùn)練和推理算力較強(qiáng)是目前高校和科研機(jī)構(gòu)使用較多的型號(hào)。昇騰 310P推理卡數(shù)據(jù)帶寬和算力介于 310 和 910B 之間。跑 ELF 這種需要訓(xùn)練擴(kuò)散模型的任務(wù)至少需要昇騰 910B 及以上規(guī)格。如果是純推理部署在昇騰 310P 上也可以嘗試但要注意顯存和帶寬限制。3.2 軟件棧結(jié)構(gòu)昇騰的軟件棧從底層到上層可以分成四層硬件層昇騰加速卡。計(jì)算架構(gòu)層CANN提供算子庫、圖編譯、運(yùn)行時(shí)管理等核心能力??蚣苓m配層Torch-NPU、MindSpore 等。Torch-NPU 讓 PyTorch 代碼可以基本不改地跑在昇騰上。應(yīng)用層vLLM、MindIE 等推理服務(wù)框架。跑 ELF 這類研究型模型絕大多數(shù)場(chǎng)景走的是 PyTorch Torch-NPU 這條路徑因?yàn)檠芯看a通?;?PyTorch 編寫遷移成本最低。3.3 昇騰上跑模型的兩個(gè)常見誤區(qū)誤區(qū)一昇騰兼容 PyTorch 等于所有 PyTorch 代碼都能直接跑。實(shí)際上 Torch-NPU 只是提供了基礎(chǔ)算子映射如果你的模型里用了自定義算子、某些 torch 函數(shù)還沒有在 NPU 上實(shí)現(xiàn)仍然需要適配和改寫。誤區(qū)二昇騰 910B 顯存夠就能訓(xùn)練大模型。顯存只是前提之一更關(guān)鍵的是算子執(zhí)行效率和通信帶寬。擴(kuò)散模型的訓(xùn)練涉及大量矩陣乘法和噪聲調(diào)度計(jì)算如果算子沒有針對(duì)性優(yōu)化訓(xùn)練效率會(huì)明顯低于同級(jí)別英偉達(dá)卡。4. 昇騰環(huán)境準(zhǔn)備與基礎(chǔ)配置下面以在昇騰 910B 服務(wù)器上復(fù)現(xiàn) ELF 類型連續(xù)擴(kuò)散語言模型為例給出環(huán)境搭建的完整思路。版本號(hào)以實(shí)際環(huán)境為準(zhǔn)本文重點(diǎn)演示通用過程。4.1 硬件環(huán)境昇騰 910B 加速卡至少 1 張建議 4 張以上做分布式訓(xùn)練。宿主機(jī) CPU建議 64 核以上。內(nèi)存建議 256GB 以上。操作系統(tǒng)Ubuntu 20.04 / 22.04或 openEuler。磁盤建議預(yù)留 500GB 以上用于存放數(shù)據(jù)集、checkpoint 和日志。4.2 安裝 CANN 與 Torch-NPU昇騰的軟件安裝整體分三步安裝驅(qū)動(dòng)和固件、安裝 CANN 工具包、安裝 Torch-NPU 適配層。# 1. 安裝驅(qū)動(dòng)和固件以 Ascend HDK 為例 ./Ascend-hdk-*.run --full --install # 2. 安裝 CANN 工具包 ./Ascend-cann-toolkit_*.run --install # 3. 設(shè)置環(huán)境變量 source /usr/local/Ascend/ascend-toolkit/set_env.sh安裝完成后通過npu-smi info查看加速卡狀態(tài)。npu-smi info正常輸出能看到昇騰卡的芯片型號(hào)、顯存使用率、溫度等信息。如果看不到卡先檢查驅(qū)動(dòng)是否安裝成功、固件版本是否和 CANN 匹配。4.3 安裝 PyTorch 與 Torch-NPUTorch-NPU 是 PyTorch 在昇騰上的適配層安裝時(shí)要注意版本必須與 CANN 版本、PyTorch 版本嚴(yán)格對(duì)應(yīng)。# 以 Python 3.8 PyTorch 2.1.0 為例 pip3 install torch2.1.0 pip3 install torch-npu2.1.0安裝完成后驗(yàn)證 NPU 是否可用import torch import torch_npu # 檢查 NPU 是否可見 print(torch.npu.is_available()) print(torch.cuda.is_available()) # 這里返回 False因?yàn)闀N騰不是 CUDA # 查看 NPU 設(shè)備數(shù)量 print(torch.npu.device_count())如果輸出True和大于 0 的設(shè)備數(shù)量說明環(huán)境基本可用。4.4 驗(yàn)證連續(xù)擴(kuò)散模型的張量能否在 NPU 上執(zhí)行跑完整訓(xùn)練前建議先做一個(gè)最小化驗(yàn)證創(chuàng)建張量做一次擴(kuò)散模型的 denoise 核心操作確認(rèn)算子能在 NPU 上執(zhí)行。import torch import torch_npu device torch.npu.current_device() # 模擬一個(gè)語義特征的 batchbatch_size2, seq_len128, hidden_size512 x torch.randn(2, 128, 512).to(device) t torch.randint(0, 1000, (2,), devicedevice) # 模擬一次噪聲預(yù)測(cè) noise_pred torch.nn.functional.linear(x, torch.randn(512, 512).to(device)) print(noise_pred.shape)如果這段代碼能正常輸出說明 PyTorch 的基礎(chǔ)算子已經(jīng)在昇騰上映射成功可以繼續(xù)走完整訓(xùn)練流程。5. 基于昇騰實(shí)現(xiàn)連續(xù)擴(kuò)散語言模型的完整示例這一部分我們用一個(gè)最小實(shí)現(xiàn)來還原 ELF 的核心訓(xùn)練思路把文本編碼成語義特征訓(xùn)練擴(kuò)散模型去預(yù)測(cè)噪聲最終還原語義特征。這不是 ELF 的完整復(fù)現(xiàn)而是幫助理解核心機(jī)制的最小可運(yùn)行示例。5.1 整體代碼結(jié)構(gòu)diffusion_lm/ ├── config.py # 配置參數(shù) ├── semantic_encoder.py # 語義編碼器 ├── diffusion_model.py # 擴(kuò)散模型 ├── decoder.py # 語義特征解碼器 ├── train.py # 訓(xùn)練腳本 └── infer.py # 推理腳本5.2 配置參數(shù)# 文件路徑config.py class Config: # 語義特征維度 hidden_size 512 # 序列長(zhǎng)度 seq_len 128 # 擴(kuò)散步數(shù) num_diffusion_steps 1000 # 訓(xùn)練輪數(shù) epochs 10 # batch size batch_size 16 # 學(xué)習(xí)率 lr 1e-4 # 是否使用 NPU use_npu True這個(gè)配置適合先在單卡上做功能驗(yàn)證實(shí)際復(fù)現(xiàn) ELF 時(shí) hidden_size、seq_len、batch_size 都需要顯著增大。5.3 語義編碼器ELF 的關(guān)鍵前提是能拿到連續(xù)語義特征。我們這里用一個(gè)簡(jiǎn)化的做法用一個(gè)小型文本編碼器可以由任意語言模型承擔(dān)把輸入 token 序列映射為稠密向量序列。# 文件路徑semantic_encoder.py import torch import torch.nn as nn class SemanticEncoder(nn.Module): 簡(jiǎn)化版語義編碼器將 token 序列映射為連續(xù)語義特征。 實(shí)際項(xiàng)目中可替換為任意預(yù)訓(xùn)練語言模型的 encoder 部分。 def __init__(self, vocab_size, hidden_size): super().__init__() self.embedding nn.Embedding(vocab_size, hidden_size) self.encoder_layer nn.TransformerEncoderLayer( d_modelhidden_size, nhead8, batch_firstTrue ) self.encoder nn.TransformerEncoder(self.encoder_layer, num_layers2) def forward(self, input_ids): # input_ids: [batch, seq_len] emb self.embedding(input_ids) # [batch, seq_len, hidden] return self.encoder(emb) # [batch, seq_len, hidden]這里要說明ELF 用的是預(yù)訓(xùn)練語言模型來獲得語義特征不是從零訓(xùn)練的 Transformer。上面的代碼是為了讓示例可運(yùn)行用了最簡(jiǎn)單的編碼器結(jié)構(gòu)。真實(shí)復(fù)現(xiàn)時(shí)請(qǐng)把 SemanticEncoder 替換成你要用的預(yù)訓(xùn)練模型的 encoder 部分。5.4 擴(kuò)散模型擴(kuò)散模型的核心是學(xué)習(xí)預(yù)測(cè)噪聲。這里實(shí)現(xiàn)一個(gè)簡(jiǎn)單的 MLP 擴(kuò)散模型輸入是帶噪語義特征和時(shí)間步輸出是預(yù)測(cè)的噪聲。# 文件路徑diffusion_model.py import torch import torch.nn as nn class DiffusionModel(nn.Module): 簡(jiǎn)化版擴(kuò)散模型輸入帶噪聲的語義特征和時(shí)間步預(yù)測(cè)噪聲。 真實(shí) ELF 中會(huì)使用更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)如 Transformer 或 UNet。 def __init__(self, hidden_size, seq_len): super().__init__() self.hidden_size hidden_size self.seq_len seq_len self.time_embed nn.Embedding(1000, hidden_size) self.net nn.Sequential( nn.Linear(hidden_size hidden_size, hidden_size * 4), nn.GELU(), nn.Linear(hidden_size * 4, hidden_size * 4), nn.GELU(), nn.Linear(hidden_size * 4, hidden_size) ) def forward(self, x, t): # x: [batch, seq_len, hidden] # t: [batch] t_emb self.time_embed(t).unsqueeze(1) # [batch, 1, hidden] t_emb t_emb.expand(-1, self.seq_len, -1) # [batch, seq_len, hidden] h torch.cat([x, t_emb], dim-1) # [batch, seq_len, 2*hidden] return self.net(h)5.5 擴(kuò)散過程定義擴(kuò)散過程的定義包括兩個(gè)核心操作前向加噪和反向去噪。# 文件路徑diffusion_model.py 追加 class DiffusionProcess: def __init__(self, num_steps1000, beta_start1e-4, beta_end0.02): self.num_steps num_steps self.betas torch.linspace(beta_start, beta_end, num_steps) self.alphas 1.0 - self.betas self.alpha_bar torch.cumprod(self.alphas, dim0) def q_sample(self, x0, t, noiseNone): 前向加噪過程給定干凈語義特征 x0生成 t 步后的帶噪特征。 if noise is None: noise torch.randn_like(x0) alpha_bar_t self.alpha_bar[t].view(-1, 1, 1) return torch.sqrt(alpha_bar_t) * x0 torch.sqrt(1 - alpha_bar_t) * noise, noise def sample(self, model, shape, device): 反向去噪過程從純?cè)肼曢_始逐步還原語義特征。 x torch.randn(shape, devicedevice) for t in reversed(range(self.num_steps)): t_tensor torch.full((shape[0],), t, devicedevice, dtypetorch.long) noise_pred model(x, t_tensor) alpha_t self.alphas[t] alpha_bar_t self.alpha_bar[t] alpha_bar_prev self.alpha_bar[t-1] if t 0 else torch.tensor(1.0) # 根據(jù) DDPM 的采樣公式更新 x x (x - (1 - alpha_t) / torch.sqrt(1 - alpha_bar_t) * noise_pred) / torch.sqrt(alpha_t) if t 0: x x torch.sqrt(1 - alpha_bar_prev) * torch.randn_like(x) return x5.6 解碼器語義特征還原成 token 序列需要一個(gè)解碼器。對(duì)于 ELF實(shí)際做法是訓(xùn)練一個(gè)輕量映射頭從語義特征預(yù)測(cè) token。這里用線性層加 argmax 作為簡(jiǎn)化示例。# 文件路徑decoder.py import torch import torch.nn as nn class SemanticDecoder(nn.Module): 將語義特征映射回 token logits。 真實(shí) ELF 可能使用預(yù)訓(xùn)練語言模型的 decoder 輕量映射頭。 def __init__(self, hidden_size, vocab_size): super().__init__() self.fc nn.Linear(hidden_size, vocab_size) def forward(self, semantic_features): # semantic_features: [batch, seq_len, hidden] return self.fc(semantic_features) # [batch, seq_len, vocab]5.7 訓(xùn)練腳本把所有模塊組合起來在昇騰 NPU 上執(zhí)行訓(xùn)練。# 文件路徑train.py import torch import torch.nn as nn import torch.optim as optim import torch_npu from config import Config from semantic_encoder import SemanticEncoder from diffusion_model import DiffusionModel, DiffusionProcess from decoder import SemanticDecoder def train(): cfg Config() device torch.npu.current_device() if cfg.use_npu else torch.device(cpu) # 模型初始化 vocab_size 10000 encoder SemanticEncoder(vocab_size, cfg.hidden_size).to(device) diffusion_model DiffusionModel(cfg.hidden_size, cfg.seq_len).to(device) decoder SemanticDecoder(cfg.hidden_size, vocab_size).to(device) diffusion_process DiffusionProcess(cfg.num_diffusion_steps) # 優(yōu)化器 optimizer optim.Adam( list(encoder.parameters()) list(diffusion_model.parameters()) list(decoder.parameters()), lrcfg.lr ) loss_fn nn.MSELoss() # 模擬輸入隨機(jī)生成 token id input_ids torch.randint(0, vocab_size, (cfg.batch_size, cfg.seq_len), devicedevice) for epoch in range(cfg.epochs): optimizer.zero_grad() # 1. 編碼語義特征 x0 encoder(input_ids) # [batch, seq_len, hidden] # 2. 隨機(jī)時(shí)間步 t torch.randint(0, cfg.num_diffusion_steps, (cfg.batch_size,), devicedevice) # 3. 前向加噪 x_noisy, noise diffusion_process.q_sample(x0, t) # 4. 預(yù)測(cè)噪聲 noise_pred diffusion_model(x_noisy, t) # 5. 計(jì)算擴(kuò)散損失 loss loss_fn(noise_pred, noise) # 6. 語義特征還原后計(jì)算重建損失簡(jiǎn)化 x_reconstructed diffusion_process.sample( diffusion_model, x0.shape, device ) logits decoder(x_reconstructed) recon_loss nn.CrossEntropyLoss()( logits.view(-1, vocab_size), input_ids.view(-1) ) total_loss loss 0.1 * recon_loss total_loss.backward() optimizer.step() if epoch % 2 0: print(fEpoch {epoch}, Diffusion Loss: {loss.item():.4f}, Recon Loss: {recon_loss.item():.4f}) if __name__ __main__: train()運(yùn)行訓(xùn)練python train.py這里要提醒上面的示例為了可運(yùn)行做大幅度簡(jiǎn)化diffusion_process.sample內(nèi)部走完整 1000 步反向去噪在真實(shí)訓(xùn)練中這樣做會(huì)非常慢。實(shí)際 ELF 訓(xùn)練只在推理階段做完整采樣訓(xùn)練時(shí)只做單步噪聲預(yù)測(cè)不會(huì)在每輪訓(xùn)練里跑完整逆向過程。上述代碼適合驗(yàn)證算子正確性和跑通流程不適合直接搬到大規(guī)模訓(xùn)練。5.8 推理腳本# 文件路徑infer.py import torch import torch_npu from config import Config from diffusion_model import DiffusionModel, DiffusionProcess from decoder import SemanticDecoder def infer(): cfg Config() device torch.npu.current_device() if cfg.use_npu else torch.device(cpu) vocab_size 10000 diffusion_model DiffusionModel(cfg.hidden_size, cfg.seq_len).to(device) decoder SemanticDecoder(cfg.hidden_size, vocab_size).to(device) diffusion_process DiffusionProcess(cfg.num_diffusion_steps) # 加載權(quán)重 diffusion_model.load_state_dict(torch.load(diffusion_model.pth, map_locationdevice)) decoder.load_state_dict(torch.load(decoder.pth, map_locationdevice)) # 從純?cè)肼曢_始生成 semantic_shape (1, cfg.seq_len, cfg.hidden_size) generated_features diffusion_process.sample(diffusion_model, semantic_shape, device) # 映射回 token logits decoder(generated_features) # [1, seq_len, vocab] generated_ids torch.argmax(logits, dim-1) print(generated_ids.cpu().numpy()) if __name__ __main__: infer()運(yùn)行推理python infer.py5.9 關(guān)鍵邏輯解釋上述代碼實(shí)現(xiàn)了 ELF 流水線的三個(gè)核心環(huán)節(jié)語義編碼器負(fù)責(zé)把離散 token 轉(zhuǎn)成連續(xù)語義特征擴(kuò)散模型負(fù)責(zé)學(xué)習(xí)從帶噪特征還原干凈語義特征解碼器負(fù)責(zé)將語義特征映射回 token 空間。訓(xùn)練目標(biāo)是讓擴(kuò)散模型準(zhǔn)確預(yù)測(cè)噪聲同時(shí)讓解碼器能從還原特征中重建原文。它和真實(shí) ELF 的主要差距在于真實(shí) ELF 使用大規(guī)模預(yù)訓(xùn)練語言模型作為語義編碼器和解碼器擴(kuò)散模型也不是簡(jiǎn)單的 MLP而是在語義特征空間上處理序列關(guān)系的 Transformer。但宏觀思想是完全一致的。6. 運(yùn)行驗(yàn)證與效果判斷6.1 環(huán)境驗(yàn)證命令按照上面代碼運(yùn)行后你首先會(huì)看到 NPU 初始化日志和訓(xùn)練 loss 輸出。如果一切正常輸出類似Epoch 0, Diffusion Loss: 1.1234, Recon Loss: 2.3456 Epoch 2, Diffusion Loss: 0.9876, Recon Loss: 1.8765判斷訓(xùn)練是否正常推進(jìn)看兩個(gè)指標(biāo)Diffusion Loss 是否逐漸下降說明擴(kuò)散模型在學(xué)會(huì)預(yù)測(cè)噪聲。Recon Loss 是否下降說明解碼器能從噪聲還原結(jié)果中重建語義信息。如果 Diffusion Loss 不降通常是學(xué)習(xí)率設(shè)置過大、模型結(jié)構(gòu)有誤或者數(shù)據(jù)沒有歸一化。 如果 Recon Loss 不降而 Diffusion Loss 正常說明解碼器能力不足或語義特征與 token 的映射關(guān)系沒有建立好。6.2 推理驗(yàn)證推理階段從純高斯噪聲生成語義特征再通過解碼器得到 token 序列。對(duì)于這個(gè)最小示例由于語義編碼器、擴(kuò)散模型、解碼器都是從零訓(xùn)練的生成結(jié)果大概率是亂碼。這是正常的——示例的目的不是產(chǎn)出高質(zhì)量文本而是驗(yàn)證昇騰上連續(xù)擴(kuò)散語言模型的訓(xùn)練鏈路是否可用。真實(shí)復(fù)現(xiàn) ELF 時(shí)判斷生成效果的標(biāo)準(zhǔn)是生成文本的困惑度是否接近自回歸模型的水平。在長(zhǎng)文本生成上全局語義一致性是否更好。并行去噪帶來的推理加速是否達(dá)到預(yù)期。6.3 失敗排查第一步如果運(yùn)行python train.py直接報(bào)錯(cuò)先確認(rèn)三件事torch.npu.is_available()是否返回 True。CANN 環(huán)境變量是否已 sourcesource /usr/local/Ascend/ascend-toolkit/set_env.sh。報(bào)錯(cuò)里是否有Not implemented、Op not supported這類關(guān)鍵詞如果有說明某個(gè)算子還沒在昇騰上適配需要找替代算子或改寫實(shí)現(xiàn)。7. 昇騰跑連續(xù)擴(kuò)散語言模型的常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案啟動(dòng)時(shí)報(bào)錯(cuò)Acl device init failed驅(qū)動(dòng)和固件版本不匹配運(yùn)行npu-smi info查看驅(qū)動(dòng)狀態(tài)重裝匹配版本的驅(qū)動(dòng)和固件模型加載后報(bào)錯(cuò)Op not supported模型中使用昇騰未適配的算子查看報(bào)錯(cuò)中的算子名稱在 PyTorch 中查找替代實(shí)現(xiàn)改寫為昇騰支持的標(biāo)準(zhǔn)算子組合訓(xùn)練時(shí)顯存不足OOMbatch_size 過大或序列長(zhǎng)度過長(zhǎng)查看npu-smi info的顯存占用減小 batch_size使用梯度累積訓(xùn)練速度遠(yuǎn)低于預(yù)期部分算子未走優(yōu)化內(nèi)核回退到 CPU查看訓(xùn)練日志檢查是否有算子回退警告升級(jí) CANN 版本檢查算子映射表多卡訓(xùn)練時(shí)通信報(bào)錯(cuò)HCCL 配置不正確檢查 /etc/hccn.conf 網(wǎng)卡配置確認(rèn)服務(wù)器網(wǎng)卡 IP 和 HCCL 通信配置正確訓(xùn)練 loss 不下降學(xué)習(xí)率設(shè)置不合理打印每步 loss觀察擬合情況調(diào)整學(xué)習(xí)率或預(yù)熱策略PyTorch 代碼在 NPU 上運(yùn)行但結(jié)果與 CPU 不一致部分算子存在精度差異隨機(jī)種子固定后對(duì)比 CPU 和 NPU 輸出根據(jù)情況調(diào)整混合精度策略必要時(shí)切回 FP32這些是昇騰新用戶最常見的幾個(gè)坑。其中算子適配問題是相對(duì)耗費(fèi)時(shí)間的——昇騰的算子庫更新速度很快但仍然做不到所有 PyTorch 算子全覆蓋。遇到不支持的算子優(yōu)先看官方算子文檔找標(biāo)準(zhǔn)的替代實(shí)現(xiàn)。8. 最佳實(shí)踐與工程建議8.1 昇騰環(huán)境管理昇騰的軟件棧版本耦合度比 CUDA 生態(tài)更嚴(yán)格。CANN、Torch-NPU、PyTorch 三個(gè)版本必須匹配。建議在項(xiàng)目開始時(shí)先鎖定版本組合并通過 requirements.txt 固定依賴。不要隨便升級(jí)其中一個(gè)組件否則很容易出現(xiàn)“能識(shí)別卡但算子跑不通”的中間狀態(tài)。建議用 Docker 做環(huán)境隔離。昇騰官方提供了帶 CANN 和 Torch-NPU 的容器鏡像直接基于鏡像開發(fā)可以省掉大量環(huán)境配置時(shí)間。FROM quay.io/ascend/cann:8.0.0-910b-ubuntu22.04-py3.9 # 這里鏡像名稱和 tag 以實(shí)際昇騰社區(qū)發(fā)布為準(zhǔn) RUN pip3 install torch2.1.0 torch-npu2.1.08.2 數(shù)據(jù)精度配置連續(xù)擴(kuò)散模型的訓(xùn)練對(duì)精度比較敏感。在昇騰上訓(xùn)練時(shí)建議前期調(diào)試用 FP32確認(rèn)邏輯正確后再切混合精度。混合精度開啟時(shí)特別關(guān)注 loss 是否出現(xiàn) NaN。擴(kuò)散模型中的時(shí)間步嵌入和噪聲預(yù)測(cè)網(wǎng)絡(luò)在低精度下容易出現(xiàn)數(shù)值不穩(wěn)。如果開啟混合精度后 loss 發(fā)散可以在關(guān)鍵位置強(qiáng)制使用 FP32例如時(shí)間步嵌入層。8.3 模型適配策略如果你要在昇騰上復(fù)現(xiàn)一個(gè)完整的 ELF 或其他擴(kuò)散語言模型建議按以下順序推進(jìn)先在 CPU 上用極小數(shù)據(jù)跑通訓(xùn)練流程確認(rèn)邏輯正確。切到單卡 NPU驗(yàn)證算子是否全部兼容。這一步會(huì)暴露大部分問題。單卡穩(wěn)定后再上多卡分布式訓(xùn)練。分布式訓(xùn)練時(shí)注意通信算子是否正確執(zhí)行關(guān)注 HCCL 相關(guān)日志。這樣的路徑能幫你把“模型邏輯問題”和“硬件適配問題”分開排查避免混合在一起難定位。8.4 從模型角度給昇騰適配的建議連續(xù)擴(kuò)散語言模型包含三個(gè)獨(dú)立組件語義編碼器、擴(kuò)散模型、解碼器。這三個(gè)組件對(duì)算子的要求不同語義編碼器如果復(fù)用現(xiàn)有預(yù)訓(xùn)練模型大概率已經(jīng)在昇騰適配過。優(yōu)先選擇昇騰支持列表內(nèi)的模型。擴(kuò)散模型是適配的重點(diǎn)其中的時(shí)間步嵌入、噪聲調(diào)度、矩陣乘操作都需要驗(yàn)證算子支持情況。解碼器通常是輕量映射頭一般不會(huì)有算子問題。把三部分拆開分別做算子級(jí)驗(yàn)證效率遠(yuǎn)高于直接整模型跑。8.5 性能優(yōu)化方向如果你已經(jīng)能在昇騰上跑通連續(xù)擴(kuò)散語言模型下一步可以關(guān)注性能優(yōu)化使用 CANN 提供的融合算子減少算子間的數(shù)據(jù)搬運(yùn)。對(duì)擴(kuò)散模型的去噪循環(huán)做靜態(tài)圖編譯避免反復(fù)的 Python 解釋開銷。使用torch.npu的圖模式graph mode編譯減少動(dòng)態(tài)圖帶來的調(diào)度開銷。在有多個(gè) sequence 并行生成時(shí)充分利用 batch 并行度。8.6 生產(chǎn)環(huán)境部署注意點(diǎn)連續(xù)擴(kuò)散語言模型如果用于生產(chǎn)環(huán)境推理有幾個(gè)特殊問題顯存占用完整去噪過程需要維護(hù)多步中間結(jié)果顯存峰值高于同規(guī)模自回歸模型。延遲雖然是并行生成但每一步去噪都是整段序列的矩陣運(yùn)算短文本場(chǎng)景下不一定比自回歸快。緩存管理如果使用 vLLM 一類框架管理推理服務(wù)需要確認(rèn)其對(duì)擴(kuò)散模型的支持程度。昇騰上的 vLLM 適配目前主要集中在自回歸模型自定義擴(kuò)散模型的接入需要額外開發(fā)。9. 總結(jié)與下一步學(xué)習(xí)方向從這次南京大學(xué)基于昇騰實(shí)現(xiàn)連續(xù)擴(kuò)散語言模型的事件里能提煉出的核心信息不只是“又一個(gè)新模型”而是連續(xù)擴(kuò)散語言模型正在從理論走向工程驗(yàn)證昇騰算力也已經(jīng)從傳統(tǒng) CNN 時(shí)代走到了可以支撐前沿語言模型研究的階段。如果你從事大模型推理優(yōu)化ELF 的并行生成思路值得深入研究它有可能在長(zhǎng)文本生成場(chǎng)景提供比自回歸更高的吞吐。如果你在研究擴(kuò)散模型ELF 的語義特征中間層設(shè)計(jì)是一個(gè)重要的范式轉(zhuǎn)移它讓擴(kuò)散和語言模型不再是對(duì)立路線而是組合協(xié)作關(guān)系。如果你在做國產(chǎn)算力適配這個(gè)案例說明只要 CANN 算子庫支持到位哪怕是很新的架構(gòu)也能遷到昇騰上。下一步建議動(dòng)手路徑先跑通本文的最小示例驗(yàn)證昇騰環(huán)境可用然后閱讀 ELF 原始論文理解語義特征的定義方式和損失函數(shù)細(xì)節(jié)接著用昇騰支持的預(yù)訓(xùn)練模型替換示例中的簡(jiǎn)易編碼器和解碼器慢慢逼近完整實(shí)現(xiàn)。對(duì)昇騰生態(tài)的技術(shù)人來說這是一個(gè)值得長(zhǎng)期跟蹤的方向。隨著國產(chǎn)算力的軟件生態(tài)繼續(xù)完善類似 ELF 這樣的前沿模型在昇騰上的適配速度只會(huì)越來越快?,F(xiàn)在進(jìn)入這個(gè)領(lǐng)域正好能趕上窗口期。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲91大片| 亚洲日韩美女中文字幕乱| 亚洲色系另类精品国产| 国产精品天美传媒| 亚洲天天天| 人人操肉肉| 国产女人高潮视频| 97免费视频在线观看| 一起草日韩| 久久深夜无码| 欧美中文字幕日韩在线| 盗摄 精品 另类 一区| 亚洲综合校园春色| 99热99在线播放激情| 91久久18禁| 熟女探花啪啪| 97超碰这里只有精品| 精品久久97| 亚洲 欧美 手机在线观看| 日韩 成人 有码| 久久精品午夜国产亚洲AV无码| 嗯嗯嗯嗯啊啊啊好紧好大| 欧美日韩小说| 99视频内射三四| 一区二区三区看视频| 这里只有精品视频在线观看麻豆| 91丝袜美女国产| 国产精品久久久久久久久久久久久久吹 | 巨爆乳肉感一区二区三区竹菊影视| 亚洲男人天堂2012| 欧美精品99久久久**| 97超碰天天爱天天爱| 亚洲高清视频在线免费观看| 日韩伦理久 久久 清纯| 成人26uuu| 国产久久久9999| 亚州欧美色图| 伊人991| 看大黄色大片原件| 日本欧美不卡| 在线综合 亚洲 欧美中文字幕| 91天天看| 久湿久久| 久久久久免费少妇| 国产亚洲精品玖玖玖在线观看| 九九九久久久久| 国产精品免费日韩| 精品视频久久| 中文字幕久久精视频久久大全| 99在线免费公开视频| 色五月激情AV在线| 口爆综合网| 日产欧美电影一区二区三区| 色偷偷人人玩人人舔人人操人人摸人人爽| 激情久久av一区av二区av| 伊香蕉综合久久久久久久噜噜噜| 综合激情97 | 大香蕉懂9| av中文在线| AⅤ片水多多| 欧美午夜视频| 青青11操操操操操操操操| V A在线| 熟妇高潮一区二| 国产精品一级毛片不卡视| 久久9精品网站| 国产熟女无套内射| 中文字幕视频2区| 草莓精品视频在线免费观看| 亚洲丝袜在线观看| 99国产天美| 久久久久九九九| 欧美 亚洲 在线| 天天插夜夜爽| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 久久一二三级一一一| 国产区91柔拿会所技师| 97极品无码| 天天综合麻豆视频| 一区二区三区在线日韩影院观看| 1024亚洲中文字幕久在线看片你懂的 | 久久超碰亚洲人| 国产精品视频精品一二| 青青青国产手线观看视频2| 91综合天天看| 肉丝无码中文高清| 欧美78| 蜜臀久久99精品久久久久久久久| 国产精品熟女丝袜一区二区| 秋霞一级视频在线观看免费| 热99这里有精品综合久久 | 亚洲字幕一区二区| 蜜臀久久久99久久久久| 国产热av| Aa东京男人的天堂| 嗯……啊…嗯嗯…啊…好舒服| 中文久久爆乳| 狠日操| 91色综合| 欧美人黑A片无码免视费| 91女优在线观看 | aaaa少妇高潮大片| 18啪啪手机免费性爱| 亚洲熟女诱惑| 亚洲人妻色图| 久久久久久久97| 成人一区二区三区四区| 久久水蜜臀亚洲AV无码精品| 日韩精品9999| 欧美日本久久精品一区| 亚洲精品819| 一区在线观看中文字幕| 婷婷AV一区二区三区| 三级网色| 精品妇女一区二区三区| 亚洲无套久久嗯嗯| 毛片17S| 伊人97色天使| 久日91在线| 99999久久久久9国产精品| 日韩人妻少妇 一区二区三区| 最新日产中文在线麻豆| 午夜偷拍久久熟女| 不卡免费av在线播放| 欧美性爱伊人| 日本在线一二| 97网址www| 色五91| 9九九九九视频在线观看| 亚州少妇| 亚洲综合性感在线| 激情婷婷丁香网| 色噜噜狠狠色综无码久久| 一本色道久久综合狠狠操| nuu12国产麻豆精品| 亚洲成人在线乱码色午夜| 人妻少妇精品视频一区二区三区| 亚洲综合欧美| 亚洲一区二区三区播放在线| 亚洲国产高清福利视频| 制服乱伦| 国产综合久久久鬼色| 天天影视激情欧美| 中文字幕久久精品一区| 97在线欧| 日韩肏逼视频| 333kkkk·亚洲com久久| 久久香蕉国产传媒一区剧情天美| 国产又大又粗又长视频在线| 精彩久久中文| 这里只有精品97| 国产日韩无码一区二区三区久久区| 天天视频网站黄| 黄色电影观看久久9| 久久这里只精品99re66图| 国产又粗又又黄又猛| 亚洲日韩av一区二区三区百合| 欧美色日本| 色97国产69香蕉| 91丝袜在线观看| 中文字幕美女91| 日本熟妇人妻中出视频| 熟妇女人妻呻吟久久AV| 噜噜噜噜天天狠狠| 麻花豆传媒剧国产MV出差| 日韩欧美国产高清视频| 国产人伦精品一区二区三区| 中文字幕一品色图| 国产精品直播在线观看直播| 日韩AC| 99啪啪视频| 久草老司机| av一区二区三区不卡| 国产乱码精品一区二区三区四川| 男人干美女| 日韩电影中文字幕| 国产女人和拘做爰视频| 亚洲AV成人无码一区二区三区在线观看| 精品久久久久9999| 久草免费在线视频| 狠狠激情综合狠狠操中文字幕| 亚洲成人免费在线| 91精品少妇搡搡搡| 九九黄色视频在线观看| 91无摭挡| 午夜视频好爽啊| 91人妻超碰| 亚洲极品| 国产精品免费日韩| 在线五区| 国产精品免费日韩| 欧美78| 激情欧美97| 欧亚在线视频| 97精品网站| 国产AV久久野战精品| 欧美熟妇人体| AVE乱伦| 国产精品情侣啪啪| 天啪| 亚洲天堂中文字幕无码男同| 啊啊啊啊免费视频| 亚欧国产无码精品在线| 久久久久96| 99国产精品视频尤物| ,国产乱人伦精品一区二区三区| 国内精品久9| 91三级理论片播放器| 成人热久久精品| 超碰AV在线| 最新精品久久蜜桃 | 国产午夜在线观看| 久九九九九九九热| 国产精品久久aV| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 色臀aV| 亚洲制服aⅴ中文字幕| 麻豆一区二区三区精品| av在线不卡一区二区三区| 啪啪啪男女亚洲中文字幕99| 91呆哥人妻| 婷婷九月丁香| 超碰三级秋霞| 你懂的在线观看区国产| 欧美日韩精品国产91| 操逼无码操逼| 激情五月天综合网| 囯产精品久久久久久久久久二区三区| 免费观看欧美日韩操逼视频 | 欧美嗯啊……在线观看视频免费| 少妇久久久久久| 欧美日韩成人| 97亚洲在线| 色综合一区二区三巨| 蜜桃久久一区二区| 嗯嗯啊啊啊好舒服| 91三级理论片播放器| 夜夜骑日日| www久久99| 色噜噜狠狠色综无码久久合欧美| 亚洲精品一二三四区| 久久天堂| 国产成人超碰在线| 欧美夜夜骑视频| 精品区国产区一区二区三区| 日韩有码专区| 伊人亚洲综合| 欧美日韩丝袜| 日韩三A大片在线观看| 99re在线视频| 另类图片五月| 久久露脸国产老熟女| 超碰免费人妻在线| 欧美色日| 伊人五月天| 久久久一区二区三区三州| 精品一国2| 日韩亚洲国产视频| 欧美精品系列| 久久超碰网| 亚洲成人精品久久久| 手机看av网站在线看| 97国产精品一区二区传媒公司| 久久综合日韩亚洲欧美| 欧洲综合无码| 骚妻少妇精品性色无码四色A V| 久久久久久中文字幕中文字幕最新| se吧提供91精品国产91久久久久久| 精品国产国产AV| 成片免费播放| wwwcaobibi| 最近的最新的中文字幕视频| 色吧91| 国产精品一区在线播放| 蜜臀AV成人精品蜜臀| 丁香五月天啪啪| 精品亚洲国产成人精品| 波多野结衣之双飞调教在线播放| 色香综合| 久久大香蕉97| 97一区二区三区视频| 天天综合色电影| 强奸乱伦中文字幕AV| av亚洲天堂资源网站| 丁香五月影院| 91中出在线| 久久色一区二区| 亚洲国产精品久久久久婷婷青年| 欧美大香蕉专区网| 国产小u女在线观看| 欧美性爱日韩高清| WWW.操逼.COM| 欧美天天弄| 天天操天天看| 手机av亚洲丝袜美腿日韩第一页二页| 青青草啪啪网| 91久久18禁| 色色色综合网| 久久乐| 国产无套粉嫩白浆在| 一级片在线观看高清无码| 日本韩高清无砖码22o| 偷拍 亚洲 欧美| 夜夜精品视频| rivers-china.com| 精品人妻一区二区三区蜜桃视频| 熟女一区二区三区四区| 97精品网站| 裸体1区| 亚洲drav色图| 国产91专区| 在线观看A啊啊啊| AVE乱伦| 中文字幕丰满人妻日本| 青青操网| 中国东北熟女老太婆内谢| 欧洲黄色网| 乱伦一二三区| 日韩欧美一级特黄大片| 在线观看综合精品亚洲| 亚洲色图日韩精品| 国产日韩欧美亚洲精品95| 日操粉逼逼| 5278欧美一区二区三区| 亚洲天堂热| 色五月婷婷五月天| 日韩AV色图| 怡春苑东京热| 天天综合~91| 日本色日夜干| 亚洲伊人a线观看视频| 日本αv| 370p日韩欧美亚洲精品| 成人美女av| 色成人Www精品永久观看| 婷婷五月天激情网| 91大胆欧美| 色欲人妻一区二区在线| 人妻大香蕉| 干B网| 久久无码一区二区二三区性色| 中文字幕一区二区免费在线| 在线99热| 精品人妻一区春色| 国产9熟妇视频网站| 91亚洲情色| 翔田千里AV无码秘 三区| 日熟女| 色香色欲天天综合网天天来吧| 99热这里只有精品9| 日韩精品高清资源在线| 91欧美www| PMv在线观看| 69精品久久久久中文字幕| 色蜜AV| 亚洲成人妻日韩在线| 日韩天天综合| 国产人妖的免费的视频| 日本熟妇一区二区三区| 亚洲永久AV无码精品秋霞| 国产精品大屁股999| 国产超碰97| 老熟女91视频| 99精品久久久久久久婷婷蜜桃| 97精品国产97久久久久久户外免费| 国产乱人妻精品入口| 9丨久久九九九| 国产理论视频在线播放| 欧美午夜色妇色鬼| 中文久久| 91黑丝在线播放| 美女主播色欲91抠b在线播放| 97Ai亚洲| 强奸a片网| 97资源超碰| av草草在线电影| 国产辣妈在线视频福利| 97亚洲综合电影| 艹比视频国产精品| 五月天色电影| 天天做天天爱夜夜爽毛片试看| 色婷婷电影网| 九九九偷拍| 99老司机精品视频在线观看| 怡红院怡春院| 日日夜夜精品视频| 亚洲欧美精品91| 免费99精品国产自在在线| 欧美激情视频在线一区| 日韩AV片| 国产欧美日产一区二区三区 - 国产欧美日 | 亚洲日韩少妇一道本视频| 天天综合亚洲综合| 91在线无码精品秘 软件| 9久精品视频在线观看| 久久只有精品| 啪啪视频mP4| 国产女主播视频在线观看| 成人免费毛片| 超碰在线97国产| 国产无码高清操逼视频| 黄色高清久久无码依人| 午夜男女爽爽爽影院视频| 欧州色图区| 男人午夜天堂| 清柠毛片| 国产精品噜噜噜日日日| 99这里有精品| 亚洲一区在线观看欧洲| 欧美色图中文字幕| 中国一级操逼视频| 无码男人天堂| 亚洲丁香花色| 麻豆久久一区二区三区| 国产亚洲欧洲在线观看| www.伪伪| 五月天亚洲网| 欧美成人黄网色网站| 3级毛片一二| 色啪网| 欧美日韩资源| 天天享受天天看| 无码天天操| 青青青草伊人精品| 五月天开心网| 国产无码三级视频在线观看| 中文字幕久久亚州无码| 亚洲激情综合| 国产精品不卡一区二区三区av| 国产天天看| 久久人人舔人人爽舔人人av片| 啊啊啊 在线| 亚洲欧洲小说图片视频 | 热久久无毒不卡| 亚洲操操| 91人精品妻入口| 97超色| 91久久精品国产| 欧美综合娱乐久久| 久久久久白虎| 极品粉嫩少妇视频| 在线播放中文字幕| 第四色奇米影视777| 欧美伊人电影| 超碰98综合网| 人妻久久久久久久久久久久久久久| 中文一区二区三区影院| 97超碰欧美手机在线| 国模限制级电影| 亚洲成人性| 中文久久久| 乱码熟妇人妻久久久| 久久久久成人亚洲国产| 日本不卡五区| 久久激情四射婷婷丁香五月天| 99色视频| 色丁香五月婷婷| 久久久久亚洲熟妇熟女| 91四海无码日韩欧美| 夜夜久久| 亚洲淫乱骚妇AV| 五月婷婷大香蕉| 日韩亚洲中文字幕在线| 呦呦一区| 91天堂网| 9美女超碰在线免费观看| 一区二区三区蜜桃成人撸久久东京热| 天堂岛av| 717影院理论午夜伦八戒| 亚洲 日本 国产 综合| 1区2区3区视频| 欧美色日本| 国产美脚女优尤物在线观看| 日韩精品区二区三区不卡| 亚洲国产成人精品久久久国产成人一区二区三. | 91丝袜美女国产| 亚洲97久久精品亚洲| 色黄污美女啪啪啪免费网站| 国产无码久久高清| 亚洲有码视频二区| 亚洲性刺激| 日本孕妇孕交| 成人一级二级| 插入粉嫩少妇视频| 免费97视频| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 无码黑人精品一区二区三区三| 亚洲网站一区二区在线| 日本女人久久久| 亚洲毛片久久| 99在线精品视频| 欧美激情内射| 青青在线视频免费| 男人久久天堂| 天天噜| 亚洲开心网| 国产路线专区| 操一操摸一摸| 免费A片三p视频| 精品免费视频国产一区| 国产v片在线免费观看| 99久久久久久亚洲精品不卡| 欧美五十路熟| 日本欧美一区二区三区视频麻豆| 国产精品嫩草久久久久| 日本成人电影资源网| 久久一级无码精品毛片6| av在线免费一区二区| 色成人Www精品永久观看| 国产尹人在线视频免费| 欧美另类综合久久| 操逼操网| 屌逼传媒| 欧美亚洲影视| 欧美日韩天堂| 欧美亚洲在线| 精品国产Av无码久久久伦古装| 97精| 国产呦精品系列在线观看| 男人的天堂亚洲| 日韩一级片| 99re视频在线观看这里只有精品| 欧美日韩丝袜| 级品肉射| 久久大香蕉97| 国产精品内射婷婷一级二| 伊人久久在线视频观看| 久久久久久精品免费看A级| 婷婷丁香六月| 丝袜 亚洲 偷拍| 久久亚洲人妻| 久久亚洲日韩熟女精品| 中文字幕99999| 少妇啪啪自拍| 婷婷综合五月天| 美女淫穴| 一本色道久久综合精品婷婷| 国产高清视频无码在线| 99热只有这里有精品| 亚洲91极品| 国产亚洲色婷婷99精品91| 日韩97超碰| 影音先锋每日最新资源在线观看| 国产乱伦亚洲| 亚洲第一在线视频| 操死我了嗯嗯嗯| 欲香欲色综合天天伊人| 天天干干天天干干| 亚洲国产精品乱码在线观看| 熟女91网| 免费观看性欧美一级| 亚洲成人美女无吗| 色九月综合| yazhouzaixian| 国产精品不卡一区二区电影| 亚洲色色色| 玖玖资源中文字幕制服丝袜| 久操免费观看| 黄色一级视| 精品人妻一区二区免费蜜桃| 欧美中日韩XXXX| 18禁免费视频| 无码自拍SM| 成人在线视频一区| 日韩本不卡视频在线观看 | 久久99国产综合精品女同| 色眯眯av| 中文字幕高清精品一区| 丰满翘臀美女影院视频| 亚洲 在线| 国产av美女被艹的乱叫| 亚州春色| 国产一区二区三区视频在线看| 日韩人体偷拍| 男人的天堂va在线| 国产专区第一页| 9999伦理视频| 青草成人免费视频一com| 国产精选三级在线观看| 日韩综合97P| 日韩高清黄片| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠| 综合网久久| 天天看天天日天天操| 日韩精品区二区三区不卡| 超碰97人人乐| 一块操欧美| 狠色婷婷久久一区二区三区_| 成人26uuu| 91 国产丝袜在线放观看| 一区二区高清视频| 超碰亚洲97| 91bbbbbb| 大奶啊啊好爽 | 北京美女一区二区| 国产三级资源在线观看| 69精品人人人人| 亚洲伊人久久综合97| 久久久99久9| 欧美一二三级精品在线| 四虎884a| 亚洲最大成人a毛毛片| 智利AV在线网| 国产97色在线| 夜夜精品视频| 亚洲蜜臀懂色| 欧美人人操人人插| 久久久久久久久久久久久久久久9 亚洲成人妻日韩在线 | 日韩欧美aⅴ综合网站发布| 夜精品久无码| 日韩乱伦视频| 国产一区二区精品在线视频| 女人高潮大叫一级毛片| 国产丝袜高跟美女av免费观看| 最新日韩黄片| 欧美性夜| 97精品视频免费| 日韩久久.一级黄色片| 欧美日韩国产精品久久色婷婷| 国产激情视频在线观看| 久久 精品| 激情亚洲天堂| 欧美亚洲中文字幕| 97干97色| 狠色婷婷久久一区二区三区_| 国产黄色av大片网站| 男同专区一区二区三区在线| 国产婷婷一区| 国产强奸超碰AV| 91制服丝袜中文字幕| 亚洲91色在线| 国产尹人在线视频免费| 日韩无码人妻| 超碰这里有精品| 日本91白丝| 欧美性生活免费网| 少妇无码999| 国产欧美成人精品| 天天操狠狠日夜夜干超碰撸com视频在线观看| 啊啊啊好大好深| 青娱乐蜜桃臀AV色婷| 亚洲欧美国产日本一区二区三区| 国产精品一二三区18| 春色综合免费| 综合日韩激情另类图片| 日韩国产中文字幕| 91精品久久久久五月天精品| 九九九九精| 国产第11页| 亚洲色图 91| 日本精品人妻少妇一区二区| 天堂8在线新版官网| 亚洲欧洲自拍| 美女爽爽爽刺痛洞洞| 蜜桃久久久久久久| 婷婷月色| 熟女乱伦二区| 思思热久久成人| 少妇天堂| 肉丝中文无码高清| 日韩精品99999| 黑人黄片在线免费观看| 亚洲一区日韩精品| 欧美一二三| 欧美日韩精品久久久久东北老熟妇| 四虎视频在线观看| 日韩情色视频| 开心五月深爱五月| A片 AV一级在线播放观看免费| 免费少妇一区二区| 亚洲高清视频在线免费观看| 亚洲黄色电影| 一级久久久久久久久久久| av网站免费看| 欧美综合第一页| 欧美瑟综合| 蜜臀久久久国产| 超碰碰97| 欧美狠狠弄| 淫淫总合网| 97自拍视频在线| 首页中文字幕中文字幕免费| 亚洲伊人a线观看视频| 91av一区二区在线观看| 波多野结衣AV无码一区| 精品人妻一区二区三区在| 麻豆久久一区二区三区| 色欧洲| 天堂性色| 亚洲丝袜少妇在线| 色97干| 久久久一区二区三区四区五区| 欧美熟妇精品黑人巨大91| 91情色在线| 日本二三四区| 国产一区二区二区按摩精品啪视频| JuliaAnn丝袜熟女系列| 男人天堂东京热| 亚洲天堂2020| 91亚洲色图| 97干在线视频| 999久久久免费精品国产牛牛| 亚洲国产美女久久久久| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 欧美大香蕉专区网| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 91扒丝袜综合在线| 国产精品 亚洲情色| 黄色小说亚洲| 日本999精品| 国产精品乱码久久久久久| 后入福利| 精品国产乱码久久久A| 精品无码久久久久久久杏吧| 亚洲欧美精品国产一区二区| 成人a大片在线观看| 伊人色综合网电影| 精品丰满人妻一区二区三区免费观| 91女网站| 亚洲人久久久网| 好湿好紧视频| 欧美人体性爱互联网第一页婷婷日本| 1000部熟女视频在线观看| 翔田千里一区二区三区奶水| 欧美精品1区2区3区| 日日夜夜干| 久久久久久九九九九-美女久久久久久久-成人AV| 欧美成人色| 亚洲清纯综合| 26uuu最新| 黄色AAAAAAAAAAA大片| 色丁香久久| 婷婷精品| 极品色电影院| 色噜噜狠狠色综无码久久合欧美| 97久久精品亚洲中六字幕| 一区| 国产又粗又长视频| 日本成熟少妇A∨网站| 69精品久久久久中文字幕| 欧美日韩资源| 情色大香蕉| 国产大学生高潮在线播放| 日本 欧美 国产一区| 在现视频女上位好爽| 美女毛片999| 久热伊人| 性在久久久久久| 色婷婷丁香五月| 久久国产对白激情浪潮 | www四虎| 啊好爽快点-国产一区二区三区撒尿在线-成人AV| 久久久天美| 搡老熟女免费视频| 爱我干综合| 欧美日本天堂| 亚洲天堂久久久久久粉红视频| 国产亚洲禁久一区二区 | 偷看洗澡一二三区美女| 日韩精品人妻中文字幕有码午| 蜜汁欧美| 久久东京伊人一本到鬼色| 乱人伦 国语对白:视频直接看| 亚洲色情在线影视| 男女啪啪啪18禁网站| 亚洲精品精品一区二区| 少妇3P性爱自拍| 丁香激情网| 中文字幕精品专区搜索结果91| 欧美一级黄色免费专区| 婷婷五月丁香五月| 91操人| 青青伊人这里只有精品| 快点操死我| 午夜小电影在线插入淫高潮| 丁香六月婷婷| 亚洲少妇综合| 成人午夜小视频手机在线看| 91网站18在线| 91丨国产丨白浆秘 洗澡动漫| 三级网色| 97频视在线| 玖草在线视频| 色欧美天天| 九九热av| 亚洲少妇喷视频看| 玖玖综合网| 婷婷久久五月天| 久久久精品,3| 亚洲图片偷拍视频区| 加勒比av官网在线| 自拍视频一区在线观看| 做爱福利视频一区二区| 91l欧美在线| 亚洲精品免费中文字幕| 中文字幕一区 二区三四五 区日 日骚 | 伊人久久在线视频观看| 99re8免费高清在线| 操啊国产| 三级网站超变态精品| www.伪伪| 极品AV网站在线观看| 国内毛片欧美香蕉精品| 久久久久久久久久久久久久久乱码| 欧美91精品国产自产| 亚洲欧洲美腿丝袜| 国产操逼网站亚洲一级黄色| 夜夜高潮夜夜爽高清视频一 | 久九九九九九九热| 久久日韩精品一区二区| 亚洲色图国产另类| 日本国产欧美高清在线| 92大香蕉| 噜噜在线| 亚欧无码线免费观看视频| 欲色影视综合吧| 操逼视频色| 十八禁电影伊人网| 午夜丁香| 波多野结衣之双飞调教在线播放| 秋霞午夜视频一区二区| 在线性黄高清免费视频| 九九热三级片| 欧美 亚洲 大香| 精品偷拍13p欧美dodk视频| 超碰久久综合| av天堂影视中文在字幕在线中文 | 欧日a| 欧美一二三| 四虎免费看黄| 大香蕉五月天| 黄色香蕉视频网站一区| 色亚州人久干视频在线观看免费版| 国产CHASE男男GAYGA 毛多色婷婷| 黑人在线91| 青青草日逼视频| 伊人久久亚洲中文字幕不卡| 日本黄页视频在线观看| 五月婷婷激情网| 五月天久久综合网| 九九九只有精品| 亚洲。日韩。欧美| 欧美视频一区二区在线| 国产后入| 亚州高清av| 欧美性天天影视| av天堂天堂av日韩| 丰满人妻一区二区三区免费| 久久国语| 亚洲欧洲小说图片视频 | 熟女一区二区三区四区| 在线观看十八禁| 日韩三级天堂在线观看| 亚洲啪啪综合?v一区综合精品区| 欧美人妻中出| 97色伦欧美| 日韩欧美国产高清视频| 黄色免费一级在线毛片| 欧美性高潮在线| 蜜桃精品一区二区三区久在线| 荡小穴在线观看| 国产av美女被艹的乱叫| 99亚洲国产精品色一区二区三区| 日比av无码| 久久久婷| 99热色这里只有精品| 中文字幕 码精品视频网站| 精品无码不卡视频| 以及麻豆国产入口在线观看免费| 日韩精品一二三| 综合激情一一91| 伊人国产视频| 亚洲天堂另类美腿| 婷婷99狠狠躁天天躁| www.91理论| 精品久久久久久无码| 人妻久久一区二区三区 | 青青草福利视频| 性生活久久久久久久久久| 色九九九九久| 欧美国产日韩高清在线| 亚洲av综合色| 欧美色亚洲| 密臀在线一区尤物| 亚洲骚男同com| 超碰在97| 九一精品牛牛一区二区| 校园春色综合色| 极品白嫩福利在线| 91爱综合| 久热久一区二区三区| 99精品久久久久久久婷婷蜜桃| 国产极品99热在线播放69| 国产又黄又粗的视频| 国产黄色剧情影片麻豆免费播放| 97爱爱官网| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 日韩国产不卡在线视频| 男女啪啪网站免费视频| 日本影视久久免费| 91激情| 国产黄色剧情影片麻豆免费播放| 日韩国产精品人妻无码久久久| 色九久| 日韩欧美传媒一区国产| 啊啊在线| 欧洲人妻视频| 97超碰9| 国产60页| 欧美v日韩v亚洲v最新在线| 97在线看| 手机在线大香蕉| 97爱综合| 激情黄色片在线观看| 天天色图| 亚洲激情综合另类男同| 国产白领连续中出在线观看| 熟女一区二区| 欧美国产一区二区三区麻豆传媒| 98精品国产乱码久久久久久| 久操视频免费观看| 老司机福利社视频在线观看| 中亚黄色三级大片| 91情色在线| 日本操逼视频免费| 欧美一区二区一级岛国大片| 欧美一区二区三区另类精品| 在线观看黄色电话| 丁香六月婷| 欧洲中文字幕| 99re69| 亚洲色棕合| 91亚洲综合| 巨爆乳一区二区爆乳区| xxx0国产在线播放| 成人看片网站| 天天弄欧美| 国产精品一级二级在线| 亚洲欧美综合网站| 放黄片放3级黄片没穿衣服| 天堂男人网| 精品一区二区三区国产 | 久久爱97| 毛片久久| 国产亚洲色婷婷久久99精品91葵花宝典| 亚洲精品啪视频| 久久 国产精品 一区| 亚洲激情在线观看一区| 亚洲校园激情| 超碰偷拍| 很很操在线| 国产精品毛片?v一区二区三区| 日本中文字幕在线视频| 中文字幕一区二区三区蜜臀| 久久久久921| 国产精品久久泡妞网站| 影音先锋新男人| 婷婷五月天av| 成人无码专区精品视频| 亚州五月| 国产成年女黄特黄| 97任你吞精| 欧美综合自拍成人自拍第二十页| www四虎| 夜夜爽夜夜摸夜夜操免费视频| 91丨国产丨白浆秘 洗澡动漫| 大香蕉乱级| 日韩成人电影AV| 麻豆成人av| 婷婷爽人人婷婷爽视频| 粉嫩不卡一区二区性爱| 九九九久千久久激情蜜桃在线看 | 色99色| 91丨精品丨国产丨丝袜| 国产精品久久久啊| 99久re热视频精品98| 国产精品suv一区| 欧美激情中文字幕另类小说| 性色一线| 天天干人妇| 97超碰天天爱天天爱| 欧美色97| 盗摄女人妻在线| 啊啊啊啊啊好大好舒服想要| 青草精品视频日本久久久久网站在线| 久久久久国产精品片区无码直播 | 九九综合久久| 亚洲成人色情五月天丁香花| 日语五十路和六十路亚洲国产精品| 久操婷婷| 日本亚欧爱爱| 国产99久久99热这里只有精品15| 抽插爽| 91人人操| 日本三级韩国三级99| 亚洲操操操无码| 日韩乱伦视频| 亚洲自拍欧美国产首页网曝| 一区二区三| 色五月网址| 日韩BBN| 黑人嘿嘿嘿超爽免费视频| 色综合99999| 飘花国产午夜精品不卡| 亚洲人妻熟妇三十三区| 国产精品人妻无码久久久互動交流| 九九热免费视频| 欧美A√综合网| 国产成人精品必看| 亚码激情| 久热这里只有精品9| 综合网色| 婷婷五月天激情四射| AV和黑人在线播放| 亚洲色图伊人网| 日韩一性一交一A片俄罗斯| 久久亚洲色图中文字幕| 九九干| 欧美一区二区成人一卡| 久久伊人最新网址视频| 国产夜夜操| 久久久久久99AV无码免费网站| www.色婷婷.com| 清纯唯美第一页| 自拍啪啪视频| 久久久精品无码亚免费| 人人摸人人舔一区二区| 综合欧美日本三级| 2020天天色综合| www.99色| 国产兽交视频在线播放| 大香蕉欧美国产日韩高潮| 国产91乱伦| 青青草字幕AV| 亚洲天堂7777| 91欧美情色| 热久久91婷婷| 日本操逼视频导航| 人妻激情视频| 天天欧美色| 国产女同在线观看视频| 青青草视频久久久久| 国产亚洲女v在线观看| 色婷婷日韩精品一区二区三区| 91黑丝露脚| 看免费的黄片| 日韩懂色网| 手机在线观看不卡无码av| 久9九综合在线| 人夜夜精品网站香蕉嫩草| 九九九九精品精| 欧美精品丝袜久久久中文字幕| 色就色综合| 人妻出轨一区二区三区| 久久久亚洲欧美综合| 亚洲激情视频| 国产乱码久久| 欧美操逼熟女| 亚洲色图欧美一区二区不卡| 干B| 女优免费一区二区永久| 欧美偷拍区| 精品国产a∨一区天美传媒| 久久不卡一区二区| 久久欧美性爱视频| 亚洲 无码 偷拍| 国产精品69久久久久孕妇欧美| 日韩情色视频| 久久人人爽人人爽人人片Ⅴ| 日本高清视频在线观看黄已三辽| 嗯嗯啊啊操死我| 人人色人人操在线| 欧美性爱免费短视频| 三及片网站| 91丝袜熟女| 国产四虎在线| 丁香九月激情啪| AAAAAAAAA黄片| 在线亚洲欧美| 午夜久久久| 国产欧美一区二区| 激情av| 日韩A优精品在线观看| 亚洲欧美成人网站AAA| 97网址97| 国产美脚女优尤物在线观看| 日本在线不卡一二区| 成人毛片免费| 久久这里只有精品9| 五十路熟女,国产欧美精品区一区二区三区 | 成人女人国产| 午夜大香蕉| 亚洲啪啪啪啪视香蕉| 97国产超湿| 日韩操人| 国产又黄又爽又刺激久久久久久| 97色欧州| av在线播放国产一区| 久草免费在线视频| 污电影在线观看| 有码色中文字幕在线观看| 啪啪91| 日本理论在线| 欧美亚洲中文字幕| 男男H黄动漫啪啪无遮挡网站| 色婷婷国产精品一区在线观看| 欧美最婬乱婬爆婬牲视频| 亚洲日本天堂| 人妻酒店出差被中出免费在线播放| 性色乱AV一区二区| 成人影 天天操 亚洲| 91美女丝袜诱惑视频| 欧美黄色大片在线观看| 亚洲性爱乱操x| 东京热视频网| 成人性爱免费播放| 久久精品国产Aⅴ| 99re免费| 中文字幕99999| 91亚洲狠狠色| 性感美女啊啊啊在线| 啊灬啊灬啊灬啊灬高潮奶出了免费视 | 欧美天天在线| 成人精品欧洲亚洲| 我中文字幕6区| 91高潮喷水美女| 日韩欧美中文字亚洲慕| 色五月AV在线| 91精品少妇搡搡搡| 99操逼| 色欲久久99国产精品久久久久久| 国语精品av| 97资源站国产精品| 91国产丝袜白虎| 不卡日本一区二区| 中文字幕一二三| 欧美影院一区二区三区| 欧美成年人性爱视频免费观看| 国产多人在线观看视频| 中文字幕在线观看永久| 免费伦费视频在线观看| 我要看免费韩日黄片| 国产久久成人| 色官网在线| 日本精品第一视频在'| 七久久久| 欧美熟妇乱码在线一区| 91美女在线视频| 日本精品九九九| 91操熟女视频 | 柠檬AV导航| 欧美激情专区| 国产精品午夜福利亚洲综合网| 国产精品原创巨作?v网站| 双插性欧美一二三区| 五月婷网站| 久操大香蕉手机视频在线看| 防屏蔽在线视频| 91撸色网 玖玖网 欧美| 欧美人人天天网|