日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Google TPU軟件棧核心組件與JAX/TensorFlow實(shí)戰(zhàn)解析

Google TPU軟件棧核心組件與JAX/TensorFlow實(shí)戰(zhàn)解析 之前一直在 GPU 集群上跑大規(guī)模模型訓(xùn)練直到項(xiàng)目遷移到 Google Cloud TPU 時(shí)才發(fā)現(xiàn)僅僅把訓(xùn)練框架換成 TPU 版本是遠(yuǎn)遠(yuǎn)不夠的。整個(gè)編譯鏈路、數(shù)據(jù)管道、算子融合策略和顯存規(guī)劃都變了踩了一圈坑之后才慢慢把 TPU 軟件棧的運(yùn)作方式理清楚。這篇文章會(huì)把 Google TPU 軟件棧的核心組件拆開梳理并結(jié)合 JAX、TensorFlow 分布式策略給出可落地的訓(xùn)練示例。適合正在評(píng)估 TPU、剛拿到 TPU 配額準(zhǔn)備遷移訓(xùn)練任務(wù)、或者已經(jīng)遇到底層報(bào)錯(cuò)但搜不到完整解釋的開發(fā)者。讀完你能掌握 TPU 的完整軟件鏈路、訓(xùn)練啟動(dòng)方式、常見編譯報(bào)錯(cuò)定位思路以及把模型真正跑在 TPU 上而不只是跑在“模擬器里”的實(shí)踐經(jīng)驗(yàn)。1. TPU 到底是什么不止是“GPU 的替代品”1.1 AI 時(shí)代對(duì)芯片提出的新要求過去十年深度學(xué)習(xí)算力的主力是 GPU。GPU 的核心優(yōu)勢(shì)在于并行計(jì)算能力很強(qiáng)可以同時(shí)處理大量簡(jiǎn)單運(yùn)算非常適合矩陣乘法和卷積這類深度學(xué)習(xí)算子。但隨著模型規(guī)??焖倥蛎浻绕涫谴笠?guī)模 Transformer、推薦系統(tǒng)和多模態(tài)模型出現(xiàn)之后算力需求不再只看單卡峰值還要看集群擴(kuò)展效率、內(nèi)存帶寬、編譯優(yōu)化程度和單位算力的性價(jià)比。Google 正是在這種背景下推出了 TPUTensor Processing Unit張量處理單元。它不是為了替代 GPU 而設(shè)計(jì)的通用芯片而是為了加速 TensorFlow 和 JAX 這類深度學(xué)習(xí)框架中的張量運(yùn)算而專門定制的 ASIC 芯片。你可以把它理解成一個(gè)“為矩陣乘法而生的專用加速器”在特定負(fù)載下的能效比和吞吐表現(xiàn)非常突出。這里的“專用”意味著兩件事一方面TPU 在矩陣運(yùn)算、卷積運(yùn)算和大規(guī)模分布式訓(xùn)練上性能很強(qiáng)另一方面它對(duì)模型結(jié)構(gòu)的支持并不是無條件的某些自定義算子如果不適配 XLA 編譯器會(huì)直接卡在編譯階段。1.2 CPU、GPU、TPU、NPU 的定位區(qū)別先用一個(gè)表格把這幾種芯片的定位區(qū)分清楚芯片全稱定位典型場(chǎng)景CPUCentral Processing Unit通用計(jì)算強(qiáng)順序執(zhí)行操作系統(tǒng)、數(shù)據(jù)庫、邏輯控制GPUGraphics Processing Unit并行計(jì)算通用加速深度學(xué)習(xí)訓(xùn)練、渲染、科學(xué)計(jì)算TPUTensor Processing Unit張量專用 ASICTensorFlow/JAX 大規(guī)模訓(xùn)練與推理NPUNeural Processing Unit神經(jīng)網(wǎng)絡(luò)專用處理器手機(jī)端推理、邊緣 AI、端側(cè)加速從開發(fā)者的角度看這套術(shù)語體系經(jīng)?;煊糜绕涫窃诙藗?cè)場(chǎng)景里 NPU 和 TPU 的界限并不明顯。但如果你做的是云上大規(guī)模訓(xùn)練TPU 和 GPU 的差異會(huì)直接影響代碼寫法、編譯器行為、數(shù)據(jù)加載策略和故障排查方式。1.3 TPU 軟件棧的整體構(gòu)成TPU 硬件本身只是一塊芯片真正讓它跑起來的是軟件棧。Google TPU 軟件棧通常可以分成幾層前端框架層提供 TensorFlow、JAX、PyTorch 等框架的 TPU 后端接口。編譯器層XLAAccelerated Linear Algebra編譯器承擔(dān)了關(guān)鍵的角色。運(yùn)行時(shí)層libtpu、TPU Runtime、設(shè)備驅(qū)動(dòng)等負(fù)責(zé)與硬件通信。系統(tǒng)調(diào)度層在 Cloud TPU 場(chǎng)景下負(fù)責(zé)資源創(chuàng)建、調(diào)度和生命周期管理。下面這張 ASCII 簡(jiǎn)圖可以幫助理解數(shù)據(jù)流向PyTorch / TensorFlow / JAX ↓ 前端圖表示Graph / Program ↓ XLA 編譯器HLO → 優(yōu)化 → LLVM / TPU 指令 ↓ TPU Runtimelibtpu / 設(shè)備驅(qū)動(dòng) ↓ TPU 硬件理解這個(gè)軟件棧是很有必要的因?yàn)楹罄m(xù)很多報(bào)錯(cuò)都不是框架層報(bào)出來的而是 XLA 編譯階段拋出的。你不能只盯著 TensorFlow 的報(bào)錯(cuò)堆??催€得順著 XLA 的報(bào)錯(cuò)信息往下追。2. TPU 軟件棧核心組件拆解2.1 XLA 編譯器從框架圖到 TPU 指令的橋梁XLA 是 TPU 軟件棧里最核心、最容易被忽視的一層。XLA 的全稱是 Accelerated Linear Algebra它是 Google 推出的領(lǐng)域?qū)S镁幾g器專門用來把 TensorFlow、JAX 等框架的計(jì)算圖編譯成高效的底層指令。XLA 的工作過程大致如下框架層把計(jì)算任務(wù)表達(dá)成計(jì)算圖或程序。XLA 將計(jì)算圖轉(zhuǎn)換成 HLOHigh Level Operations高級(jí)操作表示。XLA 在 HLO 層面上做優(yōu)化包括算子融合Fusion、常量折疊Constant Folding、內(nèi)存分配規(guī)劃、并行化調(diào)度等。最終把 HLO 編譯成目標(biāo)設(shè)備的 LLVM IR 或 TPU 專用指令序列。在 JAX 中jax.jit裝飾器就是觸發(fā) XLA 編譯的入口。當(dāng)你給一個(gè)函數(shù)加上jax.jit時(shí)JAX 會(huì)做兩件事把函數(shù)轉(zhuǎn)換成計(jì)算圖然后交給 XLA 編譯。import jax import jax.numpy as jnp # 加 jit 后函數(shù)不會(huì)一行一行執(zhí)行而是整體編譯后執(zhí)行 jax.jit def linear(x, w, b): return jnp.dot(x, w) b x jnp.ones((8, 128)) w jnp.ones((128, 64)) b jnp.ones((64,)) y linear(x, w, b) print(y.shape)這里需要注意jax.jit并不是簡(jiǎn)單地把函數(shù)內(nèi)部代碼“合并成一個(gè)整體”而是讓 XLA 拿到整個(gè)計(jì)算流程后做算子融合。比如上面的matmul addXLA 在編譯后很可能融合成一個(gè)融合算子Fusion減少核函數(shù)啟動(dòng)次數(shù)和設(shè)備緩存回寫的次數(shù)。生產(chǎn)環(huán)境里XLA 編譯失敗通常表現(xiàn)為類似“Detected unsupported operations when trying to compile graph”的報(bào)錯(cuò)這類問題不是簡(jiǎn)單的語法錯(cuò)誤而是某個(gè)算子 XLA 還不支持或無法高效融合。2.2 JAX 與 TensorFlow 對(duì) TPU 的支持方式JAX 是目前 Google 官方推薦的 TPU 訓(xùn)練框架之一。JAX 的設(shè)計(jì)思路是把 NumPy 風(fēng)格的 API 和自動(dòng)微分、JIT 編譯結(jié)合再配合pmap、shard_map等并行抽象天然適合 TPU 這種需要精確控制數(shù)據(jù)切分的加速器。TensorFlow 對(duì) TPU 的支持則主要通過TPUStrategy實(shí)現(xiàn)。TPUStrategy是 TensorFlow 分布式策略中的一種它負(fù)責(zé)把模型變量、優(yōu)化器狀態(tài)和數(shù)據(jù)分配到多個(gè) TPU 核心上。PyTorch 用戶也不用太擔(dān)心PyTorch/XLA 項(xiàng)目已經(jīng)提供了torch_xla包讓 PyTorch 模型可以跑在 TPU 上同時(shí)支持 XLA 編譯優(yōu)化。不過平心而論P(yáng)yTorch 在 TPU 上的生態(tài)成熟度目前不如 JAX 和 TensorFlow如果你是從 PyTorch 社區(qū)遷移過來的建議預(yù)留更多時(shí)間做算子兼容性驗(yàn)證。2.3 libtpu 與低層運(yùn)行時(shí)libtpu 是 TPU 的低層運(yùn)行時(shí)庫負(fù)責(zé)主機(jī)與 TPU 設(shè)備之間的通信、內(nèi)存管理、指令提交等。在 Cloud TPU 環(huán)境中用戶代碼通過 gRPC 與 TPU Worker 通信但具體指令的下發(fā)是由 libtpu 完成的。這里想強(qiáng)調(diào)一個(gè)容易踩坑的點(diǎn)TPU 的虛擬地址頁大小是 16KB而絕大多數(shù) x86 Linux 主機(jī)默認(rèn)是 4KB 頁大小。當(dāng)你用 pip 安裝編譯好的包時(shí)如果包本身是在 4KB 頁環(huán)境下編譯的運(yùn)行到低層庫調(diào)用階段可能出現(xiàn)頁面大小不匹配的報(bào)錯(cuò)這就是網(wǎng)上常見的“an error occurred while preparing sdk package 16 kb page size”一類問題的底層背景。解決思路通常不是修改內(nèi)核頁大小而是從官方渠道獲取與 TPU 運(yùn)行環(huán)境匹配的預(yù)編譯包或者在你的 TPU 虛擬機(jī)上重新編譯相關(guān)依賴而不是直接把本地 x86 環(huán)境里的包復(fù)制到 TPU 環(huán)境。3. 環(huán)境準(zhǔn)備與 TPU 獲取方式3.1 Cloud TPU 與 Colab 的選擇搭建 TPU 軟件棧的第一步是獲取 TPU 環(huán)境。根據(jù)場(chǎng)景不同有幾種主流選擇Google Cloud TPU適合長(zhǎng)期訓(xùn)練任務(wù)支持創(chuàng)建 TPU Pod 和 TPU VM。Google Colab提供免費(fèi)的 TPU 運(yùn)行時(shí)適合學(xué)習(xí)和小規(guī)模實(shí)驗(yàn)。TPU Research Cloud面向研究者的免費(fèi) TPU 配額項(xiàng)目適合科研場(chǎng)景。本地模擬器適合調(diào)試代碼邏輯但性能完全不能代替真實(shí) TPU。如果你是第一次接觸 TPU建議從 Colab 開始它能用很短的時(shí)間驗(yàn)證你的代碼是否走通了 TPU 軟件鏈路。等代碼穩(wěn)定后再上 Cloud TPU 集群做真實(shí)規(guī)模訓(xùn)練。下面通過一個(gè)簡(jiǎn)單的命令檢查 TPU 運(yùn)行時(shí)環(huán)境關(guān)鍵信息# 確認(rèn) Python 版本 python3 --version # 確認(rèn) TPU 設(shè)備是否可見在 TPU VM 或 Colab TPU 上執(zhí)行 ls /dev/accel* 2/dev/null || echo no accelerator device found # 查看安裝的關(guān)鍵包版本 pip list 2/dev/null | grep -Ei jax|tensorflow|torch|xla在實(shí)際 Cloud TPU v4 或更高版本的 TPU VM 環(huán)境中設(shè)備節(jié)點(diǎn)通常不是/dev/tpu而是/dev/accel0、/dev/accel1這類路徑這一點(diǎn)和傳統(tǒng) GPU 環(huán)境有所不同。3.2 JAX 環(huán)境變量與初始化JAX 在 TPU 上運(yùn)行前需要確認(rèn)設(shè)備已經(jīng)初始化成功。在 Colab 的較新版本 JAX 中通常會(huì)自動(dòng)識(shí)別 TPU但如果你使用的是舊版本或使用自定義鏡像就需要手動(dòng)初始化import jax import jax.numpy as jnp # 有些舊版本需要手動(dòng)初始化 TPU # 新版 JAX 一般會(huì)自動(dòng)初始化無需顯式調(diào)用 try: from jax.tools import colab_tpu colab_tpu.setup_tpu() except Exception as e: print(Manual TPU init skipped or already supported:, e) # 查看當(dāng)前所有可用設(shè)備 devices jax.devices() print(JAX devices:, devices) print(JAX default backend:, jax.default_backend())運(yùn)行正常的情況下jax.devices()會(huì)返回 TPU 設(shè)備列表jax.default_backend()返回tpu。如果你的輸出是cpu或gpu說明 JAX 并沒有真正訪問 TPU需要檢查鏡像版本或運(yùn)行環(huán)境。有一個(gè)經(jīng)常被忽略的問題Colab TPU 切換后必須重啟運(yùn)行時(shí)、重新安裝 JAX 版本否則 JAX 內(nèi)部緩存的設(shè)備信息不會(huì)刷新。如果切換 TPU 類型后jax.devices()仍然顯示舊的設(shè)備列表優(yōu)先考慮重啟運(yùn)行時(shí)而不是調(diào)試代碼。3.3 從源代碼編譯還是預(yù)編譯包在 TPU 上安裝 JAX 時(shí)我一直建議優(yōu)先使用官方發(fā)布的預(yù)編譯包因?yàn)檫@些包會(huì)和 TPU 的頁大小、指令集和運(yùn)行時(shí)庫做過匹配測(cè)試。只有在需要修改 JAX 源碼、debug 底層行為或者在 TPU VM 上做二次開發(fā)時(shí)才考慮從源碼編譯。下面是一個(gè)在 TPU VM 上安裝 JAX 的典型流程# 激活虛擬環(huán)境 python3 -m venv venv source venv/bin/activate # 安裝 JAX 的 TPU 版本 # 更準(zhǔn)確的安裝命令需要參考官方文檔關(guān)鍵是根據(jù) TPU 版本和系統(tǒng)架構(gòu)選擇匹配的 wheel pip install --upgrade jax[tpu] -f https://storage.googleapis.com/jax-releases/libtpu_releases.html # 驗(yàn)證安裝 python3 -c import jax; print(jax.devices())需要注意jax[tpu]這個(gè) extra 的依賴列表和可用的 wheel 索引會(huì)隨著版本變化建議以官方 JAX 倉庫或 Google Cloud 文檔中的安裝命令為準(zhǔn)。不匹配的版本經(jīng)常導(dǎo)致 libtpu 無法加載報(bào)錯(cuò)信息里會(huì)出現(xiàn)類似“Could not load libtpu.so”的字樣。4. 完整實(shí)戰(zhàn)用 JAX 在 TPU 上訓(xùn)練一個(gè)圖像分類模型講完概念和準(zhǔn)備下面進(jìn)入完整實(shí)戰(zhàn)環(huán)節(jié)。這里以 JAX 為例一步步演示從數(shù)據(jù)加載到 TPU 訓(xùn)練的全過程。4.1 創(chuàng)建項(xiàng)目結(jié)構(gòu)與準(zhǔn)備數(shù)據(jù)先創(chuàng)建一個(gè)項(xiàng)目目錄把代碼按模塊劃分好tpu-jax-demo/ ├── main.py ├── model.py ├── data.py ├── train.py └── requirements.txt數(shù)據(jù)部分使用 TensorFlow Datasets 中的 MNIST 數(shù)據(jù)集。MNIST 雖然簡(jiǎn)單但它覆蓋了數(shù)據(jù)加載、批量切分、訓(xùn)練循環(huán)、模型保存的完整流程很適合用來驗(yàn)證 TPU 軟件棧是否正常工作。創(chuàng)建requirements.txtjax[tpu] tensorflow-cpu tensorflow-datasets optax這里特意引入optax作為優(yōu)化器庫它是 JAX 生態(tài)中最常用的優(yōu)化器集合后續(xù)如果要替換成 AdamW、LAMB 或自定義學(xué)習(xí)率調(diào)度直接改一行配置即可。4.2 編寫數(shù)據(jù)加載模塊創(chuàng)建data.pyimport tensorflow_datasets as tfds # 加載 MNIST 數(shù)據(jù)并轉(zhuǎn)換為 NumPy 數(shù)組 def load_mnist(batch_size128): ds tfds.load(mnist, split[train, test], as_supervisedTrue) def prepare(dataset): dataset dataset.map(lambda x, y: (tf.cast(x, tf.float32) / 255.0, y)) dataset dataset.batch(batch_size) dataset dataset.prefetch(tf.data.AUTOTUNE) return dataset train_ds prepare(ds[0]) test_ds prepare(ds[1]) return train_ds, test_ds在 TPU 訓(xùn)練中數(shù)據(jù)加載是一個(gè)經(jīng)常被忽略的瓶頸。CPU 端的數(shù)據(jù)加載速度如果跟不上 TPU 的消費(fèi)速度訓(xùn)練曲線會(huì)出現(xiàn)明顯的周期性停頓。prefetch是解決這個(gè)問題的最簡(jiǎn)單手段。4.3 定義模型與訓(xùn)練循環(huán)創(chuàng)建model.pyimport jax.numpy as jnp from flax import linen as nn # 簡(jiǎn)單卷積網(wǎng)絡(luò) class SimpleCNN(nn.Module): nn.compact def __call__(self, x, training: bool True): x nn.Conv(features32, kernel_size(3, 3), paddingSAME)(x) x nn.relu(x) x nn.max_pool(x, window_shape(2, 2), strides(2, 2)) x nn.Conv(features64, kernel_size(3, 3), paddingSAME)(x) x nn.relu(x) x nn.max_pool(x, window_shape(2, 2), strides(2, 2)) x x.reshape((x.shape[0], -1)) x nn.Dense(features128)(x) x nn.relu(x) x nn.Dense(features10)(x) return x這里使用 Flax 來定義模型。Flax 是 Google 官方維護(hù)的 JAX 神經(jīng)網(wǎng)絡(luò)庫和 JAX 一起使用時(shí)體驗(yàn)最自然。如果你之前用過 PyTorch 的nn.ModuleFlax 的nn.Module風(fēng)格會(huì)比較接近。創(chuàng)建train.py這是訓(xùn)練循環(huán)的核心import jax import jax.numpy as jnp import optax from flax.training import train_state from model import SimpleCNN from data import load_mnist def cross_entropy_loss(logits, labels): one_hot jax.nn.one_hot(labels, num_classes10) return -jnp.mean(jnp.sum(one_hot * jax.nn.log_softmax(logits), axis-1)) def compute_metrics(logits, labels): loss cross_entropy_loss(logits, labels) accuracy jnp.mean(jnp.argmax(logits, axis-1) labels) return loss, accuracy jax.jit def train_step(state, batch): images, labels batch def loss_fn(params): logits state.apply_fn({params: params}, images, trainingTrue) return cross_entropy_loss(logits, labels) loss, grads jax.value_and_grad(loss_fn)(state.params) state state.apply_gradients(gradsgrads) return state, loss jax.jit def eval_step(state, batch): images, labels batch logits state.apply_fn({params: state.params}, images, trainingFalse) return compute_metrics(logits, labels) def create_train_state(rng, learning_rate): model SimpleCNN() params model.init(rng, jnp.ones((1, 28, 28, 1)))[params] tx optax.adam(learning_rate) return train_state.TrainState.create(apply_fnmodel.apply, paramsparams, txtx) def main(): rng jax.random.PRNGKey(0) state create_train_state(rng, learning_rate1e-3) train_ds, test_ds load_mnist(batch_size128) # 將 TensorFlow Dataset 轉(zhuǎn)換為 NumPy Iterator train_iter iter(train_ds) test_iter iter(test_ds) for epoch in range(3): for step in range(100): batch next(train_iter) images batch[0].numpy() labels batch[1].numpy() state, loss train_step(state, (images, labels)) if step % 20 0: print(fepoch {epoch} step {step} loss {loss:.4f}) # 每個(gè) epoch 結(jié)束評(píng)估一次 total_loss 0.0 total_acc 0.0 num_batches 0 for _ in range(50): batch next(test_iter) images batch[0].numpy() labels batch[1].numpy() loss, acc eval_step(state, (images, labels)) total_loss loss total_acc acc num_batches 1 print(fepoch {epoch} eval loss {total_loss / num_batches:.4f} facc {total_acc / num_batches:.4f}) if __name__ __main__: main()這段代碼有幾個(gè)關(guān)鍵點(diǎn)使用jax.jit裝飾訓(xùn)練和評(píng)估函數(shù)讓 XLA 將整個(gè)計(jì)算過程編譯成融合算子。每個(gè) batch 通過.numpy()從 TensorFlow Dataset 轉(zhuǎn)換為 NumPy 數(shù)組供 JAX 消費(fèi)。訓(xùn)練狀態(tài)由TrainState統(tǒng)一管理包含模型參數(shù)和優(yōu)化器狀態(tài)。打印網(wǎng)絡(luò)在 MNIST 上的 loss 和 acc用來驗(yàn)證模型真實(shí)地訓(xùn)練起來了。4.4 真機(jī)運(yùn)行與驗(yàn)證在 Colab 或 TPU VM 上執(zhí)行python3 train.py正常輸出會(huì)類似epoch 0 step 0 loss 2.3021 epoch 0 step 20 loss 0.4218 epoch 0 step 40 loss 0.2534 epoch 0 step 60 loss 0.1842 epoch 0 step 80 loss 0.1507 epoch 0 eval loss 0.0852 acc 0.9734 ...看到 loss 在下降、eval accuracy 穩(wěn)步上升說明 JAX XLA TPU 這條鏈路已經(jīng)跑通了。接下來就可以把這里的SimpleCNN替換成真實(shí)模型把load_mnist替換成你的真實(shí)數(shù)據(jù)集。4.5 關(guān)于多卡 TPU 的擴(kuò)展思路上面的代碼是單進(jìn)程、單 TPU 核心訓(xùn)練的寫法。如果你創(chuàng)建的是多核心 TPUJAX 會(huì)自動(dòng)識(shí)別多個(gè)設(shè)備。想要利用多個(gè)核心并行訓(xùn)練最簡(jiǎn)單的方式是使用jax.device_put和pmap對(duì) batch 做數(shù)據(jù)并行切分。from jax import pmap # 將狀態(tài)復(fù)制到所有設(shè)備 state jax.device_put_replicated(state, jax.devices()) # 多設(shè)備并行訓(xùn)練步驟 pmap def train_step_multi(state, batch): return train_step(state, batch) # 切分 batch 到多個(gè)設(shè)備 images images.reshape((num_devices, -1) images.shape[1:]) labels labels.reshape((num_devices, -1))這只是一個(gè)非常簡(jiǎn)化的pmap示例真實(shí)多卡訓(xùn)練還要考慮 batch 切分策略、梯度累積、AllReduce 等細(xì)節(jié)。建議先把單 core 代碼跑通再逐步過渡到pmap或shard_map。5. TensorFlow 方式用 TPUStrategy 做分布式訓(xùn)練雖然 JAX 在 TPU 上體驗(yàn)越來越主流但生產(chǎn)環(huán)境中大量存量代碼還是 TensorFlow 的。如果你不想重寫模型可以直接使用 TensorFlow 的TPUStrategy把現(xiàn)有模型遷移到 TPU。5.1 TPUStrategy 工作原理TPUStrategy是 TensorFlow 的分布式策略之一。它會(huì)自動(dòng)完成幾件事把模型變量復(fù)制到每個(gè) TPU 核心。把全局 batch 切分成每個(gè)核心處理一個(gè)子 batch。優(yōu)化器在反向傳播后做跨核心梯度 AllReduce。對(duì)訓(xùn)練循環(huán)內(nèi)部使用tf.function編譯配合 XLA 加速。它的關(guān)鍵思路是“數(shù)據(jù)并行 同步更新”。用戶只需要寫一份單機(jī)單卡代碼策略層負(fù)責(zé)把計(jì)算擴(kuò)展到多個(gè) TPU 核心上。5.2 TPUStrategy 訓(xùn)練示例import tensorflow as tf # 1. 初始化 TPU resolver tf.distribute.cluster_resolver.TPUClusterResolver() tf.config.experimental_connect_to_cluster(resolver) tf.tpu.experimental.initialize_tpu_system(resolver) strategy tf.distribute.TPUStrategy(resolver) print(TPU devices:, resolver.cluster_spec().as_dict()) # 2. 在 strategy 作用域內(nèi)構(gòu)建模型 with strategy.scope(): model tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (3, 3), activationrelu, input_shape(28, 28, 1)), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Conv2D(64, (3, 3), activationrelu), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activationrelu), tf.keras.layers.Dense(10), ]) model.compile( optimizertf.keras.optimizers.Adam(1e-3), losstf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue), metrics[accuracy], ) # 3. 準(zhǔn)備數(shù)據(jù) (x_train, y_train), (x_test, y_test) tf.keras.datasets.mnist.load_data() x_train x_train.reshape((-1, 28, 28, 1)).astype(float32) / 255.0 x_test x_test.reshape((-1, 28, 28, 1)).astype(float32) / 255.0 # 4. 訓(xùn)練 model.fit( x_train, y_train, batch_size128, epochs3, validation_data(x_test, y_test), )TPUStrategy的遷移成本很低尤其適合原本就是 Keras 寫的模型。如果你的模型里含有自定義tf.Variable更新邏輯就需要確認(rèn)變量創(chuàng)建是否都發(fā)生在strategy.scope()內(nèi)。5.3 TFRecord 數(shù)據(jù)管道與 TPU 的配合真實(shí)訓(xùn)練中數(shù)據(jù)通常在 GCS 上推薦使用 TFRecord 格式來減少小文件數(shù)量提高 TPU 的讀取效率。import tensorflow as tf def decode_fn(record_bytes): features { image: tf.io.FixedLenFeature([28 * 28], tf.float32), label: tf.io.FixedLenFeature([], tf.int64), } parsed tf.io.parse_single_example(record_bytes, features) image tf.reshape(parsed[image], (28, 28, 1)) return image, parsed[label] def build_dataset(file_pattern, batch_size, is_trainingTrue): dataset tf.data.Dataset.list_files(file_pattern) dataset dataset.interleave( tf.data.TFRecordDataset, cycle_length8, num_parallel_callstf.data.AUTOTUNE, ) dataset dataset.map(decode_fn, num_parallel_callstf.data.AUTOTUNE) if is_training: dataset dataset.shuffle(10000).repeat() dataset dataset.batch(batch_size, drop_remainderTrue) dataset dataset.prefetch(tf.data.AUTOTUNE) return dataset數(shù)據(jù)管道本身是 CPU 上的工作但它的吞吐能力直接決定了 TPU 是否被喂飽。經(jīng)驗(yàn)法則是數(shù)據(jù)管道的吞吐至少要達(dá)到模型訓(xùn)練速度的 2 倍否則訓(xùn)練過程中會(huì)不斷出現(xiàn)“等待數(shù)據(jù)”的空窗期。6. 常見問題與排查思路6.1 TPU 初始化失敗或設(shè)備不可見問題現(xiàn)象RuntimeError: Unable to initialize the TPU system.可能原因當(dāng)前運(yùn)行時(shí)不是 TPU 環(huán)境。JAX/TensorFlow 版本與 TPU 運(yùn)行時(shí)版本不匹配。運(yùn)行時(shí)使用舊內(nèi)核沒有加載必要的驅(qū)動(dòng)。排查步驟先檢查設(shè)備文件是否存在在 TPU VM 上執(zhí)行l(wèi)s /dev/accel*。再執(zhí)行jax.devices()或tf.config.list_logical_devices(TPU)看框架層是否識(shí)別到設(shè)備。確認(rèn)虛擬環(huán)境中的包版本與當(dāng)前 TPU 版本匹配。重啟運(yùn)行時(shí)尤其是在切換 TPU 類型之后。6.2 XLA 編譯報(bào)錯(cuò) “unsupported operations”問題現(xiàn)象Detected unsupported operations when trying to compile graph可能原因模型里使用了 XLA 不支持的算子。自定義 Layer 或自定義 JAX 函數(shù)里調(diào)用了無法被轉(zhuǎn)換成 HLO 的 Python 控制流。解決思路逐步裁剪模型定位到具體是哪個(gè)操作不能被編譯。檢查是否是動(dòng)態(tài)形狀問題TPU 上盡量避免 runtime shape 變化。對(duì)自定義算子優(yōu)先考慮能否用現(xiàn)有的 JAX 原生操作重寫。6.3 關(guān)于 16KB page size 編譯包報(bào)錯(cuò)問題現(xiàn)象在安裝或運(yùn)行 TPU SDK 相關(guān)包時(shí)出現(xiàn)類似 “an error occurred while preparing sdk package 16 kb page size” 的報(bào)錯(cuò)。背景原因TPU 運(yùn)行環(huán)境的虛擬地址頁大小是 16KB而常見 x86 Linux 是 4KB 頁。本地下載的預(yù)編譯 wheel 如果是在 4KB 頁環(huán)境下構(gòu)建的運(yùn)行時(shí)會(huì)與 TPU 內(nèi)核模塊或運(yùn)行時(shí)庫不兼容。解決思路不要直接從普通 PyPI 鏡像安裝 TPU 相關(guān)包優(yōu)先使用官方發(fā)布渠道。在 TPU VM 內(nèi)重新安裝匹配版本而不是把本地環(huán)境復(fù)制過去。查看完整日志確認(rèn)是下載失敗還是安裝后運(yùn)行時(shí)崩潰。6.4 OOM 與 batch size 調(diào)整問題現(xiàn)象訓(xùn)練時(shí)出現(xiàn)Resource exhausted錯(cuò)誤??赡茉騜atch size 過大超出了 TPU 單核的 HBM 容量。模型參數(shù)或中間激活值過大。數(shù)據(jù)管道prefetch使用內(nèi)存過多。解決思路先嘗試減小 batch size確認(rèn)模型在單卡上可以跑通。合理設(shè)置prefetch和num_parallel_calls避免 CPU 端內(nèi)存溢出。檢查 XLA 是否啟用了內(nèi)存優(yōu)化選項(xiàng)但不要盲目相信默認(rèn)配置。6.5 排查清單匯總問題現(xiàn)象常見原因解決思路設(shè)備不可見運(yùn)行時(shí)環(huán)境錯(cuò)誤 / 版本不匹配檢查/dev/accel*重啟運(yùn)行時(shí)核對(duì)版本XLA 編譯失敗不支持的算子 / 動(dòng)態(tài) shape簡(jiǎn)化模型逐步定位避免動(dòng)態(tài)形狀16KB page size 報(bào)錯(cuò)wheel 與 TPU 頁大小不匹配使用官方發(fā)布渠道安裝匹配包OOMbatch size 過大 / 中間激活過大調(diào)整 batch size優(yōu)化數(shù)據(jù)管道內(nèi)存訓(xùn)練速度上不去數(shù)據(jù)管道存在瓶頸使用 TFRecord、interleave、prefetch 優(yōu)化輸出結(jié)果有 NaN學(xué)習(xí)率過高 / 精度配置不當(dāng)降低學(xué)習(xí)率使用混合精度時(shí)檢查損失縮放7. 最佳實(shí)踐與工程建議7.1 數(shù)據(jù)管道要提前壓測(cè)TPU 非常“挑食”它的運(yùn)算速度快到如果數(shù)據(jù)管道沒跟上訓(xùn)練就會(huì)空等。建議在正式訓(xùn)練前先單獨(dú)測(cè)試數(shù)據(jù)管道的吞吐能力。import time train_iter iter(train_ds) start time.time() for i in range(100): batch next(train_iter) end time.time() print(f100 batches take {end - start:.2f}s)如果數(shù)據(jù)讀取時(shí)間占比過高優(yōu)先使用 TFRecord 格式、interleave并行讀取、prefetch預(yù)加載等手段。7.2 使用混合精度時(shí)需要驗(yàn)證損失縮放TPU 的 bfloat16 支持是它的強(qiáng)項(xiàng)之一。用jax時(shí)可以很自然地把部分參數(shù)轉(zhuǎn)換成bfloat16或使用混合精度訓(xùn)練。但在混合精度下梯度很小的時(shí)候有可能在低精度下溢出導(dǎo)致 NaN。建議開啟損失縮放Loss Scaling機(jī)制并周期性檢查梯度統(tǒng)計(jì)而不是在出現(xiàn) NaN 后才去排查。7.3 模型算子優(yōu)先考慮 JAX/TensorFlow 原生實(shí)現(xiàn)遇到自定義算子時(shí)優(yōu)先檢查原生庫里有沒有替代實(shí)現(xiàn)。XLA 對(duì)原生算子的融合優(yōu)化做得很成熟但自定義算子往往無法被融合會(huì)打亂 XLA 的優(yōu)化策略。如果一定要使用自定義算子至少把“無法編譯”的算子獨(dú)立出來避免拖累整體性能。7.4 成本與資源管理TPU 資源通常是按時(shí)計(jì)費(fèi)的長(zhǎng)期任務(wù)建議配合 checkpoint 和自動(dòng)重啟機(jī)制。這里給出幾個(gè)實(shí)用性建議訓(xùn)練腳本要有穩(wěn)定的 checkpoint 保存與恢復(fù)邏輯。使用搶占式資源時(shí)代碼要能安全處理進(jìn)程中途被回收的情況。創(chuàng)建 TPU 實(shí)例后盡快驗(yàn)證訓(xùn)練腳本避免空轉(zhuǎn)計(jì)費(fèi)。配置監(jiān)控報(bào)警對(duì)異常掉線、訓(xùn)練停滯、指標(biāo)不回傳這些情況做告警。7.5 把訓(xùn)練過程日志化TPU 上的日志查看比 GPU 環(huán)境要麻煩一些尤其是多 worker 場(chǎng)景下。推薦在訓(xùn)練腳本中顯式記錄關(guān)鍵指標(biāo)比如每個(gè) epoch 的 loss、acc、每個(gè) step 的平均耗時(shí)、數(shù)據(jù)加載耗時(shí)等并把日志輸出到統(tǒng)一的日志平臺(tái)方便后續(xù)歸因。import logging logging.basicConfig( levellogging.INFO, format%(asctime)s %(levelname)s %(message)s, ) logging.info(start training, devices%s, jax.devices())這一步可能看起來不起眼但當(dāng)你遇到 TPU 訓(xùn)練中途卡死、重啟、性能退化問題時(shí)這些日志是定位問題的唯一線索。8. 總結(jié)Google TPU 軟件棧本質(zhì)上是一條從深度學(xué)習(xí)框架到專用硬件的編譯和運(yùn)行鏈路JAX、TensorFlow、XLA 和 libtpu 各司其職。對(duì)開發(fā)者而言遷移到 TPU 時(shí)最需要調(diào)整的往往不是模型結(jié)構(gòu)本身而是對(duì)計(jì)算圖編譯、數(shù)據(jù)切分、內(nèi)存規(guī)劃這些底層層面的理解。如果你準(zhǔn)備開始嘗試建議從 Colab 免費(fèi) TPU 環(huán)境入手把 MNIST 或自己的小型模型跑通再逐步擴(kuò)展到真實(shí)業(yè)務(wù)模型。遇到 16KB page size、XLA 編譯失敗、TPU 設(shè)備不可見這類問題先順著軟件棧的層級(jí)逐層排查不要一開始就懷疑硬件。只要把 JAX 或 TensorFlow 的 TPU 鏈路跑通一遍后續(xù)在 Cloud TPU 上做規(guī)?;?xùn)練會(huì)順暢得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久9品一区二区三区| 91九色丰满高潮| 色噜噜人妻丝袜AV资源| 欧美精品黑人猛交高潮| 亚洲一区中文字幕一区| 免费97视频| 日欧操屄| 欧洲亚洲人妻无码中字久久三区四区| 亚洲婷婷丁香在线| 国产精品久久久亚洲一区| 99久在线精品99re8| 日韩免费中文字幕视频| 精品精品精品| 欧美亚洲天堂| 人妻人人澡人人爽人人| 色婷婷六月丁香七月婷婷| 69AV女优男人的天堂| 亚欧洲日韩国产精品| 美国日韩黄色片| 欧美性天天影院| 欧美探花网| 观看视频图片一区二区三区| 蜜臀一区二区三区在线| 久久久精品一区二区| 亚洲春色一区二区三区| 青青青青草av在线观看| 无码一区二区精品视频久久久春药| 精品四五区| 成人性交免费视频| 九九热免费国产视频婷婷伊人五月 | 国产视频人人网| 秋霞视频一区二区| 大屁股人妻女教师撅着屁股| 四虎AV影视国产精品亚洲精品| 国产一级内射高清视频| 欧美色图片91| 激情综合婷婷| 国产精品高潮久久久无码| 97玖玖人妻| 中文操逼字幕| 乱子伦一区二区三区国产精品| 国产av强奸美女| 欧美论理片| 伊人久操| 日韩一二三区| 狠狠干精品一二三四五六2022| 日韩性爱毛片操骚逼| 韩日巨乳美女免费视频在线观看| 网页导航五月天免费一二三区| 941超碰| 熟女视频久久| av激情亚洲五月天| 久久久久久久久一区二区三区| 色女女女导航| 久久毛卡| 啊啊啊爽爽| 欧美黄色图片| 亚洲色图殴美色图激情乱伦| 青草精品视频-日本久久久久网站| 国产高清1234区| 国产日韩欧美操逼视频| 五月天伊人网| 激情小说亚洲视频| 日本丝袜美腿人妻九九| 亚洲乱码尤物193YW| 竹菊一区二区三区AV线| 一区,二区,三区网站| 性饥渴少妇av无码毛片| 久久99干一本高清| 国产福利夜| 最近2019中文字幕国语免费版| 久久久555| 九久9热| 亚洲av淫乱| 精品人妻一二三| 日本色色的视频| 中文一区二区婷婷视频| 婷婷10月天青娱乐| 91动漫操逼视频| 国内自拍 日韩激情 99| 伊人网一本| 秋霞午夜视频一区二区| 日韩无码专区| 91欧美情色| 啊啊啊啊好疼| 亚洲人妻中文高清| 新版天堂中文资源8在线| 超碰九7| 精品人妻av在线播放| 色踪合AV| 9精品久久| 羞涩视频| 综合亚洲网| 毛片视频白嫩| 99啪啪| 天天α片| 亚洲色图欧美色图制服丝袜| 404操逼福利视频| 91精品国产91综合久久蜜臀| 97视频免费在线| 成人AV素股で擦久久| 女人爽到高潮潮喷18禁网站| 一区二区精品日韩欧美在线观看 | 超碰人人乐97| 亚洲夜夜欢无码一区二区 | 国产精品情侣啪啪| 99热这里只有精品8| 亚洲国产91精品一区二区久久| 大香蕉淫人| 99re在线观看| 爱爱60秒免费视频| 男人的天堂亚洲| 激情五月综合开心五月| 黄色成年| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 久久久久久久久久久久黄色 | 久久午夜神马| 麻豆伊人网| 天美AV片| 中文字幕日韩综合| 91久久国产综合久久| 天天草天天干天天日| 五月婷婷青青草娱乐伊人| 高清不卡视频| 国产a级精品| 天天日日舔舔| 少妇人妻太紧太深av| 91爱剪切久久| 日韩综合无码一区久久92| 插欧洲美女欧美精品| 国产午夜精品理论片一二三区区| 日韩免费a级毛片无码a∨| 日本999精品视频| 亚欧色图在线激情| 91少妇人妻| 欧美国产操逼| 精品无码一区二区人妻久久蜜桃| 福利天堂| 亚拍在线| 欧美第五页| 日韩精品国模| 亚洲乱熟女一区二区| 天天综合网亚洲综合网| 天天干天天舔| 精品人成视频在线观看| 东京热视频网| 蜜乳AV色欲AVAV无码| 亚洲综合另类| 欲色影视综合吧| 好吊妞转入那个网| 综合网欧美在线| 一本久道久久综合狠狠爱| 丁香五月av| 麻豆久久久一区二区| 少妇一区二区三区精选| 伊人久久在线视频观看| 久久精品高清AV| 亚洲精品无码少妇久久| 操操碰| 日韩一级二级| 亚洲熟女乱色| 日本久久999| 亚洲一区中文字幕| 亚洲欧美色图| 精品视频久久| 天美91| 欧美一级AAAAAAA| 成人免费看吃奶视频网站| 欧美性爱无码一区二区三区| 操婷婷逼| av大香蕉网站| 超碰视97中文| 99999精品| 日韩操p| 日韩性爱小视频在线观看| 在线 制服丝袜中出 人妻| 九九热免费国产视频婷婷伊人| 国精综合一二三区影视| 精品久久久无码| 午夜天堂精品久久| 国产成人天堂| 日本一区二区中文字幕久久| 国产一区在线免费播放| 久热伊人99re| 日韩淫色网| 日韩精品午夜操呦呦不卡影院| 蜜臀AV一区二区三区| 大奶的诱惑| 影音先锋视频在线| 91麻豆天美国产欧美| 啊操爽品善一区二区三区| 日韩精彩视频| 精品人成视频在线观看| 综合久久中文字幕综合日韩精品| AV天黑人| 国产高清1234区| 久久精品福利影院| 九九黄色视频在线观看| 久久人妻97久久久久久久| 传媒免费一区二区三区| 欧美日韩啪啪电影| 色婷婷电影| 天天舔九色婷婷| 久久99干一本高清| 精品国产一区二区三区香蕉欧美| 97综合在线| 国产一区二区三区免费视频在性观看| 亚洲色图欧美色图制服丝袜| 精品九九九九| 国产极品精品美女视频| 99色视频| 中文字幕视频二区| 欧美综合区| 久干网| 国内外内射高清视频| 台湾佬中文娱乐自偷自拍| 综合天天网| 欧美色网| 日本大片日本一区二区免费高清 | 欧美情色男人的天堂| 亚洲欧美黄| 欧美日韩性爱操大逼| 草久久久| 自拍偷拍国产欧美日韩韩| 久久久男人的天堂| 九九精品99| 成人网欧美风情| 免费岛国一级片| 一区 欧美 日韩 麻豆| 青青草啪啪网| 午夜视频好爽啊| 俄罗斯一区二区视频在线观看| 婷婷五月天AV| 97色亚洲| 久久首页| 欧美一二三区四五区| 久久在肏| 亚欧精品久久久久久久久久久| 人妻少妇无码| 婷婷亚洲色| 人妻少妇无码| 免费人成?大片在线播放| 偷拍亚洲情色| h在线看免费版在线看| 香蕉精品二区二区| 性色av网站| 999综合色| 张柏芝国产一区在线观看| 黄片直播三级黄片两女一男| 久久成人午夜狠狠| 欧美的性爱网站免费| 久久成年片色大黄全免费网站| 猛交交| 欧美色另类| www成人啪啪18秘 免费| 久久啊啊| 日韩乱码Av| 日本一级特级毛片视频| 欧洲综合视频| 大香蕉乱级| 狠狠色伊人亚洲综合网站色| 搞中出视频在线观看| 丁香九月激情啪| 亚洲无码国产探花在线观看| 日韩久射综合| 亚洲drav色图| 天色综合网| 自偷自拍的亚洲视频| 91色色网站| 青青草国产一区二区三区| 国产少妇与亚洲av| 999国产精品999| 尤物视频视频官网| 老鸭窝成人| 91色鬼| 再深点灬舒服灬太大了好硬好爽| 亚洲 欧美 日韩 国产一区二区 | 粉嫩在线一区二区懂色| 沈阳熟女高潮对白视频| 久久这里只精品| 91欧美美女日韩国产婷婷| 午夜丁香| 麻花传媒免费网站在线观看| 香蕉一区二区三区在线视频| 黄色小视频日本txt| 欧美色偷偷| 老熟女阿 国产91| 97精品中文字幕| 青青草视频久久久久| 久操操| 日韩中文字幕在线视频观看| 欧美日韩操逼动图| 亚欧性爱无码| 操啊国产| 天天躁日日躁AAAAXXXX国产 | 精品一国2| 国产精品视频电影| 你操综合| 99久久久无码| 亚洲最大黄网| 熟女丰满人妻一区| 美女极品一区二区三区| 欧美不卡在线一区二区| 国产精品不卡高清在线观看| 国产真乱mangent| 日产操逼| 亚洲男人天堂AV| 欧美同性恋 的搜索结果 - 91n| 中亚黄色三级大片| 青青草字幕AV| 少好三P| 天天影视之亚洲综合网| 精品无码一区二区| 蜜桃视频精品一区二区| 超碰调教97| 免费亚洲黄色视频在线观看| 四虎午夜影院| 不卡中文字幕aⅴ在线| 韩国一级做a久久久久| 9999久久久久| 天天久久久久久| 久久蜜桃一区二区| 超碰免费97| 久久伊人最新网址视频| 亚洲国产精品成人综合| 日韩av不卡在线看| 久久‘黄片视频| 九九久久综合| 五月天丁香欧洲日韩| 热久久精品| 国产超碰在线一区| 中文子幕一二三| 亚洲人妻精品一区二区| 97超碰人人操人人操| 欧美特大AA级黄片| 精品久久人妻成人网| 欧美99热| 亚洲AO在线| 国产精品在线网站| 91丝袜视频在线观看| 久久久久国产精品久久久| 精品国产三级av韩国在线| 强奸乱伦大香蕉| 婷婷伊人| 国产SV一线| 午夜久久久| 蜜臀99久| 91快色色色色色| 国产精品色色| 日本加靬比网站发布页| 国产自产22区| 69精品| 欧美成人性爱视频在线播放 | 国产综合网站在线播放 | 亚洲色图91| 国产成人精品无码久久| 亚洲91极品| 91国产在线精品| 少妇蹲下露出大唇5| 天天干天天舔| 337p大胆噜噜噜噜噜91Av| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 国产精品人人爽人人做可爱福利| 国产区性爱在线视频秋霞豆| 激情五月激情综合网| 狠狠久久亚洲欧美专区| 在线女人91| 天天干一区二区| 一区二区高清视频| 91高清欧美| 密臀视频三区免费网站| 欧美Ⅴ性爱| CCYY草草影院地址入口| 7777奇米影视久久| 九色精品视频导航1| 亚洲中文国际强奸字幕| 国模精品娜娜一二三区| 精品久久久久久亚洲| 国产高清视频无码在线| 黄色网址在线免费观看| 自拍盗摄一区| 九九九久久久| 九月丁香| 天天日骚逼熟女| 综合国产影视三级| 中文字幕在线观看AV| 97在线公开视频| 国产一区二区三区导航| 天天操天天7| 亚洲一区操| 少妇蜜汁| 国产精品com| 久久久999日本大片| 91高清日| 国产精品视频精品一二| 国产亚热在线久久| 一区三区啪啪| 日韩二区三四区五区六区在线看| 中文字幕日韩人妻视频一区二区三区| 性性欧美| 婷婷视频在线免费观看| 久久精品国产久精国产| 欧美视频一区二区在线| 亚洲熟女少妇免费视频| 免费在线观看AV无码网站| 国内一区二区三区| www.yw尤物| 精品一区二区三区麻豆| 中文字幕一区 二区三四五 区日 日骚| 91欧| 啊啊啊啊啊啊在线看| 国产深喉视频一区二区| 97色论| 国产精品国产自产高清AV| 九区国产| 九月婷婷| 日本乱人伦片中文三区| 色制服丝袜夫妻av一区| 精品区国产区一区二区三区| 日韩人妻精品久久久久| 性91| 亚洲欧美综合图片| 俄罗斯一区二区视频在线观看 | 牛牛久久国产精品视频一二三| 精品国产乱子伦一区二区三区,精品一| www.99中文字幕| 人人色人人射人人妻| julia国产在线| 岛国黄色大片网站| 国产成人精品午夜福利| 天天谢天天干| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 麻豆区久久久久亚| 懂色av色欲av蜜臀av| 欧美成不卡网| 秋霞色色影院| www.狠狠干.coom | 欧亚日韩中文在线| 伊人91| 亚洲另类色综合网站| 九九综合久久中文字幕| 欧美aⅴ99久久黑人专区| 人人操欧美风骚| 成人 日韩欧美一区| 亚洲干B| 秋霞欧美性爰视频| 风间由美日韩欧美久久| 中文字幕日本久久| 一本色道人妻久久| 九九九九九九九精品视频| 后入人妻无码| 婷婷激情四射| 99少妇| 五月色丁香| 蜜臀99久| 91九九九馒头| 久久产精品一区二区三区电影| 精品久久久久,69国产成人精| 青娱乐91| 在线 亚洲 网爆 自拍| 欧美一区二区三区不卡高清视频| 大香蕉十区| 一级性爱视频免费在线| 99RE在线视频精品,这里只有精品| 2018天天日天天日| 三级网站超变态精品| 亚洲 日本 国产 综合| 中文字幕十五区| 亚洲一区二区三区中文字幕| 国产精品高朝久久久久久久| 日本中文字幕在线电影| 精品九区| 色女99一级片在线观看| jizzjizz欧美| 啊啊啊啊嗯嗯在线久久久| 亚洲无码99| 久草在线| 国产美女激情| 色色色色网站| 国产精品不卡高清在线观看| 91精品丝袜久久久久久无码人妻| 国产人伦a片信息免费片| 男人的天堂三级| 丁香五月大香蕉| 人妻精品视频一区二区三区| surenchaopeng| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 亚洲美女 晚间男人天堂| 热99这里只有精品| 欧美一二三| 欧美色天堂网在线视频| 超碰99热| 91P0RNY大屁股人妻| 韩日精品福利视频一区不卡在线免| 一起草精品人妻| av网站免费看| 骚逼自拍99| 香蕉在线一区二区三区| 国产精品视频麻豆入口| 超碰在线免费一区二区三区| 亚洲成人精品久久久| 在线人人人人人人精品超| 极品人妻少妇综合| 亚洲性爱成人| 国产免费一区二区三区最新不卡| 日韩黄片影院| 大香蕉一人| 超碰午夜在线| 中文字幕在线高清男人的天堂| 懂色Av| 天天操天天日青青草超碰av| 激情自拍 校园春色| 久久riav中文精品| 国产白丝av| 欧美日韩亚洲电影| 国产久久一区二区三区野外在线| 久久久夜夜嗨免费视频| 岛国在线免费视频| 99热在线播放| 国产超碰欧美| 9久久美女首页| 蜜臀少妇一区二区| 睡产熟女乱伦| 高潮毛片无遮挡高清免费| 亚洲高清91| 超碰97久久国| 91天天综合网,天天综合网| 九月色婷婷| 日韩无码黄色片| 97在线视频观看| 变态另类专区| 九九九九97| 97综合国产精品高潮久久| 人人爱操| 国内毛片无码一级毛片| 亚洲av综合色区无码一| 一级二级三级黑人无码| 秋霞Av理论一级在线| 五月天婷婷社区| 国产高清在线自在拍69| 后入式在线免费观看60秒| 熟妇人妻一区二区三区| 嗯嗯啊啊视频在线看| 91呆哥人妻| 日韩欧美tv一区二区在线观看| A片A5445444| 日韩欧美日韩| 超碰九7| 夜夜欧美| sewuyueav| 欧洲一区二区| 性生活性生大爱77AV国产| 福利大香蕉| 亚洲综合一| 9长久久精品| 神马久久啊啊| 亚州高清色综合| 五十路熟女工口 | 99热97| 97色色色| 在线观看一卡二卡| 日韩人妻资源在线看| 9久热| 色5月婷婷| 探花精品视频| 在线不卡视频| 色色色999| 色婷婷五月综合| 97操碰| 青青草日韩无码| 五月天婷婷激情| 思思99热| 精品一区96| 伊人大香蕉在线| 伊人大香蕉在线| 亚洲色图欧美色图制服丝袜| 天天做天天爱天天爽AV| 九九自拍伦理| 亚洲精品国产熟女久久久| 操淫穴亚洲五月丁香| 日韩二区三四区五区六区在线看| 好一吊区二区| 日夜精品| 又粗又长又大国产不卡| 综合久久久久久久久91| 国产欧美成人第一页在线观看| 欧美亚洲色图另类国产| 亚洲无码一区二区三区三州| 九九色精品| 婷婷五月天AV| 欧美久久草熟女| 最新亚洲风情电影| 欧美日韩天堂| 国产久9| 78操B| 欧美人与动性人交a| 美女视频尤物网在线看| 欧美精品1区2区3区| 色播五月丁香| 欧美狠狠操| 欧美日韩另类字幕中文| 超碰天天去日穴| 国产色图乱伦| 中文字幕精品日韩中文字幕| 婷婷五月激情综合| 亚洲不卡不卡中文字幕不卡 | 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久久九精品| 欧美色院| 无码逼| 性爱久久| 天天综和| 日韩97超碰| 69XX一中文字幕人妻91| 亚洲欧美日韩精品久久久一区二区 | 欧美 青青草| 日韩人妻精品| 91激情| 色情乱伦AV| 日韩乱码Av| 综合97久久| 中文字幕三四区| 日韩欧美一级特黄大片| 久久婷婷一区二| 亚州熟妇精品| 天美传媒婬乱| 国产麻豆一级精品视频| 日本97久久久精品| 欧美色蜜桃97| 国产免a费看黄片在线| 超碰三级秋霞| 亚洲AV色图一区| 国产黄色视频久久| 五月天精品| 欧美 亚洲 另类 综合| 中文久久久| 夜夜影视四色| 91美女视频在线| 精品九区| 人妻av在线| 足交视频老司机| 日韩啊V| 五月激情影院| 四虎免费视频| 小视频玖玖| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 品亲网欧美品亲网| 日产操逼| 女优视频第10页| 日本一级不卡一二区| 国产在线视频二区| 18精品一区| 啊啊啊啊,啊啊好多水| 国产精品人人爽人人做可爱福利| 蜜臀久久久久久999| 国产丁香精品露脸视频| 免费伦费视频在线观看| 丰满搜索结果 -第18页- 久久高清无码 | 国产精品白丝| 女人爽到高潮久久久| 夜夜嗨一区| 亚洲av淫乱| 国产在线精品电影观看| 最新国内自拍av免费| www鬼畜国产男人的天堂| 哑洲在线| 欧洲一级性爱视频在线观看| 欧美91精彩| 国产在线强奸视频| 亚洲精品天天影视综合网 | 老熟妇综合| 欧美精品23| 欧美爆操91| 男女啪啪网站免费视频| 色嘟嘟人妻天堂网| av天堂电影网| 久久久蜜桃一区二区三区| 美女91网| 婷婷99狠狠| 99re6在线视频播放免费精品| 日韩乱伦视频| 午夜精品久久久久| 亚洲啪AⅤ永久无码| 91亚洲影院综合| 黄色片A级一区二区三区| 亚洲AV免费在线观看| 午夜精品久久一区二区| 人人色人人射人人妻| 日韩性爱长视频免费| 宅男午夜在线视频| 国产婷婷综合在线观看| 亚洲欧洲无码97久久精品| 性爱网站一区二区| 亚洲揄拍网| 午夜无码精品免费看性色| 中国黄色特级精品一区二区三区片| 秋霞影音一区二区三区| 丝袜视频网国产90| A V少妇特黄三级| 国产成人亚洲精品无| 欧美色66| 日本丝袜人妻内射| 嗯嗯嗯啊啊啊干死我吧| 欧美极度丰满熟妇hd| 四虎免费在线播放| 91久久精品国产| 无码一区免费在线不卡| 天天综合网AV91| 黄色免费网页无码| 人妻娇喘 激情视频| 美女尤物福利视频| 福利社区午夜一区二区| 热久久无毒不卡| 国产黄色av大片网站| 中文字幕AV中出| 精品一区二区三区最新| 能在线播放的国产三级| 色噜噜人妻av中文字幕| 性色avv| 国产精品点击进入在线影院| 青青久久久| 欧美天天插| 午夜一区二区三区国产| yazhououmeizongya| www.色婷婷.com| 97超碰人人操人人操| 性性久久| 嗯啊不要在线| 欧美性爱91| 97超级久久| 中文字幕乱碼在线| 深田咏美亚洲精品福利社| 玖玖爱影院| 久久人妻少妇| 人夜夜精品网站香蕉嫩草| 精品国产一区二区三区香蕉欧美| 日韩91网| 亚洲爱爱视频一区二区| 亚洲第一综合| 日本羞羞的视频在线播放 | 97ai亚洲| 97超碰逼| 国模一区二区三区| 亚洲无吗在线视频| 在线免费观看高清无码视频| 999熟女精品| 狠狠操夜夜操蜜桃视频三区| 国产操逼逼网| 白丝av| 男人的天堂Va| 九区国产| 日韩在线人妻网站| 大香蕉啪啪啪| 日本一区二区做爱的视频| 又大又大又大又粗爽高潮观看| 日本精品一区二区三| 射丝袜高跟鞋99| 五月丁香久久| 黄片com.| 最新av网站在线观看| 伦理第一页| 大香蕉在线SuP| 亚洲精品天天影视综合网 | 静品嫩模一区二区| 国产精品999zyz| 97在线视频观看| 欧美成97爱| 青操影院| 亚洲日韩久久精品一区| 日本不卡码黄色| 九九热九九热| 67194国产| 欧美日韩不卡a片| J?P?NESEHD熟女熟妇伦| 免费视频97| 另类图片五月天| 97超碰这里只有精品| 精品乱子一区二区三区99| 久久欧美按摩999| 色五月婷婷中文字幕| 一区二区三区视频在线观看免费| 精品日韩中文在线| 久热在线精品免费观看| 欧美一级在线观看成人| 91天天综合网| 在线欧美亚洲| 加勒比综合88| 国产精品久久久久9999小说| 青草伊人网| 欧美日日人人天天| 人妻少妇久久| 伊人久久亚洲色欲综合网站| 国产噜噜噜噜噜久久久久久久久| 中文字幕加勒比海高清无码免费视频| 91人人看| 麻豆天美久久91| 好湿好紧好爽 视频| 久久久久成人蜜桃精品| 夜夜一区二区| 蜜桃色色网站视频三区| 亚洲Av无码成人精品国产| 国产福利小视频高清在线观看| 91人妻精华帖| 日本操逼视频导航| 特级毛片特黄久久免费看| 国语国产操逼伊人AV网| 国产91啪| 爱av免费| 91精品大奶人妻| 久久久久久久人妻| 韩国久久97| 亚欧美天堂在线| 国产怡红院| 久久综合女优| 福利天堂| 久久久久久人| 欧美日韩色| 日韩在线观看三级电影| 一级片视频啪啪| 精品人妻中文字幕4399| 日韩色欲久久一二三四区| 97人人操人人摸人人爱| 看日韩操逼| 熟女精品一区二区三区| 人妻天天夜夜爽一区二区| 国产精品久久久视频| 综合久欧洲| 久久久久无码一妻区| 97国产精品久久久久| 2020天天色综合| 人妻欧美| 被男人添B超爽视频| 久久性爱网站| 亚洲五月丁香花狠狠干一区二区三区| 在线观看AV不卡| 欧美韩国你懂得在线 | 国产黄色动态精品| 91熟女少妇| 加勒比综合88| 麻豆国产视频精品观看| 激情综合网五月婷婷五月天| 五月色综合| 97激情97激情| 91在线一起| 97干色| 巨爆乳一区二区爆乳区| 国产一级αv免费看片| 国产女上位好爽在线| 成人久久精品| 色97干| 日韩在线一区高清在线| 五月丁香久久| 日韩欧美丝袜诱惑| 久久久性爱| 好爽免费视频| 色久桃花影院在线观看| 狠狠 91| 亚洲男人综合网| 天天综合网日韩| 色欲蜜臀AV| 中文字幕91综合| 国产99999久久精品| 舔足天天操天天射| 日韩亚洲精品一区二区| 亚洲精品一区中文字幕乱码| 蜜臀99999| 97超碰色色| 国产午夜无码片在线观看影视| 天天操女人| 亚洲涩涩| 囯产精品久久久久久久久久梁医生 | 强奸国产精品视频| 在线 制服丝袜中出 人妻| 北条麻妃性愛视频| 欧美少妇人妻| 久草福利在线资源站| 欧美在线色图| 97综合激情| 日本操逼视频导航| 九一屌逼| 欧美日韩中文字幕人妻| 嫩草影院在线观看精品| 白丝AV网站| 日本精品一区二区三| 成人无码在线视频网站| 欧美后进式| 久久是精品| 亚洲国产欧美另类自拍| 夜夜夜久久| 999久久久国产精品| 久久九九视频九九视频| 欧美色图私拍91| 91伊人| 婷婷成人五月天| 日韩人妻精品| 国产h片在线观看视频| 男人的天堂色偷偷青青草视频婷婷网| 97精品一区二区三区免费| 午夜福利成人免费视频| 欧美久久毛片基地| 天天影视亚洲| 天天做天天爱| 久9爱精品| 欧美日韩操逼动图| 99精品丰满人妻| 青娱乐二区免费| 观看视频图片一区二区三区| 欧美激情视频一区二区| 色99色| 日本不卡在线二区三区| 精品国产肉丝袜在线拍国语| 人妻 欧美亚洲| 色哟哟511老熟女| 国产精品久久久久久久久久久久久久久| 久久AV无码AV| 久久伊人在线五区| 99久久99久久免费精品蜜臀| 中文字幕一区av| 久久精品店| 日韩精品 资源| 国产精品扒开腿做爽爽爽视频| 91日韩在线| 99re欧美| 五月丁香影院| 免费视频一二三区| 91碰碰| 夜夜躁狠狠躁日日躁av| 欧美制服另类丝袜| aV中亚| 91人妻视频| 无码 黑人一区二区三区| 超碰综合色| 亚洲欧美高清无码| 91麻豆天美传媒HD| 新久久AV| 国产精品3| 午夜免费福利视频一区| 久热精品在线| 久久麻豆一区二区| 爱爱动态60秒| 日本97久久久精品| 99在线无码精品秘 入口黑人| 韩国国产欧美情侣视频在线| 日本欧美亚洲高清在线看| 欧亚韩国999| 裸体美女国产免费久久久网站| 999精品久久久久久久| 91九色丨国产丨爆乳| 亚洲色图尤物视频| 色拍偷亚洲| 欧美精品日韩一区二区| 久久久久久久9999| 男人的天堂成人的社区| 亚洲欧洲无码bt精品合集| 国产日韩人人| 91干熟女| 九九久久久| 国产成人AV麻豆| 国产成人www免费人成看片| 久久久青青草| 欧美 综合| 日韩不卡a级视频专区| 亚洲欧美另类小说| 日本东京热大香蕉a片| 日本肉体xxxx裸交| 亚洲青色欧美| 亚洲阿v天堂无码z2018| 中文字幕一二三区| 亚欧无码在线| 97色在线视频| 影音综合网| 无码聚合| 97大色网| 日本国产成人亚洲精品无码| 国产拍偷精品网站| 中文字幕综合人妻| 色99视频| 人人操肉肉| 一区二区影视| 亚洲少妇色图自慰直播| 色墦五月丁香| 亚洲av综合色区图片亚洲| 久久亚洲一区女同性恋中文字幕| 大香蕉亚洲中文| 草草影院最新网址| 日本不卡二区| 无码丰满熟妇一区二区浪潮AV| 欧美精品三级黄片| 99久在线精品99re8热视频在线| 国产精品一区人妻精品阁在线| 美国一区二区三区视频| 亚洲欧美999| 超碰69| AA丁香综合激情| 都市激情人妻一区二区青青操视频 | 欧美色图私拍91| 五月天激情四射| www亚洲免费| 97超碰香蕉| 久久久成人免费av电影| aaa淫乱视频| 精品丰满人妻一区二区三区免费观| 日韩精品碰碰| av黄图片在线观看| 美女好片色日本| 人妻五十路在线| 国产精品久久久蜜臀| 狠狠色丁香| 久草免费在线一区二区| av在线播放国产一区| 欧美高清第一页| 久久久久九九九九九| 美女毛片999| 99国产精品人妻人伦| 97在线精品| 蜜臀操逼黄色视频操的好爽| AAAA欧美日韩| 综合网欧美| 大香交| 精品999日本| 熟啊v色欧美热| 精品国产乱码久久久久久久久1 | 亚洲精品国产精品乱码不卡| 校园春色之综合网| 超碰碰碰碰| 亚洲制服欧美另类内射| 国产日韩欧美亚洲精品95| 性91| 玖玖综合网| 久久婷婷成人综合色怡春院| 不卡六六在线91| 夜夜免费视频| 久久精品视频一区三区小泽玛利亚| 精品久久久久黄少妇| 成人一二| 97视频免费| 国产嫩草精品A88AV| 欧美线天码中字| 大香蕉琪琪日本女优不卡| 亚熟hd视频在线| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 国产精品交换一区二区| 五月天精品| 日韩啪啪啪啪啪| 久久人妻精品| 青青草日韩无码| 久久极品一区二区| 日韩精品区二区三区不卡| 天天干天天干天天干| 久久婷综合| 欧美视频在线视频免费va| 91精品国产麻豆国产自产在| 欧美激情中文字幕另类小说| 91精品无码人妻系列| 人人射人人操人人摸| 成人无码影片视频在线| 静品嫩模一区二区| 六月丁香啪啪| 亚洲人人操| 久久久久骚| 91麻豆天美传媒HD| 99蜜桃臀亚洲成人在线观看| 欧美影音在线| 久久久久久99999国产精品| 97精品视频在线| 亚洲熟女诱惑| 青青草依人大香蕉| 酒色综合网| 国产亚洲色停停久久99精品91| 日本潮催一卡操| jk白丝没脱就开始啪啪| 亚洲一区二区三区四区视频| 无码抄逼网| 亚洲人妻一区二区三区| 人人操天天爽| 国产精品色哟哟| 精品中文一区二区| 蜜臀AV一区二区三区| 熟妇色99| 人人操人人插 - 百度 - 百度| 日韩av不卡在线看| 无码精品蜜桃一区二区三区ww| 久热9| 欧美中文字幕一区| av线电影| 亚洲熟女人妻中文字幕一区二区| 色色毛片| 日韩亚洲精品一区二区| 思思热免费视频观看| 69超碰综合| 人妻无码后入| 免费精品AB| 97在线免费观看视频| 在线观看亚洲成人精品| 高跟丝袜AV专区国产| 五月丁香六月激情综合| 在线人妻熟女一区二区三区四区五区| 国产高清在线观看欧美| 91丝袜美女国产| 内射黑人| 欧美小说区视频区| 人人弄人人摸| 男人a天堂手机在线版| 狠狠操狠狠插| 欧美中文狠| 78m成人视线| 中文字幕一区二区免费在线| 婷婷精品视频| 一及黄久一点| 国产精品伦理| www.久久制服糖| 欧美中出1| 啊啊啊啊啊啊好湿好爽视频| 9久9久9久9久视频网站| 国产精品美女久久久久久网站| 国产综合永久精品日韩鬼片| 久久久久精| 91视频综合在线| 国产精品爆乳懂色蜜乳| 久久精品国产免费观看99| 久久久久无码| 国产后入式在线观看| 99这里只有精品国产| 无码国产精品午夜不卡(| 91夜夜蜜桃臀1区2区3区| 99超碰碰| 大香焦A片| 国产免费大片| 久久久久久久久久久久97| 日本人妻丰满熟妇久久久久久| 国产福利av精彩对白| 狠狠干精品一二三四五六2022| 麻豆av一区二区| AAAAAAAAA黄片| 秋霞男人网| 中文字幕乱亚洲美女精品一区| 亚洲一级特黄大片在线播放91| 黄色成品网站| 色综合天天爱去电影网| 91c色| 亚洲 欧美 另类 日韩 人妻一区| 蜜臀99久久精品久久久久| 日本国产高清色www视频在线| 欧美精品丝袜久久久中文字幕| 男人天堂久久精品不卡| 人人操人人操人妻人| 秋霞一级A片黄色视频| 五月婷婷色| 国产91丝袜在线播放蜜月| 99色网| 婷婷99狠狠| 91超碰在线观看| 粉嫩av在线一区二区| 中文字幕超碰CAO| 欧美一区二区男人天堂| 丁香六月婷婷| 97色欧洲| 日本国产欧美高清在线| 9 7超碰在线免费观看| 91丝袜在线观看|