日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

PCIe 5.0交換芯片如何破解AI集群GPU互聯(lián)瓶頸

PCIe 5.0交換芯片如何破解AI集群GPU互聯(lián)瓶頸 1. AI集群的通信瓶頸為什么GPU之間的PCIe通路反而成了短板1.1 算力翻倍之后互聯(lián)鏈路最先暴露問題上個(gè)月給一家做AI訓(xùn)練平臺(tái)的公司做架構(gòu)評(píng)審對(duì)方拿著一張八卡GPU服務(wù)器的結(jié)構(gòu)圖問我GPU之間能不能全部走PCIe交換不走NVLink這個(gè)問題放在三年前可能沒什么人問但在PCIe 5.0交換芯片逐漸鋪開之后它成了很多做AI集群的人必須面對(duì)的現(xiàn)實(shí)問題。先說結(jié)論P(yáng)CIe交換在AI集群里不是要不要用的問題而是怎么用、用在哪一層的問題。過去大家習(xí)慣把CPU當(dāng)成PCIe拓?fù)涞闹行腉PU、網(wǎng)卡、NVMe硬盤全部直接掛到CPU的PCIe根端口上。CPU的PCIe lane數(shù)量有限主流的服務(wù)器CPU能提供的lane數(shù)大概在64到128條之間。聽起來不少但一個(gè)x16的GPU就要吃掉16條lane一張網(wǎng)卡再吃掉16條兩塊NVMe又占掉8條很快就見底了。更麻煩的是PCIe根端口一旦分配出去拓?fù)渚突竟潭ㄏ胝{(diào)整很費(fèi)勁。AI集群的通信壓力比傳統(tǒng)業(yè)務(wù)大得多。大模型訓(xùn)練要用All-Reduce、All-to-All這類集合通信每個(gè)訓(xùn)練步都要把分布在多張GPU上的梯度數(shù)據(jù)同步一遍。算力越強(qiáng)同步數(shù)據(jù)量越大通信耗時(shí)占比就越明顯。GPU的浮點(diǎn)算力這幾年翻了好幾倍但PCIe互連如果還是老拓?fù)溆?xùn)練效率就會(huì)被“木桶效應(yīng)”拖死。PCIe 5.0把單lane速率提到32GT/sx16鏈路單向能跑到約63GB/s的有效帶寬雙向理論帶寬約126GB/s。這個(gè)數(shù)字相比PCIe 4.0翻了一倍但注意這只是鏈路本身的能力實(shí)際端到端能不能跑滿取決于拓?fù)浣Y(jié)構(gòu)、交換芯片、驅(qū)動(dòng)配置、中斷綁定等一大堆因素。很多團(tuán)隊(duì)只盯著GPU型號(hào)和網(wǎng)絡(luò)方案等到訓(xùn)練任務(wù)一跑發(fā)現(xiàn)卡間通信成了瓶頸才開始排查PCIe鏈路。這個(gè)時(shí)候往往改造成本最高。1.2 PEX89000系列是什么它到底解決了什么問題博通PEX89000系列是面向數(shù)據(jù)中心AI/ML場(chǎng)景的PCIe 5.0交換芯片。它的核心職責(zé)很簡單在PCIe設(shè)備之間做數(shù)據(jù)轉(zhuǎn)發(fā)就像網(wǎng)絡(luò)交換機(jī)在IP網(wǎng)絡(luò)里做的事一樣。設(shè)備A要往設(shè)備B發(fā)數(shù)據(jù)不必再繞道CPU根端口PEX89000直接把兩端口的通路打通實(shí)現(xiàn)P2PPeer-to-PeerDMA傳輸。這個(gè)能力對(duì)GPU互聯(lián)特別重要。GPU訓(xùn)練時(shí)的梯度同步本質(zhì)上是多張GPU之間的數(shù)據(jù)拷貝。如果沒有PCIe交換芯片數(shù)據(jù)要從GPU A拷貝到CPU內(nèi)存再通過CPU發(fā)往GPU B中間多繞了兩次延遲增加CPU也被占用。有了交換芯片GPU A的數(shù)據(jù)能直接通過PCIe交換網(wǎng)絡(luò)抵達(dá)GPU B路徑短、延遲低CPU可以騰出來干別的事。PEX89000系列的另一個(gè)特點(diǎn)是端口配置靈活。它支持把物理lane拆分成x16、x8、x4等不同寬度的端口一顆芯片可以同時(shí)接多張GPU、多塊NVMe、多張網(wǎng)卡把它們組織成一個(gè)統(tǒng)一的高速互連域。這個(gè)“扇形展開”的能力正好補(bǔ)上CPU根端口lane數(shù)量不足、拓?fù)浣┗膯栴}。還有些型號(hào)支持多主機(jī)模式和非透明橋NTB功能。通俗點(diǎn)說多主機(jī)模式允許兩顆CPU共同管理一套PCIe子系統(tǒng)NTB則讓不同主機(jī)之間通過共享內(nèi)存窗口交換數(shù)據(jù)。這兩個(gè)特性疊加意味著PEX89000不僅能做單機(jī)內(nèi)的GPU互聯(lián)還能把多臺(tái)服務(wù)器的PCIe資源池化按需分配給不同計(jì)算節(jié)點(diǎn)。市面上不少高端AI服務(wù)器和存儲(chǔ)池化方案就是拿它當(dāng)核心樞紐。1.3 為什么NVLink代表不了PCIe交換提到GPU互聯(lián)很多人第一反應(yīng)是NVLink、NVSwitch。NVLink確實(shí)是NVIDIA私有協(xié)議里性能很強(qiáng)的方案在單機(jī)八卡場(chǎng)景里GPU到GPU的帶寬能到900GB/s以上遠(yuǎn)超PCIe。但它有個(gè)前提只能用NVIDIA自己的GPU且只在NVIDIA的HGX基板里生效?,F(xiàn)實(shí)是AI集群里不只有NVIDIA卡。AMD的Instinct、Intel的Gaudi、各種國產(chǎn)加速卡都跑在PCIe生態(tài)里。即便是NVIDIA自己的方案GPU之間跑NVLink但GPU到網(wǎng)卡、GPU到NVMe存儲(chǔ)、GPU到CPU的數(shù)據(jù)通路走的依然是PCIe。換句話說PCIe互聯(lián)在AI集群里是一個(gè)繞不開的基礎(chǔ)層NVLink更像是構(gòu)建在它之上的“高速公路”。RoCE、InfiniBand這類網(wǎng)絡(luò)方案能跨節(jié)點(diǎn)傳輸延遲和帶寬也不錯(cuò)但它們屬于“機(jī)間互聯(lián)”解決的是服務(wù)器與服務(wù)器之間的通信。服務(wù)器內(nèi)部——GPU和網(wǎng)卡之間、GPU和存儲(chǔ)之間、多個(gè)加速設(shè)備之間——始終需要PCIe來完成最終的數(shù)據(jù)交付。如果把AI集群看作物流系統(tǒng)InfiniBand是城市之間的高速公路PCIe交換就是城市內(nèi)部的道路網(wǎng)。路網(wǎng)規(guī)劃不好高速公路上跑得再快下了匝道照樣堵死。所以PEX89000的定位不是替代NVLink或InfiniBand而是把機(jī)箱內(nèi)、機(jī)架內(nèi)的基礎(chǔ)互聯(lián)做扎實(shí)讓上層的高速網(wǎng)絡(luò)能夠真正發(fā)揮價(jià)值。把它加進(jìn)AI集群架構(gòu)不是多此一舉而是補(bǔ)上最容易忽略的短板。2. 用PEX89000搭GPU互聯(lián)三種可行的拓?fù)渑c選型邏輯2.1 單機(jī)多卡擴(kuò)展以PCIe交換為中心的重組方案最常見的使用場(chǎng)景是把PEX89000用在單臺(tái)8卡或4卡服務(wù)器里解決CPU根端口不夠用、拓?fù)洳混`活的問題。先看一個(gè)典型對(duì)比。沒有PCIe交換時(shí)8張GPU要直連CPUCPU必須至少有128條PCIe lane可用還得在BIOS里精心分配給網(wǎng)卡和NVMe留出位置。即便勉強(qiáng)夠用所有數(shù)據(jù)都經(jīng)過CPU根端口CPU內(nèi)部的PCIe控制器會(huì)成為瓶頸數(shù)據(jù)延遲偏高。加一顆PEX89000之后拓?fù)淇梢愿某蛇@樣CPU只出兩個(gè)x16上行端口到交換芯片PEX89000下行出8個(gè)x16端口分別接8張GPU剩余端口再接網(wǎng)卡和NVMe。GPU之間要同步數(shù)據(jù)時(shí)數(shù)據(jù)從一張GPU發(fā)出經(jīng)交換芯片直接轉(zhuǎn)發(fā)到另一張GPU完全不經(jīng)過CPU。CPU根端口只承擔(dān)控制平面和少量管理流量壓力驟減。這個(gè)方案的選型要點(diǎn)是上下行帶寬配比。8張GPU同時(shí)對(duì)CPU發(fā)數(shù)據(jù)的話兩顆x16上行總共提供約126GB/s的單向帶寬低于8張GPU的峰值總和。好在實(shí)際訓(xùn)練過程中GPU之間通信占大頭真正需要上行到CPU的流量主要是啟動(dòng)、日志、控制類消息不會(huì)持續(xù)打滿。如果你要做的是數(shù)據(jù)密集型推理或頻繁落盤的訓(xùn)練任務(wù)就得評(píng)估一下上行帶寬是否夠用必要時(shí)用兩顆PEX89000分?jǐn)傁滦性O(shè)備避免單芯片過載。2.2 多主機(jī)共享與NTB跨CPU資源池化的底子多主機(jī)和NTB是PEX89000比普通PCIe交換芯片高一個(gè)段位的能力也是構(gòu)建GPU資源池的關(guān)鍵。多主機(jī)模式簡單理解就是多個(gè)獨(dú)立的主機(jī)CPU根聯(lián)合體共享同一個(gè)PCIe交換域。傳統(tǒng)PCIe拓?fù)涫菃胃囊粋€(gè)主機(jī)管一套設(shè)備多主機(jī)模式下PEX89000通過地址路由把不同主機(jī)的訪問空間隔離開讓兩顆CPU可以各自管理一部分下游端口互不干擾。這個(gè)機(jī)制在高端存儲(chǔ)控制器、雙節(jié)點(diǎn)服務(wù)器里很有價(jià)值。NTB則更進(jìn)一步。非透明橋允許兩個(gè)主機(jī)之間建立一個(gè)共享內(nèi)存窗口主機(jī)A往這個(gè)窗口里寫數(shù)據(jù)主機(jī)B就能直接讀到不需要以太網(wǎng)或InfiniBand介入跳過了協(xié)議棧延遲可以壓到亞微秒級(jí)。在很多分布式訓(xùn)練框架里跨主機(jī)梯度同步用共享內(nèi)存做比走網(wǎng)絡(luò)快得多。不過這里要提醒一句NTB的組網(wǎng)對(duì)軟件棧要求不低。硬件只是把共享窗口搭好能不能高效利用取決于驅(qū)動(dòng)和中間件。廠商一般會(huì)提供對(duì)應(yīng)的SDK和驅(qū)動(dòng)實(shí)際部署時(shí)要把驅(qū)動(dòng)版本、內(nèi)存分配策略、NUMA感知這些細(xì)節(jié)全部對(duì)齊否則共享通道建好了應(yīng)用層不會(huì)用帶寬照樣浪費(fèi)。2.3 機(jī)架級(jí)PCIe Fabric與存儲(chǔ)池化從單機(jī)走向集群當(dāng)AI集群規(guī)模從單機(jī)擴(kuò)展到機(jī)架甚至整個(gè)機(jī)房PEX89000的角色會(huì)從“機(jī)內(nèi)交換”升級(jí)為“機(jī)架級(jí)PCIe Fabric”的節(jié)點(diǎn)。機(jī)架級(jí)PCIe Fabric的核心思路是把GPU、NVMe盤、網(wǎng)卡這些PCIe設(shè)備全部從固定的服務(wù)器里“摘”出來掛到一個(gè)由多顆PEX89000組成的交換網(wǎng)絡(luò)上再按需把它們動(dòng)態(tài)分配給計(jì)算節(jié)點(diǎn)。某臺(tái)訓(xùn)練節(jié)點(diǎn)任務(wù)量大就多分幾張GPU某臺(tái)存儲(chǔ)節(jié)點(diǎn)容量吃緊就調(diào)整NVMe資源分配。硬件利用率能從傳統(tǒng)的“買一臺(tái)服務(wù)器綁死一套資源”模式里解放出來。存儲(chǔ)池化是其中一個(gè)典型應(yīng)用。訓(xùn)練數(shù)據(jù)、模型檢查點(diǎn)、日志文件都放在集中式NVMe存儲(chǔ)池里計(jì)算節(jié)點(diǎn)通過PCIe Fabric直接訪問延遲比經(jīng)過以太網(wǎng)存儲(chǔ)網(wǎng)關(guān)低一個(gè)量級(jí)。實(shí)測(cè)下來小文件隨機(jī)讀場(chǎng)景的延遲改善尤其明顯因?yàn)閿?shù)據(jù)通路短了協(xié)議轉(zhuǎn)換少了。PEX89000在這個(gè)場(chǎng)景里往往是成對(duì)或成組出現(xiàn)的。一顆芯片作為某個(gè)區(qū)域的根交換多顆芯片之間通過高速上行鏈路相連形成一張二級(jí)交換網(wǎng)絡(luò)。拓?fù)鋸?fù)雜之后規(guī)劃變得很重要哪個(gè)區(qū)域跑GPU流量哪個(gè)區(qū)域跑存儲(chǔ)流量要不要隔離故障域都要在初始設(shè)計(jì)階段定清楚。機(jī)架級(jí)Fabray的好處是彈性好代價(jià)是規(guī)劃復(fù)雜度高沒有足夠的軟硬件調(diào)試能力不建議輕易上手。3. 32GT/s不是標(biāo)個(gè)參數(shù)就能跑信號(hào)完整性與板級(jí)設(shè)計(jì)實(shí)操3.1 信號(hào)完整性PCIe 5.0最容易被低估的一關(guān)PCIe 5.0的32GT/s速率聽起來只是比4.0翻了一倍但對(duì)硬件設(shè)計(jì)的影響是跳躍式的。信號(hào)頻率升高后PCB走線、過孔、連接器、甚至PCB板材本身的介質(zhì)損耗都會(huì)對(duì)信號(hào)質(zhì)量產(chǎn)生嚴(yán)重影響。PCIe Gen5對(duì)通道損耗的預(yù)算通常是32dB左右走線越長、損耗越大留給鏈路的余量就越小。到了這個(gè)速率普通的FR4板材和傳統(tǒng)走線工藝基本到了極限。如果你用的還是FR4、走線超過一二十英寸、中間還過了好幾個(gè)過孔眼圖大概率是閉合的鏈路要么訓(xùn)練失敗要么糾錯(cuò)計(jì)數(shù)一路飆升性能遠(yuǎn)低于預(yù)期。實(shí)際做板時(shí)我建議優(yōu)先考慮這些點(diǎn)第一PCB材料盡量用M6級(jí)別以上的低損耗板材雖然成本漲一些但信號(hào)質(zhì)量會(huì)穩(wěn)很多第二高速差分走線要盡量短從交換芯片到連接器再到GPU接口的距離能壓縮就壓縮第三過孔要背鉆減少stub對(duì)信號(hào)的反射第四做阻抗連續(xù)設(shè)計(jì)走線寬度、間距、參考平面要嚴(yán)格按照計(jì)算值來。這些工作量大但省不掉。PCIe 4.0時(shí)代很多團(tuán)隊(duì)靠多打幾塊板子調(diào)試就能硬趟過去到了Gen5幾乎不可能設(shè)計(jì)階段不留足余量后面就只能用retimer硬救。3.2 Retimer和Redriver什么時(shí)候必須加信號(hào)劣化到一定程度光靠布線優(yōu)化已經(jīng)不夠了得靠Retimer或Redriver這類信號(hào)調(diào)理芯片來“重振旗鼓”。這兩者的區(qū)別在于Redriver只是放大信號(hào)補(bǔ)償損耗噪音也一并放大Retimer內(nèi)部有CDR時(shí)鐘數(shù)據(jù)恢復(fù)電路能把信號(hào)的定時(shí)信息重新恢復(fù)效果更好延遲也略高。PEX89000到GPU之間的距離太長或者中間經(jīng)過多個(gè)連接器時(shí)不要猶豫直接上Retimer。PCIe 5.0的信號(hào)完整性余量很小靠Redriver補(bǔ)增益往往治標(biāo)不治本尤其是在鏈路兩端設(shè)備本身信號(hào)質(zhì)量一般的情況下Retimer的穩(wěn)定性優(yōu)勢(shì)非常明顯。選擇Retimer時(shí)還要注意兼容性。博通自己有配套的PCIe Retimer產(chǎn)品和PEX89000的鏈路調(diào)優(yōu)配合得比較順暢。實(shí)際部署中我遇到過國外某品牌的Retimer和交換芯片組合后鏈路訓(xùn)練成功率不穩(wěn)定的情況最后換成配套方案才解決。不是說不可以用第三方而是建議在選型階段就做交叉兼容性測(cè)試別等板子貼完再排查。3.3 一個(gè)具體參考8卡GPU服務(wù)器里怎么掛兩顆PEX89000下面舉一個(gè)當(dāng)前比較常見的部署方式給大家一個(gè)直觀感受。整機(jī)的主板分前后兩個(gè)區(qū)域??拷麮PU的位置放兩顆PEX89000CPU各出兩個(gè)x16上行分別接到這兩顆交換機(jī)。每顆交換機(jī)下行出4個(gè)x16端口接4張GPU剩下幾個(gè)x8或x4端口接NVMe盤和網(wǎng)卡。GPU的供電、散熱、結(jié)構(gòu)固定件單獨(dú)設(shè)計(jì)與交換芯片的散熱通道互不干擾。這個(gè)布局最大的好處是均衡。兩顆交換芯片各管4張GPU上行帶寬各自獨(dú)立不會(huì)出現(xiàn)8張GPU搶同一條上行通道的情況。GPU之間的東西向流量走同一顆交換芯片延遲更低南北向流量比如GPU與存儲(chǔ)盤、GPU與網(wǎng)卡也被拆到兩顆芯片上壓力分散。散熱上需要特別留意。PEX89000的功耗雖然比GPU低得多但在服務(wù)器緊湊空間里不能忽視建議給它配獨(dú)立的散熱片和風(fēng)道。如果機(jī)箱風(fēng)道設(shè)計(jì)不好交換芯片過熱會(huì)觸發(fā)降頻連帶整個(gè)PCIe交換網(wǎng)絡(luò)的延遲性能一起下降。這個(gè)坑不那么顯眼但踩到的人不少。4. 固件、BIOS和Linux讓系統(tǒng)真正認(rèn)識(shí)這顆交換芯片4.1 固件初始化端口拆分與流量類型的配置順序PEX89000不是一個(gè)插上就能用的傻瓜芯片。板上電后它需要從EEPROM讀取配置確定端口怎么拆分、每個(gè)端口的lane數(shù)、是否啟用NTB、是否開啟CXL相關(guān)功能。這個(gè)過程如果配置不對(duì)后面Linux啟動(dòng)時(shí)設(shè)備枚舉都會(huì)出問題。端口拆分的典型場(chǎng)景是一顆48端口規(guī)格的交換芯片按需求拆成3個(gè)x16端口加若干個(gè)x8、x4端口。這個(gè)映射關(guān)系在固件里定義好再通過總線枚舉讓系統(tǒng)認(rèn)到對(duì)應(yīng)的PCIe橋。拆分不對(duì)最常見的后果是某張GPU只被識(shí)別成x8鏈路帶寬折半而你在系統(tǒng)里看lspci還對(duì)不出問題。流量類型TC/VC的配置也容易被忽略。PEX89000支持多個(gè)虛擬通道可以給不同類型的流量分配不同優(yōu)先級(jí)。AI訓(xùn)練場(chǎng)景里GPU P2P通信應(yīng)該走高優(yōu)先級(jí)通道管理流量走低優(yōu)先級(jí)防止突發(fā)的管理操作擠占數(shù)據(jù)帶寬。這些配置在固件階段就要定好操作系統(tǒng)層面很難高效干預(yù)。4.2 Linux枚舉與BAR空間新手最容易翻車的地方系統(tǒng)啟動(dòng)后Linux會(huì)枚舉PCIe總線為每個(gè)設(shè)備分配內(nèi)存地址空間。PCIe交換芯片在這個(gè)環(huán)節(jié)常見的問題是下行設(shè)備太多、橋接層級(jí)太深導(dǎo)致總線號(hào)分配不夠或者BAR基地址寄存器窗口太小設(shè)備資源沖突。我遇到過最典型的卡點(diǎn)是接了多張GPU后某張卡的BAR空間無法分配導(dǎo)致GPU狀態(tài)變成“disabled”。查下來發(fā)現(xiàn)是BIOS給交換芯片root port預(yù)留的bus range太窄設(shè)備一多就不夠用。解決方法是進(jìn)BIOS手動(dòng)增大PCIe bus range或者調(diào)整交換芯片的端口拓?fù)渖疃葴p少bus資源消耗。還有一個(gè)容易被忽視的點(diǎn)PCIe交換機(jī)本身的端口會(huì)占用額外的bus號(hào)。如果一顆PEX89000下掛了很多設(shè)備bus號(hào)分配層級(jí)會(huì)比直連多好幾級(jí)對(duì)BIOS的自動(dòng)分配能力是很大考驗(yàn)。生產(chǎn)環(huán)境里不要完全依賴BIOS自動(dòng)配置手動(dòng)規(guī)劃好bus range和memory窗口更穩(wěn)妥。4.3 錯(cuò)誤處理與熱插拔故障域一定要隔離AI集群里的GPU故障率不低一臺(tái)8卡機(jī)器跑半個(gè)月壞一張卡是很正常的事。PCIe交換芯片在這里面臨的挑戰(zhàn)是當(dāng)一個(gè)下游端口上的設(shè)備出錯(cuò)時(shí)錯(cuò)誤不能擴(kuò)散到整機(jī)否則一張卡壞了整套訓(xùn)練任務(wù)都得停。PEX89000支持標(biāo)準(zhǔn)的PCIe錯(cuò)誤處理機(jī)制包括AER高級(jí)錯(cuò)誤報(bào)告、DPC下游端口包含等。DPC的作用很關(guān)鍵當(dāng)一個(gè)下游端口發(fā)生致命錯(cuò)誤時(shí)它能把該端口隔離起來阻止錯(cuò)誤報(bào)文向其他端口廣播其他設(shè)備不受影響。這樣系統(tǒng)可以嘗試重置出錯(cuò)設(shè)備或者通知管理軟件把該設(shè)備下線實(shí)現(xiàn)一定程度的故障隔離。在實(shí)際部署中建議在BIOS里把這些錯(cuò)誤處理特性全部啟用然后在Linux里配置好對(duì)應(yīng)驅(qū)動(dòng)做一輪故障注入測(cè)試。拔一張卡、模擬鏈路錯(cuò)誤觀察其他設(shè)備是否正常運(yùn)行。很多團(tuán)隊(duì)等到上線后才第一次遇到GPU卡故障然后整機(jī)PCIe總線掛死重啟都困難這種體驗(yàn)確實(shí)很痛。5. 實(shí)測(cè)性能、帶寬分配與調(diào)優(yōu)不是做了拓?fù)渚屯晔?.1 帶寬分配的現(xiàn)實(shí)聚合帶寬不等于有效帶寬PEX89000規(guī)格書上的聚合帶寬很高但“聚合”和“實(shí)測(cè)有效帶寬”是兩回事。PCIe交換芯片在內(nèi)部有仲裁機(jī)制多個(gè)下行端口同時(shí)向同一個(gè)上行端口發(fā)數(shù)據(jù)時(shí)上行端口會(huì)成為瓶頸數(shù)據(jù)得排隊(duì)。這種競爭在實(shí)際訓(xùn)練里一定會(huì)發(fā)生尤其是All-Reduce階段多張GPU要同時(shí)交換數(shù)據(jù)流量模式高度集中。所以做性能評(píng)估時(shí)不要只看單端口跑bandwidth test的峰值要看多端口同時(shí)工作時(shí)的表現(xiàn)。舉個(gè)例子某顆交換芯片單端口跑到x16單向63GB/s但8個(gè)端口同時(shí)向兩個(gè)上行端口灌數(shù)據(jù)時(shí)平均每個(gè)端口可能只能分到十幾GB/s。這是物理限制不是bug。把測(cè)試方案設(shè)計(jì)成貼近真實(shí)負(fù)載比對(duì)著規(guī)格書做期望測(cè)算有意義得多。測(cè)試工具不一定要很復(fù)雜先用常見的P2P帶寬測(cè)試工具看兩兩GPU之間的通信速率再用分布式訓(xùn)練框架的集合通信測(cè)試跑一輪觀察實(shí)際訓(xùn)練吞吐是否達(dá)標(biāo)。5.2 調(diào)優(yōu)方向TLP大小、中斷綁定與NUMA感知硬件拓?fù)浯詈弥筌浖{(diào)優(yōu)能帶來非常可觀的收益我自己的經(jīng)驗(yàn)是至少能拉開30%到50%的性能差距。第一個(gè)值得動(dòng)手的地方是Max Payload SizeMPS和Max Read Request SizeMRRS。這兩個(gè)參數(shù)分別決定了一次TLP包最多能攜帶多少數(shù)據(jù)、一次讀請(qǐng)求最多能讀回多少數(shù)據(jù)。MPS偏小會(huì)讓數(shù)據(jù)被切成太多小包協(xié)議開銷占比升高帶寬上不去MPS偏大會(huì)占用更多緩沖空間不一定兼容所有設(shè)備。建議把鏈路兩端設(shè)備統(tǒng)一調(diào)成256或512字節(jié)然后用實(shí)測(cè)結(jié)果試出最優(yōu)值。第二個(gè)關(guān)鍵是中斷綁定。多GPU訓(xùn)練的卡間通信會(huì)觸發(fā)大量完成中斷MSI/MSI-X如果中斷落在CPU的某個(gè)繁忙核心上會(huì)增加額外延遲。用irqbalance或手動(dòng)設(shè)置親和性把網(wǎng)卡和PCIe交換相關(guān)的中斷綁定到對(duì)應(yīng)NUMA node的空閑核心上訓(xùn)練吞吐會(huì)有直觀改善。第三個(gè)是NUMA感知。兩顆PEX89000分別掛在兩顆CPU下GPU和CPU之間天然有遠(yuǎn)近之分。訓(xùn)練任務(wù)的進(jìn)程、內(nèi)存頁面和GPU設(shè)備如果跨NUMA訪問性能會(huì)打折扣。啟動(dòng)訓(xùn)練框架前仔細(xì)核對(duì)GPU的拓?fù)錃w屬用NUMA綁定參數(shù)把進(jìn)程釘在正確的CPU上內(nèi)存分配策略也設(shè)置成本地優(yōu)先。5.3 觀察指標(biāo)別漏掉Corrected Errors這里分享一個(gè)很多運(yùn)維團(tuán)隊(duì)容易忽略的監(jiān)控項(xiàng)PCIe Corrected Errors。這類錯(cuò)誤不會(huì)導(dǎo)致設(shè)備掉線系統(tǒng)會(huì)自動(dòng)重傳或糾錯(cuò)業(yè)務(wù)看起來一切正常但糾錯(cuò)次數(shù)累積到一定程度說明鏈路余量不足性能已經(jīng)在悄悄下滑。用工具查看PCIe錯(cuò)誤統(tǒng)計(jì)核心關(guān)注AER的Corrected Errors計(jì)數(shù)尤其是可恢復(fù)的接收錯(cuò)誤、不良TLP這類計(jì)數(shù)。如果這些數(shù)字在持續(xù)增長需要立刻檢查鏈路訓(xùn)練狀態(tài)、信號(hào)完整性和連接器接觸情況。等設(shè)備報(bào)Fatal Error再處理往往已經(jīng)晚了。我在實(shí)際項(xiàng)目里經(jīng)??吹紾PU訓(xùn)練速度突然下降排查到最后都是PCIe鏈路誤碼率偏高系統(tǒng)在不斷重傳數(shù)據(jù)訓(xùn)練效率自然掉。所以說PCIe在AI集群里的健康度監(jiān)控應(yīng)該和GPU溫度、網(wǎng)絡(luò)丟包一樣納入日常巡檢范圍。6. 幾顆芯片部署下來我踩過的坑和最后想說的6.1 坑只改硬件不改軟件性能一樣上不去第一次把PEX89000放進(jìn)GPU服務(wù)器時(shí)我以為只要拓?fù)浯顚?duì)了系統(tǒng)就能自動(dòng)發(fā)揮全部性能。結(jié)果訓(xùn)練任務(wù)一跑All-Reduce帶寬低得讓人懷疑人生。查了一輪才發(fā)現(xiàn)驅(qū)動(dòng)里沒有開啟P2P優(yōu)化中斷全部落在CPU核心0上MPS參數(shù)也是默認(rèn)的128字節(jié)各種小包把鏈路協(xié)議開銷拉滿。經(jīng)歷這一次之后我明白PCIe交換芯片帶來的拓?fù)渥兓皇腔A(chǔ)真正把它跑出效果需要硬件和軟件協(xié)同作戰(zhàn)。拿到新硬件先花時(shí)間把所有驅(qū)動(dòng)參數(shù)、BIOS選項(xiàng)、中斷綁定策略全部過一遍用測(cè)試工具量出基線再做針對(duì)性調(diào)優(yōu)。6.2 坑過度依賴自動(dòng)化配置出了問題難定位用PEX89000搭建機(jī)架級(jí)Fabric時(shí)配置復(fù)雜度會(huì)成倍上升很多人喜歡一鍵腳本自動(dòng)化部署。自動(dòng)化本身沒問題但一旦出問題排查鏈路變得特別長。我遇到過一次端口拆分配置被某個(gè)腳本覆蓋導(dǎo)致整機(jī)PCIe枚舉混亂每一張GPU鏈路都只剩x4排查了很久才定位到是配置管理的問題。后來我堅(jiān)持把關(guān)鍵的固件配置版本化每顆交換芯片的配置都記錄在案任何改動(dòng)都留變更記錄。這套笨辦法在排障時(shí)救了我很多次比什么都靈。6.3 最后說幾句PCIe 5.0交換芯片在AI集群里的價(jià)值不只是多接幾張卡那么簡單它改變的是整個(gè)拓?fù)涞撵`活性。算力資源可以解耦、可以池化、可以按需分配這些都是過去單機(jī)直連模式給不了的。如果你正在規(guī)劃AI訓(xùn)練集群我建議不要只盯著GPU型號(hào)和高速網(wǎng)絡(luò)方案把PCIe互聯(lián)層一并納入整體設(shè)計(jì)從拓?fù)湟?guī)劃、信號(hào)完整性設(shè)計(jì)到固件配置、軟件調(diào)優(yōu)都當(dāng)作系統(tǒng)工程來做。底層的路修好了上層再快的車才跑得起來。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本不卡免费二区| 天天干天天日天天射黄色大片| 一区二区三区网站日日骚| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 91AV老熟女视频| 男人的天堂无码| 蜜乳中文字幕a在线| 96精品在线| 天天日天天射天天干| 国产精品一区二区三区在线| 国产 丝袜 欧美中文 另类| 亚洲五区熟女| 青青青国产手线观看视频2| 婷婷五月天激情小说| 国产人妻精品一区二区三区秋霞 | 婷婷亚洲综合| 天天干人妻视频| 久久久久久久综合,国产| 天天视频黄| 又黄又爽在线观看视频 | 天天射天天色成人| www九九热| 97草草| 国产网站在线播放| 日韩国产九九精品一区二区三区毛片| 日本性爱网址| 亚洲丰满很很操| 亚洲 一区二区 自拍| 精品久久大胆人体| 青娱乐欧美激情一区二区| 热久久精品| 97网色| 亚洲欧美精品一区天堂久久 | 亚洲精品电影| 亚洲第一综合| 97天天摸天天爽| 97超级久久强资源| 91精品无码久久久久久久 | 久久曰曰| 黄片免费久久久久久久| 青女偷拍网| 久久国产精品一级二级三级| 亚洲色图欧美色图另类图片| 亚洲色图加勒比| 国产h小视频在线观看免费| 人妻一区二区三区| 福利操逼| AV中文字幕三四五| 精品夜夜澡人妻无码| 免费试看60秒| 久久久99999久网站| 十八禁av无码免费网站APP| 日日日大屁股骚女人精品| 日韩亚洲国产视频| 精品久久久一本一道| 婷婷97| 国产高清自拍| 热久久无毒不卡| 黄片无码在线制服| 精品无码秘 人妻一区二区| 色哟哟国产精品免费网址| suv精产一二三区| 成人A片男人的天堂| 国产专区第一页| 丝袜视频网国产90| 偷窥自拍亚洲色图| 另类小说五月天| 久久在线观看免费视频| 亚洲诱惑天堂 | 日韩成人人妻网站| 精品国产自在在线99| 人妻丰满熟妇一区二区三| 人妻 欧美亚洲| 色噜噜国产在线| 久久五十路熟女人妻| 久久激情四射婷婷丁香五月天| 久久久久成人蜜桃精品| 少妇人妻太紧太深av| 久久激情视频| 十八禁黄色成人网站观看| 超碰在线国产| 中日亚韩免费视频| 欧美翘臀视频网站一区二区三区| 亚洲美女 晚间男人天堂| 92午夜免费福利视频| 超碰久久.com| 97视频在线免费播放| 五月丁香在线| 日韩激情中文字幕有码| 超碰95| 狠狠躁天天躁日日躁97| 欧美精品成人亚洲| 欧美日韩操逼嗦吊| 欧美另类精品xxxx| 成人av毛片在线观看| 婷婷20月天青娱乐| 91 丝袜在线观看| 9999伦理视频| 亚洲情色1区| 亚洲精品成人激情在线| 五十路六十路七十路熟婆| 欧美综合综合| #NAME?| 啊啊啊啊啊在线视频| 色综合尤物| 精品九九国产无码| 精品人妻1区| 日韩有码专区| 亚洲色狠| 九九九九热| 亚洲天天自拍| 欧美线天码中字| 欧美猛交黑寡妇中文字幕| 亚洲 欧美 天天| 性色av婷婷久久一区二区点复制| 91在线视频免费播放| 欧美精品23| 欧美中文字幕精品人妻| 色逼综合| 999精品久久久久久久| 丝袜美腿操av| 男人久久天堂| 91黄站| 91丝袜人妻| 蜜臀一二三区| 日韩有码回春沙龙第一页| 欧美色自拍| m欧洲一级午老| 嗯嗯啊啊操死我| 一二三啪啪专区| 久久大香蕉手机高清| 无码免费精品高清| 日本九九九九| 动漫爆乳3D奶水一区在线观看| 亚洲精品无码成人久久久99| 国产传媒操逼视频| 国产精品久久久久久片| 亚洲高清无码免费观看视频| 日本欧美一区二区三区免费| 欧美日韩国产高清在线一二三区| 无码乱人伦中文视频| CCYY草草影院地址入口| av在线播放国产一区| 26uuu成人影片| 26uuu欧美日韩| 亚洲精品久久久久毛片A片拉屎 | 久久久久久亚洲中文| 一二三四视频中文字幕在线看| 嫩草美女久久| 国产一区二区视频在线播放| 亚洲欧美日韩精品久久久一区二区 | 激情四射熟女丝袜| avav青青草久久夜| 亚洲美腿丝袜香蕉影视欧美成人| 96超碰网| 激情黄色片在线观看| 最近2018中文字幕在线高清第一页| 伊人天天久久动态图| 97AV在线观看| 亚洲精品尤物yw在线影院| 乱伦av麻豆| 青青操轻轻| 九九热视频在线观看| 六月丁香啪啪| 人妻在线臀日韩| 97视频7| 果冻传媒一区二区三区| 亚洲开心网| 网站A V在线| 色黄色美女大长腿午夜视频| 久视频在线观看| 夜夜爽爽夜夜精品视频| 国产乱子伦久久精品综合一区二区三| 欧美日韩亚洲一区二区在线观看| 久热大香蕉| 精品久久久久瑟瑟| 性欧美第一页| 91香蕉视频在线观看免费| 秋霞曰韩R级| 欧美日日网| 国产乱子伦一区二区三区免看| 国语少妇精| 在线看的av| 丰满人妻一区二区三区| 日本九九久久99| 清纯唯美亚洲综合| 强奸乱伦大香蕉网| 欧美精品 - 91爱爱| 亚洲国产福利视频| 国产精品一区二区亚洲人成毛片 | 蜜桃久久综合视频| 久久成人精品| 欧美五十路熟| 亚洲欧美一区二区三区在钱蜜桃| 大但人体久久久久| 国产日韩区| 中文字幕精品一区二区精品| 亚洲丰满很很操| 亚洲av成人精品一区| 人人操人人大香蕉| 91熟女少妇| 色色网91| 成人网欧美风情| av凤凰久久久| 9 9无尺码天堂网| 国产成人在线观看网址| 青青草天天亲夜夜操网| 9999九九九久久久| 国产9 9在线 | 亚洲| 欧美九9 9 9| 天美传媒精品久久视频| 精品成人动漫一区二区| 91高跟美女在线播放| 一区二区影视| 欧美综合骚| 性色综合网| 亚洲国产欧美中文永久| av草草在线电影| 久久人人爽爽人人爽人人片αV| 超碰公开久久网| 精品传媒在线一区| 黄色视频特级毛片| 综合色久| 97精品人妻一二三四| 国产精品不卡一区二区三区| 囯产精品久久久久久久久久梁医生 | 岛国999| 久久夜黄色无码A级大片| 91久久午夜无码鲁丝片久久人妻| 91精品人| 日本午夜福利视频| 日韩中文字幕国产| 啊啊啊啊啊啊啊啊啊啊在线观看| 国产福利在线视频网站| 国产视频97| 亚洲操逼网| 九九九九一区| 大奶啊啊好爽| 色综合国产在线观看| 九九视品黄色| 日韩熟女无码| 91美女視頻| 日韩 女同 综合| 亚洲成人美女无吗| 中国熟妇| 97精品国产97久久久久久免费| 久久超碰日韩精品| 精品久久久久瑟瑟| 蜜乳Av成人片网站| 蜜臀99久久精品| 亚洲欧美中文日韩视频中国语| 欧美亚洲韩国视频十五区| 簧片免费看视频| 精品美女少妇一区二区| 97干日韩| 欧美精品日韩久久久九| 中文字幕色AV| 高清不卡一二三区视频......| 国产午夜精品在线观看| 麻豆成人av| 在线无码操| 91制服丝袜| 天天干天天日天天射黄色| 操逼视频国产无套| 久九9精品| 亚洲不卡AV在线| 欧美色www亚洲国产阿娇要播| 久久m| 蜜乳av首页| 99久久精品国产系列| 午夜福利区| 99精品久久久久久久婷婷| 国产区在线| 亚洲欧美日韩有码| 亚洲九区| 成 人片 黄色大片| 日本二三四区| 欧美亚洲厕所精品偷拍91| 成人在线视频网| 人妻一区二区三区四区视频| 强奸熟女一区二区三区 | 白丝在线一区| 神马久久久久眼| 国产熟女完整版中字| 欧美激情亚洲| 精品小视频在线| 99热这里只有精品9| 无码动漫av中文字幕| 日韩av电影网站| 怡红院怡春院| 丁香五月婷婷基地| 亚洲国产一区二区入口| 秋霞色色影院| www.人人摸在线视频| 青苹果影院男人的天堂| 大香蕉九九| 免费观看国产小粉嫩喷水精品午| 99无码| wuyechaopeng| 久久久99999久网站| 中文高清一区二区的| 亚洲成人福利电影免费| 无码137片内射在线影院| 久久久久女教师免费一区 | 性色AV蜜色av色欲av| 九九九久| 久日综合网| 一道本东京热加勒比一区二区三区 | 97日视频| 青青草原人妻| 91九色首页| 黄片色区软件| 26uuu国产亚洲综合| 91精品久久久久| 久久人人爽av亚洲精品天堂桃色| 欧美91网站| 久久久久久久久久久人妻| 色啪网| 亚洲九月丁香| 人人操人人搞人人草| 最新日本中文字幕| 国产精品熟女一区二区三区| 欧美 亚洲 第一页 | 一起草视频在线| 深夜激情| 国产91丝袜 在线播放| 91色综合色| 婷婷五月天无码 | 91天堂丝袜美腿| 久草精品视频| 性交一区二区在线播放| 黑人干亚洲| 欧美乱妇狂野欧美在线视频| 欧美中文字幕一区| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 欧洲一区二区三区免费| 怡红院怡春院| 欧美白嫩女HD| 秋霞午夜视频一区二区| 成人热久久精品| 天天综合网91入口| 台湾大香蕉99热| 少妇天堂网络| 裸模AV女优| 人妻社区男人天堂| 国产亚洲色婷婷99精品91| 青青操少妇| 啊啊啊97视频| 在线播放中文字幕| 噜噜噜噜天天狠狠| 人人操人人肉久久精品| 国产JDAV无码视频在线观看| 欧美性爱精品七区| 伊人久久综合精品欧美| 亚洲欧美日韩精品久久久一区二区| 亚洲免费在线探花| 国产三区免费在线观看| 黄片不用下载在线观看| 婷婷六月天| 热天堂一区二区| 在线天堂999| 亚州色图欧美| 91精品国| 中文字幕精品探花视频| 久久无码成人| 五月婷婷AV| 日韩另类色图| 九九夜精品九九在线| AV在线资源| 粉嫩av一区二区三区四季| 人妻人久久精品中文字幕| 欧日韩一二三f区| 天堂男人网| 久热影视| 综合久久欧美| 九色97| 成人热久久精品| 操老熟女AV| 91久久婷婷| 日本黄大片在线观看视频| 神马久久久久久伦理片| 国产热RE99久久6国产精品首 | 欧美草草高清日韩视频| 2024黄色视频| 国产一区二区av综合| 91黑丝露脚| 久久欧洲| 少妇九九九九| 成人自拍三级在线观看| 99热最新| 久污| J?P?NESEHD熟女熟妇伦| 婷婷视频在线免费观看| 嗯嗯嗯嗯啊啊啊好紧好大| 亚洲爱爱视频一区二区| 伊人九九九| 亚洲 另类 丝袜 自拍 动漫| henhen91| 精品一区二区成人| 国内毛片婷婷六月色| 91在线|亚| 天天色怡春院| 啊啊啊啊操死我| 亚洲自拍天堂| 亚洲色天堂日韩中| 欧美人妻另类在线| 一区AV| 色综合久久888| 人妻 制服 日韩 中文 在线| 欧美人体性爱互联网第一页婷婷日本| 在线观看av区| 亚洲www91| 久久区| 久久久国产亚洲精品系列| 亚州精人品大香蕉| 亚洲精品97p| 日韩高清黄片| 香一区二区三区| 青青草原香蕉日本Ap| 涩涩涩综合| 色香阁在线| 欧日韩一二三f区| 免费αⅴ在线观看| 亚洲综合在线高清| 啊啊嗯嗯好爽| 婷婷精品视频| 国产精品电| 精品欧美А∨无码黑人大荫蒂| 欧亚洲精品有视频| 精品人妻一区二区三区免费视频| a天堂视频| 天堂国产AV| 91香蕉国产尤物视频| 国产又爽又黄| 美女上床网站| 精品一啪| 激情婷婷丁香| 乱伦1色页| 成人综合网 欧美| 亚洲中文字幕在现观看| 亚洲不卡AV在线| 亚洲女优有码无码高清| 麻豆国产免费影片| 伊人久大| 亚洲午夜福利视频| 久久成人精品| 亚洲色综合| 9.1小视频| 黄色小视频日本txt| 欧美aⅴ99久久黑人专区| 国产一区二区成人av在线播放| 又黑又大又粗| 日韩在线观看三级电影| 色女网日韩| 精品欧美老熟女一二区| 97色色色综合网站| 一区二区三区视频国产免费| 91色色综合| 国产精品久久久久亚洲av| 久久动漫精品视频这里只有精品| 亚洲阿v天堂无码z2018| 国产一区二区三区,在线观看观看| 中文字幕AV乱伦| 91爰爱欧美| 亚洲欧洲综合成人av一区| ai欧美亚洲小说| 亚洲啪啪视频一区二区| 天天综合站| 97人人模人人爽人人| 老熟女综合网| 欧美日韩夜夜| 中文字幕久热视频在线| 2020中文字幕在线| 久久国产视频性吧| 免费精品国偷自产在线在线| 午夜福利区| 国产操逼逼网| 国产激情在线| 2025亚洲男人天堂| 97人人操人人摸人人爱| 天天欧美| 久久骚少妇| 无码乱人伦中文视频| 999热日韩精品| 中文字暮97| 日熟女| 91亚洲狠狠色| 91人妻人人妻| 亚州操逼图| 人妻精品一区二区三区| 中文字幕天天操| 熟女人妇一区二区三区| 啊啊啊网站| 男人 天堂 日 亚洲| 人人操人人操草草| 日本不卡二区| 日韩不卡一二三四| 999狠狠综合| 国产女人和拘做爰视频| 日韩欧视频| 青青国产在线拍揄自揄拍| 激情看片网站| 丁香九月 婷婷| 欧美日韩妖精91com| 久久的网站啊啊啊啊啊| 精品成人av一区二区三区在线| 成年无码动漫av片无尽在线| 91亚.色| 日韩人妻网站| 色激情五月天| 手机在线视频国内精品| 亚洲伊人久久综合97| 玖日综合网| 中文字幕乱码人妻一区二区三区,99精品| 搡老女人老妇女AAA一VU麻豆| 欧美啪啪色吧在线| 九99久久| 亚洲色图欧美另类在线| 成人五月香网在线| 强免费黄色网址| 久久久一区二区三区三州| 97日韩超碰超碰中文字幕| 色香在线| JULIA人妻风俗店中出电影| 欧美一区二区三区日韩| 精品中文字幕第一页| 欧美极品| 亚洲se91| 熟女少妇一区二区三区| 99re6国产精品99re| 96AV久久久| 嗯啊不要啊在线| 国产99 中文字幕日韩小视频| 国产最新小视频在线播放下载| 欧美AB在线| 欧美综合综合| 97国产精选| 97超碰总站| 日日夜夜国产综合| 大香蕉十区| 天天影视网综合少妇| 国产日韩欧美三级片| 五十路三级片| 亚洲成人免费中文字幕| 高潮毛片无遮挡高清免费| 在线观看中文字幕| 色欧洲| 亚洲精品少妇| 久久久久久久97| 亚洲黄色AV电影| 夜夜夜爽www精品视频| 久久久久深夜无码| 欧美亚洲色的图| 日韩精品大香蕉伊人在线| 婷婷五月天久久精品视频一区二区三区 | 2020久久免费视频| 少妇精品久久| 亚洲成成熟女人综合一区二区| 嫩草 我啊~嗯~在线| 诱惑人妻欧美一区在线播放| 中文字幕一区二区三区人妻少妇在线| 五月香婷婷| 人妻熟女一区在| 久久99综合| 成人网址在线观看| 婷婷五月天av| 又大又白奶子| 宅男91视频在线播放| 极品色社| 亚洲综合网电影91| 99re6国产精品99re在线| 五月婷婷综合网| 色妹子A V| 日本久操视频| 嫩草 人人网精品| 夜夜狠狠躁日日躁色视频| 青青草视频在线观看一区二区| 久久久9视频| 蜜桃臀 后入 一区 二区 三区 在线| 成人夜夜爽| 99r九九| 久久亚州高清| 91久久国外网| 性欧美| 精品玖九九久| 亚洲高清视频在线免费观看| 中文字幕黄片在线| yellow网站免费观看日韩高清无码| 国产一级特黄大片处女| 亚欧视频在线| 日本综合色图| 国产天天骚| 97国产天堂岛| 国产AV线| 91熟女丨老女人| 密臀在线免费观看| 884t在线| 欧美日韩亚洲少妇寂寞影院正在播放| 精品传媒在线一区| www.yeyecao| 国产女人操逼视频| 亚洲男人的天堂亚洲| 精品人妻夜夜草| 蜜臀亚洲综合一二三四区| 嗯嗯嗯啊啊在线观看| 夜夜爽夜夜操| 99久久精品欧美国产| 91强热人妻| 加勒比大香蕉视频在线| 亚洲限制级| 91蜜臀人妻中文字幕在线| 久久东京热成人| 免费国产电影一区二区| 成年人性爱日韩| 欧美黑人性猛交91| 精品人妻一区春色| 91丨人妻丨国产丨丝袜| 日韩av不卡在线看| 日韩婷婷| 传媒免费一区二区三区| 91熟女丨老女人| 中文字幕一区二区日韩网| 日本污ww视频网站| 91最新综合| 这里都是精品| 日韩精品国产一区二区| 国产91美女高潮| 日影院久久婷婷夜夜网| 97爱| 欧美性爱另类综合| 日本99一区二区| 激情欧美97| 国产AV久久野战精品| 五月天综合在线| 亚洲性少妇| 国产福利合集| a级理论午夜日本| 麻豆天美制片厂网站视频| 99热婷婷一区二区三| 天天澡天天狠天天天做| 不卡免费av在线播放| 日韩丝袜人妻AV| 97国产|免费| 久久av一级av少妇av高潮| 久久久久久亚洲精品中文字幕人妻| 国产吹潮女在线观看| 亚洲一卡二卡在线免费| 性爱动态120秒| 91亚洲狠狠色| 思思热影视| 东北女人的毛片| 人人操人人摸人人骑| 狠狠色综合网| 国产夫妻性生活视频| 国产成人99久久亚洲综合| 色婷五月天| 骚货操死你| 日韩视频啪啪| 国产免费一区| 久久黄色性爱视频| 国产九区| 黑人精品一区二区在线播放| www.狠狠干.coom| 99re视频在线播放青草| 国产色精品午夜大片| 天天色怡春院| 亚洲精品一区二区精品| 人妻精品一区二区全免费| 中文字幕99999| 日韩欧美中文| 蜜臀aV午夜一区二区三区| 国产在线观看91精品一区| 99国产天美| 俄罗斯及免费在线看| 欧美毛片在线网| 国产精品农村妇女| 中文字幕在线观看丝袜| 五月婷婷色| 欧美色图私拍91| 麻豆国产视频精品观看| 亚洲一二三四区机械| 欧美黄色手机在线观看| 精品久一区免费| 综合亚洲欧美精品日韩?v| 欧美色偷拍| 伊人天天久久动态图| 久久久艹艹艹| 神马久久午夜| 91久久精品国产| dy888午夜老子影视达达兔 | 9999伦理视频| 84YTCOM性无码| 伊人久久国产免费观看视频| 亚洲av综合伊人久久| 亚洲综合图文| 性久久| 呻吟 欧美 日本 中出| 中文字幕日本久久| 狼人狠干| 国产a级精品| 日本性爰一道本| 亚州再线| 日本熟妇人妻中出视频| 熟妇人妻一二三区免费| …亚洲黄色厕厕女女在线播…| 日本狠狠干| 男女性无套 免费九一| 免费人人搞97| 黑人无码一区二区| 午夜噜噜噜| 2025亚洲男人天堂| 亚洲天天做日日做天天谢日日| 97 九色| 日韩无码三级影院| 少妇内射视频| 99热网站| 黄色免费一级在线毛片| 亚洲诱惑天堂 | 91色夜| 青娱乐亚洲热| 国产一区二区a毛片| 久伊人网78| 国产欧美一区二区| 免费啪啪一级视频| 亚洲黄色电影| 日韩精品人妻中文字幕久久久| 亚洲成人福利电影免费| 狠狠干91| 丰满少妇乱子伦精品无| 欧美激情视频一区二区| 啊啊啊啊啊在线视频| 丰满人妻av一区二区三区| 男人天堂欧美| 日韩精品影视| 日韩美一区| 亚洲成人精品在线一区| 亚洲97资源| 操香逼| 99热66| 日逼视频日本| 2019天天干| 久久夜精品一区二区三区| av天天在线观看| www.91逼逼.com| 日本一区二区中文字幕久久| 国偷自 一区二区| 国产白领连续中出在线观看| 五月丁香社区婷婷日韩欧美精品影院 | 国产精品97超碰| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 最新三级网址| 亚州欧美另类| AV色图| 国产无遮挡| 色久综合| 久久久久久精品免费看A级| 日韩无码一级黄色av片| 欧美同性恋 的搜索结果 - 91n| 青娱乐大香蕉| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 91视频综合在线| 天天摸夜夜摸| 91校园春色长篇| 性爱乱伦一区| 欧美亚洲第一页| 亚洲国产精品久久AV| 久久天堂网| yy少妇精品久久| 婷婷综合在线观看| 婷婷五月天社区| 国产成人精品亚洲日本| 久久久久人妻二区精品叶可怜| 日本一道在线播放高清| 日韩精品资源| julia ann久久| 青青草乱入乱欲视频在线观看| 熟妇高潮一区二区免费视频| 亚洲精品久久久久久久蜜桃臀| 日韩欧美中文日韩欧美色| 国产午夜精品理论片一二三区区| 久久久久久九| 哈哈操 大香蕉| 俺去啦自拍| 香蕉色网| 校园春色欧美| 美女91av| 久久久久久久综合,国产| 97欧美色资源| 久久草视频污视频| 久久久久78| 欧美日动态视频| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 东北老女人的激情视频| 日韩精品高清资源在线| 啊啊啊啊啊操我视频| 欧美第一页性| 亚洲情色五月天| 亚洲天堂性爱| 极品粉嫩一区二区| 国产suv精品一区二区四区999| 亚洲色天堂日韩中| 久久99热这里只频精品6学生| 99啪啪| 丁香五月色| 五月激情天| 蜜桃久久一区二区三区| 欧洲天天在线| 欧美成人精品一区二区三区| 欧洲射精91| 一区二区三区蜜桃成人撸久久东京热 | 色逼综合| 男人天堂2017| 免费观看网黄| 夜夜草我| 操逼逼中文字幕| 18禁精品网站在线看| 老司机射| 亚洲欧美中文日韩视频中国语| 日韩成人电影AV| ?亚洲伊人伊成久久人综合网| 97综合在线| 韩国黄色片精品久久久| 日本熟妇一区二区三区| 嗯……啊…嗯嗯…啊…好舒服| 人人澡综合涩| …中文字幕亚洲乱,97人妻无码费视…| 伊人96在线| 夜夜欢天天干| 97香蕉人人乳| 久久超碰av在线| 天天干夜夜操一区二区| 欧美天天弄| 操操操五月天婷婷丁香影院| 蜜乳AV一区| 麻豆国产免费影片| 北条麻妃99精品青青久久| 欧美亚洲第1页| 天天天操天天天爱| 999热这里只有精品| 成人小说另类在线| 日韩无码黄色片| 97人人操人人干| 午夜久久一区二区无码中出| 粉嫩小泬久久久一区二区| 综合情欲网| 伊人影院日本| 国产精品极品美女视频| 最新欧洲欧美日本激情网站| 久草色悠悠在线视频| 中文字幕精品亚洲熟女| 啊啊啊啊好爽好舒服一区二区易域| 一个色导综合| 一级片在线观看高清无码| 97色婷| 久久大香蕉手机高清视频| 激情视频一二三| 97色在线视频| xxx0国产在线播放| 亚洲骚女一区二区三区| 超碰97首页| 日韩欧美性吧婷婷乱伦大香蕉| 99久久婷婷丁香| 亚洲天堂人妻一区二区| 东方亚洲在线操逼天堂| 国产精品女aA片爽爽视频| 亚洲国产一级精品毛一级精品看免费视频 | 91丨九色丨熟女高潮| 久久鲁夜| 欧美人妻制服| 一起草欧美| 久久精品亚洲婷婷| 粉嫩av在线一区二区| 黄色大片一区二区密桃丝袜| 精品九九九九九九九| 78精品| 在线强奷到舒服的无码视频 | 男人的天堂久久狠| 天美传媒精品一区二区| 曰韩av中文字幕专区| 麻豆AV96熟妇人妻| 日日爱99| 欧美成人性爱视频大全| 97在线青| 黄片视频观看| 人妻啊啊人妻啊| 老色鬼成人精品视频下载大在线观看| 一区操逼| 夜夜操夜夜爽夜夜高潮| 久久久久女教师免费一区| 日本视频在线观看污污污| 香一区二区三区| 亚洲熟女人妻中文字幕一区二区| 九月丁香婷婷色| 日韩超碰精品综合| 69一区二区三区 | 青娱乐国产剧情av一区| 国内外色色色色色成人视频| 亚洲AV在线资源| 岛国色情视频在线观看| 性欧美天天| 操国产逼| 欧美午夜精品久久久久久超碰| 农村少妇久久久久久久| 国产精品自在自拍视频| 青青草玖玖爱| 波多野结衣一级视频| 日逼五月天| 欧美日韩午夜精品一区二区三区| 亚州色图第三区| 欧美综合1性辶| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 欧美成人国产精品| 97久久精品不卡| 伊人网综合在线视频| 久久一二三四五六七八九区区| 无码不卡八戒| 欧中日成人免费影视| 久久性爱视频免费看| 日韩素人无码一区二区三区三州| 精品69网| 九九综合色| 亚洲久9| 欧美亚洲激情小说| 久久六六| 天色综合网| 欧美日韩国产一区二区小黄片大全| 日本在线不卡123| 青青在线视频日韩欧美| 国产suv精品一区二区四| 亚洲国产一级黄色视频| 69综合网| 天天弄天天操| 天堂网 主播 亚洲| 天天干天天狼在线视频| 久久风骚城市| 伊人久久88国产女| 成人国产视频在线观看| 亚洲网自拍| 国产女人与拘做受视频免费| 91 亚洲情侣偷拍 久久| 91精品无码人妻系列| 丝袜美腿91| 久久久久久久久久久六六| 欧美操人视频| 天天摸夜夜操视频| 日韩中文字幕视频在线观看| av影院十区| 欧美大香蕉卡久久| 亚洲日韩视频二区| 亚洲清纯唯美| 99色| 操国产逼| 嗯嗯啊啊的视频| 影音先锋国产精品| 男女一进一出视频久久| 亚洲不卡不卡中文字幕不卡| 日韩无码三级影院| 国产精品对白自产拍| 婷婷丁香五月综合| 一个国产在线综合网站| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 天堂精品小草| 国产精品久久久三级无码| 老司机香蕉| 九久久九精品视频| 九月丁香综合网| 国产日韩怡红院| 你草精品在线视频| 俺去俺来也在线www| 中文字幕欧美日韩三级| 精品一国2| 伊人久久婷婷| 久久天天艹| 青青草在线视频美女| 大香蕉 222| 自拍偷拍2025在线观看| 大学生美女口爆| 玖玖爱伊人玖玖爱| 五月天色图影视| 国产亚洲日韩在线三区黑人| 欧美精品不卡一二三四在线91| 综精品久久久aaaa| 国产亚洲国产超碰| 99久久亚洲精品无码毛片潘甜甜| 欧洲一区二区三区四区在线观看| 亚欧精品久久久久久久久久久| 黄色AAAAAAAAAAA大片| 91久久久久久久久18| 男人把坤坤插入女人的下体| 91久久精品蜜臀| 久久亚洲AV无码专区首页| AV色女综合| 亚洲视频小说| 男人亚洲91首页在线| 性爱乱伦视频免费| 嗯嗯啊啊啊好爽| 日韩三级性| 顶级少妇BT天堂| www.婷婷| wwwxxx日本爽| 人妻一区二区三区熟女| 日本五区不卡| 国产精品久久久777| 欧美乱色| 久久免费精彩视频| 欧美性爱中文字幕无线码| 牛牛AV人人夜夜澡人人爽| 加勒比色99999| 屁股久久久久久久久| 亚洲永久永久永久永久一级一级一级精品 | 69人妻精品丰满熟女区| 欧州色图区| 亚洲人妻AV| 欧美亚洲尤物久久| 八戒午夜福利理论片| 后入综合久久| 日韩熟女视频二区| 亚洲情色一区二区三区| 91九九九馒头| 熟女人妻久久中文字幕一二区| 国产精品熟女丝袜一区二区| 性饥渴少妇av无码毛片| 少妇久久久| 久久青娱乐| 国产精品乱码久久久久久久| 91精品婷婷国产综合久久竹菊| 啊a一区在线| 麻豆久久视频在线地址| 久久久18| 99日韩| 亚洲熟女av日韩熟女| 精品人妻一区二区视频| 色色网91| 99视频这有这里有精品| 精品欧美不卡在线播放| 97超碰色| 日日摸天天爽夜夜欢| 在线洲亚线| 4tube欧美女厕所| 超碰97.com| 97在线欧| 午夜福利合集| 校园春色 亚洲| 老熟女天天操| 国语精品对白| 91 国产丝袜在线播放-百度| 日韩 女同 综合| 美女骚尻视频| 久久久天美| 欧美成人贴图| 亚洲国产日韩精品久久久| 992大香蕉| 日韩猛交| 亚洲精品久久久久毛片A片拉屎| 色噜噜狠狠色综无码久久合欧美| 天久久久噜噜噜久久国产精品爽爽 | 91人妻精华帖| 思思热久久成人| 欧美日韩 强奸乱伦| 日本日皮视频逼| 国产福利精品最新在线| 久99| 老鸭窝亚洲毛片| 国产日本熟女顶级一区二区三区视频| 久久久99久9| 亚洲官网在线| 97欧美日韩中文| 91激情国产| 男人的天堂VA| 日韩性爱啪啪视频| 免费人成在线观看网站品爱网| 日韩性爱1级片视频| av日韩在线观看电影| 91色婷婷综合久久中文字幕二区| 日韩一级片| 亚洲国产一区二区三区在线| 中 文字幕一区二区三四 五 区日 日 骚 | 欧美熟妇亚洲版| 智利AV在线网| 丰满人妻一区二区三区四区| 明星性猛交ⅹxxx乱大交| 岛国在线国产| 日本护士高潮| 校园春色制服丝袜中文字亚洲| 高清不卡一二三区视频......| 欧美情色贴图| 欧美午夜视频| 欧亚三区动漫| 国产精品久久久无码aV去| 久久精品国产亚洲AV无码做| 97人人干人人操| 黄色二级片网站| 亚洲国内精品成人不卡| 日本三级精品| 久久久99免费| 五月丁香社区婷婷日韩欧美精品影院 | 久久久一区二区| 欧美人妻少妇| 亚洲蜜乳av| 9色在线| 91网站视频在线观看| 国产精品日日摸天天碰| 久久久久久网址| 国产成人无码网站在线视频| 国产有码一区| 日韩av情韩国爱禁区av一区二区| 欧美牲| 嫖老熟女A片一二三区| 91neishe| 国内外毛片在线观看| 国产呦精品系列在线观看| 亚洲精品无码成人久久久99| 成人片在线播放| 97高清啪啪| 人妻蜜桃臀| 性色av大全| av资源在线播放天堂| 狠狠干狠狠色| 天天碰操中国年青熟妇| 91热色| 精品无码秘 人妻一区二区| 日韩,欧美,中文在线| 成人老鸭窝人人在线视频| 997色在线| 影视综合无码少妇| 婷婷色一区| 亚洲少妇激情视频| 无码人妻一区二区三区免费九色| 欧美日韩国产高清在线一二三区| 激情99| 丝袜狠狠草尤物 91| 国产家庭乱伦表演| 伊人久久88国产女| 果冻传媒A片一二三区| 国产精品情侣啪啪| 欧亚在线视频| 粉嫩AV一区夜夜嗨| 男人天堂新在线| 无码聚合| silk lablo在线观看一区二区| 蜜臀网 一区| WWW黄片COM| 亚洲无限观看| 中国AV美女| 久久婷婷一区二| 欧美美逼| 囯产操逼片| 国产精品suv一区| 亚洲无码 国产无码| 成人五月香网在线| 欧美性Fer办公室秘书| 先锋色眉乱伦资源| 97视频在| 精品玖九九久| 国产精品三级视频网站| 日韩97视频| 国产精品黄色三级av| 东京热一区二区三区四区五区六区| 亚洲全色网| 玖玖视频在线资源一区二区三区|