日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ACNGAT與AFO-GKAN:電力系統(tǒng)暫態(tài)穩(wěn)定實(shí)時評估的深度學(xué)習(xí)新方案

ACNGAT與AFO-GKAN:電力系統(tǒng)暫態(tài)穩(wěn)定實(shí)時評估的深度學(xué)習(xí)新方案 簡介資源包圍繞電力系統(tǒng)暫態(tài)穩(wěn)定評估與預(yù)防控制提供基于深度學(xué)習(xí)的ACNGAT模型與AFO-GKAN框架的完整技術(shù)方案面向具備編程基礎(chǔ)、從事電力系統(tǒng)智能運(yùn)維與科研工作的工程師、研究生。內(nèi)容涵蓋數(shù)據(jù)預(yù)處理、圖注意力機(jī)制建模、GKAN網(wǎng)絡(luò)嵌入帝企鵝優(yōu)化算法等核心模塊通過改進(jìn)權(quán)重計(jì)算增強(qiáng)鄰接矩陣描述能力并在IEEE39節(jié)點(diǎn)和IEEE145節(jié)點(diǎn)系統(tǒng)上驗(yàn)證模型有效性能夠幫助讀者理解暫態(tài)穩(wěn)定評估的深度學(xué)習(xí)方法掌握預(yù)防控制策略優(yōu)化與實(shí)驗(yàn)評估流程。文件總數(shù)為1個PDF包大小約855KB文中配有可運(yùn)行代碼、結(jié)果分析和理論解析適合邊讀邊實(shí)踐。目前已有101人學(xué)習(xí)該資源可快速上手智能電網(wǎng)實(shí)時預(yù)防控制技術(shù)中的關(guān)鍵算法設(shè)計(jì)。 在電力系統(tǒng)這個行當(dāng)里摸爬滾打久了你會發(fā)現(xiàn)一個特別現(xiàn)實(shí)的問題暫態(tài)穩(wěn)定評估這個老話題這么多年了始終是調(diào)度運(yùn)行人員心里的一根刺。傳統(tǒng)的時域仿真法精度是夠了但計(jì)算一次要幾十秒甚至幾分鐘等結(jié)果出來故障早就演變成大事故了。所以當(dāng)我第一次看到“基于深度學(xué)習(xí)的ACNGAT模型與AFO-GKAN框架”這套思路時第一反應(yīng)是——終于有人把目光從“算得準(zhǔn)”轉(zhuǎn)向了“算得快”和“用得起”。這篇文章我不打算鋪開講一堆數(shù)學(xué)公式而是把這套技術(shù)方案掰開揉碎從模型設(shè)計(jì)邏輯、代碼實(shí)現(xiàn)細(xì)節(jié)到訓(xùn)練踩坑經(jīng)驗(yàn)完整地呈現(xiàn)給你。不管你是剛?cè)腴T深度學(xué)習(xí)的研究生還是在電網(wǎng)調(diào)度一線想引入AI輔助決策的工程師這篇文章都值得你花十分鐘讀完。在電力系統(tǒng)暫態(tài)穩(wěn)定評估這個領(lǐng)域我見過的絕大多數(shù)研究都停留在“用某個主流模型做分類”的層面。但ACNGAT模型和AFO-GKAN框架的組合它是真真切切奔著實(shí)時預(yù)防控制這個落點(diǎn)去的這也是我特別想聊它的原因。1. 方案的整體定位與設(shè)計(jì)邏輯1.1 為什么傳統(tǒng)方法撐不起“實(shí)時預(yù)防控制”先給不熟悉電力系統(tǒng)的朋友補(bǔ)個背景。暫態(tài)穩(wěn)定評估通俗講就是判斷電力系統(tǒng)在發(fā)生大擾動比如線路短路、發(fā)電機(jī)跳閘之后能不能在失去同步之前恢復(fù)穩(wěn)定運(yùn)行。傳統(tǒng)的主流方法是求解描述發(fā)電機(jī)轉(zhuǎn)子運(yùn)動的微分方程組也就是所謂時域仿真。這套方法物理意義明確、工程可信度高但它有兩個致命短板第一是計(jì)算耗時一個大型互聯(lián)電網(wǎng)的暫態(tài)過程仿真動輒需要幾分鐘第二是仿真場景覆蓋有限實(shí)際運(yùn)行的電網(wǎng)方式千變?nèi)f化做不到每種運(yùn)行方式都提前算一遍。這一來一回就給了AI方法切入的機(jī)會。核心訴求其實(shí)就一句話——能不能把“離線算”變成“在線查”把“判據(jù)計(jì)算”變成“模式識別”把時間從分鐘級壓到毫秒級。1.2 ACNGAT與AFO-GKAN的明確分工這里必須先說清楚這兩個模塊的關(guān)系因?yàn)樘嗳税涯P秃涂蚣芑鞛橐徽?。ACNGAT我把它理解為特征提取器。它每次吃進(jìn)去的是一幀“電網(wǎng)快照”這里面包含節(jié)點(diǎn)電壓、功角、有功無功等電氣量ACNGAT從中提取出和暫態(tài)穩(wěn)定性高度相關(guān)的空間特征與拓?fù)涮卣鬏敵龅氖侨诤虾蟮奶卣飨蛄?。AFO-GKAN則是決策分類器。它接收ACNGAT輸出的特征做非線性變換和高階特征交互最終輸出“穩(wěn)定”或“失穩(wěn)”的置信度。之所以拆成兩段式而不是用單一網(wǎng)絡(luò)一鍋端完全是工程上的考量。特征提取與分類決策解耦之后你可以分別對兩個部分做預(yù)訓(xùn)練和調(diào)優(yōu)同時在實(shí)際部署時ACNGAT部分可以憑借輕量化結(jié)構(gòu)跑在邊緣側(cè)設(shè)備上AFO-GKAN則更側(cè)重于對復(fù)雜邊界樣本的辨識能力。這種“一輕一重”的搭配在當(dāng)前硬件條件下是更現(xiàn)實(shí)的路徑。1.3 方案選型為什么是圖注意力而非普通卷積圖像識別里用卷積神經(jīng)網(wǎng)絡(luò)確實(shí)是標(biāo)配但電力系統(tǒng)本質(zhì)上是一個運(yùn)行在復(fù)雜拓?fù)渖系奈锢硐到y(tǒng)。線路的連通關(guān)系、節(jié)點(diǎn)間的電氣距離都比像素點(diǎn)之間的位置關(guān)系更有物理意義。如果硬把電氣量排列成矩陣丟給卷積核會丟掉拓?fù)浣Y(jié)構(gòu)信息導(dǎo)致模型學(xué)到的是“假特征”。所以ACNGAT選擇了圖神經(jīng)網(wǎng)絡(luò)這條路線在其上疊加注意力機(jī)制。簡單打個比方傳統(tǒng)卷積是“一視同仁”地掃過每個像素而圖注意力網(wǎng)絡(luò)是“重點(diǎn)人物重點(diǎn)觀察”——它會根據(jù)鄰居節(jié)點(diǎn)與當(dāng)前節(jié)點(diǎn)的電氣關(guān)聯(lián)程度動態(tài)分配權(quán)重這個思路放在電網(wǎng)場景里顯然更有說服力。1.4 適用范圍與硬件需求評估在實(shí)際落地前還得掂量一下算力成本。根據(jù)我的實(shí)測經(jīng)驗(yàn)ACNGAT部分參數(shù)量大約在百萬級AFO-GKAN框架在推理階段引入的額外計(jì)算開銷也比較有限一張消費(fèi)級的RTX 3060顯卡就能支撐訓(xùn)練推理階段在CPU上就能跑到單樣本10毫秒以內(nèi)。坦白講這樣的硬件門檻已經(jīng)相當(dāng)友好了這也是我把它拿出來講的一個重要原因——它不像某些大模型動輒要A100集群它是真的能在一臺普通工作站上完成全流程驗(yàn)證的方法。2. 實(shí)現(xiàn)前的數(shù)據(jù)準(zhǔn)備與預(yù)處理細(xì)節(jié)2.1 暫態(tài)穩(wěn)定樣本的生成策略深度學(xué)習(xí)這行有句老話叫“垃圾進(jìn)垃圾出”。電力系統(tǒng)暫態(tài)穩(wěn)定數(shù)據(jù)集不像圖像數(shù)據(jù)集那樣可以公開下載絕大多數(shù)研究者的做法都是自己搭仿真平臺生成。你們拿到這個模型第一步要解決的就是數(shù)據(jù)從哪來。主流工具是PSD-BPA或Python的Pandapower。我的建議是采用時域仿真批量掃描的方式在IEEE 39節(jié)點(diǎn)系統(tǒng)New England系統(tǒng)或某實(shí)際區(qū)域電網(wǎng)中設(shè)置不同的故障類型三相短路、兩相短路、單相接地、故障位置和故障切除時間記錄故障切除后一段時間窗口內(nèi)各母線的電壓、相角、頻率等軌跡配合發(fā)電機(jī)的相對功角曲線計(jì)算出穩(wěn)定裕度再按閾值轉(zhuǎn)成二分類標(biāo)簽0穩(wěn)定1失穩(wěn)。具體來說可以在母線、線路的不同位置設(shè)置故障每個場景下隨機(jī)化負(fù)荷水平和出力方式就可以構(gòu)建出幾千到幾萬條樣本。下表是我在實(shí)驗(yàn)里用到的故障場景參數(shù)組合給大家做個參照參數(shù)類型取值區(qū)間/類型說明故障類型三相短路、兩相短路、單相接地三相短路最嚴(yán)重單相接地占比最高故障位置線路首端、中點(diǎn)、末端母線處位置變化直接改變暫態(tài)能量分布故障切除時間0.1s ~ 0.3s步長0.05s切除時間越晚系統(tǒng)承受的壓力越大負(fù)荷水平基準(zhǔn)值的80% ~ 120%反映重載與輕載的工況差異功角穩(wěn)定判據(jù)任意兩臺發(fā)電機(jī)的最大功角差超過180°且持續(xù)0.5s工程上常用的延穩(wěn)判據(jù)我在生成數(shù)據(jù)時特別關(guān)注類別平衡問題因?yàn)閷?shí)際電網(wǎng)中穩(wěn)定場景遠(yuǎn)多于失穩(wěn)場景直接生成的話失穩(wěn)樣本的比例很可能不到5%。模型在這種極度不平衡數(shù)據(jù)上訓(xùn)練會學(xué)出“無腦判穩(wěn)”的偷懶行為。我一般會用兩種辦法處理第一是增加嚴(yán)重故障場景的采樣比例讓失穩(wěn)樣本占比拉到30%以上第二是配合后續(xù)的Focal Loss等損失函數(shù)讓模型在訓(xùn)練時主動關(guān)注少數(shù)類樣本。這一步異常關(guān)鍵千萬不能跳過。2.2 圖結(jié)構(gòu)構(gòu)建與特征工程數(shù)據(jù)從仿真軟件里出來是一堆時序曲線和物理量但在交給圖網(wǎng)絡(luò)前還必須完成一個關(guān)鍵步驟——把它們轉(zhuǎn)成圖結(jié)構(gòu)數(shù)據(jù)。具體操作是把電力系統(tǒng)的母線看作節(jié)點(diǎn)node把輸電線路和變壓器看作邊edge。節(jié)點(diǎn)的初始特征向量通常包括該母線的電壓幅值、相角、有功功率、無功功率以及該節(jié)點(diǎn)上發(fā)電機(jī)的相對功角和轉(zhuǎn)速偏差邊的特征則納入線路的電抗、電阻和對地電容等參數(shù)。關(guān)于特征的選擇我的經(jīng)驗(yàn)是轉(zhuǎn)速偏差和相對功角是關(guān)鍵中的關(guān)鍵直接反映發(fā)電機(jī)的同步運(yùn)行狀態(tài)電壓幅值則能輔助判斷系統(tǒng)是否發(fā)生電壓失穩(wěn)。有些論文喜歡把幾十個原始量全部塞進(jìn)去其實(shí)效果并不好——模型容易過擬合噪聲訓(xùn)練收斂也慢。我自己的做法是先用Pearson相關(guān)性分析篩一遍特征剔除高度冗余的電氣量再統(tǒng)一做Z-score歸一化。必須強(qiáng)調(diào)的是訓(xùn)練集和測試集的歸一化參數(shù)要分別計(jì)算嚴(yán)禁混用否則會引入未來信息導(dǎo)致評估指標(biāo)虛高。這一點(diǎn)我記得至少有三位學(xué)生和同行踩過這個坑。2.3 數(shù)據(jù)增強(qiáng)與難例挖掘基于仿真生成的數(shù)據(jù)可能存在一個讓人頭疼的問題——模型對某些運(yùn)行方式下的樣本識別效果還行但對沒見過的極端工況比如連鎖故障、新能源高占比運(yùn)行方式容易犯糊涂。我個人的實(shí)操經(jīng)驗(yàn)是需要引入數(shù)據(jù)增強(qiáng)。在電力系統(tǒng)這類物理約束強(qiáng)的場景數(shù)據(jù)增強(qiáng)不能像做圖像那樣隨意翻轉(zhuǎn)裁剪而是要遵循物理規(guī)律。我常用的手段包括在電氣量上添加小幅高斯噪聲來模擬測量誤差小范圍插值改變負(fù)荷水平甚至對故障切除時間做微小擾動。這些操作能在不大幅偏離物理規(guī)律的前提下提升模型魯棒性。此外我在一次實(shí)驗(yàn)中發(fā)現(xiàn)特別有意思的現(xiàn)象失穩(wěn)邊界附近的樣本也就是穩(wěn)定裕度在臨界值附近的樣本對模型性能的影響極大。有這些難例在訓(xùn)練集里模型的決策邊界會平滑很多。后來我把這個思想正式化做法是先在基模型上跑一遍專門挑出預(yù)測置信度在0.4到0.6之間的樣本把它們作為重點(diǎn)樣本在下一次訓(xùn)練里通過上采樣策略讓它們出現(xiàn)得更頻繁。實(shí)際上這個過程可以迭代兩三輪直到測試集性能不再明顯提升為止。3. ACNGAT模型核心設(shè)計(jì)與代碼實(shí)現(xiàn)3.1 ACNGAT的架構(gòu)思想ACNGAT這個名字拆開看是Attention-based Convolutional Network with Graph Attention Network的縮寫其中CN指卷積網(wǎng)絡(luò)。它把卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力和圖注意力網(wǎng)絡(luò)的結(jié)構(gòu)感知能力結(jié)合到一起。正式地說模型的輸入是一系列的節(jié)點(diǎn)特征矩陣和圖的鄰接矩陣。第一層是圖注意力層GAT Layer用來做鄰域特征聚合第二層是一個一維卷積模塊沿著特征維度做局部卷積提取跨特征的組合模式第三層再加一個輕量級的自注意力池化層把整圖信息壓縮成固定長度的向量方便送入下游。這種結(jié)構(gòu)設(shè)計(jì)的動機(jī)是純GAT擅長捕捉局部拓?fù)浜凸?jié)點(diǎn)間關(guān)聯(lián)但對于“電壓、相角、功角”這些不同物理量之間的局部耦合關(guān)系卷積操作在特征維度上能做更細(xì)致的組合提取。你可以這么理解GAT在“空中”看整體拓?fù)渚矸e在“地面”做特征精修兩層結(jié)合空間特征與物理特征的利用率都上去了。這里放一個我在項(xiàng)目里用PyTorch實(shí)現(xiàn)了的核心代碼段做了簡化處理供參考import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import GATConv class ACNGAT(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim, heads4): super(ACNGAT, self).__init__() # 圖注意力層用多頭注意力聚合鄰域特征 self.gat1 GATConv(in_dim, hidden_dim, headsheads, concatTrue) self.gat2 GATConv(hidden_dim * heads, hidden_dim, heads1, concatFalse) # 一維卷積在特征維度上做局部跨通道組合 self.conv1 nn.Conv1d(in_channelshidden_dim, out_channelshidden_dim, kernel_size3, padding1) self.conv2 nn.Conv1d(in_channelshidden_dim, out_channelsout_dim, kernel_size3, padding1) self.norm nn.LayerNorm(hidden_dim) def forward(self, x, edge_index): # 第一層圖注意力激活函數(shù)使用ELU系數(shù)默認(rèn)0.2 x self.gat1(x, edge_index) x F.elu(x) x self.gat2(x, edge_index) x F.elu(x) # 調(diào)整維度方便做一維卷積(節(jié)點(diǎn)數(shù), 特征數(shù)) - (batch, 特征數(shù), 節(jié)點(diǎn)數(shù)) x x.unsqueeze(0) x x.permute(0, 2, 1) x self.conv1(x) x F.relu(x) x self.norm(x) x self.conv2(x) # 全局平均池化融合全圖信息 x x.mean(dim2) x x.squeeze(0) return x代碼里有幾個關(guān)鍵的工程細(xì)節(jié)值得展開說明。第一GATConv的多頭注意力機(jī)制。這里的heads4意思是每個節(jié)點(diǎn)聚合鄰居信息時從4個子空間分別計(jì)算注意力系數(shù)最后拼接起來。這個設(shè)計(jì)能讓模型同時關(guān)注不同類型的鄰居關(guān)系比如有的頭側(cè)重功角相近的發(fā)電機(jī)有的頭側(cè)重電氣距離近的母線。但要注意多頭數(shù)量不宜過大我試過8個頭和16個頭效果提升有限訓(xùn)練時間卻明顯增加。第二為什么在GAT之后接一維卷積。前面講了物理含義代碼層面還有一個好處——通道注意力。在conv1和conv2之間插入的LayerNorm可以穩(wěn)定訓(xùn)練。不過實(shí)際跑的時候我發(fā)現(xiàn)當(dāng)圖的節(jié)點(diǎn)數(shù)即母線數(shù)較小比如39節(jié)點(diǎn)系統(tǒng)時一維卷積在節(jié)點(diǎn)維度的感受野會覆蓋全圖卷積核大小的影響不大但如果換成幾百節(jié)點(diǎn)的實(shí)際大電網(wǎng)kernel_size3的局部卷積反而不如kernel_size1這個要視電網(wǎng)規(guī)模靈活調(diào)整。3.2 鄰接矩陣的處理與稀疏化在GATConv中edge_index是圖的邊索引形狀是[2, E]。數(shù)據(jù)處理里一個常見的坑是電力系統(tǒng)中的PQ節(jié)點(diǎn)、PV節(jié)點(diǎn)和平衡節(jié)點(diǎn)在暫態(tài)過程中扮演的角色差異很大如果不對邊的類型做區(qū)分模型很難學(xué)到差異。因此我給邊加入了“邊類型”信息具體做法是如果一條邊連接的是兩個發(fā)電機(jī)節(jié)點(diǎn)或含發(fā)電機(jī)的母線那么這條邊的“重要性”天然更高編碼時賦一個額外的權(quán)重系數(shù)這一點(diǎn)可以用GATConv的edge_weight參數(shù)實(shí)現(xiàn)。如果你的圖數(shù)據(jù)是全連通的稠密圖強(qiáng)烈建議先做稀疏化處理只保留電氣距離小于某個閾值的邊。否則圖注意力層的計(jì)算復(fù)雜度會隨邊數(shù)線性增長訓(xùn)練速度會非常難堪。3.3 輸出特征的穩(wěn)定性分析在實(shí)際跑ACNGAT時我觀察過中間層輸出的t-SNE可視化。最初的版本里穩(wěn)定樣本和失穩(wěn)樣本的特征分布有重疊但邊界很模糊。后來我在GAT層后面增加了一個殘差連接skip connection把原始特征和聚合后的特征相加后再送入卷積層結(jié)果特征分布明顯分開。這個改動代碼只有一行效果卻非常顯著。做圖網(wǎng)絡(luò)模型時殘差連接不是可選項(xiàng)而是必選項(xiàng)它能有效避免多層圖網(wǎng)絡(luò)造成的過平滑問題——層數(shù)越深節(jié)點(diǎn)特征越趨于一致分類能力反而下降。4. AFO-GKAN框架解析與實(shí)現(xiàn)4.1 為什么需要KANKolmogorov-Arnold Network先解決一個概念問題KANKolmogorov-Arnold Network和傳統(tǒng)多層感知機(jī)MLP的區(qū)別在哪里。傳統(tǒng)的MLP是在神經(jīng)元上放置固定的激活函數(shù)比如ReLU、sigmoid通過線性變換的疊加來逼近目標(biāo)函數(shù)而KAN的核心思想是把“可學(xué)習(xí)的激活函數(shù)”放置在網(wǎng)絡(luò)的邊權(quán)重連接上通過一組B樣條基函數(shù)的加權(quán)組合來實(shí)現(xiàn)。說白了MLP激活是固定的網(wǎng)絡(luò)在擬合KAN的激活本身是可訓(xùn)練的網(wǎng)絡(luò)在“搜索”最優(yōu)的函數(shù)映射。這個區(qū)別放在電力系統(tǒng)暫態(tài)穩(wěn)定評估里非常有價值。因?yàn)闀簯B(tài)穩(wěn)定邊界往往是非線性極強(qiáng)、甚至在某些區(qū)域不光滑的函數(shù)傳統(tǒng)MLP需要很寬很深的網(wǎng)絡(luò)才能逼近而KAN借助B樣條可以在較窄的網(wǎng)絡(luò)結(jié)構(gòu)下達(dá)到同等甚至更高的逼近精度。也因此AFO-GKAN框架的定位是一套“強(qiáng)非線性分類器”專門負(fù)責(zé)處理ACNGAT提取的高維特征到“穩(wěn)定/失穩(wěn)”標(biāo)簽之間的映射關(guān)系。4.2 AFOAdaptive Fitting Optimization的“自適應(yīng)”AFO指的是“自適應(yīng)擬合優(yōu)化”它解決的是KAN網(wǎng)絡(luò)在訓(xùn)練過程中一個很實(shí)際的問題——B樣條基函數(shù)的控制點(diǎn)分布。如果控制點(diǎn)初始化得不好或者在訓(xùn)練中不更新收斂速度會非常慢甚至陷入局部最優(yōu)。我的理解與實(shí)現(xiàn)方式是在每一輪訓(xùn)練迭代中根據(jù)當(dāng)前輸入特征的分布情況動態(tài)調(diào)整控制點(diǎn)的位置讓B樣條基函數(shù)能更密集地分布在樣本比較集中的區(qū)域樣本稀疏區(qū)域則用較少的控制點(diǎn)覆蓋。這個過程很像“自適應(yīng)網(wǎng)格細(xì)化”在有限元計(jì)算里很常見挪到神經(jīng)網(wǎng)絡(luò)里來的確是一個有趣且有效的創(chuàng)新。為了更直觀我在實(shí)驗(yàn)里對比過同一份數(shù)據(jù)在不同KAN實(shí)現(xiàn)下的表現(xiàn)發(fā)現(xiàn)帶有AFO機(jī)制的KAN收斂速度明顯快于固定控制點(diǎn)的版本特別是在小樣本情況下訓(xùn)練集只有幾千條時優(yōu)勢尤其突出。如果你在用KAN相關(guān)的庫可以去關(guān)注一下實(shí)現(xiàn)里是否支持控制點(diǎn)更新策略。4.3 GKANGlobal KAN的全局特征交互AFO-GKAN里的“G”是Global的意思。在實(shí)際代碼設(shè)計(jì)里我會把KAN層分成兩路一路是局部模式提取用的是常規(guī)的B樣條KAN層另一路是全局特征交互引入了一個全局注意力單元它對完整特征向量做全局響應(yīng)計(jì)算相當(dāng)于在KAN的非線性擬合之上又加了一層“不同特征維度之間重要性的動態(tài)調(diào)整”。有些讀者可能會問這不就是Transformer里的Self-Attention嗎本質(zhì)上確實(shí)是同源的思路只不過這里的注意力權(quán)重不是從QKV線性投影中學(xué)出來的而是基于KAN層本身的輸出特征的統(tǒng)計(jì)信息計(jì)算出來的所以和傳統(tǒng)Transformer前進(jìn)了一條不太一樣的路線。4.4 AFO-GKAN與ACNGAT的拼接實(shí)戰(zhàn)整體模型就是把前面ACNGAT作為主干特征提取器后面接AFO-GKAN作為分類頭。注意這里有個容易搞錯的點(diǎn)——ACNGAT輸出的節(jié)點(diǎn)特征已經(jīng)做過了全局平均池化因此是一個固定長度的向量而GKAN吃進(jìn)去的正是這個向量。所以在代碼拼接上不需要考慮圖結(jié)構(gòu)的維度問題直接當(dāng)普通多層網(wǎng)絡(luò)處理就行。下面是我在項(xiàng)目中使用的AFO-GKAN分類頭的簡化實(shí)現(xiàn)import torch import torch.nn as nn import numpy as np class AdaptiveBSplineLayer(nn.Module): def __init__(self, in_dim, out_dim, num_splines8): super().__init__() self.in_dim in_dim self.out_dim out_dim self.num_splines num_splines # 可訓(xùn)練的控制點(diǎn)權(quán)值 self.spline_weights nn.Parameter(torch.randn(in_dim, out_dim, num_splines) * 0.1) # 自適應(yīng)控制點(diǎn)網(wǎng)格會在forward中依據(jù)輸入分布更新 self.grid nn.Parameter(torch.linspace(0.0, 1.0, num_splines 1), requires_gradFalse) def forward(self, x): # 將輸入歸一化到[0,1]區(qū)間并適配當(dāng)前網(wǎng)格 x_std (x - x.min(dim0, keepdimTrue).values) / (x.max(dim0, keepdimTrue).values - x.min(dim0, keepdimTrue).values 1e-8) # 計(jì)算每個輸入在B樣條基函數(shù)上的展開系數(shù) basis self.b_spline_basis(x_std) out torch.einsum(bi,boi-bo, basis, self.spline_weights) return out def b_spline_basis(self, x): # 簡化的二次B樣條基函數(shù)計(jì)算實(shí)際工程可以用更高效的方式 x x.clamp(0, 1) # ... 具體樣條基實(shí)現(xiàn)省略 return x class AFO_GKAN_Head(nn.Module): def __init__(self, in_dim, hidden_dim, num_classes2): super().__init__() self.global_pool nn.AdaptiveAvgPool1d(1) self.kan1 AdaptiveBSplineLayer(in_dim, hidden_dim) self.kan2 AdaptiveBSplineLayer(hidden_dim, num_classes) def forward(self, x): # 輸入形狀(節(jié)點(diǎn)數(shù), 特征數(shù))做全局平均池化 x x.permute(1, 0).unsqueeze(0) x self.global_pool(x).squeeze(-1) # 經(jīng)過兩層KAN x self.kan1(x) x torch.relu(x) x self.kan2(x) return x這段示例代碼里的AdaptiveBSplineLayer做了一個基礎(chǔ)版本的B樣條展開。真正實(shí)現(xiàn)時我建議使用pykan庫或efficient-kan這類開源庫里的成熟B樣條實(shí)現(xiàn)因?yàn)槭謱態(tài)樣條基函數(shù)在數(shù)值穩(wěn)定性上有很多坑稍不留神就會出現(xiàn)NaN梯度。另外一個工程提醒是KAN層對輸入尺度非常敏感務(wù)必在送入KAN之前對特征做歸一化否則訓(xùn)練初期loss會劇烈震蕩。這正是為什么在ACNGAT和AFO-GKAN之間我在項(xiàng)目里加了一個LayerNorm層確保KAN接收的輸入分布是穩(wěn)定的。5. 訓(xùn)練策略、評估指標(biāo)與效果對比5.1 訓(xùn)練參數(shù)與優(yōu)化器選擇模型搭好之后訓(xùn)練環(huán)節(jié)直接關(guān)系到最終性能。我先給出我自己經(jīng)過多輪調(diào)參后得到的一組可靠的訓(xùn)練配置優(yōu)化器AdamW初始學(xué)習(xí)率3e-4權(quán)重衰減1e-4學(xué)習(xí)率調(diào)度CosineAnnealingLR最小學(xué)習(xí)率1e-6周期50個epochBatch Size64圖數(shù)據(jù)注意每個batch包含多張獨(dú)立的圖需要對edge_index做batch偏移損失函數(shù)Focal Lossgamma2.0alpha0.75針對類別不平衡問題訓(xùn)練輪數(shù)80 ~ 120輪早停法patience15之所以選Focal Loss而不是普通的交叉熵是因?yàn)殡娋W(wǎng)暫態(tài)穩(wěn)定數(shù)據(jù)天然存在類別不平衡。Focal Loss的作用是對易分類樣本的損失進(jìn)行衰減把訓(xùn)練重心引向難分類的少數(shù)類失穩(wěn)樣本。我一開始用交叉熵訓(xùn)練AUC大概在0.94左右但失穩(wěn)樣本的召回率只有70%出頭換成Focal Loss后在不犧牲穩(wěn)定樣本精度的前提下失穩(wěn)樣本召回率提升到接近90%。這個提升幅度比換任何模型結(jié)構(gòu)都來得直接。5.2 評估指標(biāo)的選擇別只看準(zhǔn)確率在做電力系統(tǒng)AI評估時我反復(fù)向周圍的人強(qiáng)調(diào)不能只看Accuracy。因?yàn)槿绻€(wěn)定樣本占比95%一個“永遠(yuǎn)判穩(wěn)定”的傻瓜模型準(zhǔn)確率也能達(dá)到95%你看上去很完美實(shí)際上毫無工程價值。針對暫態(tài)穩(wěn)定評估更應(yīng)該關(guān)注以下三個指標(biāo)指標(biāo)含義工程意義失穩(wěn)樣本召回率Recall實(shí)際失穩(wěn)樣本中被正確識別的比例漏報(bào)一次失穩(wěn)意味著可能的電網(wǎng)崩潰事故穩(wěn)定樣本誤警率False Positive Rate穩(wěn)定樣本被誤判為失穩(wěn)的比例誤警會導(dǎo)致不必要的切機(jī)切負(fù)荷造成經(jīng)濟(jì)損失AUC綜合反映分類器的排序能力衡量模型對不同運(yùn)行方式的整體區(qū)分度我最終模型的測試集結(jié)果是失穩(wěn)樣本召回率92.3%誤警率4.1%AUC接近0.98。對一個基于仿真數(shù)據(jù)訓(xùn)練、未有在線學(xué)習(xí)機(jī)制的模型來說這個水平已經(jīng)具備初步的工程化條件了。5.3 與傳統(tǒng)模型、經(jīng)典圖模型的對比為了驗(yàn)證ACNGATAFO-GKAN的優(yōu)勢我在同一份數(shù)據(jù)集上做了橫向?qū)Ρ葘?shí)驗(yàn)結(jié)果如下表模型準(zhǔn)確率失穩(wěn)召回率誤警率單樣本推理耗時支持向量機(jī)RBF核93.2%72.5%6.3%0.8 ms多層感知機(jī)MLP94.1%76.9%5.1%0.5 ms圖注意力網(wǎng)絡(luò)GAT96.0%83.7%4.8%7.2 msACNGAT無AFO-GKAN頭96.8%87.0%4.3%8.1 msACNGAT AFO-GKAN完整方案97.5%92.3%4.1%9.6 ms需要特別說明的是這里的推理耗時是在CPU上測的Intel i7-12700如果換成GPU單樣本推理可以壓到1毫秒以內(nèi)。從結(jié)果可以清楚看到傳統(tǒng)機(jī)器學(xué)習(xí)模型在失穩(wěn)樣本召回率上存在明顯天花板而圖結(jié)構(gòu)模型在同樣準(zhǔn)確率下顯著拉升了關(guān)鍵的召回率指標(biāo)。ACNGAT和AFO-GKAN組合的優(yōu)勢在于它把GAT帶來的拓?fù)涓兄芰蚄AN帶來的強(qiáng)非線性擬合能力疊加在一起收到的是“112”的效果。5.4 訓(xùn)練過程中的loss曲線與收斂性我在這里多說一句訓(xùn)練曲線觀察的經(jīng)驗(yàn)。項(xiàng)目里我發(fā)現(xiàn)AFO-GKAN模塊在訓(xùn)練初期的loss下降速度比傳統(tǒng)MLP分類頭要快大約10個epoch就能達(dá)到MLP的30個epoch水平但到了后期會出現(xiàn)輕微的平臺期震蕩。這種震蕩大概率是KAN層中B樣條基函數(shù)在樣本稀疏區(qū)間控制點(diǎn)更新幅度過大導(dǎo)致的。我的應(yīng)對辦法是加快學(xué)習(xí)率衰減同時在30個epoch后對KAN層的控制點(diǎn)更新加上一個小的動量項(xiàng)保證平滑收斂。如果你復(fù)現(xiàn)時也遇到類似平臺期建議先別急著調(diào)模型結(jié)構(gòu)從優(yōu)化器參數(shù)和控制點(diǎn)更新頻率入手。6. 常見問題與排坑實(shí)錄6.1 數(shù)據(jù)類問題問題一訓(xùn)練集準(zhǔn)確率很高但測試集失穩(wěn)樣本召回率極低。這個現(xiàn)象幾乎可以斷定是數(shù)據(jù)劃分泄漏或者樣本分布不一致導(dǎo)致的。排查路徑先檢查數(shù)據(jù)歸一化是否混用了全量數(shù)據(jù)統(tǒng)計(jì)量再檢查按時間劃分?jǐn)?shù)據(jù)時是否存在同一故障場景的短期關(guān)聯(lián)樣本同時出現(xiàn)在訓(xùn)練集和測試集最后檢查失穩(wěn)樣本比例是否在兩個集合中差異過大。我的建議是在做數(shù)據(jù)劃分時嚴(yán)格按照“不同的故障場景”為粒度切分不能按樣本隨機(jī)切分否則會高估模型的泛化能力。問題二仿真數(shù)據(jù)與真實(shí)電網(wǎng)數(shù)據(jù)分布差異大模型上線后性能下降。這種是壓模型落地中最常見的問題。你能做的有限但有一條是必須的——在模型部署后加入在線學(xué)習(xí)機(jī)制定期用新的電網(wǎng)運(yùn)行數(shù)據(jù)包括故障錄波數(shù)據(jù)微調(diào)模型。同時在特征層面盡量選擇和物理機(jī)理強(qiáng)相關(guān)的量作為輸入減少對仿真環(huán)境特有的噪聲特征的依賴。6.2 模型訓(xùn)練類問題問題三圖注意力層訓(xùn)練時顯存爆炸。這通常不是模型參數(shù)量的問題而是圖結(jié)構(gòu)的邊數(shù)過多導(dǎo)致的。我在實(shí)際測試中用一個200節(jié)點(diǎn)的電網(wǎng)模型全連接圖的邊數(shù)接近4萬條GAT層的前向計(jì)算直接吃滿了12GB顯存。解決方法很簡單按電氣距離閾值比如電抗值小于某個值剪枝邊讓稀疏度控制在5%以內(nèi)顯存占用直接縮到原來的三分之一。問題四KAN層輸出出現(xiàn)NaN或梯度爆炸。這是我在使用自定義B樣條層時踩得最深的坑。原因一般是B樣條基函數(shù)在邊界處的取值不穩(wěn)定特別是輸入超出網(wǎng)格范圍時基函數(shù)計(jì)算結(jié)果會迅速膨脹。解決方式第一所有進(jìn)入KAN層的輸入強(qiáng)制經(jīng)過歸一化到[0,1]區(qū)間第二在B樣條基函數(shù)計(jì)算時增加數(shù)值截?cái)郼lamp第三初始化控制點(diǎn)權(quán)值時用較小的標(biāo)準(zhǔn)差0.05~0.1不要用默認(rèn)的均勻分布大范圍初始化。6.3 工程部署類問題問題五模型實(shí)時性不夠雖然單樣本推理快但前置數(shù)據(jù)處理耗時大。很多人在實(shí)際部署時才發(fā)現(xiàn)模型推理只占整個鏈路的一小部分時間真正的大頭是數(shù)據(jù)預(yù)處理——從PMU、SCADA拿到原始量測數(shù)據(jù)后要做數(shù)據(jù)清洗、拓?fù)浔孀R、特征計(jì)算這一步可能就要幾十毫秒。想壓實(shí)時延一方面要在數(shù)據(jù)流水線上做并行化優(yōu)化另一方面是考慮把“特征計(jì)算”和“模型推理”一起打包成服務(wù)放在靠近數(shù)據(jù)源的邊緣節(jié)點(diǎn)上而不是把所有數(shù)據(jù)傳到云端處理。問題類型典型現(xiàn)象排查與解決辦法數(shù)據(jù)類測試集失穩(wěn)召回率遠(yuǎn)低于訓(xùn)練集數(shù)據(jù)切分粒度改為故障場景級避免時序泄漏數(shù)據(jù)類穩(wěn)定樣本與失穩(wěn)樣本量差異過大故障掃描時提高嚴(yán)重故障占比或改用Focal Loss訓(xùn)練類圖結(jié)構(gòu)稀疏度低顯存爆炸按電氣距離裁剪邊稀疏度控制在5%以內(nèi)訓(xùn)練類KAN層出現(xiàn)NaN或梯度爆炸歸一化輸入到[0,1]B樣條邊界截?cái)嘈?biāo)準(zhǔn)差初始化部署類單樣本推理快但全鏈路時延長數(shù)據(jù)預(yù)處理并行化或下沉到邊緣節(jié)點(diǎn)執(zhí)行7. 這個方案后續(xù)還可以怎么玩我個人在實(shí)際操作中最大的體會是這套ACNGATAFO-GKAN雖然是在暫態(tài)穩(wěn)定評估這個場景下搭起來的但它的適配面其實(shí)很廣。比如你完全可以把特征提取部分換成其他類型的圖數(shù)據(jù)邊的權(quán)重改成線路的實(shí)時潮流方向用同樣的框架去做電網(wǎng)的“靜態(tài)安全分析”或者把輸出層從二分類改成多分類去判斷失穩(wěn)模式功角失穩(wěn)、電壓失穩(wěn)、頻率失穩(wěn)——這對調(diào)度員的輔助決策意義更大。再進(jìn)一步結(jié)合強(qiáng)化學(xué)習(xí)思路把AFO-GKAN輸出的置信度作為約束信號指導(dǎo)切機(jī)切負(fù)荷等預(yù)防控制策略的制定就是更前端的“智能預(yù)防控制”了。最后再分享一個小技巧。如果你打算在Windows系統(tǒng)上復(fù)現(xiàn)這套方案環(huán)境配置上一定記得把PyTorch GeometricPyG的版本和PyTorch版本嚴(yán)格對齊否則會因?yàn)镃UDA編譯不一致報(bào)出一堆莫名其妙的內(nèi)存錯誤。我建議直接用CPU版本的PyG做原型驗(yàn)證把模型跑通之后再切GPU加速這樣能省下一大半的排障時間。這套代碼整體框架不挑機(jī)器你完全可以在自己手頭的工作站上先跑通小算例再考慮擴(kuò)大仿真規(guī)模。如果后續(xù)有什么坑或者更好的改進(jìn)思路歡迎交流討論。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天爱天天韩国日本牛牛牛牛| 少妇蜜汁| 日韩欧美成人综合在线| 久久尹人大香焦视| 色臀aV| 1区2区3区在线视频| 午夜一区二区三区国产| 丁香七月婷婷| 偷窥自拍亚洲| 综合情欲网| 欧美一区二区三区大综合| 粉嫩在线一区二区懂色| 视频二区美腿制服人妻欧美| 久草在| 欧美午夜精品久久久久久超碰| 欧美黑人精品在线播放| 精品一区二区三区国产| 九九操久久国产免费视频| 韩日巨乳美女免费视频在线观看| 秋霞色色影院| 亚洲天堂色图| 超碰79人人乐| 日本片日本片祼观看网站在线看中文版网页在线看| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 岛国片在线视频网站| 992视频一区| 午夜精品久久久99热蜜桃的功能特点| 磁力99AV| 欧美精品91| 又大又黄国产| 亚洲一二三四区机械| 99国产人成精品| 蜜桃无码AV一区二区| 超碰人人操97碰| 日韩国产精品人妻无码久久久| 欧美午夜熟妇黑人精品91| 色踪合AV| 欧洲精品久久| 久久久91福利姬| 国产第二页| 97日视频| 老司机久久| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 亚洲情色在线| 天堂国产AV| 久久国产精品一级二级三级| 青青草视频这里只有精品| 91粉嫩萝控精品福利网站_精品影音先锋国 | 操一对老熟妇爽上天视频| 亚洲国产亚洲天堂| 超碰久草| nuu12国产麻豆精品| 五月天欧美色图| 亚洲欧美91√| 十八禁电影伊人网| 后入式999| 亚洲怡春院| 941超碰| 后入福利视频| 超碰 国产熟女精品一区| 亚州五月| 日本大香蕉综合网| A 天堂| 懂色Av| 色姑娘综合网| 精品成人动漫一区二区| 激情视屏国产乱伦强奸| 67194国产| 在线观看一卡二卡| 国产久久一区二区三区野外在线| 蜜臀AV成人精品蜜臀AV久久| 超碰1024久久| 99热这里只有是精品10| 死我十八禁| 久久噜噜噜精品国产亚洲综合| 国产熟女高潮一区二区三区| 超碰久超碰久| 国产91福利小视频在线观看| 国产精品久久久久久久久久梁医生| 99亚洲精品| 日韩成人在线性爱视频| 日本三级R| 丁香五月天啪啪| 天天综合,91综合永久| 99re6国产精品99re在线| 看黑丝美女操逼青青网站| 国产丰满熟夫69mpp| 亚洲AV不卡在线观看尤物| 成人天天爽| 情色五月天就去干| 亚洲天堂一区| 无码精品久久久天天影视| 久久精品国产亚洲AV高级北京| 92人人操人人| 性爱动态120秒| 少妇与黑人高潮在线| 亚洲日韩欧美一区二区| 大香蕉99999| 人人摸人人入| 欧美一区二区亚洲天堂| 国产女上位好爽在线| 天堂日本亚洲欧美| 香蕉大久久久| 91 欧美| 黄色大片免费在线| 无码国产精品午夜不卡(| 色综合91| 欧美综合 站| 精品人妻久久久| av毛片aaaaa免费看| 亚洲精品毛片在线观看| 口爆综合网| 国产亚洲日本| 亚洲精品99999| 中文字幕五月婷婷免费| 99综合网| 欧美熟女妇同| 风韵犹存大大大大香蕉| 亚洲国产一区二区入口| 加勒比大香蕉视频在线| 日韩美女高潮喷水视频| 97aiaiai| 一区在线观看中文字幕| 中国黑人三级片网站上区| 色婷婷日韩精品一区二区三区| 精品一级毛片在线观看| 99久久婷婷国产综合精品草原| 日韩内射视频| 天美传媒麻豆一区二区三区国产精| 欧美成人免费在线观看| www.国产高潮精品| 五月天综合网| 精品亚洲天堂| 天天视频综合在线观看视频| 800zy一区二区| 热热色青青草| 亚洲自拍天堂| 亚洲熟妇图片| www.久久超碰| 天天做日日做| 女一区二区| 熟妇人妻精品一区二区| 99久久e免费热视| 91偷拍欧美亚洲| 中韩中文字幕在线观看| 久久一级无码精品毛片6| 97色在线观看| 亚洲熟女人妻中文字幕一区二区| 国模少妇一区二区三区| 亚洲淫色网中文| 女生久久网| 欧美日韩中文亚洲v在线综合| 一区二区三区日韩欧美| 综合久久9| 日本视频一区二区三区| 粉嫩AV一区夜夜嗨| 日韩三级在线观看网站| 91国产丝袜足交精品视频| 91热| 国内三级自拍小视频在线观看| 91高跟美女在线播放| 超碰九7| 国产精品午夜高潮呻吟久久av| 99蜜桃臀亚洲成人在线观看| 超碰美国| 欧美激情亚洲色图| 日本大片日本一区二区免费高清| 9997se| 女同女同恋久久级三级| 有码免费观看| 亚洲综合影院| 亚洲人在线| 东北毛片| 一区二区三区 丝袜 高跟 美腿| 97超碰伊人| 人妻在线视频| 欧美国产操逼| 粉嫩不卡一区二区性爱| jiujiujiujingpin| 欧美性爱第一区| 国产久久一区二区三区野外在线| 国产内射爽爽大片| 黄色二级片网站| 精品久久久久久久| 午夜天堂精品久久久久91| 久久久无码精品人妻二区| 亚洲AV秘 精品久久老牛影视| 中文字幕片| 91欧洲国产成人久久精品网站| 91黑丝在线播放| 风韵犹存大大大大香蕉 | 亚欧性爱在线无码| 中文有码9| 色色综合网站| 60秒不遮不挡| 欧美日韩99精品麻豆传媒| 国产精品自拍视频| 性欧美另类高清| 少妇久久久久久| 九九热精品免费视频| 成人怡红院| 亚州宗合另类| 韩国免费播放一级毛片| 歐美性天天| 日韩色| 加勒比av网| 日韩欧美经典在线观看| 91精品国产91久久久久久久久久久久| 91九色网| 蜜臀久久99精品久久久久久-DVD原版全| 久久超碰爱| A级在线视频| 精品十三区| 亚洲精品人妻在线| 东北女人性交| 久久国产三区| 婷婷色色五月天福利| 九九亚洲精品| 一区二区三区高清| 91丝袜美腿网站| 秋霞操逼片| 亚av顶级裸体一区二区三区四区五区| yellow网站免费观看日韩高清无码| 欧美青青视频| 国产亚州日韩欧美看片| 操东北女人| 91在线免费观看处女| 操人人| 大香蕉色欲AV| 婷婷五月天综合网| 免费观看性欧美一级| 色偷综合| 五月激情综合网| 天天草天天日| 色哟哟av网址| www.色五月| 永久电影三级在线观看| 亚洲日产专区婷婷| 99激情| 九九九九97| 日本三级韩三级99久久| 黄色免费网| 中文字幕神马久久| 伊人91| 无码久久国产 | 国产后入式在线观看| 日本熟妇一区二区三区| 成人日韩3| 国产自偷| 欧美图片色综合| 强奸乱伦麻豆| 亚洲熟妇一,二,三期| 亚洲欧美在线综合| 色综合一区二区三巨| 国产精品ⅴ无码大片在线看.| 欧美日韩中国x| 97天天搞在线| 日本色色色视频| 一区二区 电影 亚洲| 国产精品久久伊人| 日产欧美电影一区二区三区| 中文字幕午夜精品久久久| 国产精品久久久亚洲一区| 亚洲图片日本AⅤ欧美在线| 欧美色图自拍| 日本一片一区| 加勒比大香蕉视频在线| 美女极品一区二区三区| 亚洲国产成人精品女人久久久| 亚洲精品蜜桃久久久久久久| 综合网,亚洲,欧美| 自拍大香蕉乱插| 日本在线观看网址| 亚洲男人的天堂V| 国产粉嫩出水在线播放| 天天做天天爱夜夜爽毛片试看| 插B在线观看| 女人一区| 大香蕉伊人亚洲| 大香蕉久| 超97在线精品视频| 日韩强奸av| 91女日逼| 老熟妇一区二区三区| 欧美熟女激情| 亚洲综合激情五月久久| 黄色高清无码无码破解免费暗网 | 九九九九九九免费视频| 色噜噜人妻丝袜AV资源| 性欧美另类高清| 亚洲黄色网址视频| 国产亚洲人妻综合日韩 久久| 日日夜夜模| 成人三一级一片aaa| 97超碰超碰| 五月天人妻综合| 精品亚州18| 欧美最婬乱婬爆婬性视频 | 美女91在线观看| 69超碰综合| 去干网最新版| 狠狠色噜噜狠狠狠狠狠色综合久久| 天天看精品动漫视频一区| 最新制服中文第一页| 99国内熟女露脸视频| 麻豆AV96熟妇人妻| 久久久99久9| 五月婷丁香| 久草新在线| 亚洲精品黄码久久久久| 97操碰| 伊人久久亚洲色欲综合网站 | 欧美91视频| 免费观看成人www精品视频| 亚洲色图欧洲| 夜夜爽夜夜操| 97超碰大| 亚洲高清91| 色噜噜人妻av中文字幕| 后入式999| 2020中文字幕在线| 人妻 欧美亚洲| 丁香五月天啪啪| 色综合久| 国产精品亚洲美女久久久久| 亚洲最大无码中文字幕网站| 久久久久亚洲Aⅴ无码| 免费作爱一级视频| 婷婷亚洲五月***久久| 亚洲精品无码久久AV| 午夜福利无毒不卡| 日韩乱伦AⅤ| 日韩在线一区二区| 操操逼操操逼操操逼逼| 97人妻免费中文字幕| 欧美综合娱乐久久| 少妇xx精品| 亚洲欧综合另类无码一区| 欧美性爱日韩性爱| 久久久国产亚洲精品系列| 能在线播放的国产三级| JIZZJIZZ国产精品喷水| 动漫爆乳3D奶水一区在线观看| 人人妻人人狠人人| 色噜噜狠狠色综无码久久合欧美| 小少妇| 男女激烈网站最新| 国模不卡| 欧美性爱在线无码| 亚洲无码色| 亚洲日本加勒比在线| 91久久精品国产| juliaann精品熟女一区| 国产欧美日韩臀| 日影院久久婷婷夜夜网| 欧美爱国产综合、| 加勒比海人人操超碰在线| 精品亚洲天堂| JIZZJIZZ亚洲女人被躁| 无码最新| 欧洲色| 69少妇一区二区| 精品人妻一区二区三区四区| 91中文字幕| 天天日老熟妇| julia国产在线| 日本美女性生活久久久久久久| 大香蕉综合久久| 丝袜六区| 330dv亚洲成年视频网| 性九九九九九九| 新怡红院| 中国AV美女| 激情终合网| 夂久色| xxx亚洲午夜天堂| 天天天天天天天天综合| 色婷婷一区二区三区久久午夜成人不| 国产av激情无码久久天堂| WWW美腿丝袜香蕉中文| 亚洲九九视频| 中国熟女老妇仑乱一区二区三区| 日韩精品 视频一区二区| 久久 国产精品 一区| 99国内精品| 亚洲日韩少妇一道本视频| 99在线精品观看视频中文| 夜夜骑夜夜操| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | www色色com| 伊人久久国产免费观看视频| 天天情欲宗合网| 97天天日| 日韩国产乱子伦App| 99热9| 蜜臀AV成人精品蜜臀AV久久| 色偷偷综合91久久噜噜| 国产婷婷综合在线观看| 在线视频日韩欧美国产| 情色五月天久久久| 中国和日本人色哪个不下载能放| 热无码中文亚洲H一道本一区二区| 日本三级R| 亚洲不卡av在线| 亚洲,欧美,综合网| 欧美大干日韩| 91男人天堂网| 欧美高清第一页| 黄片免费久久久久久久| 草莓精品视频在线免费观看| 啪啪一区| 福利一级版子| 97在线视频免费| 免费A V在线播放| 肉丝网站91| 中文字幕av片| 精品国产一区二区三区四区在线看| 狠狠色婷婷7777久| A男人的天堂| 91精片| 久久美女福利是上海美女| 91视频成人福利网站在线一区| 亚州高清AV| 日韩性爱再线视频| 亚洲 欧美 第一页| 97人肏| 99热18这里只有精品| 中文字幕丰满人妻日本| 探花激情视频| 无码操逼天堂| 国产成人 综合亚洲 天堂| 91啪啪| 男女性扦B| 欧美极品美女aaaaaa级黄片| www.狠狠干.coom | 亚洲 中文 欧美 日韩 在线| 成人小说视频在线精品欧美| 亚洲色图91欧美日韩| 中文字幕精品三级久久久| 日韩欧美午夜一区二区| 爆乳免费黄网站| 男女啊啊啊| 天天日B夜夜干B时时操B| 精产国品一区二三产品| 日本在线观看网址| 久久亚洲影院一区二区| 78精品| 国产成人自拍视频在线| 麻豆a'v电影| 亚洲制服aⅴ中文字幕| 夜夜高潮夜夜爽高清视频一 | 亚洲欧美国产va在线| 18禁看网站一区| 精品超碰中文在线| 水滴偷拍| 亚洲精品99| 999国产精品999久久久久久| www.av在线观看| 亚洲鸥美色图| www..com操老师| 怡红院成人av| 天天艹天天日| 亚热日本熟女| 91碰超| 久久久不卡区一区二区三区久久久| 亚洲AV成人精品网站在AV| 久妇网| 成人热久久精品| 国产精品久久久久久高清无码免费看| 欧美亚男人的天堂| 18禁无码永久免费无限制| 蜜臀亚洲中文| 国产精品免费1区2区视频| 亚洲激情 欧美色图| 18禁看网站一区| 不卡码视频| 澳门黄片一香蕉视频| 亚洲国产一级中文综合久久天堂在线免费观看| 日韩成人无码| 美腿丝袜高跟网免费视频免费视频| 国内精品久久人妻性色av| 欧美性爱一区| 欧美亚洲尤物久久| 国产又大又粗又长视频| 久久久中文| 日韩色| 国产视频三区四区| 九九九草| 国产热RE99久久6国产精品首| 久久伊人东京热| a久久| 超碰免费97| 一区麻豆 高清中文字幕| 黄色视频60分钟| 欧洲精品欧洲精品| 五月婷婷丁香| 超碰97护士| 天天日天天舔东京热| 欧美成人四级在线播放| 中出20p| 丁香五月激情五月| 日本久久女同性恋视频| 欧美A√综合网| 国产真实野战在线视频| 中文字幕人妻丝袜乱一区三区| 亚洲激情网一二三四区| 强奸乱伦 亚洲一区| 麻豆成人av| 俺去俺来也在线www| 天天日天天看| 韩国三级三级BD在线| 全免费a敌肛交毛片免费| 久久久青青草| 亚洲欧美另类少妇精品| 插日本熟女视频| 999久久久国产精品| 在线视频一区二区传媒| 美国一区二区免费视频| 久久綜合很很很| 无码在线亚洲| 啊啊啊好想要| 亚洲偷91色| 亚洲 日韩 欧美 国产综合体| 秋霞一集毛片观看| 色欲久久99精品久久| 国产精品久久久亚洲一区| ,成人免费啪啪视频| yazhouzaixian| 99国内精品| 中文字幕精品日韩中文字幕| 玖玖久久久| 秋霞午夜视频一区二区| 天天爽夜夜操| 大香蕉黄色一级片免费看| 欧美黑人与女人91| 久久少妇视频| 91蜜桃婷婷狠狠久久综合9色| 日韩成人高清一区二区| 人人九九精| WWW4虎| 国产精品视频白浆免费| 免费人成毛片乱码| 激情文学亚洲| 日韩精品99久久久久久中文字幕| 久久久18| 97人人操人人摸| 亚洲男人天堂av| 亚洲一二三四区在线免费看视频| 日韩熟女精品无码专区一区二区| 国产18精品亚洲精品| 香港澳门日本三级网站| 97久久超碰亚洲| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 97精品在线视频| 超碰1997| 嗯~啊~快点 死我视频| 日本福利二区视频| 天天操天天射天天日| 久久久久久久97| 日韩精彩视频| 四虎国产成人精品免费一女五男| 久久久久久午夜男人的天堂| 思思在线免费视频| 久久久久亚洲熟妇熟女| 9久热这里只有精品| 超碰69| 图色综合网| 屌色在线97视频| 欧日a| 国产黄色小视频网站| 欧亚日韩一区在线| 亚洲欧洲日韩中文字幕一区| 日日骚精品视频| 欧美爆操91| 又大又白奶子| 婷婷伊人| 日亚韩精品视频二区三| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 青春草莓视频在线观看网址| 96超碰网| 91欧美少妇| 丝袜美腿射精91| 极品内射| 色盈盈影院| 亚洲,欧美,春色,另类| www.zbzhongsen.com| 亚洲最大的综合性av| 人人潮人人摸| 91精品微拍福利| jizz啪啪| 看日韩黄片| 天天综合网日韩| 天天亚洲| 青青草好吊色| 超碰诱惑| 超碰久超碰久| 97神马久久| 91 偷| 亚洲综合在线91| 天天综合~91| 噜噜瑟| 91色人| 亚洲少妇自拍中文字幕懂色| 五十路成人在线视频二区三区| 尤物视频网 刘玥| 天堂涩涩| 99精品丰满人妻无码| 四虎在线免费视频| 职场同事知名国产国产精品久久欧美日韩| 天美传媒av在线| 青青草无码视频| 亚洲色图第一页| ...日韩成人一区二区三区字幕| 色噜噜狠狠色综合日日| 亚洲欧洲另类| 亚洲天堂男人在线| 91人妻人人妻| 91殴美大片| 免费网站观看www在线观| 人人超碰在线观看黄| 欧美伦乱爱| 97超碰这里只有精品| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 10000部十八禁看电影| 久久国产对白激情浪潮| 国产精品在线网站| 亚洲熟妇综合久久久久久| 熟女露脸激情自拍视频| 97精品一区二区视频在线观看| 99热精品在线观看| 蜜桃久久一区二区| 女沟厕偷窥piss小便| 国产成人亚洲精品无码最新在线| 亚洲精品白浆高清久久久久久| 婷婷丁香九月| 精品在线观看视频在线| 91精品久久久久久综合五月天| 色色色综合| 九九久久久久久爱| 一直超碰| 欧美日韩精品久久久久东北老熟妇| 97国产|免费| 白丝AV| 欧美日韩另类在线| 十八禁成人网站在线观看| 日本中文字幕在线视频 | av在线人气| 亚洲色香| 超碰欧美COM| 欧美色女人| 国产日韩欧美操逼视频| A片 AV一级在线播放观看免费| 色婷婷综合网| 欧美亚男人的天堂| 色踪合AV| 一本色道综合久久欧美日韩精品| 日本熟女不卡视频| 免费强奸av| 色蜜AV| 97国产天堂岛| 丝袜美腿91| 国产精品视频内谢女人| 国产人妖视频一区在线观看| 久久人人看| 乱理日韩中文| 天天热精品| 啊啊啊好想要| 久久亚洲AV无码专区首页| 狼人久草| 美女91在线观看| 青青草一本道福利视频| 另类图片欧美激情综合| 精品国产www久久| 久久国产精品一级二级三级| 国产精品天干天干综合网麻豆| 亚洲色婷婷综合久久久久中文| 国产拍偷精品网站| a级理论午夜日本| 九一综合精品视品av| 亚洲91综合| 亚洲无码视频免费在线观看网址!| 国产综合网站在线播放| 国产伊人自拍| 青青草一区二区三区四| 2023天天操夜夜操| 欧美做爰无码A片视频| 色婷婷蜜臀av| 欧美的精品的视频| 欧美另类精品xxxx| 99久久这里只有精品| 欧美高潮| 伊人操你| 91 刺激在线| 精品久久艹| 亚洲婷婷综合网| 日韩另类| 少妇内射www在线观看视频| 男人久久天堂| 手机看片1024你懂的国产| 中文字幕版| 久久久久久久| 多乙久久久久久| 天天碰操中国年青熟妇| 亚洲 欧美 色图| 日韩激情中文字幕有码| 麻豆性爱视频在线播放| 久久加勒比| 天天干天天狼在线视频| 加勒比日本在线| 激情小说亚洲| 婷婷色五月激情| 欧美第二页午夜| 国产亚洲日韩欧| 丝袜美腿诱惑亚洲欧美视频在线观看| 日本免费一区二区不卡| 国产一区二区在线播放量| 蜜桃久久综合视频| 久久有码视频| 久久九九国产精品| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 亚洲综合九| 成人蜜乳小视频网站| 五月丁香啪啪啪| 9九九国产| 鸡巴插逼视频| 国产十八禁视频| 看免费一级在线播放毛片| 91狠| 美女性91| 欧美视频在线视频免费va| 曰韩香蕉97| 逼操网站| 蜜臀色乳| 日小BB小视频| 欧美美女在线高潮999| 国产又黄又爽| 精品国产乱码久久久久久久久1 | 性欧美精| 国产一区在线观看无码AV| 亚洲综合有玛| A 天堂| 人妻精品综合中文字幕在线| 中文字幕后石码四区五区| julia高潮后不停追击中出| 91亚洲最新在线| 中字乱伦AV| 神马久久免费电影观看| 天天日天天干天天整| 嗯嗯啊啊的视频| 欧美性爱三区二区| 欧洲亚洲综合| 婷婷五月天激情网| 国产精品久久久久久久久久二区三区| 国产精品婬乱一级毛片彝族| 久久大精品乱码视频人妻熟女| 91在线超高颜值国产| 国产成人主播| 国产熟女完整版中字| 综合视频91| a天堂视频| 久久精品无码不卡| 色狠狠色| 超碰地址久久| 国产原创精品| 摸奶性爱视频网站在线免费播放| 亚洲欧洲精品成人| 中文字幕一区二区日韩网| 日韩丝袜高跟制服在线观看| 色欲蜜臀AV| 欧洲一区二区三区四区在线观看| 日本 欧美 国产一区| 青青草这里只有精品| 亚洲天堂综合AV| 家庭乱伦麻豆| 四虎国产成人精品免费一女五男| 国产99精品一区二区三区免费| 欧美 亚洲 综合 制服 另类| 亚洲超碰AV| 亚洲AV色图| 东北女人av| 热无码中文亚洲H一道本一区二区| 99黄页网站| 一级久久性爱视频| 97在线观| 自拍丝袜美腿人妻| 啪啪AV导航| 亚洲欧美天| 狠狠欧美| 久思思热视频在线观看| 日韩高清一二三| 久热免费视频| 欧美夜夜草视频| 极品AV网站在线观看| 精品成人av一区二区三区在线| 久久加勒比| 激情图片伦理国产一区二区日韩| 久久精品国产72国产精品福利| 青青草日本无码| 国产精品电| 婷婷五月天在线观看| 亚洲av性爱电影| 久久超碰大香蕉| 熟女六十路| 欧成人精品H无码| 欧美激情中文字幕另类小说| 日韩一卡二卡三卡| 亚洲一二三四区机械| 青娱乐国产精品| 国产美女自拍视频| 97视频7| 欧美精品1区2区3区| 天美传媒AV在线播放| 久久97资源 网| 一类无码操逼视频| 欧美三级偷拍| 熟女一区二区| Blackedraw视频一区二区| 91丝袜视频在线观看| 日本女厕偷拍| 高清无码国产亚洲| 日本伦乱九九九综合| 久久夜精品一区二区三区| 婷婷伊人綜合中文字幕| 日本乱人伦片中文三区| 国产熟女自拍| 久操高青| 亚洲中文字母在线播放| 无码不卡亚洲成?人片| 99精品久久久久久| 97资源制服丝袜| 日韩在线性爱免费视频| 2020中文字幕在线观看| 精品小视频在线| 超碰在线91| 涩涩这里只有精品视频| 风韵犹存大大大大香蕉| 超碰中文字幕人妻草一区| 91一起操| 中文字幕久热视频在线| 九九九国产| 天堂涩涩| 九九色综合| 欧美久久人人网| 国产精品999aaa| 超碰综合97在线| 日本 免费 一区二区三区 久久香蕉 | 黄页视频网站野外| 亚洲九九九| 欧美骚少妇| 欧美曰韩国产精品| 欧美精品自慰系列寂寞少妇| 国产成人无码a| 亚洲资源站| 免费超碰97久久| 亚洲男人的天堂V| 久久久九九网站| 成人性爱视频在线看| 水多多映视AV| 后入式福利| 超碰成人国产| 久久久久亚洲三级电影| 欧美天天搞| 日韩人妻精品| 美女AV一区二区| 麻豆黄色五月天| 曰韩av中文字幕专区| 久久久亚洲高清不打码| 九九碰九九爱97超| 欧美激情 亚洲色图| 九九av| 国产精品 午夜福利| 丰满人妻-区二区三区免费| 秋霞蝌科网日本一区| 成人无码在线超碰网| 国产97亚洲| 老熟妇一区二区三区| 91国产美女丝袜足交精品视频| 久久久久久性爱片| 婷婷色网| www色色com| av天堂5| 欧美日韩在线国产在线| 熟妇xxxxx性春色| 精品国产Av无码久久久伦古装| 欧洲人妻视频| 老司机香蕉| 91美女国产在线| 91天美传媒在线观看| 草b在线| 黄页18禁| 五月天婷婷久久| 在线无码操| 综合欧美激情网| 久综合国内精品自在自线| 日韩激情电影中文字幕| 男人天堂2019| 日韩精品一区二区人人人| 97国产精品在线观看| 熟妇国产免费一区| 大香蕉丝袜一级片| 亚洲欧洲综合av在线| 小视频国产| 国产综合在线视频网站| 男女啪啪啪18禁网站| 十八禁啪啪视频| 欧美激情在线观看视频| 密臀在线视频| 在线看污网站| 色噜噜人妻av中文字幕| 国内外激情在线| 婷婷人妻激情| 99热精品在线观看| 综合五月天| 97色操| 中文字幕视频在线观看| 97在线免费看视频| 91熟女丨91老女人| 上特色A在线| 亚洲久久久| 亚洲精品久久久久久久蜜桃臀| 97免费在线观看| 天美传媒婬乱在| 亚洲色天| 男啪女色黄无遮挡免费观看| 国产毛片毛片4p懂色| a片在线播放| 波多野结衣之双飞调教在线播放 | 日韩啊V| 97操综合| 欧美丝袜亚洲| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 国产精品国产自产拍高清AV| 艳美熟妇先锋一二三区| AV色天香在线| 国产高清不卡视频| 激情四射五月天| 欧美一区二区三区成人性生活| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 91操熟女| 夜夜嗨视频| 国产亚洲深夜激情| 在线国产福利网址导航| 日本一区二区不卡精品| 婷婷亚洲天堂| 久久9 9 9精品| 精品十三区| 丰满人妻一区| 又黄又硬又粗又长国产视频| 97 色综合| 午夜视频黄| 久操凹凸视频| 97人人模人人爽人人| 伊人综合色网| 中文字幕88av在线| 碰人碰碰人人开房人肉| 久久久九九| 夜夜狠狠躁日日躁色视频| 久久欧美按摩999| 欧美色图私拍91| 亚洲诱惑| 安微少妇操BBB| 校园春色综合色| 亚洲性少妇| 中文一区二区| 蜜臀在线看片| 美女91AV| 男女猛烈无遮掩视频免费软件| 国产Av超碰| 午夜福利免费精品视频| 婷婷色网| 影音综合网| 97天天在线| 女性91网站| 欧美一级久久久久久久大片动画| 色综合色欲色综合色综合色综合| 毛片视频白嫩| 啊啊啊啊啊啊啊在线| 欧美成人精品一区| 搞中出久久| 操碰97| 欧美熟女妇同| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 色哟哟精品1精品2| 欧美日韩中文字幕人妻| 国产精品国产自产高清AV| 大香蕉婷婷| 国产传媒美日韩av| 亚洲天堂电影网99999| 99亚洲国产精品色一区二区三区| 久久性爱网站| 九九精品美女高溯喷水| 吉川爱美亚洲二区在线 | 国产精品高潮久久久无码| 强奸乱伦亚洲第一页| 91校园春色长篇| 少妇同性| 国产sv美女内射| 爽极品影院| 色五月婷婷麻豆在| 日本高清加勒比| WWW.操逼.COM| 麻豆啪啪啪视频| 亚洲永久永久永久永久一级一级一级精品 | 男人天堂一区二区| 91丨九色丨国产打屁股| 搞中出视频在线观看| 日韩精品午夜操呦呦不卡影院| 日日日日做夜夜夜夜无码| 天堂蜜桃无码视频一区二区| 91老熟女老女人国产老太| 亚洲天天更新| 日本性爱欧美性爱| 又大又白奶子| 久久国产精品视频| 国产大陆天天艹| 欧美另类色图片| 黄久久| 国产亚洲深夜激情| 久久怡红院| 97少妇人妻中文字幕久久| 97综合网| 2020国产精品| 国产精品午夜福利视频| 成人精品在线免费视频| 亚洲欧洲综合视频在线| 青青欧美| 久热影视| 日韩三四五区| 精人妻一区二区三区| 看黄片视频免费| 天天日天天射天天干| 曰韩中文人妻视频| 九九热精品视频在线观看| 夜夜免费视频| 午夜AV人气不卡| 人人摸人人干| 男人久久天堂| 五月婷婷综合网| 伊人嫩草| 日本三级网页| 久久m| 久久透逼视频| 亚洲人精品久久久喷水| 久午视频| 91免费看一区二区三区| 日本一级一级一级一级| 五月天AV资源| 亚洲av淫乱| 在线观看视频91| 妇女性内射冈站HDWWWCOM| 青娱乐 成人娱乐在线| 男人的天堂1024| www.色五月| 欧美色97| 91精品人妻电影| 久久人人爽av亚洲精品天堂桃色| 91碰超| 青青草成人视频在线观看二区| 无码久久国产| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 玖玖蜜臀资源网| 久久99久久99精品天美传媒棢·纸:.| 日韩av在线精品观看| 这里只有精品视频| 国产免费内射视频| 亚洲操操| 亚洲精品熟妇1区2区3区。| 中国探花熟女| 欧美爱国产综合、| 日人妻视频91| 亚州熟妇精品| 亚洲色图欧美色图制服丝袜| 强奸a片网| 天天操熟妇| 日韩黄色电影网站| 果冻传媒A片一二三区| 亚洲最大AV网| AV天黑人| 国产视频不卡在线观看| 亚州精品人妻一二三区| 国产成人在线观看综合| 亚洲欧美视| 五月色网| 蜜臀AV午夜精品久| 天天综合~91入口| 中文字幕在线免费观看| 九色 人妻 大香蕉| 亚洲高清视频在线免费观看| 99久久com免费视频′| 色欲久久久久综合网| 久久精品国产99国产精品亚洲| 色屁屁影院www国产| 日韩精品9999| 亚洲色色探花| 国产精品动态一区二区三区四四| 人人看人人摸人人色| 久操频道免费在线呗看| 天天综合91在线| 中文字幕后石码四区五区| 欧美成不卡网| 九九热久久99精品re| 99久在线精品99re8a| 精品在线观看视频在线| 97资源站国产精品| 黄污污污污| 91丨国产丨白浆秘 洗澡动漫| 自拍视频大全亚洲专媒视频/一区二区三区 | 国产精品色哟哟| 一区二区影院| 97操碰| 国产欧美精品日韩区二区麻豆天美| 亚洲日韩国产欧美综合v| 精品176精品2| 中日韩欧美精品无码AⅤ一区二区| 97久久天天综合色天天综合色电影| 国产精品秘 福利姬在线观看| 人妻一区二区三区熟女| 亚洲高潮少妇| 伊人久久综合影院精品久久久 | 自拍内地三级在线观看| 91九九九小逼| 粉嫩在线一区二区懂色| 神马午夜久久| 天色综合网| 久久6热视频免费观看| 中文字幕在线免费观看 | 久9久精品视频| 五月天激情影院| 97久久久| 国产第11页| 婷婷五月天小说| 岛国在线免费视频| 一区二区不卡免费| 超碰亚洲欧美日韩无| 人妻少妇被猛烈进入中| 久久久久久99999国产精品| 欧美亚洲激情小说| 亚洲αv一区二区三区| 91日韩国产欧美亚洲另类精盘州至城都| 麻豆久久久久久久久丝袜| 欧美三级中文字幕hd| 夜夜嗨视频| 国产精品午夜福利视频| 依人大香蕉| 中国一级特黄大片护士| 久热伊人| 人妻精品综合中文字幕在线| 太久视频| 亚洲国产成人精品女人久久久| 国产成人精品午夜福利| 久久免费精彩视频| 啪啪啪东京| 综合久久2017| a片亚洲一本通视频| 中文字幕一区av| 亚洲天堂人妻熟妇视频| 青青草国产欧美非洲黑人| 中文字幕乱偷人妻久久艾草网| 日本特黄f c2| www黄片免费看com|