日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于LSTM的SDN網(wǎng)絡(luò)流量預(yù)測(cè)與主動(dòng)負(fù)載均衡實(shí)現(xiàn)

基于LSTM的SDN網(wǎng)絡(luò)流量預(yù)測(cè)與主動(dòng)負(fù)載均衡實(shí)現(xiàn) 簡(jiǎn)介本資源是一套面向計(jì)算機(jī)科學(xué)與網(wǎng)絡(luò)工程專業(yè)高年級(jí)本科生的SDN智能管控實(shí)踐方案聚焦軟件定義網(wǎng)絡(luò)中的流量時(shí)序預(yù)測(cè)與動(dòng)態(tài)負(fù)載均衡問題采用LSTM深度學(xué)習(xí)模型實(shí)現(xiàn)精準(zhǔn)流量預(yù)測(cè)并驅(qū)動(dòng)策略化流量調(diào)度。資源包共15個(gè)文件含8個(gè)核心Python源碼涵蓋拓?fù)錁?gòu)建、流表下發(fā)、LSTM訓(xùn)練與推理、負(fù)載決策等模塊、1個(gè)CSV格式實(shí)測(cè)流量數(shù)據(jù)集、1個(gè)訓(xùn)練好的lstm.pkl模型文件、3個(gè).zbak備份腳本及1個(gè)詳細(xì)說(shuō)明文檔整體壓縮包僅9.29MB結(jié)構(gòu)清晰、注釋完備便于分模塊學(xué)習(xí)與調(diào)試。目前已有48人下載學(xué)習(xí)適合作為畢業(yè)設(shè)計(jì)課題參考、課程綜合實(shí)驗(yàn)項(xiàng)目或高級(jí)編程實(shí)訓(xùn)材料。讀者可直接運(yùn)行完整流程從Mininet仿真拓?fù)浯罱?、NetFlow數(shù)據(jù)采集預(yù)處理、LSTM模型訓(xùn)練與保存到基于預(yù)測(cè)結(jié)果的短路徑轉(zhuǎn)發(fā)與負(fù)載重分配策略落地全面掌握深度學(xué)習(xí)在SDN管控層的實(shí)際工程化應(yīng)用路徑。 做SDN網(wǎng)絡(luò)流量預(yù)測(cè)這個(gè)項(xiàng)目其實(shí)是源于我自己在實(shí)驗(yàn)環(huán)境里遇到的一個(gè)很典型的問題控制器雖然拿到了全網(wǎng)視圖但流量一突發(fā)鏈路說(shuō)堵就堵靠閾值告警再去切換路徑永遠(yuǎn)是先堵后處理。后來(lái)我把LSTM接進(jìn)來(lái)做網(wǎng)絡(luò)流量預(yù)測(cè)讓負(fù)載均衡從“事后救火”變成“事前調(diào)度”整套系統(tǒng)用Python實(shí)現(xiàn)包含完整源碼和可直接訓(xùn)練的數(shù)據(jù)集在本地用Mininet搭環(huán)境就能跑通。這篇文章是我整個(gè)開發(fā)周期的完整復(fù)盤既有踩坑記錄也有可以直接抄作業(yè)的代碼適合正在做SDN相關(guān)實(shí)驗(yàn)的學(xué)生、想給運(yùn)維系統(tǒng)引入AI能力的工程師以及對(duì)LSTM時(shí)序預(yù)測(cè)想找實(shí)際落地場(chǎng)景的人。1. 項(xiàng)目背景與核心思路拆解1.1 為什么SDN負(fù)載均衡需要LSTMSDN的核心思想是控制平面與數(shù)據(jù)平面分離控制器通過(guò)OpenFlow協(xié)議統(tǒng)一管理交換機(jī)流表。好處是網(wǎng)絡(luò)可編程、可集中調(diào)度但壞處也很明顯——控制器一旦決策不及時(shí)整網(wǎng)都會(huì)跟著遭殃。傳統(tǒng)負(fù)載均衡的做法通常有兩種靜態(tài)哈希按五元組散列或者動(dòng)態(tài)檢測(cè)鏈路利用率超過(guò)閾值再觸發(fā)遷移。前者完全不管鏈路狀態(tài)后者是“已經(jīng)擁塞了才反應(yīng)”都談不上智能。流量數(shù)據(jù)本質(zhì)上是一個(gè)時(shí)間序列而且有很強(qiáng)的規(guī)律性每天有周期性的高峰和低谷工作日和周末的流量特征明顯不同某些業(yè)務(wù)會(huì)有周期性的突發(fā)。這種規(guī)律用傳統(tǒng)的時(shí)間序列模型比如ARIMA可以捕捉一部分但ARIMA本質(zhì)上是線性模型對(duì)流量中非線性、突發(fā)性的部分?jǐn)M合能力有限。LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)變種通過(guò)輸入門、遺忘門、輸出門三個(gè)門控機(jī)制可以在訓(xùn)練過(guò)程中自動(dòng)學(xué)習(xí)“哪些歷史信息該記住、哪些該丟掉”所以它對(duì)長(zhǎng)時(shí)間跨度的依賴關(guān)系建模能力比普通RNN強(qiáng)也比ARIMA更擅長(zhǎng)擬合非線性的流量模式。實(shí)際測(cè)試下來(lái)在同樣的數(shù)據(jù)集上LSTM的預(yù)測(cè)誤差比ARIMA低20%到30%這個(gè)差距在流量突發(fā)場(chǎng)景下尤其明顯。1.2 預(yù)測(cè)驅(qū)動(dòng)的負(fù)載均衡從被動(dòng)到主動(dòng)這個(gè)項(xiàng)目的核心設(shè)計(jì)理念是把“響應(yīng)式調(diào)度”改成“預(yù)判式調(diào)度”。控制器周期性地從交換機(jī)采集端口流量統(tǒng)計(jì)把數(shù)據(jù)喂給訓(xùn)練好的LSTM模型模型輸出未來(lái)幾個(gè)時(shí)間步的流量預(yù)測(cè)值調(diào)度模塊根據(jù)預(yù)測(cè)結(jié)果提前做出決策——哪條鏈路下一階段會(huì)變忙先把部分流量切走哪條鏈路下一階段會(huì)變閑可以接收新的流量。這里有一個(gè)關(guān)鍵認(rèn)知不要把LSTM的預(yù)測(cè)值當(dāng)成精確值來(lái)用。預(yù)測(cè)永遠(yuǎn)是預(yù)測(cè)存在誤差所以負(fù)載均衡調(diào)度看的是預(yù)測(cè)趨勢(shì)而不是預(yù)測(cè)絕對(duì)值。比如模型預(yù)測(cè)某條鏈路未來(lái)30秒的流量會(huì)持續(xù)上升那不管當(dāng)前這條鏈路是否擁塞都應(yīng)該提前準(zhǔn)備備選路徑。如果等鏈路真的擁塞了再切已經(jīng)造成丟包和延遲了。另一個(gè)容易被忽視的點(diǎn)是預(yù)測(cè)驅(qū)動(dòng)的調(diào)度必須設(shè)置“冷卻時(shí)間”。如果每次預(yù)測(cè)結(jié)果稍有波動(dòng)就觸發(fā)流量遷移會(huì)導(dǎo)致路由抖動(dòng)反而降低網(wǎng)絡(luò)穩(wěn)定性。我在系統(tǒng)里設(shè)計(jì)了一個(gè)調(diào)度狀態(tài)機(jī)每條鏈路切換后至少要穩(wěn)定一段時(shí)間才能再次切換這個(gè)策略在實(shí)際模擬中非常重要。1.3 系統(tǒng)總體架構(gòu)整個(gè)系統(tǒng)分為三層數(shù)據(jù)層基于Mininet模擬網(wǎng)絡(luò)環(huán)境用Ryu控制器周期性采集交換機(jī)端口流量統(tǒng)計(jì)做數(shù)據(jù)清洗、流速計(jì)算和歸一化最終形成時(shí)間序列數(shù)據(jù)集。預(yù)測(cè)層用PyTorch實(shí)現(xiàn)LSTM模型對(duì)每條關(guān)鍵鏈路的未來(lái)流量進(jìn)行多步預(yù)測(cè)輸出預(yù)測(cè)值的同時(shí)也輸出一個(gè)“趨勢(shì)置信度”作為調(diào)度參考。調(diào)度層把預(yù)測(cè)結(jié)果轉(zhuǎn)換成具體的負(fù)載均衡決策通過(guò)Ryu的流表下發(fā)接口修改交換機(jī)轉(zhuǎn)發(fā)規(guī)則把流量從預(yù)測(cè)擁堵的鏈路遷移到相對(duì)空閑的鏈路。三層之間通過(guò)文件或內(nèi)存隊(duì)列解耦模型訓(xùn)練不依賴實(shí)時(shí)數(shù)據(jù)訓(xùn)練完成后再接上線。這樣設(shè)計(jì)的好處是靈活——你可以單獨(dú)替換任何一層的實(shí)現(xiàn)比如把LSTM換成Transformer或者把負(fù)載均衡策略從最小連接數(shù)改成加權(quán)輪詢都不影響其他層。2. SDN控制器與流量采集模塊實(shí)現(xiàn)2.1 開發(fā)環(huán)境與依賴清單先說(shuō)環(huán)境這個(gè)項(xiàng)目在Ubuntu 20.04上完整跑通Python版本用的3.8建議用虛擬環(huán)境安裝依賴避免和系統(tǒng)其他項(xiàng)目沖突。# 創(chuàng)建虛擬環(huán)境 python3 -m venv sdn_lstm_env source sdn_lstm_env/bin/activate # 安裝核心依賴 pip install ryu4.34 pip install torch1.13.0 pip install pandas numpy scikit-learn pip install matplotlibMininet的安裝建議用官方腳本一步到位git clone https://github.com/mininet/mininet cd mininet ./util/install.sh -n裝完之后可以用sudo mn --test pingall驗(yàn)證是否正常。這里有幾個(gè)版本坑說(shuō)明一下Ryu 4.34在OpenFlow 1.3下工作穩(wěn)定新版本反而可能出現(xiàn)Python庫(kù)兼容問題。PyTorch不要裝最新的2.x1.13.0實(shí)測(cè)最穩(wěn)。當(dāng)然這只是我的環(huán)境組合你可以根據(jù)實(shí)際情況調(diào)整但建議保持核心版本一致避免排查無(wú)謂的兼容性問題。2.2 基于Ryu的流量采集實(shí)現(xiàn)流量采集是Ryu控制器的一個(gè)典型應(yīng)用場(chǎng)景。Ryu框架提供了OFPPortStatsRequest消息可以周期性向交換機(jī)請(qǐng)求端口統(tǒng)計(jì)信息。下面是我實(shí)現(xiàn)的流量采集核心代碼from ryu.base import app_manager from ryu.controller import ofp_event from ryu.controller.handler import MAIN_DISPATCHER, set_ev_cls from ryu.ofproto import ofproto_v1_3 from ryu.lib import hub import time import csv import os class TrafficCollector(app_manager.RyuApp): OFP_VERSIONS [ofproto_v1_3.OFP_VERSION] def __init__(self, *args, **kwargs): super(TrafficCollector, self).__init__(*args, **kwargs) self.datapaths {} self.collect_interval 5 # 采集周期5秒 self.prev_stats {} self.csv_file traffic_data.csv self._init_csv() self.collector_thread hub.spawn(self._collect_loop) def _init_csv(self): if not os.path.exists(self.csv_file): with open(self.csv_file, w, newline) as f: writer csv.writer(f) writer.writerow([timestamp, switch_id, port_no, rx_bytes, tx_bytes, rx_rate, tx_rate]) set_ev_cls(ofp_event.EventOFPStateChange, MAIN_DISPATCHER) def _state_change_handler(self, ev): dp ev.datapath if ev.state MAIN_DISPATCHER: self.datapaths[dp.id] dp elif ev.state 0: self.datapaths.pop(dp.id, None) def _collect_loop(self): while True: for dp in list(self.datapaths.values()): self._request_port_stats(dp) hub.sleep(self.collect_interval) def _request_port_stats(self, dp): parser dp.ofproto_parser req parser.OFPPortStatsRequest(dp, 0, dp.ofproto.OFPP_ANY) dp.send_msg(req) set_ev_cls(ofp_event.EventOFPPortStatsReply, MAIN_DISPATCHER) def _port_stats_reply_handler(self, ev): dp ev.msg.datapath body ev.msg.body timestamp time.time() for stat in body: key (dp.id, stat.port_no) if key not in self.prev_stats: self.prev_stats[key] (timestamp, stat.rx_bytes, stat.tx_bytes) continue old_time, old_rx, old_tx self.prev_stats[key] interval timestamp - old_time if interval 0: continue rx_rate (stat.rx_bytes - old_rx) * 8 / interval # 單位: bit/s tx_rate (stat.tx_bytes - old_tx) * 8 / interval self._write_csv(timestamp, dp.id, stat.port_no, stat.rx_bytes, stat.tx_bytes, rx_rate, tx_rate) self.prev_stats[key] (timestamp, stat.rx_bytes, stat.tx_bytes) def _write_csv(self, timestamp, switch_id, port_no, rx_bytes, tx_bytes, rx_rate, tx_rate): with open(self.csv_file, a, newline) as f: writer csv.writer(f) writer.writerow([timestamp, switch_id, port_no, rx_bytes, tx_bytes, rx_rate, tx_rate])這一段代碼做了三件事維護(hù)活躍交換機(jī)的datapaths列表、周期性地請(qǐng)求端口統(tǒng)計(jì)、把前后兩次統(tǒng)計(jì)的差值換算成速率并寫入CSV。換算速率的公式是(當(dāng)前字節(jié)數(shù) - 上次字節(jié)數(shù)) * 8 / 時(shí)間間隔乘以8是把字節(jié)轉(zhuǎn)成比特最終速率的單位是bit/s。2.3 數(shù)據(jù)落盤與歸一化采集到的原始CSV數(shù)據(jù)不能直接喂給LSTM需要先做兩步處理第一步是去除異常值。網(wǎng)絡(luò)流量數(shù)據(jù)里偶爾會(huì)有一些明顯的毛刺比如某個(gè)端口瞬間收到超大流量這可能是瞬時(shí)突發(fā)也可能是采集誤差。我用了一個(gè)簡(jiǎn)單的滑動(dòng)中位數(shù)濾波超過(guò)三倍中位數(shù)絕對(duì)偏差的數(shù)據(jù)點(diǎn)會(huì)被替換為中位數(shù)。第二步是構(gòu)建固定間隔的時(shí)間序列。由于采集周期是5秒理論上每小時(shí)有720個(gè)采樣點(diǎn)。但因?yàn)榻粨Q機(jī)上線、下線等操作時(shí)間戳可能不是嚴(yán)格等間隔的這里需要做線性插值重采樣。我按5秒間隔重新采樣缺失值用前后兩個(gè)點(diǎn)的平均值填充。歸一化也很重要。LSTM對(duì)輸入特征的尺度比較敏感如果不做歸一化梯度更新會(huì)不穩(wěn)定。我用的方法是MinMaxScaler把流量值映射到[0, 1]區(qū)間。這里有一個(gè)很多新手都會(huì)踩的坑歸一化參數(shù)的擬合只能用訓(xùn)練集不能用整個(gè)數(shù)據(jù)集否則會(huì)造成數(shù)據(jù)泄漏評(píng)估指標(biāo)會(huì)虛高。from sklearn.preprocessing import MinMaxScaler import pandas as pd import numpy as np df pd.read_csv(traffic_data.csv) # 只選取一條鏈路的發(fā)送速率作為示例 series df[df[switch_id] 1][[timestamp, tx_rate]].sort_values(timestamp) series[timestamp] pd.to_datetime(series[timestamp], units) series series.set_index(timestamp).resample(5S).mean().interpolate() # 分割訓(xùn)練集和測(cè)試集注意順序切分不能打亂 split_ratio 0.8 split_idx int(len(series) * split_ratio) train_data series.iloc[:split_idx] test_data series.iloc[split_idx:] # 只用訓(xùn)練集擬合scaler scaler MinMaxScaler() train_scaled scaler.fit_transform(train_data[[tx_rate]]) test_scaled scaler.transform(test_data[[tx_rate]])3. LSTM預(yù)測(cè)模型設(shè)計(jì)與訓(xùn)練3.1 數(shù)據(jù)集說(shuō)明與序列構(gòu)建數(shù)據(jù)集我用了兩種來(lái)源混合讓模型有足夠的泛化能力。第一種是Mininet模擬環(huán)境里用iperf生成的背景流量這種數(shù)據(jù)可控性強(qiáng)方便驗(yàn)證模型在不同流量模型下的表現(xiàn)。第二種是公開數(shù)據(jù)集中提取的部分流量特征比如我在實(shí)驗(yàn)里引入了UNSW-NB15數(shù)據(jù)集中的部分網(wǎng)絡(luò)流特征做補(bǔ)充訓(xùn)練這能讓模型見到的流量模式更豐富。無(wú)論哪種來(lái)源最終都需要把原始的連續(xù)流量轉(zhuǎn)換成監(jiān)督學(xué)習(xí)需要的樣本對(duì)。LSTM的一個(gè)輸入樣本是“過(guò)去k個(gè)時(shí)間步的流量值”對(duì)應(yīng)的標(biāo)簽是“未來(lái)h個(gè)時(shí)間步的流量值”。在我這個(gè)項(xiàng)目里k取64也就是用過(guò)去320秒64×5秒的數(shù)據(jù)預(yù)測(cè)未來(lái)12個(gè)時(shí)間步60秒的流量趨勢(shì)。構(gòu)建滑動(dòng)窗口樣本的代碼如下def create_sequences(data, input_steps64, output_steps12): X, y [], [] for i in range(len(data) - input_steps - output_steps 1): X.append(data[i:i input_steps]) y.append(data[i input_steps:i input_steps output_steps]) return np.array(X), np.array(y) X_train, y_train create_sequences(train_scaled) X_test, y_test create_sequences(test_scaled)這里的一個(gè)關(guān)鍵點(diǎn)窗口之間的重疊是正常的甚至是必要的。如果窗口完全不重疊每個(gè)樣本只代表整個(gè)序列的一小部分有效訓(xùn)練樣本數(shù)量會(huì)大幅減少。但要注意窗口重疊會(huì)引入樣本之間的相關(guān)性所以評(píng)估模型時(shí)不能把測(cè)試集的預(yù)測(cè)結(jié)果看作是“每個(gè)獨(dú)立預(yù)測(cè)”而是看整體趨勢(shì)的擬合程度。3.2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)我踩了幾次坑之后最終確定下來(lái)的是一個(gè)雙層的LSTM加全連接輸出層import torch import torch.nn as nn class TrafficLSTM(nn.Module): def __init__(self, input_size1, hidden_size64, num_layers2, output_steps12): super(TrafficLSTM, self).__init__() self.lstm1 nn.LSTM(input_size, hidden_size, num_layers1, batch_firstTrue) self.lstm2 nn.LSTM(hidden_size, hidden_size, num_layers1, batch_firstTrue) self.dropout nn.Dropout(0.2) self.fc nn.Linear(hidden_size, output_steps) def forward(self, x): out, _ self.lstm1(x) out, _ self.lstm2(out) out self.dropout(out[:, -1, :]) # 取最后一個(gè)時(shí)間步的輸出 out self.fc(out) return out為什么選兩層LSTM而不是一層這個(gè)問題我在實(shí)驗(yàn)里專門對(duì)比過(guò)。一層LSTM對(duì)簡(jiǎn)單周期流量擬合夠用但遇到流量模式復(fù)雜的情況比如同時(shí)包含多個(gè)周期性成分疊加隨機(jī)突發(fā)單層的表達(dá)能力不夠預(yù)測(cè)曲線會(huì)出現(xiàn)明顯的“滯后效應(yīng)”——就是預(yù)測(cè)值總是比真實(shí)值慢半拍。兩層LSTM在時(shí)間維度上形成了層次化的特征提取底層捕捉短期波動(dòng)高層捕捉長(zhǎng)期趨勢(shì)滯后現(xiàn)象明顯減輕。為什么hidden_size取64這是一個(gè)經(jīng)驗(yàn)值主要看訓(xùn)練數(shù)據(jù)量。我的數(shù)據(jù)集大概有幾千個(gè)樣本如果hidden_size太大比如256模型參數(shù)量膨脹很容易過(guò)擬合在驗(yàn)證集上損失反而更高。如果太小比如16模型欠擬合預(yù)測(cè)值會(huì)趨向于平均值失去趨勢(shì)信息。64是我這個(gè)數(shù)據(jù)規(guī)模下的甜點(diǎn)值。最后一層的Dropout 0.2也是實(shí)驗(yàn)出來(lái)的。SDN流量數(shù)據(jù)噪聲比較大加上Dropout能強(qiáng)制模型不依賴某一個(gè)特定的時(shí)間步提升泛化能力。3.3 訓(xùn)練過(guò)程與超參調(diào)優(yōu)訓(xùn)練過(guò)程看起來(lái)簡(jiǎn)單但其中有幾個(gè)細(xì)節(jié)非常影響最終效果。先說(shuō)優(yōu)化器和學(xué)習(xí)率我用的Adam優(yōu)化器初始學(xué)習(xí)率0.001配合ReduceLROnPlateau調(diào)度器當(dāng)驗(yàn)證集損失連續(xù)5個(gè)epoch不下降時(shí)學(xué)習(xí)率自動(dòng)乘以0.5。損失函數(shù)用的是Huber Loss而不是最常見的MSE。原因是流量數(shù)據(jù)中有脈沖式的突發(fā)點(diǎn)MSE對(duì)異常點(diǎn)過(guò)于敏感一個(gè)突發(fā)突刺可能撐起整個(gè)loss導(dǎo)致模型一直用力擬合這個(gè)點(diǎn)而忽略整體趨勢(shì)。Huber Loss在誤差小的時(shí)候是平方損失誤差大的時(shí)候是線性損失天然對(duì)異常值不敏感。訓(xùn)練代碼def train_model(model, X_train, y_train, X_val, y_val, epochs100, batch_size64, lr0.001): optimizer torch.optim.Adam(model.parameters(), lrlr) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience5 ) criterion nn.SmoothL1Loss() # Huber Loss train_loader torch.utils.data.DataLoader( torch.utils.data.TensorDataset( torch.FloatTensor(X_train), torch.FloatTensor(y_train) ), batch_sizebatch_size, shuffleTrue ) for epoch in range(epochs): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() output model(X_batch) loss criterion(output, y_batch) loss.backward() # 梯度裁剪防止LSTM訓(xùn)練中的梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() train_loss loss.item() * X_batch.size(0) model.eval() with torch.no_grad(): val_pred model(torch.FloatTensor(X_val)) val_loss criterion(val_pred, torch.FloatTensor(y_val)).item() scheduler.step(val_loss) if (epoch 1) % 10 0: print(fEpoch {epoch1}/{epochs} | fTrain Loss: {train_loss/len(X_train):.6f} | fVal Loss: {val_loss:.6f})梯度裁剪這行不能省。LSTM在訓(xùn)練過(guò)程中容易出現(xiàn)梯度爆炸尤其是序列比較長(zhǎng)的時(shí)候梯度范數(shù)可能突然變得非常大一次更新就把前面學(xué)到的參數(shù)全毀了。clip_grad_norm_把梯度的范數(shù)限制在1.0以內(nèi)雖然不能完全消除梯度爆炸但能保證訓(xùn)練過(guò)程穩(wěn)定。3.4 評(píng)估指標(biāo)解讀模型效果我用三個(gè)指標(biāo)評(píng)估MAE平均絕對(duì)誤差、RMSE均方根誤差、MAPE平均絕對(duì)百分比誤差。公式不在這里堆了重要的是它們的實(shí)際含義MAE關(guān)注預(yù)測(cè)值和真實(shí)值之間的平均絕對(duì)差距單位是流量速率很容易直觀理解。假如某項(xiàng)指標(biāo)是0.1在歸一化后的尺度下就意味著平均誤差是峰值的10%。RMSE對(duì)大誤差更敏感。如果RMSE明顯大于MAE說(shuō)明模型在個(gè)別點(diǎn)上錯(cuò)得很離譜通常來(lái)自流量突發(fā)點(diǎn)。MAPE是百分比誤差適合向非技術(shù)背景的人解釋模型效果。下面是我的LSTM模型在測(cè)試集上的表現(xiàn)以及和ARIMA基線模型的對(duì)比模型MAERMSEMAPEARIMA0.0820.12712.6%LSTM單層0.0640.0989.8%LSTM雙層0.0510.0767.9%注意這些指標(biāo)是在歸一化尺度下算的要換算成實(shí)際的流量速率Mbps需要乘以scaler.scale_。我在調(diào)優(yōu)過(guò)程中發(fā)現(xiàn)一個(gè)很有意思的現(xiàn)象模型對(duì)周期性流量的預(yù)測(cè)精度很高M(jìn)APE能壓到5%以內(nèi)但只要遇到重大突發(fā)誤差立刻飆到30%以上。這說(shuō)明LSTM擅長(zhǎng)學(xué)習(xí)“常態(tài)模式”但對(duì)完全沒見過(guò)的新模式還是無(wú)能為力。這也是為什么在負(fù)載均衡里只把預(yù)測(cè)值當(dāng)作趨勢(shì)信號(hào)而不是精確值來(lái)用。4. 負(fù)載均衡策略與系統(tǒng)整合4.1 預(yù)測(cè)結(jié)果如何驅(qū)動(dòng)調(diào)度這一層是整個(gè)系統(tǒng)的“臨門一腳”。模型預(yù)測(cè)出了未來(lái)60秒的流量趨勢(shì)接下來(lái)要決定怎么調(diào)度。我用的是一個(gè)相對(duì)簡(jiǎn)單但有效的策略基于預(yù)測(cè)利用率的動(dòng)態(tài)選路。首先計(jì)算每條鏈路當(dāng)前的容量利用率。交換機(jī)端口容量是已知的比如模擬環(huán)境里鏈路帶寬100Mbps結(jié)合預(yù)測(cè)的未來(lái)流量可以算出未來(lái)一段時(shí)間的預(yù)測(cè)利用率def predict_utilization(model, history, link_capacity, scaler): # history: 最近64個(gè)時(shí)間步的流量值(原始尺度) history_scaled scaler.transform(history.reshape(-1, 1)) X torch.FloatTensor(history_scaled.reshape(1, -1, 1)) with torch.no_grad(): pred_scaled model(X).numpy().reshape(-1, 1) pred scaler.inverse_transform(pred_scaled).flatten() # 計(jì)算未來(lái)12個(gè)時(shí)間步的預(yù)測(cè)利用率 utilizations pred / link_capacity # 取未來(lái)窗口內(nèi)的最大預(yù)測(cè)利用率作為調(diào)度參考 return utilizations.max()調(diào)度邏輯分三條分支預(yù)測(cè)最大利用率低于60%說(shuō)明鏈路健康不需要干預(yù)。預(yù)測(cè)最大利用率在60%到85%之間說(shuō)明趨勢(shì)在上升進(jìn)入“準(zhǔn)備切換”狀態(tài)——控制器預(yù)先計(jì)算好備選路徑但不實(shí)際下發(fā)流表。如果下一輪預(yù)測(cè)繼續(xù)上升則觸發(fā)切換。預(yù)測(cè)最大利用率超過(guò)85%說(shuō)明即將擁塞立即把該鏈路上的部分大流量業(yè)務(wù)切換到備用鏈路。這里選60%和85%兩個(gè)閾值是有講究的。閾值太低正常的小波動(dòng)也會(huì)觸發(fā)切換增加無(wú)謂的流表變更閾值太高切換動(dòng)作發(fā)生時(shí)鏈路實(shí)際上已經(jīng)開始丟包了。60%和85%是我在模擬環(huán)境里測(cè)試多次后得到的平衡點(diǎn)。4.2 控制器聯(lián)動(dòng)實(shí)現(xiàn)控制器側(cè)的實(shí)現(xiàn)不是在Ryu里直接調(diào)PyTorch模型而是起一個(gè)獨(dú)立的預(yù)測(cè)調(diào)度服務(wù)Ryu通過(guò)HTTP接口請(qǐng)求預(yù)測(cè)結(jié)果。這種解耦方式的好處是模型推理失敗不會(huì)影響控制器核心功能而且模型更新不需要重啟Ryu。預(yù)測(cè)調(diào)度服務(wù)代碼骨架from flask import Flask, request, jsonify import pandas as pd import numpy as np import torch app Flask(__name__) model TrafficLSTM() model.load_state_dict(torch.load(best_model.pt)) model.eval() scaler joblib.load(scaler.pkl) app.route(/predict, methods[POST]) def predict(): data request.get_json() history np.array(data[history]) # 最近的流量序列 link_capacity data[link_capacity] util_pred predict_utilization(model, history, link_capacity, scaler) return jsonify({predicted_utilization: util_pred}) if __name__ __main__: app.run(host0.0.0.0, port5001)Ryu這邊通過(guò)urllib周期性調(diào)用這個(gè)接口拿到預(yù)測(cè)結(jié)果之后再?zèng)Q定是否下發(fā)修改流表的指令。每次切換操作都記錄日志包括切換原因、目標(biāo)鏈路、預(yù)測(cè)利用率、實(shí)際利用率方便事后分析。4.3 效果對(duì)比為了驗(yàn)證系統(tǒng)的實(shí)際效果我在Mininet里搭了一個(gè)簡(jiǎn)單的拓?fù)?臺(tái)交換機(jī)串聯(lián)成兩條并行路徑交換機(jī)下掛6臺(tái)主機(jī)其中2臺(tái)主機(jī)作為iperf流量發(fā)送端。調(diào)整iperf的流量模型讓某條鏈路周期性地產(chǎn)生突發(fā)流量然后對(duì)比三種方案的性能靜態(tài)哈希、閾值觸發(fā)、LSTM預(yù)測(cè)調(diào)度。方案平均吞吐量丟包率平均時(shí)延靜態(tài)哈希68 Mbps8.2%45 ms閾值觸發(fā)82 Mbps3.1%28 msLSTM預(yù)測(cè)調(diào)度91 Mbps0.8%15 ms這個(gè)結(jié)果符合預(yù)期。靜態(tài)哈希完全不感知鏈路狀態(tài)突發(fā)流量一來(lái)哈希到同一鏈路的流直接擁塞。閾值觸發(fā)有改善但切換發(fā)生在線路已經(jīng)擁塞之后丟包無(wú)法完全避免。LSTM預(yù)測(cè)調(diào)度因?yàn)樘崆白隽藴?zhǔn)備鏈路還未完全擁塞時(shí)流量已經(jīng)切換到了備用路徑所以吞吐量最高時(shí)延最低。5. 常見問題與排查技巧實(shí)錄5.1 數(shù)據(jù)采集階段的典型問題我在測(cè)試中遇到最多的一個(gè)問題是Ryu采集到的端口統(tǒng)計(jì)里rx_bytes和tx_bytes會(huì)出現(xiàn)“負(fù)增長(zhǎng)”。排查后發(fā)現(xiàn)原因是OpenFlow的計(jì)數(shù)器是32位或64位無(wú)符號(hào)整數(shù)溢出后會(huì)歸零重新計(jì)數(shù)。處理方法是檢測(cè)到當(dāng)前值比上次值小的時(shí)候把差值加上計(jì)數(shù)器的最大值再計(jì)算。另一個(gè)問題是端口統(tǒng)計(jì)的間隔不均勻。Ryu的請(qǐng)求是周期性的但交換機(jī)處理請(qǐng)求的延遲不一致導(dǎo)致相鄰兩次統(tǒng)計(jì)的時(shí)間間隔波動(dòng)。如果直接用原始間隔計(jì)算速率算出來(lái)的流量曲線噪聲很大。后來(lái)我在數(shù)據(jù)預(yù)處理階段加了一步對(duì)原始速率做指數(shù)加權(quán)平滑才把曲線變“干凈”。5.2 LSTM訓(xùn)練階段的常見錯(cuò)誤訓(xùn)練中最容易犯的錯(cuò)是數(shù)據(jù)泄漏。我在第一版代碼里先對(duì)整個(gè)序列做歸一化再切分訓(xùn)練集和測(cè)試集導(dǎo)致驗(yàn)證損失很低但上線后預(yù)測(cè)效果慘不忍睹。原因就是scaler在擬合時(shí)已經(jīng)“偷看”了測(cè)試集的數(shù)據(jù)分布。正確做法前面已經(jīng)提到先切分再只對(duì)訓(xùn)練集擬合scaler。還有一個(gè)坑是序列構(gòu)建時(shí)的方向問題。流量數(shù)據(jù)是按時(shí)間順序排列的構(gòu)建訓(xùn)練樣本時(shí)絕不能打亂順序。有些人習(xí)慣把所有數(shù)據(jù)集中后shuffle這會(huì)導(dǎo)致模型學(xué)到隨機(jī)噪聲預(yù)測(cè)結(jié)果完全失效。5.3 系統(tǒng)上線階段的部署問題最后說(shuō)一下“預(yù)測(cè)服務(wù)”和“控制器”的時(shí)序配合。剛開始測(cè)試時(shí)我把預(yù)測(cè)服務(wù)和Ryu放在同一個(gè)進(jìn)程里結(jié)果發(fā)現(xiàn)Ryu的性能被嚴(yán)重拖累因?yàn)槟P屯评硎荂PU密集型的阻塞了控制器的消息處理循環(huán)。后來(lái)改成獨(dú)立的Flask服務(wù)才徹底解決。如果你在實(shí)際部署中也做系統(tǒng)整合建議遵循這個(gè)原則SDN控制器的主循環(huán)一定要保持輕量哪怕是調(diào)用模型推理接口也最好用異步方式。另外模型推理間隔和采集間隔要配套。我的采集是5秒一次預(yù)測(cè)服務(wù)每5秒推理一次完全能跟上。但如果你的網(wǎng)絡(luò)規(guī)模大、交換機(jī)數(shù)量多建議把預(yù)測(cè)請(qǐng)求做成批量提交不要每臺(tái)交換機(jī)單獨(dú)請(qǐng)求一次接口。6. 項(xiàng)目擴(kuò)展方向與個(gè)人經(jīng)驗(yàn)整個(gè)系統(tǒng)跑通之后我最大的感受是LSTM在SDN流量預(yù)測(cè)這個(gè)場(chǎng)景中的價(jià)值不在于“精確預(yù)測(cè)未來(lái)”而在于提供一個(gè)比“事后響應(yīng)”更早期的決策信號(hào)。哪怕預(yù)測(cè)準(zhǔn)確率只有80%也能在負(fù)載均衡的決策鏈路上爭(zhēng)取到極其寶貴的提前量。從擴(kuò)展角度看后續(xù)你可以做幾件很有意思的事情把LSTM替換成Transformer或者TCN對(duì)比不同時(shí)序模型在流量預(yù)測(cè)上的表現(xiàn)把預(yù)測(cè)結(jié)果接入更多的網(wǎng)絡(luò)管理場(chǎng)景比如告警預(yù)判、帶寬規(guī)劃或者把調(diào)度策略從簡(jiǎn)單的閾值觸發(fā)改成強(qiáng)化學(xué)習(xí)讓網(wǎng)絡(luò)自己學(xué)習(xí)最優(yōu)的切換策略。最后想單獨(dú)提醒一點(diǎn)如果沒有耐心跑真實(shí)網(wǎng)絡(luò)流量建議先用公開數(shù)據(jù)集把模型訓(xùn)練和評(píng)估流程跑通再回頭接SDN實(shí)時(shí)數(shù)據(jù)。不要把“數(shù)據(jù)采集”和“模型訓(xùn)練”兩個(gè)問題混在一起排錯(cuò)否則出現(xiàn)問題時(shí)你根本分不清是數(shù)據(jù)的問題還是模型的問題。分開調(diào)試、分開驗(yàn)證是這套系統(tǒng)從零到一最省時(shí)間的方式。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产suv精品一区二区四区999 | 99婷婷| 99re国产中文字幕| 超碰三级秋霞| 精品国产网站| 亚洲无限观看| 亚洲色婷婷久久91| 国产女人和拘做爰视频| 欧美性爱精品一区二区| 麻豆视频test| 美女丝袜激情小说| 欧美国产精品久久九九| 丁香五月影院| 鸥美极品| 精品九九| 亚洲美女自拍偷拍视频| 伊人久久国产免费观看视频| 中国熟女91| 亚洲欧美清纯| 日韩性爱毛片操骚逼| 91人妻Pr| 国产成人AV麻豆| 男女香蕉一区二区| 色在线综合| 美中日韩无码| 97超级欧美| 亚洲区小说| 欧美超碰97| 亚洲成人av电影在线| 色色色色综合网| 老熟女熟妇| 在线色资源| 97超碰超碰| 日本性爰一道本| 欧美亚洲丝袜人妻制服99| 亚洲日韩东京热一区| 91综合熟女| 国产三级多多影院2022国产AA一级毛片无码 | 日韩美女久久一区二区三区| 超碰社区97| www.av家庭乱伦| 亚洲乱码尤物193YW| 中文字幕国产精品1区| 91激情国产| 亚洲AV麻豆Aⅴ无码电影一 | 精品中文日韩字幕视频| 激情综合网激情综合| 天天视频黄网站| 岛国小电影| 大逼色网站| 久久av成人无码免费| 欧美性爱97超碰| 激情综合网一盗摄| 99re热有精品视频国产| 色一射色一射| 亚洲色人阁| 国产高清无码一区二区三区四区皇冠| 校园春色综合色| 日韩大香蕉AV影片| 成人性爱电影一区二区| 九九九九九九视频| 天天日天天搞天天干| 日本少妇va7777| 午夜啊啊| 一区二区激情国产熟女 | 亚洲高清欧美总合| 久久久中文| 丰满丝袜少妇AV| 边做饭边操逼逼| 国产精品青青草| 欧美日本不卡在线| 操逼日韩无码| 亚洲好色人妻| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 亚洲婷婷综合网| 色99色| 成人精品欧洲亚洲| 欧美日韩亚洲一区二区在线观看| 女生自91网站| 91亚洲色人| 91色噜噜狠狠| 国产精品久久久久久亚洲色欲| 婷婷五月天小说| 大逼色网站| 欧美日韩成人在线| 91久久| 天天影视网综合少妇| 另类欧美色| 天天天天干| 天天在线91| 国产树林里野战在线看| 日韩人人精品| 中日高清无码操逼视频| 97精品视频网站| 天堂精品在线| 啊啊啊好舒服视频| 九九热免费国产视频婷婷伊人五月| 巨乳特殊服务按摩| 天天舔天天| 老女人综合网| 色第一页| 26UUU欧美激情一区二区| 啊啊啊要高潮了| 亚洲精品国产熟女久久久久久| 熟妇高潮精品一区二区三区下载| 中文字幕精品一区二区精| 国产精品一区二区后入| 91小视频| 国产馆| 国产女上位好爽在线| 26UUU欧美日本| 91麻豆天美传媒HD| 久久日韩精品一区二区| 久久久啊啊啊| 天天激色| 国模吧 一区二区三区| 精品久操| 亚洲免费日韩在线一区二区| 色欲蜜臀AV| 天美传媒av一区二区| 国产福利精品最新在线 | 极品出轨视频网站| 91老熟女逼| 天天干天天燥| 在线观看啊啊啊啊啊| 91ise欧美| 国产Aα| 2020中文字幕在线| 夜夜爽77777| 无码137片内射在线影院| 性老妇一区二区三区| 亚洲精品官网在线观看| 91欧美网| 啊啊啊啊好大好硬啊啊啊啊啊 | 久久久久久九九九| 精品176精品2| 狠狠色婷婷| 夜夜草天天| 日本精品一区二区三| 91美女视频在线观看| 国产剧情一区在线观看| 福利在线观看一区二区| 日韩欧美性吧婷婷乱伦大香蕉| 大香蕉欧美国产日韩高潮| 日韩无码专区| 一类无码操逼视频| 欧美第二页| 亚洲日韩东京热一区| 亚洲人成网www| 国产高清26uuu| 啊啊啊爽爽| 手机久操欧美综合色码| 亚洲色图大香| 操逼片中文| 亲子敌伦对白在线播放| 久久成人东京热人妻| 一区二区三区日韩欧美| 99无码视频| 久久精品国产亚洲AV高清演员表| 亚洲 欧美 色图| 亚洲天堂人人妻| 综合一区中亚洲国产成人综合精品 | 日本在线观看网址| 欧美亚洲系列| 足交视频老司机| 久jiu久神马影院| 日韩乱伦视频| 午夜国产综合视频在线观看 | 亚洲欧美另类激情小说| 欧美色图片欧美色图| 大香蕉免| 久久久麻豆精品| 成人毛片免费| 香蕉综合网| 日韩二区三四区五区六区在线看| 91麻豆一二三区| 狠狠 91| 大屁股xxxxx| 91碰超| 欧洲特黄毛片免费看欧洲毛片| 精品少妇一区二区| 黄色十八禁| 人人摸人人干| 大香蕉伊人网WWWn0n| 亚洲精品亚洲人成人网| 婷婷视频在线免费观看| 国产黄色小视频网站| 清纯唯美亚洲综合| 欧美激情亚洲| 亚洲激情欧美色图| 天欧美在线| 九九夜精品九九在线| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 久久久久国产无av| 激情五月天社区| 一级aaaaa欧美中文字幕录像片| 欧美日韩国产一区二区小黄片大全| 密臀视频三区免费网站| 不卡在线观看视频| 超碰97 线线 在现| 久草新在线| 草久在线| 欧美在线官网| 欧美AB在线观看| 亚洲黄色a级片| 自拍偷拍 高清无码| 欧美爱三级日韩久久| 亚洲男人电影天堂| 欧美影院一区二区三区| 日产操逼| 日日操免费视频| 欧美gv在线观看| 91看黄片| 亚欧性爱无码| 亚洲成人日韩小说| 综合久久久久久久综合网| 香蕉欧美| 久久精品国产99精品亚洲蜜...| 老司机午夜精品视频| 国产强奸乱伦无码视频| 欧美大香蕉久| 3P乱轮视频| 亚洲黄色网址视频| 第一高清av中文字幕| 黄色片大香蕉| 久久伊人大香蕉| 青青草日韩无码| AV天天在线观看| 久久不卡一区二区| 亚洲一二三精品久久网| 91爰爱欧美| 亚洲综合校园春色| 69久久| 超碰美国| a片在线播放| 1人人看人人摸人人操| 伊人网综合在线视频| 一起草精品人妻| 色一情一乱一乱一区91Av| 欧美久久九九| 啊啊啊在线观看免费视频| 色网1| 情色图区| 日本久久女同性恋视频| blacked精品一区国产| 激情久久av一区av二区av| 色色99| 青青青国产手线观看视频2| 秋霞网—男女啪啪亚洲免费体验区| 色黄污美女啪啪啪免费网站| 人人射人人操人人摸| 日本综合久久| 色婷婷综合久久久久中文一区二区| 亚洲欧美日韩电影网站一区| 亚洲综合色图欧美| 国产精品com| 91精品女厕偷拍视频| 深夜激情无码| 99国内精品| 99色骚| 久久线上视频免费看| 国产操逼网站亚洲一级黄色| 日日操丁香五月天| 精品国产一区二区三区av在线资源| 久久综合久久综合人久久夜精品| 久久成人午夜狠狠| 9久久久久| 美女视频尤物网在线看| 久久一区二区三区入口| 四虎免费看黄| 夜夜爽夜夜高潮夜夜爽| 免费人成在线观看网站品爱网| 国产男女无套视频免费观看| 粉嫩av平台| 乳欲人妻办公室奶水| 五月天综合网| 成年人免费观看网站| 极品另类| 欧美很很操视频| 男人的天堂在线有码| 91人妻久久久久久久久久久久久| 日本孕妇一区二区视频操逼免费看 | a片久久久久久久久久久久 | 骚货人妻偷情自拍在线视频| 亚洲天天精品| 久热在线精品免费观看| 精品一区二区三区蜜桃臀赵总 | 思思热久久成人| 美女刺激久久国产欧美| 中文字幕日韩情色| 9999久久久久| 黄色操人| 中文字幕精品一区二区精品| 超碰视97中文| 超碰人人操97碰| 超碰亚洲97| 久久女女| 性爱综合一区二区| 欧美性特| 少妇熟女视频一区二区三区| 26uuu偷拍亚洲欧洲综合| 久久,精品一二三| 9.1小视频| 免费看黄视频亚洲网站| 美女裸体麻豆天美蜜桃91| aV中文麻| 韩国一级做A片免费的| 97国产色图 | 久久久久久久久久久久久9999| nuu12国产麻豆精品| 中文字幕国产| 大香蕉欧美日韩| 香蕉视频欧美一卡二卡| 五月婷婷综合网| 大但人体久久久久| 免费A V在线播放| 久久久久久日韩| 欧美极品少妇交| 日韩精品一区二区人人人| 欧美性爱系列| 无码人妻系列少妇| 久久婷婷综合国际产色怕| 色网在线| 国产精品亚洲无码| 亚洲中文电影| 再深点灬舒服灬太大了添视频| 欧美性色综合网| 中文字幕精品探花视频| 中文字幕 一区二区 亚洲无码| 国产熟女无套内射| av中文字幕在线熟女| 亚洲综合有码| 色色热| 78操B| 婷婷五月天久久久| 玖玖爱伊人玖玖爱| 国产一级αv免费看片| 亚洲麻豆18发?| 人人妻人人狠人人| 国产国产亚洲一二三久久| 热99这里只有精品| 少妇超碰在线| 搡老女人老91二区| 91久久久久久久久久久| 久操国产在线| 欧美色图私拍91| 国产在线观看91精品一区| 久久久久久久久久久久黄色 | 97久久国产亚洲精品超碰热| 人人妻人人狠人人| 国产精选视频| 久久人妻办公室视频| 色妇综合网| 花野真衣| 成人无码电影在线观看网| 欧色性第一页| 久久肏大逼| 操熟女91| 激情露脸爱| 好屌色综合| 亚洲强奸乱伦影视网| 久久大香蕉97| 天天看少妇| 女欧美一区二三区| 欧美日韩少妇色情| 免费一级精品啪啪视频| 欧美啪啪天堂| 美女人妻色网站| 国产中文字幕在线点播| 丝袜高跟澳门91视频| 久久亚洲婷婷| 一区AV| 精品九九九九九九九九九| 亚洲最大无码中文字幕网站| 九九碰九九爱97超| 污污污8888| 日本无码1| 午夜噜噜噜| 国产一区二区三区免费视频在性观看| 国产精品乱码久久久久久久| 久久久久久久久久久六六| 美国黄片aaa| 亚洲欧美天| 国产日本熟女顶级一区二区三区视频| 岛国免费黄色网址| 精品对白久久不卡| 嗯,啊。舔我逼| 91久久久久久| 中文日本免费高清| 伊人久久AV诱惑悠悠| 1二区9| 六月丁香啪啪| 国产精品亚洲无码| 91性片| 免费网色网站| 国产吞精a级片激情电影| 色综合av综合久久| 久久女女| 26uuu国产亚洲综合| 亚洲欧美视| 色老汉色| 狠狠干狠狠色| 嫩草影院在线观看精品| 亚洲麻豆av一区二区| 中文无线日韩一区| 午夜精品久久久久| 蜜桃色色网站视频三区| 乱欲一区二区| 亚洲精品国语在线播放| 大香蕉伊人75| 久久日本熟女精品一区| 午夜呻吟欧美| 色综合久久久久| 一类无码操逼视频| 午夜男女爽爽大片免费观看| 国产麻豆91欧美一区二区久久婷婷国产精品| 激情露脸爱| 五月婷婷色色| 欧美亚州综合网图片| 伦理弟一页| 色性荡荡荡荡视频| 亚洲欧美精品一区天堂久久| 精品人妻美妇91job| 自拍偷拍第26| 国产午夜在线观看| 日日超碰亚洲| 美女性91| 综合熟妇一区二区三区| 鸥美插入视频| 久九干| 丁香六月激情| 久99视频| 久久久成人国产精品无码| 飘花国产午夜精品不卡| 日韩大香蕉| 97在线免费公开视频| 欧美在线大香蕉| 中文字幕在线观看第二页| 九九内射在线| 人人爱操| 操一区| 91人妻Pr| 尤物视频新赏网鲜网色诱网| 欧美玖玖爱免费玖玖| 99re69| 夜夜操老骚逼视频网站| 最新加勒比丝袜在线| 婷婷激情四射| 婷婷丁香六月| 日韩成人网址| 色9999日韩国产| 大伊香蕉在线视频免费| 欧美成人黄网色网站| 凹凸视频在线观看伊人| 免费伦费视频在线观看| 人妻中文字幕日韩电影| 国产精品久久久久久片| 乱伦系列一区二区| 天美麻花大全视频| 婷婷久热| 高清无码网址| 天天插天天干| 天天摸天天插天天日| 日韩无码嘿咻黑热久| 欧美日不卡| 日韩人妻资源网| 日本一区二区三区精品| 一区二区三区蜜桃成人撸久久东京热 | 老司机免费视频在线91| 青青草色插素人| 欧美色图亚洲色图成人在在线| 久久久不能久久久久| 青青草在线视频人人想人人上 | 91激情国产| 午夜视频久久久| 天天综合网视频91| 超碰色97| 亚洲 欧美 日韩 国产一区二区| 一级AV性爱| 一本精品日本在线视频精品 | 67914亚洲精品| 久操九九九九| 丝袜夫妻自拍| 老鸭窝黄色视频网站| 男人天堂 天天射| 人人妻人人色一区二区三区| 激情一区二区| 精品人妻一区二区三区四区石在线| 国产狂喷潮在线精品| 日本免费一级AAA大片器 | 蜜乳AV一区| 亚洲精品蜜桃久久久| 欧美热图99| 亚州综合色| 亚洲图片色图欧美另类| 97摸视频| 亚洲成人av色网| 91精品电影18| 蜜桃一区二区三区| sewuyueav| 欧美高清无码免费视频高清版| 人妻丰满熟妇一区二区三| 日本精品高清一二区一本到| 日韩成人大片在线观看| 少妇蜜汁| 亚洲中亚日激情视频| 日韩天天综合| www.99色| www国产天美久久久| 女优免费一区二区永久| 国产日韩人人| 南澳成人一级片在线播放| 久久国产在线一区二区| 国产精品视频精品一二| 91撸色网 玖玖网 欧美| 婷婷人妻激情| 精品国产一区二区三区在线播出| 激情五月天视频| 多毛小伙内射老太婆| 婷婷激情五月| 欧美亚洲美少妇一区二区| 日韩ab网 | 久久女人一区二区三区| 热久日综合| 78精品| 亚洲免费成人在线高清无码视频 | 欧美美女视频| xxxx网站亚洲精品| 日本三级久| 嗯嗯啊啊的视频| 成人免费性爱视视| 日本99久久| 九九九久久久久| 啊啊啊啊无码| 亚洲精品亚洲人成在线麻豆| 一区,二区,三区网站| 正宗无毛一线天嫩逼| 热无码中文亚洲H一道本一区二区| 久综合网| 97久久精品亚洲中六字幕| 久9爱精品| 伊人久久综合影院| 91色碰| 亚洲天堂少妇| 美女爽爽爽刺痛洞洞| www.人人摸在线视频| 亚洲欧美日韩二区视频| 大香蕉伊人网WWWn0n| 97色操| 中文字幕一区电影在线观看| 婷婷在线播放| 久久久三区二区一区| 国产精品人妻熟女aⅴ| 美女啊啊啊啊pc| 91美女片在线| 欧美刺激色黄片免费看| 国产乱码精品久久久久久| 超碰在线人人射| 超碰免费人人| 国外91| 欧美性爱无码一区二区三区| 精品一区二区三区最新| 青青草福利视频| 亚洲色诱惑| 欧美日韩亚洲国产中文永久天天看| 日韩免费在线观看不卡| 国产精品老熟女一区二区| 少妇蹲下买菜露大唇0| 亚洲国产av中文字幕久久| 真实高潮91| 亚洲开心网| 性爱av在线免费观看| 91黑丝操| 欧美综合色| 久久精品国产亚洲AV片多多| 91性| 久久夜黄色无码A级大片| 久久99网站| 深夜激情| 99热亚洲| 国产97亚洲| 黑丝内射一区二区三区| 久久岛国| 殴美牲| 少妇一区二区三区| 2001天天操| 激情小说在线视频| 男人天堂2019亚洲| 91狠狠综合| 大香蕉伊人一区在线观看| 亚洲欧美成人网站AAA| 啊啊啊com| 91五十路| 嗯阿好爽好紧| 日韩精品一区二区高清| 欧美综合在线91| 九九热久久99精品re| 韩国国产欧美情侣视频在线| 国产精品久久久无码AV网站| 人妻少妇精品无码专区二区密桃| 9久久精品| 婷婷色香伊人| 99.色网| 欧美夜夜骑视频| 久久这里只精品免费福利| 久热精品色情| 国产精品欧美日韩久久| 亚州男人天堂| 青青草十区九区爱夜| 国产乱伦亚洲色图高清无码| 亚洲色图 综合| 亚洲精品美女久久久久久久久| 竹菊一区二区三区AV线| 超碰调教97| 亚洲一区操| 黄久在线| 狠狠干狠狠干| 国产精品不卡一区二区三区av| 久久超碰大香蕉| 亚洲一区二区三区四区视频| 久操视频在线| www.狠狠干.coom | 日韩乱伦AⅤ| 青青草女人天天干| 操人妻少妇中文| 大香蕉一级黄色片久久| 久久99草| 亚洲综合精品国产一区| 久操免费在线| 91日产欧美| 九九香蕉网| 久久综合97| 亚州精品丝袜-不卡成人免费| 91啦人妻| 美女上床网站| 夜夜操天天肏| 国产 日韩 另类 视频一区爱| 97天天| 久久草视频污视频| 国产少妇肉丝在线观看| www熟女乱伦com| 五十路熟女在线不卡观看一区二区| julia高潮后不停追击中出| 超碰免费人妻在线| 欧美日韩精品久久| 丁香六月婷婷久久综合| 制度丝袜99| 天久久久噜噜噜久久国产精品爽爽| 伊人操操| 另类图片五月| av天堂手机版追回| 20cm女自慰在线日韩欧美| 91插B网站| 欧美在线伊人色| 操婷婷逼| 岛国黄| 九七超碰| 毛片99-全集电影手机免费观看完整-B029AV| 久久久久久久久久久久久9999| 亚洲无码AV九九九| 粉嫩av平台| 大鸡巴久久| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | J?P?NESEHD熟女熟妇伦| 中文字幕午夜精品久久久| 久草色悠悠在线视频| 欧美操人| 美女国产一区二区久久| 边做饭边操逼逼| 国产亚热在线久久| 久久久久密臀一区二区| 少妇 综合| 一区二区三区激情在线观看| 2019精品国产无码成人| 欧美中文综合| 97在线/亚洲| 亚洲的天堂网| 九九成人精品| 99999精品视频| 日本女人操逼| 大香蕉免费乱伦视频| 人妻性爱一区二区| 99re98| 久久有码视频| 无码九九九九| yy少妇精品久久| 色诱中文字幕| 欧美亚洲日韩人妻在线观看| 免费一级欧美片片线观看| 熟女五十路一区二区三| 自拍偷拍 日韩欧美| 超碰这里有精品| 手机午夜电影神马久久| 天天伊人| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 国产AV线| 很很很很操| 国产极品久久久| 5252色欧美在线| 少妇毛片久久| 亭亭丁香激情| 亚洲中文制服诱惑| 精品国产乱码久久久久久影片| 大香蕉啪啪啪| 欧美自拍偷拍综合图片| 免费看国产大AB| 日韩精品人妻中文字幕久久久| 日本淫色网| 日韩欧美麻豆大片| 91九九九馒头| 蜜桃臀av在线观看| 五月丁香亭亭| www.91色综合| 久久极品一区二区| 玖玖视频在线资源一区二区三区| 激情久久av一区av二区av| 日韩激情啪啪| 综合久久欧美| 狠狠爱综合| 91成人精品在线播放| 亚洲精品a人片在线观看视| 欧美黑人精品一区二区| 国产激情av女片自拍| 亚洲精品乱码久久久久久蜜桃麻豆| 日韩AV无码中文一区二区| 乱伦3P视频| 国产精选三级在线观看| 久久婷五月天| 日本亚洲熟女视频| 日本综合色图| 国产亚洲人妻综合日韩 久久| 97av在线视频| 国产女人高潮视频| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 亚洲人妻色图| 亚洲欧美不卡线| 男人的天堂 在线一区| 激情黄色片在线观看| 操逼日批| 日va操| 丝袜美腿制服人妻二区中文字幕| 中文久久爆乳| 国产按摩一区二区三区| 99热综合在线| 久久久啊啊| 99热 按摩 日韩| 夜夜嗨TV| 色淫网站优优视频| 亚洲激情视频| 国产精品一区二区亚洲人成毛片| 黄色一区二区秘书性感| 亚洲国产日韩欧美熟妇在线| 亚洲中文字幕网| 91人妻丝袜无码| 亚州熟妇精品| 中国91AV| 九九热三级片| 97在线精品观看视频| 国产精品久久久久综合| 久久欧美按摩999| 91在线视频免费中出| 夜夜 中文视频rt| 精产品久久| 无码人妻精品一区二区三区99不卡| 超碰无码加勒比| 国产亚洲国产超碰| 97操97色| 国产精品亚洲四五区在线观看| 欧美体内射精| 99国产精品| 久操网视频| 超碰人妻在线| 亚洲成人精品久久久| 久久人体一区二区| 粉嫩av在线| 国产第12页| 99ri精品| 久久9亚洲| 九九九久| 无码动漫av中文字幕| 思思热免费视频观看| 狠狠干,狠狠操| 国产午夜视频| 大香蕉狠狠爱| 综合久久久久久久综合网| 五月丁香综合| 搞中出视频在线观看| 人妻第一页| 国产亚洲日韩在线三区黑人| 男人的天堂在线有码| 天天日美女的B| 人妻少妇久久中文字幕一区二区 麻豆| 亚洲黄色a级片| 91亚洲不卡一区| 婷婷久草| 干超碰碰熟女| 欧美十八禁在线看| 免費人妻夜夜爽天天爽爽一区| 综合自拍| 日韩性爱视频在线免费观看| 天天爽天天| 偷拍亚洲视频一区二区三区四区| 欧美18老人禁| 天天摸,夜夜摸| 亚洲青青草| 欧美成人四级在线播放| 欧美日韩国第一区| 超碰在线免费一区二区三区| 久久久久久久亚洲Av无码| 亚洲城人男人的天堂| 91国产丝袜白虎| AAAAAAAAA黄片| 色九九九九| 国产色产精品在线观看| 任你爽视频| 操老熟女AV| 人人操人人搞人人草| 久久精品亚洲东京热色播| 亚洲综合嫩| 亚欧高清v| 97在线欧| 福利伊人玖玖国产| 91爱做| 久久性爱视频99| 久久久啊啊| 香蕉综合网| 婷婷操逼| 九九九九热只有精品| 92午夜免费福利视频| 四虎在线播放| 91AV入口| 91国产大片| 99久久精品国产系列| 天天91~综合入口| 78超碰| 26uuu欧美| 欧美日韩色| 久久怡红院| 黄色工厂这里只有精品| 九九RE视频在线精品| 这里只有97精品| 亚洲啪啪性视频| 欧美瑟综合| 亚欧国产无码精品在线| 天天综合91入口| www激情| 78精品在线| 午夜精品久久久久久久男人的天堂| 婷婷激情丁香| 性爱视频久久| 四虎av在线| 夜夜操二区| 啊啊啊啊啊好多水| 炮色五月| 老熟女搡BBBB搡BBBB视频| 久久有码| 欧亚成人| 精品国产乱码久久久影院| 国产一区二区三区影片| 亚洲天堂另类| 深夜啪啪啪视频免费| 72av视频| 国产天美欧美| 精品人妻视频入口| 嫩草影院永久在线制服丝袜| 日韩一性一交一A片俄罗斯| 吊色| 欧美性爱五月天| 操一对老熟妇爽上天视频| 国内91熟女人妻丝袜天天精品视频在线| 男人天堂资源| 国精品一区二区三| 一牛影视成人片免费| 亚洲天堂资源| 激情综合色| 翔田千里无码一区| 99热 按摩 日韩| 操B在线观看| 易易A毛视频| 后入人妻一区| 欧美亚洲色图另类国产| 精品人妻一区二区三区蜜桃视频| 国产剧情一区在线观看| 97无码视频在线播放| 99热 按摩 日韩| 国产日韩欧美三级片| 青青青青操国内视频在线| 97欧美精品综合| 都市久久精品激情亚洲| 亚洲精品97久久中文字幕| 久久午夜伦| 国产美女口爆吞精视频| 公司1区2区3区精产精| 婷婷色网| 男人天堂网站| 中文字幕AV片| 色婷婷久久| 欧美综合国产精品久久丁香| 另类专区加勒比| 大香樵伊人网| 国模不卡| 亚洲人综合19| 日韩电影天堂视频一区二区| 亚洲欧洲另类| 51久久夜色精品国产麻豆| 久久超碰天天| 极品内射| 久久99久久99精品免视看婷婷| 精品无码一区二区三区| 91模特在线观看| 日韩AV一区二区三区三州三州| 日韩性爱免费视频在线网站| 99色网| 风骚少妇视频中文字幕| 97爱免费插| 家庭乱伦性爱av| 野狼福利社区| 色眯眯av| 亚洲精品一区中文字幕乱码| 无码av永久免费专区网站| 好吊色综合| 中文字幕78| 天天色香欲综合网| 1禁看欧美黄片免费看| 欧美 亚洲精品首页| 很很很很操| 毛片视频白嫩| 91九色在线| 手机在线视频国内精品| av黄图片在线观看| 国产免费一区| 亚洲色9| 丁香激情网| 国产一区二区三区视频在线看| 好属操| 精品美女人人干| 国产黄色动态精品| 欧美性猛交美女自慰91| 人妻熟女av国产网站| 97精品一区二区视频| 夜夜欧美| 天天操天天日青青草超碰av| 亚洲熟妇图片| 色色色欧美| 久久久久亚洲Aⅴ无码| 成人无码电影在线观看网| 欧美双插| 亚洲欧美国产精品久久久久久久| 加勒比五月天| 亚洲第一精品在线视频| 神马久久久久久久| 91欧美色| 无码人妻丰满熟妇区毛片| 操一区| 国产精品午夜成人福利| 日韩乱码Av| 中文字幕在线日亚州9| 日韩欧美字幕亚洲一区二区| 性色生活片久久毛片婬片免费放女人一级毛片 | 无码丰满熟妇一区二区浪潮AV| 日日爱99| 97在线免费看视频| 色色九区| 日韩在线观看AV| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 99re在线| 亚洲欲色| 91免费看中出视频| 日韩青久久| 超碰一区二区| 精品9999| 老鸭窝日丰县女人| 日日干夜夜欢| 日韩人妻精品| 风月影院男女十八禁| 97在线观视频免费观看| 素颜老阿姨乱情色| 97在线无精品| 久久男人网| 97色色色综合网站| 性色高清在线| 日韩精品熟妇| 男人干美女| 日本精品国产视频| 午夜精品久久久久| 欧美色一二三| 一区二区三区日韩欧美| 97 超碰 人人做 人人爱| wwe 天天干.com| 欧美日韩亚洲天堂网| www.高清无码诱惑一区.com | 青草地一本线一区二区三区| 欧美性少妇| 日本 情色 1区2区3区| 久草老司机| 伊人宅男大香蕉| 亚洲无码一区成人免费午夜| 久热精品在线| AV女优男人的天堂| 欧美色图第一页| 精品欧美老熟女一二区| 国产区日韩区在线观看| 亚洲精品久久久久毛片A片拉屎 | 国产品精品自在在线午夜免费| 日韩欧美性吧婷婷乱伦大香蕉| 天堂v无码免费视频| av影片在线观看不卡| 丁香婷婷五月| jk白丝没脱就开始啪啪| 青娱乐国产盛宴视频| 亚洲高清无码免费观看视频| 色色色综合网| 欧美亚洲激情小说| 亚州色图欧美| 欧美国产操逼| 97超碰超欧美。| 综合色区偷拍| 麻豆久久一区二区三区| 日韩免费看在线黄色片| 在线观看AV片| 婷婷99狠狠| 欧美中文字幕一区| 欧美色图91p| 欧美一级二级三级| 精品人妻中文字幕高清| av强奸乱轮| 日本岛国黄色网址| 青青爽| 日韩精品9999| 欧美影音在线| 欧美色97| 国产高清自拍视频| 欧美操逼熟女| 99视频只有精品| 岛国小电影| 精品人妻一二三四区视频| 无码粉嫩白虎一线天b区| 草草电影院| 色综合av男人天堂| 乱伦3P视频| 日本有码久久| 欧美亚洲日韩16色| 亚洲欧美综合网| 国内精品久久人妻性色av| 性做久久久久久久| 欧美黑人猛交春色影视大全| 91性感网站| 中文字幕人妻丝袜乱一区三区| 久久大| 天天视频综合在线观看视频| 亚洲天堂区| 久久久久久久久久久久九| 久久久久久久久一区二区三区| 免费人成在线观看网站品爱网| 日本在线不卡一二区| 91在线限制级| 99热这里都是精品| 人妻丰满熟妇一区二区三| 思思热在线视频精品| 躁躁日曰躁2020| 中文字幕黄色一起草| 18禁免费视频| 伊人天堂在线| 久久后入制服| 婷婷在线视频在线观看| 伊人AAA| 熟女高潮合集-永久久久-成人AV| 欧美 亚洲 在线| 操我无码| 成人网欧美风情| 精品传媒在线一区| 国产一级作爱毛片| 国产60区。| 欧美日韩精品久久久久久久久东北老熟妇| 男人的天堂午夜av| 天天色悠悠激情| 天天综合欧美黑人| 亚洲精品人妻在线| 欧美AB在线观看| 97美日韩视频| www.久久最新地址| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 嗯阿好爽好紧| 午夜一区| 视频分类 国内精品| 超碰97久久观看| 久久久久久精| 99精品在线观看| 青青草国产一区二区三区| 欧美不卡在线一区二区| 欧美后进式| 蜜臀va69| 欧美激情中文字幕另类小说| 欧美精品91| 国产在线视频午夜精华在 | 午夜天堂网| 亚洲精品九九九| 激情综合久久| 日韩三级一区 | 国内精品a| 麻豆黄色五月天| 九九九不卡| 乱伦3P视频| 国产熟妇一区二区| 放黄片放3级黄片没穿衣服| 欧洲熟妇xxXx欧美老妇裸体| 日韩AV色图| 青青草国产欧美非洲黑人| 五月天综合在线| 综合网亚洲1| 免费看A片毛毛片在线播| 久久一二三四五六七八九区区| 日本操逼视频在线| 黄页大片在线观看| 日本黄色精品| 欧美精品1区2区3区| 欧美色图 人妻| 国产精品九九九| 夜夜嗨AV一区天天| 亚洲色图欧洲| 国产一区96在线| 青青青青操国内视频在线| 四虎AV在线观看| 青娱乐黄色录像| 中文字幕 人妻不满 在线视频| 国际精品久久久| 欧洲熟妇xxXx欧美老妇裸体| 天天天做天天天爱天天天爽| 97在线精品观看视频| 成人黄页| 亚洲系列第一页| 941超碰| www色日本| 啊啊啊啊嗯嗯在线久久久| 日韩国产中文字幕| 夜夜欧美 | 91原创在线观看| 亚洲欧美色图| 97色爱| 亚洲日本激情| 国产性爱欧美性爱在线 | 免费在线看黄片av| 午夜天堂网| 成人一级性爱| 天天草AV| 黄片不用下载在线观看| 久久老熟女| av天堂影视中文在字幕在线中文| 国产91 丝袜在线播放00-百度| 亚洲综合97中文网| 成人av性爱电影在线观看| 日韩啪啪啪视频| 日本视频一区二区三区| 91碰碰| 日本三级韩国三级99| 无码天堂| 91国产美女丝袜足交精品视频| 污污汅18禁网站在线永久免费观看| 97天天插| 色五月综合|