日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

BAS-SCA混合優(yōu)化極限學(xué)習(xí)機(jī):從ELM隨機(jī)性痛點(diǎn)看參數(shù)尋優(yōu)實(shí)戰(zhàn)

BAS-SCA混合優(yōu)化極限學(xué)習(xí)機(jī):從ELM隨機(jī)性痛點(diǎn)看參數(shù)尋優(yōu)實(shí)戰(zhàn) 做機(jī)器學(xué)習(xí)調(diào)參這些年我一直對極限學(xué)習(xí)機(jī)ELM又愛又恨。愛的是它訓(xùn)練速度確實(shí)快恨的是它那套隨機(jī)生成輸入權(quán)重和隱層偏置的機(jī)制導(dǎo)致每次跑出來的結(jié)果方差極大換個(gè)隨機(jī)種子預(yù)測精度就跟過山車一樣。后來我在實(shí)際項(xiàng)目中嘗試用天牛須算法BAS和正余弦算法SCA做了一版混合改進(jìn)的BAS-SCA優(yōu)化ELM方案用雙重搜索機(jī)制去替代ELM的隨機(jī)初始化實(shí)測下來不但精度上去了穩(wěn)定性也比單用BAS或單用SCA好不少。這篇就把這套方案的完整思路、融合機(jī)制、代碼實(shí)現(xiàn)和調(diào)參經(jīng)驗(yàn)一次講清楚給同樣被ELM隨機(jī)性困擾的朋友做個(gè)參考。1. 先從ELM的痛點(diǎn)聊起為什么要優(yōu)化它1.1 ELM的隨機(jī)權(quán)重問題到底影響多大極限學(xué)習(xí)機(jī)的核心邏輯說起來很簡單輸入層到隱層的權(quán)重 W 和偏置 b 隨機(jī)生成然后用解析方式求解輸出層權(quán)重 β。因?yàn)?β 是通過最小二乘或嶺回歸一步計(jì)算出來的所以訓(xùn)練過程不需要反向傳播速度自然快得離譜。但問題恰恰出在那個(gè)“隨機(jī)生成”上——ELM的理論基礎(chǔ)之一是只要隱層節(jié)點(diǎn)足夠多隨機(jī)映射也能把原始特征投影到高維空間使得原本線性不可分的問題變得線性可分。理論沒問題實(shí)際操作中卻隱藏著一個(gè)巨大的坑隨機(jī)權(quán)重不同隱層輸出矩陣 H 就不同最終求出來的 β 也完全不同模型的泛化性能跟著劇烈波動(dòng)。我在回歸任務(wù)上做過一個(gè)簡單實(shí)驗(yàn)同一個(gè)數(shù)據(jù)集隱層節(jié)點(diǎn)設(shè)為20連續(xù)跑10次原始ELM測試集RMSE的極差能差出30%以上。這在工業(yè)落地場景中是很難接受的——你今天訓(xùn)練好一個(gè)模型上線明天重新訓(xùn)練一遍性能就變了下游業(yè)務(wù)根本沒法穩(wěn)定復(fù)用。所以業(yè)內(nèi)很自然的思路就是用一個(gè)優(yōu)化算法去搜索出一組更優(yōu)的初始權(quán)重和偏置讓ELM不再完全依賴“隨機(jī)抽卡”而是通過尋優(yōu)讓每次訓(xùn)練都能落在更優(yōu)的參數(shù)區(qū)間。1.2 BAS和SCA為什么會(huì)出現(xiàn)在同一個(gè)解決方案里既然要優(yōu)化ELM選擇哪個(gè)優(yōu)化算法就成了關(guān)鍵。我當(dāng)時(shí)最先嘗試的是天牛須算法BAS因?yàn)樗慕Y(jié)構(gòu)非常簡單不需要群體協(xié)作只靠一只“天?!庇脙筛毺綔y左右兩側(cè)的氣味濃度差異就能朝更優(yōu)方向移動(dòng)。BAS收斂速度快、計(jì)算開銷小用起來很順手。但它的問題也很明顯單一個(gè)體沒有種群信息共享天牛只能感知當(dāng)前點(diǎn)附近的局部梯度特別容易陷進(jìn)局部最優(yōu)。一旦初始位置選得不好后面再怎么走都翻不出那個(gè)局部坑。后來我在另一個(gè)項(xiàng)目里接觸了正余弦算法SCA它的設(shè)計(jì)思路跟BAS完全相反——維護(hù)一個(gè)種群每個(gè)個(gè)體通過正弦和余弦函數(shù)的振蕩波形在搜索空間里來回?cái)[動(dòng)既能做大幅度的全局探索也能逐步收斂到最優(yōu)解附近。SCA的全局搜索能力比BAS強(qiáng)得多但它的更新方式依賴于“當(dāng)前個(gè)體與全局最優(yōu)之間的差值”到了后期種群會(huì)快速向最優(yōu)個(gè)體靠攏搜索步長逐漸收縮收斂精度其實(shí)一般。一個(gè)小技巧是先各自跑一遍然后觀察收斂曲線BAS前期下降極快后期幾乎不挪動(dòng)SCA前期探索充分但收斂慢后期精度提升也很有限。這時(shí)我意識到把BAS的局部感知能力和SCA的全局振蕩能力結(jié)合起來正好可以互補(bǔ)——用SCA保證大范圍找到靠譜區(qū)域用BAS在找到的區(qū)域里做精細(xì)打磨這才是這套方案真正的出發(fā)點(diǎn)。1.3 整體方案設(shè)計(jì)思路互補(bǔ)優(yōu)于單一BAS-SCA混合算法的設(shè)計(jì)邏輯并不復(fù)雜但融合方式需要仔細(xì)推敲。最樸素的做法是“串行”先用SCA跑一半迭代再用BAS接著精搜。但這樣會(huì)導(dǎo)致兩個(gè)算法各自為政切換時(shí)信息斷層前期SCA收斂到的位置未必是適合BAS繼續(xù)開發(fā)的位置。我最終采用的是“并行混合”策略每個(gè)個(gè)體在同一輪迭代中同時(shí)執(zhí)行SCA更新和BAS搜索通過一個(gè)隨迭代次數(shù)變化的融合權(quán)重 λ把兩種機(jī)制的貢獻(xiàn)動(dòng)態(tài)疊加起來。前期讓SCA的全局振蕩占主導(dǎo)后期讓BAS的局部精細(xì)搜索占主導(dǎo)。這樣既不會(huì)丟失全局探索能力又能保證收斂階段的精度是整個(gè)算法的關(guān)鍵所在。另外這套方案要作用的對象是ELM而不是一個(gè)抽象的優(yōu)化測試函數(shù)所以在設(shè)計(jì)時(shí)還必須考慮ELM本身的特性——權(quán)重和偏置的取值范圍、適應(yīng)度函數(shù)的計(jì)算成本、隱層節(jié)點(diǎn)數(shù)量對搜索維度的影響等。這些細(xì)節(jié)處理不好優(yōu)化算法的理論再好也落不了地。2. 三個(gè)基礎(chǔ)算法的核心機(jī)制先搞清楚再動(dòng)手2.1 天牛須算法BAS一只天牛怎么找食物天牛須算法的靈感來自天牛覓食時(shí)的行為天牛的兩根觸須可以感知食物氣味的濃度如果左側(cè)氣味濃它就往左走如果右側(cè)濃就往右走。這個(gè)過程抽象成數(shù)學(xué)模型后非常簡潔。假設(shè)當(dāng)前位置是 X天牛隨機(jī)生成一個(gè)歸一化的方向向量 dir左須位置和右須位置分別表示為XL X d * dir / 2 XR X - d * dir / 2其中 d 表示兩只觸須之間的距離。然后分別計(jì)算左右兩個(gè)位置對應(yīng)的適應(yīng)度 f(XL) 和 f(XR)如果左須位置的適應(yīng)度更好求最小值時(shí)更小天牛就朝左移動(dòng)否則朝右移動(dòng)。位置更新公式為X_new X - step * sign(f(XL) - f(XR)) * dir這里的 step 是天牛的搜索步長sign 是符號函數(shù)決定移動(dòng)方向。隨著迭代推進(jìn)step 和 d 都會(huì)按一定比例衰減模擬天牛越來越接近食物源時(shí)步子越邁越小的過程。BAS的優(yōu)點(diǎn)是單個(gè)體搜索每輪只算兩次適應(yīng)度開銷低、收斂快缺點(diǎn)是缺少種群信息一旦方向判斷出錯(cuò)就可能直接走進(jìn)死胡同。2.2 正余弦算法SCA用三角函數(shù)畫出來的搜索軌跡SCA是Mirjalili在2016年提出的群體智能優(yōu)化算法核心思想是用正弦和余弦函數(shù)的周期性震蕩來模擬個(gè)體在解空間中的波動(dòng)搜索。對種群中的每個(gè)個(gè)體位置更新公式如下當(dāng) r4 0.5 時(shí) X_new X r1 * sin(r2) * |r3 * P - X|當(dāng) r4 0.5 時(shí) X_new X r1 * cos(r2) * |r3 * P - X|這里的 P 是當(dāng)前全局最優(yōu)位置r2 是[0, 2π]內(nèi)的隨機(jī)數(shù)決定步進(jìn)方向r3 是[0, 2]內(nèi)的隨機(jī)數(shù)用來給最優(yōu)位置加一個(gè)隨機(jī)權(quán)重r4 是[0, 1]內(nèi)的隨機(jī)數(shù)用來在正弦和余弦兩種更新模式之間做選擇。r1 是一個(gè)從 a 線性遞減到 0 的控制參數(shù)a 通常取2它決定了搜索幅度前期 r1 大個(gè)體大范圍震蕩進(jìn)行全局探索后期 r1 小震蕩幅度收窄轉(zhuǎn)為局部開發(fā)。所以SCA本質(zhì)上是通過三角函數(shù)周期性和隨機(jī)參數(shù)配合在“探索”和“開發(fā)”之間做平衡的多個(gè)體搜索算法。2.3 極限學(xué)習(xí)機(jī)ELM隨機(jī)映射加一步解析求解ELM的結(jié)構(gòu)是一個(gè)單隱層前饋神經(jīng)網(wǎng)絡(luò)假設(shè)輸入樣本是 X隱層節(jié)點(diǎn)數(shù)是 L激活函數(shù)是 g。隱層輸出矩陣 H 通過下面的公式計(jì)算H g(X * W b)其中 W 是輸入層到隱層的權(quán)重矩陣b 是隱層偏置這兩個(gè)就是隨機(jī)生成的部分。ELM的訓(xùn)練核心在于輸出權(quán)重 β 的求解目標(biāo)是最小化 ||Hβ - T||2其中 T 是訓(xùn)練目標(biāo)。這是一個(gè)線性最小二乘問題可以直接用Moore-Penrose偽逆求解β pinv(H) * T整個(gè)訓(xùn)練過程一步到位沒有任何迭代式梯度更新所以訓(xùn)練速度極快。但正因?yàn)?W 和 b 是隨機(jī)生成的H 的好壞完全取決于運(yùn)氣。如果隨機(jī)生成的映射不能有效提取特征ELM的精度就會(huì)很差。所以用BAS-SCA去搜索最優(yōu)的 W 和 b本質(zhì)上是把ELM從“隨機(jī)映射”升級為“優(yōu)化映射”在保留快速訓(xùn)練優(yōu)勢的同時(shí)大幅提升模型性能的穩(wěn)定性和上限。3. 融合邏輯與混合改進(jìn)機(jī)制的核心設(shè)計(jì)3.1 第一個(gè)改進(jìn)把天牛須擾動(dòng)嵌進(jìn)SCA更新公式這是整套混合機(jī)制最核心的部分。我沒有把BAS和SCA當(dāng)作兩個(gè)獨(dú)立的流水線串聯(lián)使用而是把BAS產(chǎn)生的方向擾動(dòng)直接作為一項(xiàng)修正量注入SCA的更新公式中?;旌虾蟮奈恢酶率綖閄_new λ * X_sca (1 - λ) * X_bas其中 X_sca 是SCA生成的候選位置X_bas 是BAS生成的候選位置。X_sca 保證了當(dāng)前個(gè)體向全局最優(yōu)方向移動(dòng)的趨勢X_bas 則通過左右須的適應(yīng)度比較提供了局部的方向修正。融合權(quán)重 λ 控制兩種機(jī)制的貢獻(xiàn)比例。這樣做有一個(gè)很實(shí)際的好處如果某個(gè)個(gè)體位于一個(gè)局部最優(yōu)附近SCA的震蕩幅度又已經(jīng)很小單靠SCA幾乎不可能跳出去而BAS的左右須方向判斷可以提供繞開局部坑的微調(diào)路徑相當(dāng)于在SCA的搜索路徑上增加了一個(gè)局部勘探器。反過來BAS容易誤判方向的問題也能被SCA的全局最優(yōu)牽引所糾正不至于走偏太遠(yuǎn)。3.2 第二個(gè)改進(jìn)自適應(yīng)融合權(quán)重的動(dòng)態(tài)調(diào)節(jié)融合權(quán)重 λ 不是固定值而是隨迭代次數(shù)動(dòng)態(tài)調(diào)整的。我使用的公式是λ 0.8 - 0.6 * (t / T)其中 t 是當(dāng)前迭代次數(shù)T 是最大迭代次數(shù)。迭代初期 t0 時(shí) λ0.8SCA占絕對主導(dǎo)保證種群在全局范圍內(nèi)充分探索迭代結(jié)束時(shí) λ0.2BAS占主導(dǎo)對已經(jīng)找到的較優(yōu)區(qū)域做精細(xì)搜索。這個(gè)設(shè)計(jì)的思路很簡單全局探索階段需要大尺度的震蕩BAS的步長再大也有限不如讓SCA放開手腳跑到了后期種群已經(jīng)集中在某個(gè)區(qū)域了再用SCA大幅震蕩反而會(huì)破壞已找到的好解此時(shí)BAS的小步精細(xì)修正更有價(jià)值。在實(shí)際操作中有人也會(huì)用非線性衰減或余弦衰減來調(diào)整 λ比如 λ 0.5 0.3 * cos(π * t / T)效果大同小異。我建議不用糾結(jié)具體衰減函數(shù)關(guān)鍵是保證“前期探索、后期開發(fā)”這個(gè)趨勢不能變。3.3 第三個(gè)改進(jìn)邊界反射與精英保留策略優(yōu)化ELM的權(quán)重和偏置時(shí)搜索范圍通常被限制在[-1, 1]或[-2, 2]之間。如果某個(gè)個(gè)體的位置更新后超出了邊界最常見的處理是直接裁剪到邊界值但這樣會(huì)導(dǎo)致大量個(gè)體聚集在邊界上損失種群多樣性。我實(shí)際用的是反射邊界策略如果某一維度的值超過上界就根據(jù)超出部分按比例反彈回邊界內(nèi)。反射法能把個(gè)體留在邊界附近但又不全部疊在邊界點(diǎn)上對保持種群多樣性有明顯幫助。同時(shí)每一輪迭代結(jié)束后我會(huì)單獨(dú)記錄全局歷史最優(yōu)解下一輪不論個(gè)體如何更新全局最優(yōu)始終不會(huì)被覆蓋。這個(gè)精英保留策略幾乎是所有優(yōu)化算法落地時(shí)的標(biāo)配尤其當(dāng)適應(yīng)度函數(shù)本身有一定噪聲時(shí)比如數(shù)據(jù)分布不均勻沒有精英保留很容易把已經(jīng)找到的好解弄丟。3.4 改進(jìn)后的搜索行為分析從搜索行為上看改進(jìn)后的BAS-SCA兼具了“群體信息共享”和“單體方向感知”兩種能力。SCA負(fù)責(zé)在宏觀上把種群引向有希望的區(qū)域BAS負(fù)責(zé)在每個(gè)個(gè)體層面做微觀修正。融合權(quán)重 λ 又保證了兩者的主導(dǎo)地位隨時(shí)間平滑切換。相比原始BAS混合算法顯著降低陷入局部最優(yōu)的概率相比原始SCA混合算法在后期的收斂精度和收斂速度都有提升。我在測試函數(shù)Sphere、Rastrigin和Griewank上做過快速驗(yàn)證結(jié)論很直觀在Rastrigin這種多峰函數(shù)上原始BAS基本逃不出局部最優(yōu)原始SCA能到達(dá)不錯(cuò)的區(qū)域但后期收斂緩慢BAS-SCA不僅收斂到了更優(yōu)值而且連續(xù)運(yùn)行多次的方差明顯小于兩個(gè)單一算法。這個(gè)結(jié)果也讓我放心把它用到ELM參數(shù)尋優(yōu)上。4. 手把手實(shí)操BAS-SCA優(yōu)化ELM的完整實(shí)現(xiàn)4.1 個(gè)體編碼與適應(yīng)度函數(shù)用BAS-SCA優(yōu)化ELM第一步是把ELM的待優(yōu)化參數(shù)編碼成優(yōu)化算法中的個(gè)體向量。假設(shè)輸入特征維度是 n_input隱層節(jié)點(diǎn)數(shù)是 n_hidden那么需要優(yōu)化的參數(shù)包括輸入權(quán)重 W形狀為 n_input × n_hidden和隱層偏置 b形狀為 1 × n_hidden。把 W 展平后拼接上 b得到一個(gè)長度為 n_input * n_hidden n_hidden 的向量這就是一個(gè)個(gè)體。適應(yīng)度函數(shù)的設(shè)計(jì)直接影響最終效果。分類任務(wù)可以用錯(cuò)誤率或交叉熵作為適應(yīng)度回歸任務(wù)最常用的是均方根誤差RMSE或平均絕對誤差MAE。我習(xí)慣用驗(yàn)證集上的誤差來評估個(gè)體的好壞而不是用訓(xùn)練集因?yàn)閮?yōu)化算法很可能過擬合訓(xùn)練集導(dǎo)致最終選出的參數(shù)泛化性能差。如果數(shù)據(jù)集規(guī)模較小也可以采用K折交叉驗(yàn)證取平均誤差作為適應(yīng)度。4.2 核心代碼實(shí)現(xiàn)下面是我整理出的一個(gè)可以直接跑通的核心代碼框架依賴只有numpy。這段代碼用偽代碼風(fēng)格保留了主要邏輯幫助你理解每個(gè)步驟到底在干什么。import numpy as np def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) def elm_predict(X, W, b, beta): H sigmoid(X W b) return H beta def compute_beta(X, y, W, b): H sigmoid(X W b) # 加入小量正則項(xiàng)防止偽逆計(jì)算不穩(wěn)定 return np.linalg.pinv(H.T H 1e-6 * np.eye(H.shape[1])) H.T y def fitness_function(individual, X_train, y_train, X_val, y_val, n_input, n_hidden): W individual[:n_input * n_hidden].reshape(n_input, n_hidden) b individual[n_input * n_hidden:].reshape(1, n_hidden) beta compute_beta(X_train, y_train, W, b) y_pred elm_predict(X_val, y_val, W, b, beta) return np.sqrt(np.mean((y_val - y_pred) ** 2)) # RMSE def bas_sca_elm(X_train, y_train, X_val, y_val, n_input, n_hidden, pop_size20, max_iter100, lb-1.0, ub1.0): dim n_input * n_hidden n_hidden # 初始化種群 pop np.random.uniform(lb, ub, (pop_size, dim)) fitness np.array([fitness_function(ind, X_train, y_train, X_val, y_val, n_input, n_hidden) for ind in pop]) gbest_idx np.argmin(fitness) gbest pop[gbest_idx].copy() gbest_fit fitness[gbest_idx] a 2.0 step0 (ub - lb) * 0.3 for t in range(max_iter): r1 a - t * (a / max_iter) for i in range(pop_size): # SCA更新 r2 2 * np.pi * np.random.rand() r3 2 * np.random.rand() r4 np.random.rand() if r4 0.5: X_sca pop[i] r1 * np.sin(r2) * np.abs(r3 * gbest - pop[i]) else: X_sca pop[i] r1 * np.cos(r2) * np.abs(r3 * gbest - pop[i]) # BAS更新方向感知 step step0 * (1 - t / max_iter) d step * 0.5 dir_vec np.random.randn(dim) dir_vec dir_vec / np.linalg.norm(dir_vec) XL pop[i] d * dir_vec / 2 XR pop[i] - d * dir_vec / 2 fL fitness_function(XL, X_train, y_train, X_val, y_val, n_input, n_hidden) fR fitness_function(XR, X_train, y_train, X_val, y_val, n_input, n_hidden) direction -1 if fL fR else 1 X_bas pop[i] - step * direction * dir_vec # 融合權(quán)重前期SCA主導(dǎo)后期BAS主導(dǎo) lam 0.8 - 0.6 * (t / max_iter) X_new lam * X_sca (1 - lam) * X_bas # 邊界反射 for j in range(dim): if X_new[j] ub: X_new[j] 2 * ub - X_new[j] if X_new[j] lb: X_new[j] 2 * lb - X_new[j] pop[i] X_new fitness[i] fitness_function(pop[i], X_train, y_train, X_val, y_val, n_input, n_hidden) gbest_idx np.argmin(fitness) if fitness[gbest_idx] gbest_fit: gbest pop[gbest_idx].copy() gbest_fit fitness[gbest_idx] W gbest[:n_input * n_hidden].reshape(n_input, n_hidden) b gbest[n_input * n_hidden:].reshape(1, n_hidden) beta compute_beta(X_train, y_train, W, b) return W, b, beta, gbest_fit代碼中需要特別留意的有兩點(diǎn)一是 compute_beta 中給 H.T H 加了一個(gè)小量正則項(xiàng)防止矩陣奇異導(dǎo)致偽逆計(jì)算報(bào)錯(cuò)二是邊界反射是逐維度處理的避免整體向量操作時(shí)邊界邏輯出錯(cuò)。這段代碼在中小規(guī)模數(shù)據(jù)集上運(yùn)行的速度是可以接受的適應(yīng)度函數(shù)的計(jì)算次數(shù)是 pop_size * (1 2) * max_iter也就是每輪每個(gè)個(gè)體除了自身適應(yīng)度外還要額外算兩次天牛須位置的適應(yīng)度計(jì)算量相比標(biāo)準(zhǔn)SCA有所增加但換來的是更穩(wěn)的收斂表現(xiàn)。4.3 參數(shù)配置建議把代碼跑起來之后參數(shù)配置就成了決定效果好壞的另一個(gè)關(guān)鍵因素。我不建議一上來就照搬默認(rèn)參數(shù)因?yàn)椴煌瑪?shù)據(jù)集的維度和樣本量差異很大。以下是我調(diào)參過程中的一些經(jīng)驗(yàn)值參數(shù)建議范圍說明種群規(guī)模 pop_size20~30太小容易早熟太大增加計(jì)算開銷最大迭代次數(shù) max_iter100~300視適應(yīng)度函數(shù)計(jì)算成本靈活調(diào)整邊界范圍 lb/ub±1 或 ±2權(quán)重和偏置在這個(gè)范圍通常夠用初始步長 step0邊界寬度的0.3倍過大導(dǎo)致震蕩劇烈過小收斂慢融合權(quán)重初值0.8保證前期SCA主導(dǎo)探索融合權(quán)重終值0.2保證后期BAS主導(dǎo)精細(xì)搜索4.4 效果對比怎么看驗(yàn)證混合算法的效果不能只看一次實(shí)驗(yàn)的結(jié)果。因?yàn)镋LM本身有隨機(jī)性優(yōu)化算法也有隨機(jī)性至少要跑10次以上對比平均值和標(biāo)準(zhǔn)差。我在實(shí)際項(xiàng)目中通常做這樣幾組對比原始ELM隨機(jī)初始化、BAS-ELM、SCA-ELM、BAS-SCA-ELM。觀察兩個(gè)維度一是平均預(yù)測誤差二是多次運(yùn)行的標(biāo)準(zhǔn)差。前者看精度上限后者看穩(wěn)定性。典型的實(shí)驗(yàn)趨勢是原始ELM的平均誤差最大且方差極大BAS-ELM精度提升明顯但方差依然不小說明BAS在某些初始點(diǎn)上會(huì)陷進(jìn)局部最優(yōu)SCA-ELM平均誤差優(yōu)于原始ELM但收斂需要的迭代次數(shù)更長BAS-SCA-ELM在平均誤差和方差兩個(gè)指標(biāo)上通常都是最優(yōu)的。如果你跑出來的結(jié)果違背了這個(gè)規(guī)律大概率是參數(shù)沒調(diào)對而不是算法有問題繼續(xù)往下面的排查思路去找原因。5. 我踩過的坑與排查經(jīng)驗(yàn)5.1 優(yōu)化后精度反而更差先查這四處第一處是隱層節(jié)點(diǎn)數(shù)太少。ELM本身能力不足時(shí)任何優(yōu)化算法都救不回來因?yàn)樗阉骺臻g本身就不存在足夠好的解。隱層節(jié)點(diǎn)數(shù)一般先按輸入特征的2到3倍起步再逐步增加觀察效果。第二處是適應(yīng)度函數(shù)用錯(cuò)了數(shù)據(jù)集——如果直接在訓(xùn)練集上優(yōu)化得到的結(jié)果在測試集上反而差大概率是過擬合了換成驗(yàn)證集評估或者加交叉驗(yàn)證能緩解。第三處是邊界范圍設(shè)置不合理。權(quán)重初始化為±1是ELM的常見做法但不同數(shù)據(jù)集的合適范圍差異很大有時(shí)候把邊界放到±2反而更好這個(gè)需要根據(jù)激活函數(shù)和數(shù)據(jù)分布去試。第四處是融合權(quán)重衰減速度太快導(dǎo)致后期完全切到BAS模式后全局?jǐn)_動(dòng)消失而BAS又正好陷在局部最優(yōu)里出不來把 λ 終值從0.2適當(dāng)上調(diào)到0.3或0.4保留一部分SCA擾動(dòng)經(jīng)常能解決問題。5.2 算法收斂到一半就僵住了怎么診斷“僵住”表現(xiàn)為適應(yīng)度曲線在迭代中段就長期持平幾乎不再下降。最直接的原因通常是種群多樣性喪失——所有個(gè)體都聚集到了同一個(gè)位置附近SCA的震蕩幅度又已經(jīng)被 r1 衰減得很小個(gè)體之間差異幾乎為零算法失去了繼續(xù)搜索的動(dòng)力。這時(shí)可以先檢查種群的分布情況如果所有個(gè)體的距離都很小說明多樣性出了問題。一個(gè)問題排查順序是先調(diào)大 r1 的初始值讓前期的震蕩幅度更大再檢查邊界反射實(shí)現(xiàn)是否有 bug如果實(shí)現(xiàn)正確個(gè)體應(yīng)該不會(huì)大量堆積在邊界上最后檢查是否不小心把全局最優(yōu)個(gè)體也覆蓋掉了沒有精英保留的話這種情況特別容易發(fā)生。我最初實(shí)現(xiàn)時(shí)就是因?yàn)槁┝司⒈A魧?dǎo)致每輪的最優(yōu)解在下一次迭代中被新的隨機(jī)更新沖掉曲線看起來就像一直原地踏步。5.3 面對不同數(shù)據(jù)集的調(diào)參路線如果做的是高維稀疏數(shù)據(jù)比如文本分類搜索維度會(huì)非常高個(gè)體長度動(dòng)輒幾千這時(shí)需要把種群規(guī)模降下來、迭代次數(shù)適當(dāng)增加因?yàn)槊看芜m應(yīng)度計(jì)算都涉及矩陣運(yùn)算種群太大會(huì)拖慢整體速度。如果面對的是小樣本數(shù)據(jù)集適應(yīng)度評估很容易受噪聲影響建議用交叉驗(yàn)證代替單次驗(yàn)證集評估同時(shí)把邊界范圍縮小防止優(yōu)化算法在噪聲中亂跑。如果隱層節(jié)點(diǎn)數(shù)較多超過50搜索維度就很大BAS天牛須的方向向量生成和歸一化會(huì)占不少計(jì)算時(shí)間。一種優(yōu)化做法是先把ELM的隱層特征中心初始化到一個(gè)合理范圍比如通過原始ELM跑幾次取平均權(quán)重再用BAS-SCA在這個(gè)范圍內(nèi)做局部精搜。這樣可以大幅縮短搜索空間但代價(jià)是可能錯(cuò)過真正的最優(yōu)解屬于精度和速度之間的權(quán)衡。5.4 這套方案最適用的場景我不建議在超大規(guī)模數(shù)據(jù)集上直接使用這套方案因?yàn)閮?yōu)化算法需要反復(fù)計(jì)算ELM的適應(yīng)度每一輪都要做矩陣偽逆運(yùn)算數(shù)據(jù)量大了之后整體耗時(shí)不可接受。它更契合的場景是中小規(guī)模數(shù)據(jù)、對模型穩(wěn)定性要求高的任務(wù)比如工業(yè)設(shè)備的故障診斷、小樣本回歸預(yù)測、金融風(fēng)控里的評分卡建模這些場景數(shù)據(jù)量可控但對每次訓(xùn)練的結(jié)果一致性要求很高很值得用BAS-SCA-ELM去替換原始ELM。如果數(shù)據(jù)集樣本量在幾千到幾萬級別、特征維度在幾十到幾百這個(gè)范圍BAS-SCA-ELM的尋優(yōu)時(shí)間通常在幾十秒到幾分鐘內(nèi)可以完成換來的穩(wěn)定性提升是實(shí)打?qū)嵉摹A硪粋€(gè)常見用途是作為集成學(xué)習(xí)里的基學(xué)習(xí)器——由于優(yōu)化后的ELM每次運(yùn)行結(jié)果更一致集成時(shí)不容易出現(xiàn)個(gè)別基學(xué)習(xí)器效果極差拉低整體表現(xiàn)的問題。最后再分享一個(gè)實(shí)際使用中的小技巧在跑BAS-SCA-ELM之前先用原始ELM快速跑幾輪記錄一下隨機(jī)初始化下的典型誤差水平然后把這個(gè)誤差水平作為BAS-SCA尋優(yōu)的“基線”。如果優(yōu)化后的結(jié)果連基線都打不過說明算法流程中一定有 bug而不是算法本身沒用。這個(gè)習(xí)慣幫我排查了很多初期實(shí)現(xiàn)問題也適合你在自己調(diào)試代碼時(shí)參考。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91国产操逼视频| 麻豆 亚洲 97| 九九久久玖玖| 综合一区中亚洲国产成人综合精品 | 青青草日逼视频| 夜夜黄| 日韩人妻制服丝袜av| 91暧暧| 久久久久白虎| 五月大香蕉| 蜜臀aV午夜一区二区三区| 国产成人无码a| 怡红院怡春院| 精品视频在线观看精品| 又黄又爽在线观看视频| 色图综合网| 91粉嫩萝控精品福利网站_精品影音先锋国 | 亚洲aV性爱| 人人澡人人弄| 国产做?爰片久久毛片?片美国| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 精品国产人成在线| 热的中文 热的有码 热的国产| 欧美A片中文字幕| 色噜噜人妻av 中文字幕| 欧美色亚洲| 久久久一热在线播放| 91性网| 加勒比无码一区二区三区| 久热99999| 欧美性爱伊人| 男同专区一区二区三区在线| 天天综合网国产| 懂色Av| 啊啊啊com| 爱爱动态60秒| 人妻在线臀日韩| 另类图片欧美激情综合| 日本新免费二区三区| 国产精品一级特黄aaa大片在线观看| 夜夜騷av、一區二區| 国产中文大片资源中文字幕| 欧美精品欧美精品系列| 久久久九九网站| 97在线免费公开视频| 日韩精品国产精品五码一区二区| 亚洲综合20p| 精品99999久久久久久| 国产亚洲福利第一页丝袜| 九九国产热| 天天综合网日韩7799| 国产精品午夜福利视频| 久久久免费一级黄片| 少妇三p| 三级片大波波| 两性色网| 超碰色97| 亚洲色图自拍| 日本精品国产视频| 色婷婷网| 永久免费av无码网站国产app| 五月开心久久AV官网| 人人爱人人操人人性| 少妇熟女一区二区三区| 日日夜夜国产综合| 亚洲美乱| 日本操大逼| 久草看看看| 欧美一区二区在线资源| 日本福利二区视频| 成人无遮挡毛片免费看| 麻豆一区二区三区在线看 | 黄片免费看黄片免费看| 亚洲男人天堂AV| 裸体1区| 日韩欧美视频青青| 国产在线视视频有精品| 伦激情人妻另类人妻| 桑老女人九区| 欧美A√综合网| 久久人人爽人人爽人人片Ⅴ| 搡老熟女免费视频 | 国产欧美精品日韩区二区麻豆天美| 色呦呦国产精品免费看| 老熟妇乱轮| 99草精| 97一区二区蜜臀| 国产浮力影院第1页| 丝袜人妻av一区二区| 69丨亚洲丨精品丨入口免费播放| 久久国产视频专区一二三| 日本色色视频网站| 欧美日韩中文视频播放| 久久久内射良家| 亚洲欧洲美腿丝袜| 91精品电影18| 东北黄色电影| 九九99精品| 人人看欧美性爱| 欧美黄色手机在线观看| 老熟女网站| 97久久国产亚洲精品超碰热| 五月天久久婷婷亚洲 | 国产版a级片直播在线| 亚洲性爱成人| 亚洲精品久久久久毛片A片拉屎 | 亚洲AV色图一区| 96精品久久久久中文字幕| 久久精品美女一区| 国产亚洲禁久一区二区| 国产性爱乱伦AV| 国产精品久久久久无码Av网曝门 | 试看60秒 爽| www.成人无码| 免费国产| avav青青草久久夜| 操一对老熟妇爽上天视频| 精品九九九九九九九九九| 婷婷伊人一区| 嗯嗯嗯嗯啊啊啊好紧好大| 柠檬AV导航| 欧日a| 国产精品熟女丝袜一区二区| 日本国产高清色www视频在线| 在线观看高清AV| 四虎国产精品永久在线囯在线| 人妻一区二区三区熟女| 亚洲男人天堂av| 亚洲人天堂| 久久高潮妇女视频| 国产精品人妻免费精品| 999久久久免费精品国产牛牛| 蜜臀视频网站| 欧美精品精品一区二区| 国产www色在线观看| 91人妻素女| 国产吞精a级片激情电影| 在线人人人人人人精品超| 欧美亚洲另类在线蜜桃| 成人AV在线电影| 日韩性爱高清免费视频| 97色婷婷| 大香蕉伊人亚洲| 国产一区二区三区不卡手机在线| 婷婷久草一区二区三区| 午夜啊啊啊| 国产丰满熟夫69mpp| 熟妇人妻一区二区三在线 | 一区麻豆 高清中文字幕| 麻豆天美国美国产AV| 欧美少妇熟女| 曰本91情色| 97精品在线| 女人18精品一区二区三区| 超碰97人人乐| 天天综合网网欲色| 久草精品国产99| 精品久久久久久无码| 国产精品蜜乳AV| 国产欧美亚洲精品a第2页| www.色婷婷色综合| 超碰在线974| 欧美综合网1| 97久久久久久久久久| 欧美色干| www.99色| 亚洲中文字幕av| 精品91摸| 男人天堂无码| 91老司机精品| 日逼视频日本| 韩日精品四区| 亚洲成人妻日韩在线| 人妻熟女一区二区三区视频| 亚洲国产成人7777| 亚洲无码一区二区三区三州| 亚洲色欲一区二区三区| 性色aV一区二区三区噜噜| 青青操网| 色情五月综合婷婷| 四虎视频在线观看| 日韩91网站| 欧美亚洲自拍另类人妻| 中日韩熟女| 嗯嗯嗯嗯啊啊啊好紧好大| 大香网伊人久久综合网eew| 97天天在线| 亚洲高清色综合| 日韩国产在线观看av| 120分钟婬片免费看| 国产农村妇女精品一| 超碰到97情色| 欧美日韩性爱电影在线| 人妻啊啊人妻啊啊| 亚洲狠狠入| 老熟女搡BBBB搡BBBB视频| 911粉嫩人妻| 青青草吊丝| 亚洲骚逼少妇| 日本性爱不卡视频| 久久久111| 人人妻人人爽一区二区三区| 日韩另类| 少妇人妻激情四射| 午夜超爽| 99青青草国产视频| 亚洲一区二区在线观看91| 91人妻尻屄视频| 91欧美偷拍| 欧美色图亚洲色| 自拍偷拍 日韩无码| 伊人青青一区成人视频在线观看区| 天天舔天天日天天射| 人妻少妇久久中文字幕一区二区 麻豆| 丁香五月激情综合国产| 超碰视97中文| 欧美精品日韩一区二区| 久久久久久无码人妻中文字幕| 国产又黄又粗的视频| 91久久精品国产| 992视频一区| 特级丰满少妇一级AAAA爱毛片| 麻豆天美传媒在线视频天堂| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 91av一区二区在线观看| 中文字幕在在线观看网站| 97美日韩视频| 激情婷婷丁香| yazhououmeizongya| 日本欧美亚洲高清在线看| 精品亚洲俞拍视频一区| 日韩三级在线观看网站| 中文字幕天天天天天| 日韩综合色图| 91在线限制级| 老熟妇一区二区三区…| 一区二区亚州激情久婷婷欧美| 国产强奸91| 黑人与人妻| 久久亚洲AV无码专区首页| 蜜桃久久精品一区二区三区| 思思热影视| 97操在线| 五月天激情四射| 91色欧美| 91久久久久免| 天天日天天操天天射河南省| 日韩一区二区熟女| 日韩中文字幕精品一区在线| 欧美久久人妻少妇一区二区| 婷婷视频在线免费观看| 欧美激情一| 人人考人人摸人人干| 久久美国毛片| 婷婷丁香六月天| 97网色| 97久精品| 操逼操操操91| 91丝袜在线播放| 美女超碰978| 亚洲一区二区三区在线激情| 青青草乱入乱欲视频在线观看| 熟妇的味道HD中文字幕| 人妻无码一区二区三区久久99| 免费看日产一区二区三区| 日本三级精品| 香蕉99秘 精品一区丁香| 亚洲永久永久永久永久一级一级一级精品 | 亚洲性网| 岛国不卡超碰护士AV在线播放| 人人干人人搞人人摸| 深夜激情| 久久久久久久 九九九九九九九| 无码 黑人一区二区三区| 日本免费一区二区不卡| 丁香五月婷婷基地| 免费看黄视频亚洲网站| 91熟女丨91老女人| 久草免费福利在线播放| 综合熟妇一区二区三区| 天天摸夜夜摸| 亚洲福利中文字幕在线| 人妻天天爽天天爽三区| 99热国产精品| 欧美欲色| 乱老女人一区二区视频| 亚洲AV秘无码一区..| 男人天堂无码| 丝袜综合| 天天做天天爱天天爽| 乱伦一区二区三区‘| 超碰在线综合97| 97资源超碰| 91爆操视频| 国产真实子伦对白| 五月天精品| 亚州色站 日韩电影| 久久丁香五月婷婷| 九九精品99| 久久久9视频| 啪啪免费| 国产午夜福利专区综合| 老熟乱一区二区三区四区| 玖玖爱综合| 超碰人人色| 国产精品区在线12p| 热热色中文无码| 欧美少妇高潮久久91| 日韩人体偷拍| 99视频自拍| 久久东京伊人一本到鬼色| 999精品女人| 人妻中文在线| 看黄片视频免费| 国产在线能看的你懂的| 亚洲精品欧洲色| 美女爽爽爽刺痛洞洞| 欧美亚洲丝袜美女电影| 五月丁香网站| 99激情| 激情视屏国产乱伦强奸| 少妇一级婬片免费放一级a性色.| 永久免费观看的毛片的网站| 大香蕉99999| 中文字幕二区| 欧美日韩亚洲电影| 1204金沙人妻懂旧版免费| 亚洲偷拍自拍在线视频| 国产精品宅男免费| 欧美天天干| 欧美成熟性爱精品| 91伊人久| 久久久久亚洲熟妇熟女| 97色碰| 99re视频在线播放青草| 欧美的精品的视频| 欧成人精品一区二区三区| 男人天堂久久精品不卡| 啊啊啊在线看| 啊啊在线| 最新制服中文第一页| 精品久久9| 亚洲自拍欧美色综合| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 91痴汉| 亚洲人精品久久久| 亚洲精品蜜桃久久久| 男人的天堂三级| 欧美激情亚洲情色| 91热色| 中文字幕av片| 网友自拍第1页| 大茄子熟女AV导航| 日本熟妇人妻一区二区三区| 久久久久国产精品久久久| 色逼综合| 国产一区二区成人av在线播放| 亚洲精品国语在线播放| 一级aaaaa欧美中文字幕录像片| 天天综合网日韩7799| 一区二区三区成人高清视频| 717影院理论午夜伦八戒| 日本在线不卡一二区| 国产 日韩 另类 视频一区爱| 国产美女mm131爽爽爽爽| 91狠狠综合久久| 欧美亚州手机在线| 热久久国产精品视频大陆精品| 中文字幕精品乱码| 国产精品97超碰| 欧美丝袜91| 麻豆91熟妇人妻中文字幕茄子| 91亚洲色图| 精品国产91内射久久| 九九干| 中文久久爆乳| 富二代亚洲精品99| 老熟妇一区二区三区啪啪| 欧美天天谢综合网| 国产一区二区在线电影| 狠狠穞A片一區二區三區| 婷婷国产精品九区| 97在线观视频免费观看| 久久99九九九九6666免费观看软件| 嗯嗯不要视频| 6080YYY午夜理论片在线观看| 97国产高清视频在线观看| 日韩精品一区的| 色综合色色| 一区二区三区四区姦女| 黄色十八禁| 久热这里只有精品9| 性爱视频免费网址| 99色在线视频| 另类亚洲图色| 东北老熟女| 丁香婷婷五月| av资源在线观看少妇| 亚洲国产一区二区三区在线| 色香综合天天影视综合 | 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 欧美性爱免费短视频| 亚洲AV无码国产成人| 久久的网站啊啊啊啊啊| 少妇熟女视频一二三区| 亚欧色图在线激情| 国产亚洲国产超碰| 九九九九九九视频| 清纯唯美亚洲| www.99热| 午夜操操操| 国产无码精品成人| 桃色五月天| 999综合色| 超碰色综合| 思思热免费视频观看| 麻豆av一区二区三区| 91欧美丝袜| 国语对白露脸XXXXXX| 九久9精品| 另类 综合 日韩 欧美 亚洲| 日韩熟女无码| 91黑丝露脚| 91欧美性| 亚洲一区日韩精品| 亚洲欧洲自拍图片专区满春格 | 亚洲乱熟女一区二区三区大香蕉| 伊人久久大香蕉线AV五月天| 91天天综合日韩欧美| 无码在线亚洲| 欧美一品道| 亚洲AV无码秘 蜜桃臀国精产品| 午夜黄色免费在线观看| 欧亚乱色熟一区二区三四区| 色色九区| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 岛国片在线观看视频亚洲| 色色色色色色色色综合| 黄色激情电影在线观看| 日韩中文字幕熟妇人妻| 久久综合日韩亚洲欧美| 欧美 色 亚洲| 激情小说五月天| 欧美综合传媒| 亚洲最大无码中文字幕网站| 日本新免费二区三区| 超碰免费人妻人人| 伊人影院在线理论播放| 中文一区二区三区影院| 亚洲有码 欧美精品| 久久久天堂| 秋霞视频一区二区| 婷婷国产精品一区二区| 激情综合久久| 欧亚三区动漫| 久久久爆乳翘臀一线天伦理视频| 久久久涩| 婷婷六月色| 男人综合网| 91N欧美| 亚洲欧美色图片| 久久久精品国产亚洲伊人| 91东北熟女| 91在线美女| 亚洲一区日韩精品中文字幕| 97青青操视频| 五月天婷婷在线看| 夜夜人妻爽| 日本精品无码三级网站| 国产suv精品一区二六| 91综合天天| 婷婷五月影院| 操啊国产| 97色涩| 91人妻中文| 高清孕妇孕交 交孕妇| 熟女视频久久| 欧美亚洲手机在线| 中文字幕亚洲欧美在线不卡| 欧美人人曰人人操人人射射| 午夜综合在线| 97人人操人人摸人人爱| 伊人久大| 神马久久久久眼| AV天堂国产| 校园春色亚洲无码| 黑丝少妇在线观看| 91啦人妻| 精品二区三四区五电影 | 亚洲成人av色网| 日本人妻最新在线中| 美女啪欧美一区| 国产三级日产三级韩国三级| 在线视频资源| 91精品国产日韩欧美综合| 欧美青青草视频| 五月天婷婷综合网| 久久欲| 大逼色网站| 成 人 影视 一区 二区 三区 四区| 特级特黄一级毛片免费| 极品出轨视频网站| 97精品国产97久久久久久户外免费| 欧美gv在线观看| 伊人久久亚洲色欲综合网站 | 盗摄女人妻在线| 最新制服中文第一页| 欧亚综合一卡二卡中文字幕| 中文字幕精品一区二| 亚洲蜜臀精品视频久久| 手机不卡视频不卡在线一二三区| ?亚洲伊人伊成久久人综合网| 久久久久久久性爱| 日韩免费看黄片| 久热这里只有精品9| 99综合自拍| av片在线观看免费播放| 午夜男女爽爽爽影院视频| 五十路熟女工口 | 国产熟妇一区二区| 亚洲中文字幕三级在线| 男女猛烈无遮掩视频免费软件| 欧美在线啊啊啊| 曰韩精品九九无码| 日韩丰满熟妇| 亚洲麻豆av一区二区| 国产蜜臀在线| 欧亚不卡| 国产一区二区三区中文字幕| 日韩在线欧美精品一区二区| 亚洲全色网| yazhouzaixian| 欧美久久婷婷| 天堂日本亚洲欧美| 婷婷五月成人| 大香蕉一线视频| 亚洲男人的天堂AV| 日产狠狠干| 日韩精品一区的| 福利社区午夜一区二区| 日韩三级伦理中文字幕| 欧美美女视频| 欧亚 另类 久| 欧美亚洲一区二区久久久婷精品大包诱| 日韩人妻资源在线看| 国产午夜无码片在线观看影视 | 日韩激情中文字幕有码| 国产操逼视频在线观看| 亚洲欧美天堂| 97在线观看免费视频| 91情色在线| 亚洲加勒比色图| 四虎免费看黄| 91久久久视| 澳门成人网站久国产日韩| 人妻久久久久久| 亚洲经典啪啪| 动漫爆乳3D奶水一区在线观看 | 91国产丝袜美女| 麻豆国产成人精品| 国产精品毛片?v一区二区三区| 亚洲在线| 粉嫩av在线| 中文字幕后石码四区五区| 国产成人五月天丁香花| 欧美亚州综合网图片| 大白逼三四级| 蜜臀在线看片| 国产又大又粗又长视频| 蜜桃臀一区二区三区久久| 狠狠亚洲| 激情五月天校园春色网| 香蕉av一区二区三区| 色拍偷亚洲| 骚女高跟AV在线| 在线观看 99热| 无毛精品| 嗯嗯嗯啊啊在线观看| 草久在线| 91综合熟女| 97啪啪| 大屁股人妻女教师撅着屁股| 自拍偷拍草一草| 欧美五十路熟| 精品久久久久久AV无码| 日韩综合色网| 亚洲精品国产拍免费91在线| 亚洲熟女诱惑| 日本性感人妻91| 午夜精品久久久久久久久久蜜桃| 中文日本免费高清| 黄片qw| 家庭乱伦性爱av| 久久精品国产亚洲AV成人直播| 日本在线视频导航| 96AV精品| 今日头条成人一区二区三区四虎精品| 黑人精品久久97| 少妇综合网| 懂色中文一区二区三区| 家庭乱伦网站国产| 91GD.COM| 97综合在线观看| 啊啊啊不要啊啊受不了了视频在线| 美女干逼2| 中日992视频| 国产精品久久久久久久久久久久| 免费久久一级毛片大黄| 看日韩操逼| 不卡在线观看视频| 国产精品人妻熟女aⅴ| 欧亚在线视频| 天美国产精品| 国产精品久久久久999| 丝袜综合网| 91深夜夜| 999国产精品999| 日日夜夜狠狠| 久久草视频污视频| 粉嫩av一区二区三区天美传媒 | 久插不卡| 超碰久草| 日韩有码 一区二区三区| 国产亲戚伦亲在线| 欧美色就是色| 欧美强奸乱能| 黄页大片在线观看| 亚洲欧美精品久| 久九九九| 久久性爱网站| 久久熟妇五十路一区| 9美女超碰在线免费观看| 激情小说图片亚洲首页| 亚洲欧洲另类| 欧美最大综合网| 福利视频香蕉免费一区二区在线| 久久久成人国产精品无码| 色爱欲亚洲| AV女优男人的天堂| 国产熟女免费观看久久| 人妻精品视频一区二区三区| 久久综合激情| 欧美精品三区| 99在线精品观看视频中文| 亚洲无无码αⅴ每日更新| 国产精品一区二区黄片| 亚洲色图欧美另类在线| 日韩国产精品人妻无码久久久| 人人做人人妻人人夜视频| 亚洲91亚洲| 火箭成精品视频884必出精品| 精品性爱一二三区| 超碰人妻中文在线| 欧美在线91| 五月丁香狠狠爱| 亚州大图综合色图| 欧美色视频在线| 欧美少妇一区二区三区| 91美女在线| 日本日皮视频逼| 91校园春色长篇| 97碰在线视频| 亚洲一区制服诱惑| 午夜舔阴达高潮视频免费看| 亚洲色吧网| 少妇的嫩逼图片| 日韩色欲久久一二三四区| 啊啊啊啊视频免费| 免费一二区| 91黑丝露脚| 麻豆天天躁天天揉揉AV| 国产极品一区二区三区三州| 国产情色第一第二页在线观看| 可以免费看黄片的视频| 伊人久久国产免费观看视频| 色综合一区二区三区| 日本三级中国三级99人妇网站| 97久久超碰日韩精品| 欧美一级做a爰片免费视频| 无毛精品| 中文字幕性感少妇av| 久久久熟女一区| 伊人丁香五月婷婷| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 青草影院内射高潮| 国产中文精品一区二区在线观看| 熟女欧美日韩综合婷婷| 精品人妻1区| 99只有精品| 亚洲无码免费看| 九九九精品一区二区无码| 精品人体无圣光凹凸| 中文一区在线日| 中文字幕交换人妻| 日韩欧美中文字| 亚洲αv一区二区三区| 精品欧美日韩在线观看| 97碰在线视频| 欧美日韩亚洲天堂| 野狼激情网| 九九视频黄色片| 天天综合网1| 亚洲日韩美女中文字幕乱| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 26uuu性物| 日韩av电影网站| 中文字幕在线免费观看视频| 日日摸日日弄日日拍| 欧美 亚洲 综合 制服| 性色国产东北露脸精品视频| 翔田千里无码中出中文字幕| 俺也射| 久久综合99| 欧洲久久一二线| 伊人久久大香蕉线AV五月天| 欧美精品99久久久**| wuyechaopeng| www色婷婷| 成 人 A V免费视频在线观看| 亚州中文字幕超碰97| 中国国国产一级特黄毛片| 欧美色91| 熟女欧美日韩综合婷婷| 日人妻视频91| 精品午夜福利| 大香蕉琪琪日本女优不卡| 97人妻免费中文字幕| 日本道人妻久久久在线不卡色视频| 后入美女国产| 一区二区影院| 91天天综合日韩欧美| 天天综和| 色999亚洲人成色| 国产乱伦搜索结果91P| 丝袜狂射91| 欧美丝袜激情| 欧美日韩人人精品| 欧美午夜视频| 亚洲欧洲激情卡通另类文学四射小说网站 | 日韩在线国产字幕| 开心五月婷婷激情| 少妇二级| 日本欧美中文字幕| 嗯啊不要在线观看嗯啊| 日韩国产中文字幕| 五月色网| 激情色色| 国产欧美日韩女同性恋ww喷水精品| 国产偷拍网站| www.色操逼| www.acm成人黄色毛片| 亚洲成a人v欧美综合天堂下载 | 国产农村妇女精品1区二区| 欧美精品另类人妖xxxx| 加勒比伊人影院| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | www.AV有限公司一区| 亚洲s在线观看| 伦理第一页| 五月婷婷六月丁香网址| 777奇米影视777四色| 97色涩| 美国精品国产精品| 青青草手机在线免费观看| 日本啊啊啊啊啊视频| 啊视频在线| 中文字幕一区二区三区四区在线视频| 后入综合久久| 日日夜夜模| 亚洲天堂自拍| 久久精品国产精品亚洲艾通辽熟妇| 国产免费操逼| 亚洲欧美综合| 大香蕉中文201| Aa东京男人的天堂| 99热aaa| 91在线视频免费中出| 99自拍视频| 午夜国产成人福利视频| 日韩成人性日韩成人性爱视频在线免费观看| 大香蕉日韩欧美| 校园春色中文字幕AV| 爽爽爽免费视频| 丁香激情五月| 噜噜噜无码AV一级一级久久影院| 亚洲精品官网在线观看| 色y情视频免费看| 欧美精品精品一区二区| 亚洲综合91| 天天肏天天干| 91超碰在线观看| 中日992视频| 高清不卡 中文 人妻| 91精品国久久久久久无码| 东京热激情视频一二三区| 天天干天天拍| 天天爱天天操| 日韩人妻资源在线看| 红杏大香蕉| 夜夜骑夜夜操| 激情小说亚洲色图| 欧美97爱| 亚洲有码视频二区| 91国模| 亚洲天堂资源网| av中亚| 91精品国产91综合久久蜜臀| 亚洲欧美天堂| 亚洲春色一区二区三区| 日韩偷拍一区二区三区 | 欧美最婬乱婬爆婬性视频| 少妇一线天久久久久久| 97人妻色| 超碰在线974| 国产精品网站免费| 性生活无遮挡纯毛片在线看| 麻豆天美在线喷水AV| 啊啊啊不要啊啊受不了了视频在线| 91撸色网 玖玖网 欧美| 久草综合视频| 久超碰这里只有精品| 亚春色色| av天堂电影网| 久九色| AV一起草在线| 中文字幕奈奈美被公侵犯| 精品国产人成在线| 美日韩成人| 亚洲欧美激情另类色图| 看黑人AV不卡| 亚州色图欧美| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 国产强奸乱伦第1页| 精品蜜乳AV免费观看| 成人26uuu| 色黄色美女大长腿午夜视频| 国产一区二区欧美日本| 色婷婷电影| 97色碰| 欧美色图片91| 超碰碰小说97| 超碰九7| Av手机版天堂网| 国产亚洲精品农村妇女| 99热66| 干b在线性社区| 啊啊啊在线看| 日韩一级欧美一级国产一级台湾| 18禁免费视频| 婷婷五月天色| 亚洲熟妇无码一区二区三区| 黑人粗大V S日韩女优视频| 色图综合| 欧美天天干| 久99| 无码男人天堂| 色妇综合网| 小日子操bb在线看| AV中文在线可看| 久久亚码| 欧美色就是色| 亚洲第一狼人丝袜美女另类| 天天舔天天 | 96久久久久久久| 中文字幕日韩专区精品系列| 最近的最新的中文字幕视频| 亚洲熟妇乱女区二区三区| 国产精品国产| 欧美欧美啪啪视频| 777奇米影视777四色| 密桃99999| 久久欧洲| 97人人夜| 国产精品视频自拍在线| 另类天堂| 蜜桃色院一区久久| 超碰美国| 婷婷中文网| 2019天天操天天爽天天拍| 好湿好紧视频| 亚洲成人av电影在线| 日本人体九九九九九九| 一本大道久| 国产高清精品一区二区三区毛片 | 91色艳| 白嫩白嫩的午夜九久久久久久久久久久久成人剧场 | 高清国产av无码| 97 国产一区| 免费观看一区| 丁香五月色| 98福利在线视频| 黄色成人网久久久久久| 天天弄天天操| yazhouzaixian| 在线日韩精品一区二区三区| xxx0国产在线播放| 麻豆 欧美 日韩| 亚洲91射| 国产精品久久久久亚洲av| 精品久久99| 天美传媒AV在线播放| 久久久久久AV无码免费网站| 麻豆伊人网| 亚洲影院无码在线| 综合色图,成人综合网| 日本熟妇人妻一区二区三区| 亚洲欧美国产成人综合不卡| 中 文字幕一区二区三四 五 区日 日 骚| 97中文字幕一区| 凸凹视频在线观看| 婷婷15月天青娱乐| 天天躁日日躁AAAAXXXX国产 | 尤物视频网 刘玥| 国产日韩区| 操B久久| 国产午夜在线观看| 欧美不卡在线美女| 久久人妻| 欧美制服另类丝袜| 欧美激情专区| 九九RE视频在线精品| 热久久无毒不卡| 国产精品自在自拍视频| 欧美在线中M| 啪啪免费| 智利AV在线网| 无码高清专| 好爽要喷了| 精品区国产区一区二区三区| 黄久在线| 日本午夜精品理论片A级APP发布| 亚洲脚交| 日本 欧美 国产一区| 青青青草原| 亚洲色婷婷| 天天噜| 欧美极品少妇交| 中文字幕AV中出| 日韩乱码Av| 久久久久久久人妻丝袜| 日日夜夜天天| 麻豆av一区二区| 91 手机在线播放 绯色| 久久精品一区二区三区四区五区| 精品国产少妇高潮视频| 国产成人欧美精品在线| 日本三级小说中文字幕| 一道α片欧美| 精品国产99| 国产女人与拘做受视频免费| 中国熟女91| 亚洲AV永久无码一区仙野| 欧美最大综合网| 激情专区综合| 欧美亚洲高清| 国产欧美伊人| 日韩免费看在线黄色片| 人人操人人射人人干| 在线观看综合精品亚洲| 亚洲熟女综合网| 中文字幕在线观看AV| 亚洲?V高清一区二区三区尤物| 欧美五区| 欧美强奸乱| 高清视频一区| 操人妻逼91| 日韩极品无码B| 大但人体久久久久| 欧美有码激情视频一区二区三区| 欧美激情视频一区二区| 美女黄页| 懂色av色欲av蜜臀av| 97超碰影音| 国产精品一二三区福利| 亚洲 暴爽 AV人人爽日日碰| 神马久久网| 日本欧美国内在线| 91欧美综合| 久久草视频污视频| 色婷婷丁香五月| 亚洲综合另类小说色区亚洲成av人片在www | 亚洲区限制级 99| 日韩不卡a级视频专区| 国产农村妇女毛片精品久久| 天堂av2019| 无码 黑人一区二区三区| 日本高清视频在线观看黄已三辽| av天堂影视中文在字幕在线中文 | 99ri在线视频| se吧提供国产乱老熟视频胖女人| 精品一区99999| 夂久色| 思思热国产在线视频| 91丝袜视频在线观看| 精品久久大胆人体| 大稥蕉免费视频这里只有精品| 综合五月婷婷亚洲一区| 婷婷五月天激情四射| 动漫av中文| 啊啊啊不要好疼视频| 91在线视频观看国产| 91欧美在线| 色哟哟精品1精品2| 好吊色一区| 五月天偷拍| 亚洲图片欧洲图片aⅴ| 亚洲人妻中文在线视频| 亚洲自拍小说| 中文字幕女同在线| 男男H黄动漫啪啪无遮挡网站| 综合第一页| 亚洲欧美视| 嗯嗯,好大,好爽,好骚 | 一二区在线观看视频| 久草男人天堂| 欧洲中文字幕| 丁香五月久久| 天天躁日日躁成人字幕aⅴ| 欧美天天搞| 狠狠做深爱婷婷久久二区| 美女露胸露尿口| 人妻天堂综合网| 岛国视频一二三区| 亚洲无码精品AV久久久| 欧美se综合| 久久久久久中文| 97丝袜亚洲在线播放| 色九月综合| 国产不卡片| 亚洲精品丝袜-不卡成人免费……| 熟女人妻一区二区三区| 影音先锋视频在线| 国产精品 久久久精品一牛| 欧美人妻制服| 欧美色91| 91久热| 啊啊啊操死我了| 鸥美极品| h色99999| 日本熟妇一区二区三区| 久久人人爽人人爽人人片Ⅴ| 欧美人妻久久精品二区三区| 亚洲一区二区三区不卡国产欧美| 久久精品久| 亚洲人妻五月丁香婷婷| 欧美激情 亚洲色图| 欧美亚洲清纯| 蜜桃臀av一区二区| 超碰在线成人电影| 91网站18+| 婷婷五月天无码| 久久综合日韩亚洲欧美| 97色五月天完| av中文字幕在线熟女| 超碰免费在线| 后X久久| 麻豆2区1区天美| 久久99国产综合精品女同| 国产精品交换一区二区| 婷婷丁香六月天| 99精品无码| 人人人人人人少妇| 日本中文字幕不卡视频| AA级电影三区| 久操com| 国产偷拍自拍在线视频| 国产宅男宅女在线观看| 天天搞在线综合网| 五月天婷精品激情| 九九无码视频| 亚洲一区二区三区欧美日韩| 色婷网| 免费观看的av| 九色 人妻 大香蕉| 91麻豆天美国产欧美| 亚洲色图久久精品蜜| 天无日色综合| 欧美 亚洲 大香| 亚洲 图片 欧美 色图| 1二区9| 欧美顶级黄片AAAAA在线免费看| www久久久| 亚洲精品人妻吞精av| 日韩乱插| 婷婷五月成人| 国产乱人伦AVA麻豆软件.| 亚洲成?V人片在线观看福利| 色色五月天婷婷| 四虎AV无码| 婷婷丁香一区二区三区| 天天在线91| 白嫩少妇| 亚洲第2页| 人人插人人摸人人| AV无码久久久精品| 五月丁香色婷婷| 色婷婷成人综合| 久久精品91| 天天做天天爱| 欧美人人曰人人操人人射射| 国产色精品午夜大片| 91色艳| 日韩资源网| 成人小电影网站tex| 国产美女自拍AV| 日本日皮视频逼| 日产狠狠干| 成人黄页| 97在线观看免费视频| 强奸乱伦Av网| 伊人天堂在线| 精品一区二区三区四区外站 | 亚洲av强奸乱伦| 久久黄色性爱视频| 福利操逼| 亚洲91少妇| 久久久禁| 密臀视频三区免费网站| 无码高清国产AV| 国产黄a三级三级三级av在线看 | 久久性爱精品一区| 夜夜影视四色| 18一区二区三区| 男人天堂最新手机版在线青青草| 熟女乱3伦999| 91色色色| 久久久九九九九| 亚洲激情在线| 无码日韩人妻av一| 4141514逼喷水三级片| 少妇精品| 国产精品激情久久久久久久| 午夜呻吟欧美| 99在线精品观看视频中文 | 秋霞一区二区三区四区五区六区七区| 欧洲性人爱视频| 国产美女在线精品免费看| 久热九九| 久久久久久久综合,国产| 人妻精品视频一区二区三区| 91丨九色丨国产打屁股| 久久综合久色欧美综合狠狠| 91香蕉国产尤物视频| av资源在线播放天堂| 91激情综合| 欧美五十路熟| 刺激性视频黄页| 这里只有精品97| av天堂5| 98福利在线视频| 国产精品一区午夜福利| 厕所偷拍在线| 久久78| 日韩有码免费视频| 国产夫妻性生活视频| 可以在线观看的黄色网址| 久久精品视频28| 日本精品中文字幕视频| 久jiu久神马影院| 成人小电影网站tex|