日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

深度學(xué)習(xí)天氣預(yù)報(bào)系統(tǒng)實(shí)戰(zhàn):時(shí)序預(yù)測(cè)模型構(gòu)建與調(diào)優(yōu)全記錄

深度學(xué)習(xí)天氣預(yù)報(bào)系統(tǒng)實(shí)戰(zhàn):時(shí)序預(yù)測(cè)模型構(gòu)建與調(diào)優(yōu)全記錄 簡(jiǎn)介本資源是一套基于深度學(xué)習(xí)的天氣預(yù)報(bào)系統(tǒng)研究與應(yīng)用實(shí)踐代碼包面向人工智能、氣象信息處理及Python深度學(xué)習(xí)方向的中高級(jí)學(xué)習(xí)者與科研人員旨在解決傳統(tǒng)天氣預(yù)報(bào)中非線性建模難、多源異構(gòu)數(shù)據(jù)融合弱、時(shí)空特征提取精度低等核心問(wèn)題。壓縮包共161個(gè)文件包含42個(gè)Python主程序含CNN/LSTM混合模型實(shí)現(xiàn)、衛(wèi)星云圖處理、時(shí)序預(yù)測(cè)模塊、23個(gè)編譯緩存文件pyc、8個(gè)預(yù)訓(xùn)練模型pth/pkl、10張可視化結(jié)果圖png/jpg及C底層加速組件cpp/h文件整體大小為136.81MB。資源已獲63人下載學(xué)習(xí)涵蓋從數(shù)據(jù)預(yù)處理、多模態(tài)網(wǎng)絡(luò)搭建、模型訓(xùn)練到氣象可視化全流程特別包含VarFlow光流法氣象運(yùn)動(dòng)分析、yos_img系列云圖樣本及demo動(dòng)圖演示結(jié)構(gòu)清晰、模塊解耦可直接用于課程設(shè)計(jì)、科研復(fù)現(xiàn)或工程原型開發(fā)。 有人發(fā)給我一份壓縮包標(biāo)題叫“基于深度學(xué)習(xí)的天氣預(yù)報(bào)系統(tǒng)研究應(yīng)用.zip”。我當(dāng)時(shí)的第一反應(yīng)是這年頭連天氣預(yù)報(bào)都要蹭深度學(xué)習(xí)的熱度了但真正解壓看完之后我發(fā)現(xiàn)這個(gè)項(xiàng)目的完整度比我預(yù)想的高不少而且踩過(guò)的坑、調(diào)參的經(jīng)驗(yàn)、環(huán)境配置的細(xì)節(jié)都很有代表性。我在這套東西的基礎(chǔ)上重新梳理了一遍做了不少補(bǔ)充實(shí)驗(yàn)把整體流程整理成一篇可以照著復(fù)現(xiàn)的文章。如果你是剛接觸深度學(xué)習(xí)、想找一個(gè)能落地的實(shí)戰(zhàn)項(xiàng)目或者想在時(shí)序預(yù)測(cè)領(lǐng)域試水這篇內(nèi)容會(huì)適合你。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么天氣預(yù)報(bào)會(huì)用到深度學(xué)習(xí)傳統(tǒng)天氣預(yù)報(bào)主要靠數(shù)值預(yù)報(bào)也就是用超級(jí)計(jì)算機(jī)求解大氣物理方程。這個(gè)過(guò)程極度依賴計(jì)算資源而且物理過(guò)程需要做大量參數(shù)化近似比如云的形成、降水過(guò)程、輻射傳輸這些參數(shù)化方案選得不好預(yù)報(bào)偏差就會(huì)很大。深度學(xué)習(xí)的思路完全不同它不從物理方程出發(fā)而是從歷史觀測(cè)數(shù)據(jù)里直接學(xué)習(xí)氣象要素之間的映射關(guān)系。用一個(gè)通俗的類比來(lái)說(shuō)數(shù)值預(yù)報(bào)像是靠物理定律推算明天會(huì)不會(huì)下雨而深度學(xué)習(xí)像是靠“過(guò)去幾千次類似天氣過(guò)程最后都發(fā)生了什么”來(lái)推斷。前者更嚴(yán)謹(jǐn)后者在數(shù)據(jù)充足時(shí)更快、更省資源而且在某些局部場(chǎng)景下精度并不差。這個(gè)項(xiàng)目本身的目標(biāo)也很清晰輸入歷史氣象觀測(cè)數(shù)據(jù)輸出未來(lái)一段時(shí)間的氣溫、降水量等關(guān)鍵氣象要素。它不是一個(gè)試圖替代數(shù)值預(yù)報(bào)的大工程而是一個(gè)用深度學(xué)習(xí)模型做氣象要素預(yù)報(bào)的研究型應(yīng)用。這樣做的好處是門檻可控單張消費(fèi)級(jí)顯卡就能跑通而且數(shù)據(jù)、模型、評(píng)估都可以閉環(huán)驗(yàn)證。1.2 系統(tǒng)整體架構(gòu)與模塊劃分我習(xí)慣在動(dòng)手之前先把整個(gè)系統(tǒng)拆成幾個(gè)相對(duì)獨(dú)立的模塊這樣后續(xù)調(diào)試和擴(kuò)展都不會(huì)把自己繞暈。這套系統(tǒng)的核心模塊大致分為四層數(shù)據(jù)層、特征層、模型層和服務(wù)層。數(shù)據(jù)層負(fù)責(zé)原始?xì)庀髷?shù)據(jù)的采集與清洗包括站點(diǎn)觀測(cè)數(shù)據(jù)、再分析資料等特征層負(fù)責(zé)把原始數(shù)據(jù)轉(zhuǎn)換成模型能吃的格式包括滑窗切分、缺失值處理、歸一化、數(shù)據(jù)集劃分模型層是核心負(fù)責(zé)定義網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、訓(xùn)練循環(huán)以及模型評(píng)估服務(wù)層則負(fù)責(zé)把訓(xùn)練好的模型包裝成可調(diào)用的接口比如輸出未來(lái)24小時(shí)的溫度曲線或降水概率。每一層之間用標(biāo)準(zhǔn)的數(shù)據(jù)格式銜接前一層改動(dòng)不會(huì)影響后一層。這個(gè)設(shè)計(jì)看著簡(jiǎn)單但實(shí)際操作中非常關(guān)鍵因?yàn)轫?xiàng)目一旦開始迭代你最怕的就是改一處壞一處。從模型角度看氣象預(yù)測(cè)本質(zhì)上是一個(gè)時(shí)空序列預(yù)測(cè)問(wèn)題。單站點(diǎn)的氣溫預(yù)測(cè)更偏時(shí)間序列多站點(diǎn)的氣溫場(chǎng)預(yù)測(cè)則同時(shí)涉及空間特征提取和時(shí)間依賴建模。這個(gè)項(xiàng)目采用的是單站點(diǎn)多變量輸入因此重點(diǎn)放在時(shí)間維度上的特征提取模型結(jié)構(gòu)主要圍繞循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的組合展開。2. 數(shù)據(jù)準(zhǔn)備與特征工程2.1 數(shù)據(jù)來(lái)源與獲取方案數(shù)據(jù)是做氣象深度學(xué)習(xí)項(xiàng)目最基礎(chǔ)也最耗時(shí)的一環(huán)。這個(gè)項(xiàng)目使用的是公開氣象數(shù)據(jù)集包括國(guó)家氣象科學(xué)數(shù)據(jù)中心提供的中國(guó)地面氣候資料日值數(shù)據(jù)集以及歐洲中期天氣預(yù)報(bào)中心提供的ERA5再分析資料。對(duì)于普通學(xué)習(xí)用途我建議優(yōu)先選擇歷史觀測(cè)站點(diǎn)數(shù)據(jù)因?yàn)樗袷胶?jiǎn)單、單位統(tǒng)一、不需要額外處理網(wǎng)格數(shù)據(jù)。我實(shí)際用的數(shù)據(jù)包含以下幾個(gè)字段日期、日最高氣溫、日最低氣溫、平均氣溫、降水量、平均氣壓、平均相對(duì)濕度、平均風(fēng)速、主導(dǎo)風(fēng)向。數(shù)據(jù)粒度是“日”也就是一條記錄代表某一天某個(gè)站點(diǎn)的整體情況。這樣處理起來(lái)簡(jiǎn)單模型也能快速出結(jié)果。如果你想做更精細(xì)的預(yù)報(bào)可以把粒度提升到小時(shí)級(jí)但數(shù)據(jù)量和臟數(shù)據(jù)量都會(huì)成倍增加不適合作為第一個(gè)項(xiàng)目。我寫了一個(gè)簡(jiǎn)單的下載和整理腳本核心思路就是按站點(diǎn)編號(hào)拉取數(shù)據(jù)統(tǒng)一字段名和單位最后保存成CSV格式。如果你有現(xiàn)成的數(shù)據(jù)文件直接跳過(guò)這一步也可以但一定要保證字段含義清晰尤其是降水量的單位有的數(shù)據(jù)集是毫米有的是0.1毫米這個(gè)坑我踩過(guò)一次差一位小數(shù)整個(gè)模型就廢了。2.2 數(shù)據(jù)清洗與缺失值處理氣象站觀測(cè)數(shù)據(jù)很少是干凈的缺測(cè)、異常、儀器故障都會(huì)引入噪聲。項(xiàng)目代碼里做了比較規(guī)范的清洗流程我把它拆成三步。第一步是缺失值處理。對(duì)于單日缺失我用前后兩天的均值做線性插值對(duì)于連續(xù)多日缺失比如超過(guò)一周我直接丟棄這一段不做強(qiáng)行填充因?yàn)檫B續(xù)幾天的插值會(huì)引入大量虛假信息模型會(huì)把“缺測(cè)”當(dāng)成一種規(guī)律。第二步是異常值剔除。我會(huì)把某個(gè)變量的值落在均值加減三倍標(biāo)準(zhǔn)差之外的樣本標(biāo)記出來(lái)結(jié)合日期前后對(duì)比判斷是真實(shí)極端天氣還是數(shù)據(jù)錯(cuò)誤。比如7月份出現(xiàn)零下20度的氣溫基本可以判定是傳感器故障直接剔除。第三步是站點(diǎn)一致性檢查。如果同時(shí)用多個(gè)站點(diǎn)的數(shù)據(jù)必須檢查它們的經(jīng)緯度、海拔、時(shí)區(qū)是否一致保證空間信息不混淆。這一步代碼寫起來(lái)不難難的是對(duì)每個(gè)變量的理解。比如降水量是典型的偏態(tài)分布大部分時(shí)間是0偶爾出現(xiàn)幾十毫米用三倍標(biāo)準(zhǔn)差去過(guò)濾會(huì)把真正的暴雨樣本誤刪掉。所以對(duì)降水量我采用分位數(shù)判斷只刪除超過(guò)99.9%分位數(shù)的極端值而不是用均值方差法。2.3 特征工程滑窗與歸一化時(shí)序預(yù)測(cè)模型不能直接吃原始序列需要把數(shù)據(jù)切分成“特征窗口-預(yù)測(cè)目標(biāo)”的樣本對(duì)。這個(gè)項(xiàng)目里默認(rèn)用過(guò)去7天的數(shù)據(jù)預(yù)測(cè)未來(lái)1天的最高氣溫也就是input_window7output_window1。窗口大小的選擇有講究。氣象系統(tǒng)有一定的記憶性比如冷空氣的影響通常持續(xù)3到5天所以窗口太短模型看不到完整過(guò)程窗口太長(zhǎng)又會(huì)引入大量無(wú)關(guān)信息增加訓(xùn)練難度。我實(shí)驗(yàn)下來(lái)7到15天是比較合理的范圍這個(gè)項(xiàng)目里用7天屬于一個(gè)穩(wěn)妥的起點(diǎn)。歸一化是另一個(gè)不能跳過(guò)的地方。氣溫、氣壓、濕度這幾個(gè)變量的量綱差異很大如果不做歸一化模型會(huì)把注意力全放在數(shù)值大的變量上。這個(gè)項(xiàng)目用的方法是MinMaxScaler把所有特征壓縮到0到1之間。但要注意一個(gè)關(guān)鍵細(xì)節(jié)歸一化的參數(shù)只能用訓(xùn)練集的數(shù)據(jù)來(lái)擬合然后把同樣的變換應(yīng)用到驗(yàn)證集和測(cè)試集上。如果先對(duì)全量數(shù)據(jù)做歸一化再切分會(huì)引起數(shù)據(jù)泄漏模型在驗(yàn)證集上的表現(xiàn)會(huì)是虛高的。from sklearn.preprocessing import MinMaxScaler # train_df 是訓(xùn)練集特征列是 feature_cols scaler MinMaxScaler() train_scaled scaler.fit_transform(train_df[feature_cols]) # 驗(yàn)證集、測(cè)試集只做 transform不重新 fit val_scaled scaler.transform(val_df[feature_cols]) test_scaled scaler.transform(test_df[feature_cols])這個(gè)細(xì)節(jié)很多人會(huì)忽略但它是時(shí)間序列預(yù)測(cè)項(xiàng)目里最容易被面試官追問(wèn)、也最影響模型真實(shí)效果的點(diǎn)。3. 環(huán)境配置與工具選型3.1 本地環(huán)境Ubuntu 22.04 下深度學(xué)習(xí)環(huán)境搭建這個(gè)項(xiàng)目代碼基于PyTorch訓(xùn)練需要NVIDIA顯卡。我拿到代碼后第一件事就是在Ubuntu 22.04上把深度學(xué)習(xí)環(huán)境跑起來(lái)。網(wǎng)上關(guān)于Ubuntu安裝深度學(xué)習(xí)驅(qū)動(dòng)的教程很多但“驅(qū)動(dòng)安裝了沒(méi)反應(yīng)”幾乎是每個(gè)人都遇到過(guò)的問(wèn)題我也不例外。最典型的癥狀是安裝完NVIDIA驅(qū)動(dòng)后執(zhí)行nvidia-smi依然提示找不到驅(qū)動(dòng)或者重啟后進(jìn)入不了桌面。排查下來(lái)大部分問(wèn)題都出在Secure Boot和nouveau這兩個(gè)地方。Secure Boot如果開啟Ubuntu會(huì)拒絕加載沒(méi)有簽名的第三方驅(qū)動(dòng)所以必須進(jìn)BIOS把它關(guān)掉。nouveau是Ubuntu自帶的開源顯卡驅(qū)動(dòng)它會(huì)跟NVIDIA官方驅(qū)動(dòng)搶占設(shè)備安裝驅(qū)動(dòng)之前必須先把它禁用。我建議直接按下面的流程操作。# 1. 更新系統(tǒng) sudo apt update sudo apt upgrade -y # 2. 禁用 nouveau sudo bash -c echo blacklist nouveau /etc/modprobe.d/blacklist-nvidia.conf sudo bash -c echo options nouveau modeset0 /etc/modprobe.d/blacklist-nvidia.conf sudo update-initramfs -u # 3. 重啟機(jī)器讓禁用生效 sudo reboot # 4. 重啟后確認(rèn) nouveau 沒(méi)加載 lsmod | grep nouveau # 沒(méi)有任何輸出就說(shuō)明成功 # 5. 安裝驅(qū)動(dòng)以 535 為例 sudo apt install nvidia-driver-535 sudo reboot # 6. 驗(yàn)證 nvidia-smiCUDA和cuDNN我建議不用手動(dòng)裝直接用conda創(chuàng)建虛擬環(huán)境裝PyTorch的GPU版本它會(huì)自動(dòng)帶上配套的CUDA運(yùn)行時(shí)省去很多版本匹配的麻煩。這個(gè)項(xiàng)目用的Python版本是3.10PyTorch版本是2.1。conda create -n dlweather python3.10 -y conda activate dlweather pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install pandas numpy matplotlib scikit-learn tqdm環(huán)境搭建這塊看著瑣碎但它是整個(gè)項(xiàng)目復(fù)現(xiàn)的第一道坎。我見過(guò)很多人卡在這里好幾天其實(shí)是卡在Secure Boot這種非常不起眼的小地方。3.2 云平臺(tái)方案沒(méi)有GPU怎么跑如果你本地沒(méi)有NVIDIA顯卡或者驅(qū)動(dòng)問(wèn)題實(shí)在搞不定還有一個(gè)性價(jià)比很高的方案用AutoDL這類云GPU平臺(tái)。我最早跑這個(gè)項(xiàng)目就是在AutoDL上完成的按量付費(fèi)一小時(shí)幾塊錢跑完關(guān)機(jī)就行比買顯卡劃算得多。流程很簡(jiǎn)單注冊(cè)賬號(hào)后創(chuàng)建實(shí)例選擇帶有PyTorch鏡像的GPU機(jī)型顯卡從RTX 2080到A100都有。實(shí)例啟動(dòng)后平臺(tái)會(huì)分配一個(gè)JupyterLab地址和SSH端口你在本地把代碼和數(shù)據(jù)上傳上去訓(xùn)練完把模型文件下載回來(lái)就行。有一個(gè)經(jīng)驗(yàn)是代碼和數(shù)據(jù)上傳不要太頻繁先把整個(gè)項(xiàng)目目錄壓縮成一個(gè)tar包一次性上傳效率會(huì)高很多。# 本地壓縮 tar -czf weather_project.tar.gz weather_project/ # 本地通過(guò) scp 上傳到云服務(wù)器地址以平臺(tái)顯示為準(zhǔn) scp -P 端口號(hào) weather_project.tar.gz rootregion-xx.autodl.com:/root/用云平臺(tái)的時(shí)候要注意數(shù)據(jù)持久化。有些實(shí)例關(guān)機(jī)后本地磁盤會(huì)被釋放代碼和輸出結(jié)果可能丟失所以我習(xí)慣把數(shù)據(jù)放在數(shù)據(jù)盤把模型輸出定期同步到自己的電腦上。別問(wèn)我是怎么知道的都是淚。4. 模型構(gòu)建與核心實(shí)現(xiàn)4.1 模型選型從LSTM到CNN-LSTM再到Transformer這個(gè)項(xiàng)目在模型選型上做了好幾組對(duì)比我順著他們的代碼思路重新跑了一遍結(jié)果很有參考價(jià)值。最先試的是單層LSTM作為baseline。LSTM的優(yōu)勢(shì)在于天然的時(shí)序建模能力對(duì)氣溫這種有明顯自相關(guān)的序列效果比線性回歸好很多。但LSTM的問(wèn)題也很明顯它傾向于記住最近幾天的信息對(duì)稍長(zhǎng)周期的特征抓取不夠充分。接著試了CNN-LSTM混合結(jié)構(gòu)。用一維卷積先在時(shí)間維度上提取局部特征相當(dāng)于做一個(gè)降噪和特征增強(qiáng)然后再把卷積輸出送進(jìn)LSTM建模時(shí)間依賴。這里需要注意卷積核大小的選擇一般取3到5太小感受野不足太大又會(huì)讓序列長(zhǎng)度驟減。池化層在圖像任務(wù)中很常用但在時(shí)間序列里要慎用因?yàn)槌鼗瘯?huì)丟信息氣溫序列中一個(gè)極端低溫值可能恰恰是預(yù)測(cè)的關(guān)鍵信號(hào)我不建議在初期模型中加入池化層先用stride控制長(zhǎng)度就夠了。Transformer也跑了一組。它的長(zhǎng)序列建模能力確實(shí)更強(qiáng)多頭注意力機(jī)制可以捕捉不同時(shí)間步之間的關(guān)聯(lián)。但在數(shù)據(jù)量只有幾千條的情況下Transformer的訓(xùn)練穩(wěn)定性不如LSTM需要更多的調(diào)參技巧比如warmup、學(xué)習(xí)率衰減等。單從日尺度氣溫預(yù)測(cè)這個(gè)問(wèn)題來(lái)看CNN-LSTM的組合在精度和訓(xùn)練成本之間取得了最好的平衡。下面是幾個(gè)模型的精度對(duì)比我在同一份測(cè)試集上跑的結(jié)果模型MAE平均絕對(duì)誤差RMSE訓(xùn)練耗時(shí)分鐘線性回歸2.873.921單層LSTM1.522.316CNN-LSTM1.211.8611Transformer1.352.1242可以看到模型越復(fù)雜收益不一定越高Transformer在這個(gè)任務(wù)上反而沒(méi)打過(guò)CNN-LSTM。這也印證了那個(gè)觀點(diǎn)深度學(xué)習(xí)模型不是越先進(jìn)越好要結(jié)合數(shù)據(jù)規(guī)模和任務(wù)特性來(lái)判斷。4.2 核心代碼實(shí)現(xiàn)以CNN-LSTM為例這個(gè)項(xiàng)目里最核心的模型是CNN-LSTM我把關(guān)鍵實(shí)現(xiàn)重新整理了一遍結(jié)構(gòu)不算復(fù)雜但每一步都有它的用途。import torch import torch.nn as nn class CNNLSTM(nn.Module): def __init__(self, input_dim, hidden_dim64, num_layers2, output_dim1): super().__init__() # 一維卷積做局部特征提取 self.conv1 nn.Conv1d(input_dim, 32, kernel_size3, padding1) self.conv2 nn.Conv1d(32, 64, kernel_size3, padding1) self.gelu nn.GELU() # LSTM 建模時(shí)間依賴 self.lstm nn.LSTM(64, hidden_dim, num_layersnum_layers, batch_firstTrue, dropout0.2) self.fc nn.Sequential( nn.Linear(hidden_dim, 32), nn.ReLU(), nn.Dropout(0.1), nn.Linear(32, output_dim) ) def forward(self, x): # x: (batch, seq_len, input_dim) x x.permute(0, 2, 1) # 轉(zhuǎn)成 (batch, input_dim, seq_len) x self.gelu(self.conv1(x)) x self.gelu(self.conv2(x)) x x.permute(0, 2, 1) # 恢復(fù) (batch, seq_len, 64) out, _ self.lstm(x) out self.fc(out[:, -1, :]) # 取最后一個(gè)時(shí)間步 return out這段代碼有幾個(gè)容易出錯(cuò)的地方。第一Conv1d要求輸入維度是(batch, channels, seq_len)所以必須先做permuteLSTM要求輸入維度是(batch, seq_len, features)所以卷積之后要再permute回來(lái)。第二LSTM的dropout只在num_layers大于1時(shí)生效這個(gè)問(wèn)題容易忽略實(shí)際訓(xùn)練時(shí)會(huì)有影響。第三我們最終只取最后一個(gè)時(shí)間步的輸出去接全連接層因?yàn)槿蝿?wù)是用過(guò)去7天預(yù)測(cè)未來(lái)1個(gè)點(diǎn)中間時(shí)間步的所有隱藏狀態(tài)都被舍棄了。訓(xùn)練主循環(huán)沒(méi)有太多黑魔法就是標(biāo)準(zhǔn)的批量前向傳播、計(jì)算損失、反向傳播、更新參數(shù)。我加了早停機(jī)制同時(shí)監(jiān)控訓(xùn)練集和驗(yàn)證集的損失驗(yàn)證集連續(xù)15輪不下降就停止訓(xùn)練保留驗(yàn)證集效果最好的一輪參數(shù)。optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-5) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50) criterion nn.MSELoss() for epoch in range(200): model.train() train_loss 0.0 for xb, yb in train_loader: xb, yb xb.to(device), yb.to(device) pred model(xb) loss criterion(pred.squeeze(), yb) optimizer.zero_grad() loss.backward() optimizer.step() train_loss loss.item() scheduler.step() # 驗(yàn)證和早停邏輯省略原理見正文4.3 損失函數(shù)與評(píng)估指標(biāo)氣象預(yù)測(cè)任務(wù)中損失函數(shù)的選擇取決于你要預(yù)測(cè)的目標(biāo)變量。這個(gè)項(xiàng)目的核心目標(biāo)之一是預(yù)測(cè)溫度這是典型的回歸任務(wù)所以使用MSE作為損失函數(shù)。MSE對(duì)離群點(diǎn)比較敏感預(yù)測(cè)值和真實(shí)值差得遠(yuǎn)的時(shí)候誤差會(huì)被平方放大這其實(shí)是個(gè)優(yōu)點(diǎn)因?yàn)樗鼤?huì)迫使模型去關(guān)注那些天氣劇烈變化的樣本。但評(píng)估的時(shí)候僅僅看MSE還不夠直觀所以還要配合MAE一起看。MAE的單位和原始數(shù)據(jù)一致比如2.0就表示平均預(yù)測(cè)偏差在2攝氏度左右這個(gè)對(duì)非技術(shù)背景的人也很好解釋。RMSE則保留了MSE對(duì)大誤差的懲罰特性。還有一個(gè)值得關(guān)注的指標(biāo)是R2它的含義是模型能夠解釋數(shù)據(jù)中多大比例的變化R2越接近1說(shuō)明模型越好。我用了一個(gè)簡(jiǎn)單的習(xí)慣訓(xùn)練過(guò)程中每隔幾個(gè)epoch把MAE、RMSE、R2都打印出來(lái)模型表現(xiàn)一目了然。from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score mae mean_absolute_error(y_true, y_pred) rmse mean_squared_error(y_true, y_pred, squaredFalse) r2 r2_score(y_true, y_pred)如果你后續(xù)想擴(kuò)展降水量預(yù)測(cè)那性質(zhì)就變了降水是典型的偏態(tài)分布大部分時(shí)間是0少量時(shí)間有雨再用MSE會(huì)導(dǎo)致模型傾向于預(yù)測(cè)“無(wú)雨”來(lái)降低整體誤差。正確的做法是把它當(dāng)作分類問(wèn)題或者使用加權(quán)回歸損失這也是很多降水預(yù)報(bào)模型要單獨(dú)設(shè)計(jì)損失函數(shù)的原因。5. 訓(xùn)練過(guò)程與模型優(yōu)化5.1 超參數(shù)調(diào)優(yōu)思路這個(gè)項(xiàng)目在訓(xùn)練過(guò)程中踩過(guò)很多坑最核心的集中在超參數(shù)選擇上。我剛開始跑的時(shí)候直接用了默認(rèn)學(xué)習(xí)率0.001batch size是64結(jié)果訓(xùn)練到第20輪左右loss就開始震蕩驗(yàn)證集誤差降不下去。后來(lái)逐個(gè)排查發(fā)現(xiàn)學(xué)習(xí)率稍微大了對(duì)這個(gè)數(shù)據(jù)量來(lái)說(shuō)收斂不穩(wěn)定改成0.0005之后明顯改善。關(guān)于學(xué)習(xí)率我的經(jīng)驗(yàn)是先用一個(gè)相對(duì)較大的學(xué)習(xí)率做10輪warmup讓模型快速進(jìn)入一個(gè)合理的參數(shù)區(qū)域然后配合余弦退火調(diào)度器逐步降低學(xué)習(xí)率。這樣做的原理是訓(xùn)練初期參數(shù)距離最優(yōu)解很遠(yuǎn)用大學(xué)習(xí)率快速下降后期接近最優(yōu)解時(shí)用小學(xué)習(xí)率精調(diào)避免在最優(yōu)解附近來(lái)回震蕩。我在這個(gè)項(xiàng)目里實(shí)際用的是CosineAnnealingLRT_max設(shè)為50初始學(xué)習(xí)率0.001。batch size的選擇和顯存大小強(qiáng)相關(guān)但不要只追求大。時(shí)序預(yù)測(cè)任務(wù)中batch太大反而可能讓模型對(duì)近期樣本過(guò)擬合對(duì)于這個(gè)數(shù)據(jù)量32到64都是穩(wěn)妥的選擇。優(yōu)化器我推薦AdamW而不是普通Adam因?yàn)锳damW把權(quán)重衰減和梯度更新解耦了正則化效果更好最終模型的泛化能力會(huì)強(qiáng)一些。說(shuō)到這我想到一個(gè)很典型的參考案例李沐老師的《動(dòng)手學(xué)深度學(xué)習(xí)》里面專門有一章講優(yōu)化算法他把學(xué)習(xí)率比作“下山時(shí)的步長(zhǎng)”非常形象。步長(zhǎng)太大一步跨過(guò)山谷步長(zhǎng)太小半天走不到底這個(gè)比喻放到氣象預(yù)測(cè)的調(diào)參里同樣適用。我看過(guò)不少人在網(wǎng)上問(wèn)這個(gè)項(xiàng)目怎么調(diào)參其實(shí)絕大多數(shù)問(wèn)題都出在沒(méi)理解“學(xué)習(xí)率不是越小越好也不是越大越好”這件事上。5.2 從過(guò)擬合到泛化正則化與數(shù)據(jù)增強(qiáng)氣象數(shù)據(jù)集的規(guī)模通常不會(huì)太大這個(gè)項(xiàng)目訓(xùn)練集也就一萬(wàn)多條樣本模型稍微復(fù)雜一點(diǎn)就容易出現(xiàn)過(guò)擬合。最典型的表現(xiàn)是訓(xùn)練集loss不斷下降但驗(yàn)證集loss先降后升二者之間出現(xiàn)一條越來(lái)越大的“剪刀差”。針對(duì)這個(gè)現(xiàn)象我采取了幾個(gè)手段效果最明顯的是Dropout和早停。Dropout的原理是在訓(xùn)練過(guò)程中隨機(jī)“關(guān)掉”一部分神經(jīng)元迫使網(wǎng)絡(luò)不依賴某一個(gè)特定的神經(jīng)元路徑從而學(xué)到更魯棒的特征。在CNN-LSTM里L(fēng)STM層的dropout我只設(shè)了0.2再高會(huì)把時(shí)序信息破壞得太嚴(yán)重。全連接層的dropout可以稍微高一點(diǎn)0.3左右沒(méi)問(wèn)題。早停算是一種“窮人的正則化”原理是模型在驗(yàn)證集上不再變好時(shí)馬上停止訓(xùn)練防止它在訓(xùn)練集上繼續(xù)鉆牛角尖。不要小看這個(gè)技巧它省下的訓(xùn)練時(shí)間非??捎^同時(shí)還能保住驗(yàn)證集上的最佳效果。數(shù)據(jù)增強(qiáng)在時(shí)序預(yù)測(cè)里不像圖像那么常用但有一種技巧很實(shí)用在輸入序列上加一點(diǎn)高斯噪聲。因?yàn)闅庀笥^測(cè)本身存在儀器誤差讓模型見過(guò)含噪聲的輸入反而能在測(cè)試時(shí)表現(xiàn)得更加穩(wěn)定。代碼很簡(jiǎn)單訓(xùn)練時(shí)以一定概率在輸入張量上加上均值為0、標(biāo)準(zhǔn)差為0.01的噪聲推理時(shí)就不加。這種做法的本質(zhì)是讓模型不要死記硬背訓(xùn)練樣本的每一個(gè)數(shù)字而是學(xué)習(xí)數(shù)據(jù)背后的趨勢(shì)。5.3 模型壓縮與部署思路如果你只是做研究訓(xùn)練完模型保存權(quán)重就夠了。但如果想做成一個(gè)真正可用的“應(yīng)用”還需要考慮推理速度和部署方式。這個(gè)項(xiàng)目里給出了一個(gè)很有意思的方向把訓(xùn)練好的PyTorch模型導(dǎo)出為ONNX格式然后通過(guò)ONNX Runtime進(jìn)行推理速度比原生PyTorch快不少。導(dǎo)出ONNX要注意一個(gè)坑模型中如果有動(dòng)態(tài)維度比如batch size不確定導(dǎo)出時(shí)要指定dynamic_axes參數(shù)否則推理時(shí)會(huì)因?yàn)檩斎氤叽绮黄ヅ涠鴪?bào)錯(cuò)。導(dǎo)出之后可以用onnxruntime驗(yàn)證一下輸出是否和PyTorch一致誤差一般都在1e-6量級(jí)。import torch.onnx dummy_input torch.randn(1, 7, input_dim).cuda() torch.onnx.export( model, dummy_input, weather_model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version16 )如果你的目標(biāo)是在web服務(wù)里部署ONNX Runtime配合Flask或者FastAPI就夠了響應(yīng)時(shí)間基本在毫秒級(jí)。如果你想更進(jìn)一步可以考慮用TensorRT做量化推理但配置復(fù)雜度會(huì)上升一個(gè)檔次不是第一版應(yīng)用的必要項(xiàng)。6. 常見問(wèn)題與排查技巧實(shí)錄6.1 高頻報(bào)錯(cuò)與解決方案速查我基于這個(gè)項(xiàng)目的實(shí)際運(yùn)行經(jīng)驗(yàn)整理了一份常見問(wèn)題清單基本上覆蓋了大部分新手會(huì)撞上的坑?,F(xiàn)象可能原因解決方案nvidia-smi提示找不到驅(qū)動(dòng)Secure Boot未關(guān)閉 / nouveau未禁用進(jìn)BIOS關(guān)閉Secure Boot禁用nouveau后重裝驅(qū)動(dòng)CUDA error: out of memorybatch size過(guò)大 / 模型過(guò)大減小batch size或改用梯度累積Loss變成NaN學(xué)習(xí)率過(guò)高 / 數(shù)據(jù)中有NaN降低學(xué)習(xí)率檢查數(shù)據(jù)清洗環(huán)節(jié)驗(yàn)證集損失遠(yuǎn)高于訓(xùn)練集過(guò)擬合增加Dropout、權(quán)重衰減啟用早停模型預(yù)測(cè)結(jié)果接近常數(shù)數(shù)據(jù)泄漏 / 歸一化錯(cuò)誤檢查是否用全量數(shù)據(jù)做歸一化改用訓(xùn)練集擬合scalertorch安裝后import報(bào)錯(cuò)CUDA版本和PyTorch版本不匹配用conda創(chuàng)建環(huán)境按官網(wǎng)指引安裝對(duì)應(yīng)版本預(yù)測(cè)溫度系統(tǒng)性偏低訓(xùn)練集和測(cè)試集時(shí)間分布不一致檢查數(shù)據(jù)劃分是否按時(shí)間順序避免隨機(jī)打亂同一份代碼換機(jī)器后結(jié)果不一致隨機(jī)種子未固定設(shè)置torch.manual_seed和numpy.random.seed6.2 獨(dú)家避坑心得第一時(shí)間序列數(shù)據(jù)千萬(wàn)不要隨機(jī)打亂劃分訓(xùn)練集和測(cè)試集。這個(gè)項(xiàng)目里如果用了train_test_split默認(rèn)參數(shù)也就是隨機(jī)劃分模型會(huì)從未來(lái)“偷看”過(guò)去的數(shù)據(jù)導(dǎo)致驗(yàn)證集效果虛高。正確做法是按時(shí)間順序比如前80%做訓(xùn)練后20%做測(cè)試。這個(gè)錯(cuò)誤特別隱蔽因?yàn)橛?xùn)練過(guò)程完全正常指標(biāo)還很好看直到部署上線才發(fā)現(xiàn)模型在真實(shí)環(huán)境中表現(xiàn)很差。第二特征的順序會(huì)影響Conv1d的卷積效果。在特征維度上每個(gè)通道代表一個(gè)氣象要素卷積核在時(shí)間維度上滑動(dòng)如果特征排列順序不合理比如把相關(guān)性很低的風(fēng)向放在溫度和氣壓中間模型初期會(huì)花更多的迭代次數(shù)去學(xué)習(xí)這個(gè)無(wú)意義的排列。建議在做數(shù)據(jù)預(yù)處理時(shí)把特征按照相關(guān)性排序或者至少保持每個(gè)通道語(yǔ)義一致。第三雨量預(yù)測(cè)和溫度預(yù)測(cè)是完全不同的任務(wù)。如果你只是把模型的輸出節(jié)點(diǎn)換成降水量訓(xùn)練出來(lái)的模型幾乎不會(huì)下雨這是偏態(tài)分布導(dǎo)致的問(wèn)題。這個(gè)項(xiàng)目里只做了溫度預(yù)測(cè)但我在擴(kuò)展實(shí)驗(yàn)中對(duì)降水量做了一版分類模型把降水分為無(wú)雨、小雨、中雨、大雨四類用交叉熵?fù)p失效果比回歸好得多。這個(gè)思路可以給想擴(kuò)展功能的人一個(gè)方向。第四不要迷信大模型。我跑過(guò)一兩版深度明顯增加的結(jié)構(gòu)比如四層LSTM加注意力機(jī)制效果反而不如兩層LSTM加卷積的組合。氣象數(shù)據(jù)本身信噪比不高模型太大反而會(huì)記住噪聲。在深度學(xué)習(xí)里模型的容量要和數(shù)據(jù)量匹配這是最容易被忽略的常識(shí)。第五訓(xùn)練時(shí)固定隨機(jī)種子。這個(gè)項(xiàng)目跑通之后我復(fù)現(xiàn)過(guò)一次結(jié)果發(fā)現(xiàn)相差很大排查后確認(rèn)是隨機(jī)種子沒(méi)有固定。DeepLearning項(xiàng)目里如果不固定種子每次訓(xùn)練的初始化權(quán)重、數(shù)據(jù)加載順序都不同結(jié)果有波動(dòng)是正常的但如果你要做實(shí)驗(yàn)對(duì)比不固定種子得出的結(jié)論就不可信。建議在代碼開頭統(tǒng)一設(shè)置隨機(jī)數(shù)種子包括Python、NumPy、PyTorch的CPU和GPU。我在實(shí)際使用中發(fā)現(xiàn)深度學(xué)習(xí)在氣象領(lǐng)域的應(yīng)用價(jià)值不在于短時(shí)間內(nèi)完全替代傳統(tǒng)方法而在于它在局部場(chǎng)景下能提供更輕量、更快速的預(yù)測(cè)能力。這個(gè)項(xiàng)目雖然規(guī)模不大但勝在閉環(huán)完整數(shù)據(jù)、模型、訓(xùn)練、評(píng)估、部署一條鏈路都跑通了。我的建議是先照著這個(gè)流程把baseline跑通再根據(jù)你自己的數(shù)據(jù)特點(diǎn)去調(diào)整模型結(jié)構(gòu)和訓(xùn)練策略。序列預(yù)測(cè)的坑很多但每踩一個(gè)坑對(duì)模型的理解都會(huì)深一層。這套系統(tǒng)后續(xù)如果想繼續(xù)擴(kuò)展可以往多站點(diǎn)空間建模、圖神經(jīng)網(wǎng)絡(luò)、多模態(tài)數(shù)據(jù)融合這些方向走每一步都有足夠大的探索空間。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91麻豆天美国产欧美| 日本熟女不卡视频| 人人操人人干xxx| 中文字幕免费看大片| 91欧美高清| 亚洲美腿丝袜香蕉影视欧美成人| 熟女色综合久久| 好好的日:com久久九九| 日本一级真人黄色性爱视频| 蜜臀久久99精品久久综合| 亚洲综合 欧美| 神马久久免费电影观看| 综合激情一一91| 97亚洲精品| 久久色情| 久久精品成人一区二区三区蜜臀| 在线观看亚洲专区| 日本特黄f c2| 超碰色老头| 久久久久久久久久8888| 我中文字幕6区| 天美欧美国产| 欧美精品999| 亚洲欧美一区二区三区一猛片| 日韩女优中文字幕| 精品无人区麻豆乱码久久久| 好爽要喷了| 裸体1区| 小少妇| 久久久久久裸体| 激情小说五月天| 久热最新在线杭州| 天天久久| 97视频网站在线观看| 在线a v| 91综合网站| 欧美日动态视频| 偷窥自拍亚洲色图| 日韩精品在线视频在线观看 | 天天色欧美| 91大学精品激情戏| 大香蕉一级黄色片久久| 涩爱AV在线| 91精品久久久| 中文字幕精品三级久久久| 岛园激情| 玖玖久久久| 成人情色一区二区| 啪啪啪综合网| wwe 天天干.com| 高清无码在线播放网站| 亚洲国产蜜臀系列在线观看| 亚洲日本大香蕉1| 久久九九国产精品| 超碰成人人人爽人人爽| 超碰夫妻97| 日本免费专区| 熟女探花啪啪| 超碰这里有精品| 性做久久久久久免费观看软件| 揉揉揉夜夜| 欧洲天天在线| 98色网| 偷拍超碰| 国产成人久久精品蜜臀| 日韩99神马视频片| 色香欲综合| 四虎免费看黄| 色五月69夫妻| 亚洲日韩美国人妻| 欧美性少妇| 亚州综合色图| 午夜亚洲| 日韩欧美亚洲一区二区三区影院| 操淫穴亚洲五月丁香| 亚欧毛片基地国产毛片基地| 亚洲情色在线| 欧美少妇色图| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 亚洲精品一区二区三区在线播放| 日韩丝袜高跟制服在线观看| 伊人久久艹| 久久六六| 色综合1991| 男人久久天堂| 伊人久久大香蕉线AV五月天| 激情视频网址| 欧美一级久久久丰满| 4tube欧美女厕所| 炮色五月| 9999免费精彩视频| 最新日日夜夜天天干干| 91色色综合| 26uuu国产免费观看| 一区二区三| 免费福利视频中文字幕| 色汉综合| 五月婷婷六月激情| 欧美经典一区二区三区| 日日爱99| 亚洲女优有码无码高清| 伊人网在线视频| 97超碰碰碰| 日本一级婬片试看三分钟| 中文字幕第2页| 夜夜爽爽夜夜精品视频| 久久亚洲AV无码白度| 日韩人妻精品| 国产久久视频| 亚洲精品久| 五月激情啪啪| 爱av免费| 日韩欧美aⅴ综合网站发布| 2017天天操| 婷婷九月国产| 天天草AV| 日本999精品视频| 性在久久久久久| 日本熟妇人妻一区二区三区| 亚洲诱惑天堂| 操死我了啊啊啊| 国产CHASE男男GAYGA 毛多色婷婷| 国产肏逼网站| 78精品| 91草草草| 久热91| 天美精品av| 国产97在线视频| 亚洲男人天堂2| 亚洲自拍一区夜夜操| 麻豆久久久一区二区| 69人妻精品丰满熟女区| 久久久久久亚洲Av无码| 精品人妻一区春色| 91综合色噜噜| 精品久久久中文字幕不| 无码99| 精品国产无码中文| 97超碰磁| 久久熟女久| 爱av免费| 欲色综合| 久久免费99精品久久久久久| 日韩电影中文字幕| 亚洲综合性感在线| 91 亚欧| 日本天天人人狠狠在线日美女 | 日韩内| 97色论| 中文字幕人妻色偷偷久久皮| 懂色AV中文| 色婷婷蜜臀av| 国产夫妻性生活视频| 国产乱码久久久| 综合色一区三区二区| 懂色av色欲av蜜臀av| 人人色人人操在线| 99色婷婷中文字幕乱色| 女优大全 - 91n| 激情综合网五月婷婷五月天| 欧美aⅴ99久久黑人专区| 亚洲欧美小说| 97蜜桃综合| 日韩免费中文字幕视频| 操香逼| 欧美激情视频在线一区| 日韩草久视频| 久99在线免费观看视频| AV免费在线播放一区| 伊人久久国产免费观看视频| 97资源亚洲| 双插性欧美一二三区| 激情露脸爱| 9精品在线| 久9综合在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 少好三P| 强奸抽插av| 三级片网站在线播放| 亚洲综合大片| 亚洲成?V人片在线观看福利| 久草老司机| 久久性爱视频99| 亚洲人在线| www.亚洲黄色| 亚洲黄日韩无码专区| 国产精品久久99日日| 加勒比色99999| 成人免费福利在线观看| 精品成人久久久人人亚洲| 黄aaaaaaaaaaaaaaaaaa色网站 | 老色69| 亚洲学生妹高清av| 狠狠操一区二区| 色婷婷久久| 伊色久人大在线| 亚洲18禁| 亚洲成a人在线观看久| 超碰久超碰久| 亚洲色图8| 大香蕉天天看妹子| 久久久久成人蜜桃精品| 中文字幕高清精品一区| 激情终合网| 日本国产欧美一区三区二区| 夜夜嗨绯色| 天堂8在线新版官网| 日韩有码 一区二区三区| 超碰久久网| 欧美性爱免费短视频| 91色人| 大香蕉 222| 九九热精品视频在线观看| av网站免费线看| 亚州精品人妻一二三区| 玖玖蜜臀资源网| 国人欧美精品一区二区| 黑人无码一区二区| 精品成人亚洲午夜电影| 熟妇乱伦一区二区| 97ai亚洲| 国际精品久久久| 久久99精品国产| 久久久久免费少妇| 欧美久久伊人| 免费A V在线播放| 亚洲无码偷拍| 亚洲乱妇p22| 日日97| 激情情色五月天| 加勒比海成人视频网| 是还免费视频1727我| 91大神电影天堂| 少妇高潮99p| 96爱综合| 狠狠躁天天躁日日躁| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 999综合网| 亚州男人天堂| 狠狠亚洲| 蜜桃网熟妇| 精品十八在线观看| 99热| 少妇干B| 婷婷天堂站| 免费公开人人操| 亚洲美女自拍偷拍视频| 国产午夜无码片在线观看影视 | 欧美A√综合网 | 超碰地址97| 超碰欧美97资源| 国产精品第一页国产大屁股视频免费区| 97亚洲色图| 久艹日日日| AVE乱伦| 国产一级αv免费看片| 久草网站免费在线观看| 亚洲制服欧美另类内射| 大香蕉操久久| 青青草视频爽一爽| 97在线播放| 精品成人无码| 综合激情五月天| 亚洲情色婷婷五月天| 秋霞一区二区三区四区五区六区七区| 日本一天色道久久久精品视频| 少妇人妻在线| 日韩性爱1级片视频| 欧美少妇熟女| 免费97视频| 免费自拍三级综合| 三级三级三级日本99| 91爰爱欧美| 亚洲一区二区在线观看91| 岛国激情视频软件| www.97在线| 91色人妻| 午夜人妻精品综合在线| 久射吧| 日韩卡一卡二卡三在线| 麻豆天美国美国产| 熟妇人妻丰满久久久久久久无码| 久久久久久久久久久免费精品| AV电影在线播放| 亚洲色图久久成人| 亚洲一区二区中文字幕| 国产精品成人蜜臀AV在线| 人妻密肉在线观看| 亚洲亚洲亚洲天堂天堂| 1禁看欧美黄片免费看| 亚洲精品乱码久久久久久蜜桃麻豆 | 很很干很很操| 亚洲资源吧| 免费强奸av| 劲爆欧美人妖三区91| 国产精品不卡高清在线观看| 色哟哟-国产专区| 欧美激情视频在线一区| 97天天插| 开心五月婷婷激情| 91天堂网| 亚欧精品久久久久久久久久久| 天天噜| 91日韩网站| 亚洲少妇综合在线播放| 97在线公开视频| 日韩99999色| gogogo免费高清看中国国语| 久久亚洲不卡一区二区三区| 欧美18老人禁| 黑人与人妻| 自慰白浆在线观看| 人人人干干人人干| 欧美爆操91| 人妻81p| 久久99干一本高清| 天美av在线观看| 超碰色男人操熟女| 国产美女口爆吞精视频| 超碰 另类 欧美 | 久久99国产综合精品女同| 无码78| 好看的91视频| 91久青| 久久xxxx| 亚洲h片在线免费观看| 精品一区99999| 日韩三级网址| 黄片免费久久久久久久| 欧美色91| 超碰夫妻97| 中文字幕在线24| 蜜臀久久99精品久久久| 美女网站黄页| 午夜精品久久久久久久99热影院| 日本久久99| 国产亚卅97| Blackedraw视频一区二区| 男女啪啪啪18禁网站| 在线亚洲丝袜视频网站| 美女黄页| 性色av婷婷久久一区二区点复制| 黄片免费久久久久久久| 老司机午夜精品视频| 久色99999| 操人妻丝袜高跟| 九热视频| 日本欧美国内在线| 色久桃花影院在线观看| 蜜臀99久久精品久久久懂爱| 亚洲极品| 国产欧美日韩精品中文| 欧美强奸乱能| 八戒午夜福利理论片| 欧美一级黄色免费专区| 免费精品AB| x97av| 伊人玖玖网| 成人熟女区| 欧美大香蕉97| 夜夜操av亚洲一区二区| 日本天天人人狠狠在线日美女| 午夜男人天堂| 精品国产片亚洲一区| 大香蕉黄色一区| 五月天激情网站| 日日A∨| 99久久久99久久91熟女| 天堂九九九九九九九九九| 久久久亚洲精品电影免费看| 久九九九九九九热| 中出91| 熟女丰满人妻一区| 亚洲天天影视综合网| 麻豆a'v电影| 亚洲综合校园春色| 97精品免费视频网站| 一类无码操逼视频| 欧美精品久久96人妻无码| 亚洲 综合 欧美| 一区在线观看中文字幕| 亚洲s在线观看| 蜜臀久久一区二区| 成人久久久精品| 精品日韩| 天天日少妇逼AV| 深夜福利黄片| 久草免费在线一区二区| 国产久久日韩网站导航| 亚洲人妻久久| 333kkkk·亚洲com久久| 久久色人体| 狠狠爱AV| 中文字幕后石码三区四区| 青娱乐国产盛宴视频| 激情开心五月天| 9久久美女首页| 日韩亚洲欧美中文字幕| 免费精品国偷自产在线在线 | 久久天堂网| 欧美高清18A片| 91色情黑丝搞鸡在线观看一区二区三区三州| 91欧美成人色站| 激情五月天综合网| 午夜后入| 久久黄色视频一区二区三区| 无遮挡h肉动漫在线观看| 在线观看一卡二卡| 久久伊人青青草| 国产精品爆乳懂色蜜乳| 好淫网一二三视区| 久久精品国产精品一区| 五月天丁香| 亚洲欧美日韩免费观看| 五月综合视频| 97视频一区| 亚洲乱码尤物193YW| 天天日天天射天天干| 加勒比大香蕉视频在线| 91超碰丝袜制服| 人妻一区二区三区视频| 欧美国产视频| 操逼视频国产无套| 欧美暴力猛交| 人人操人人操草草| 超碰97久久观看| 首页中文字幕中文字幕免费| 青草地一本线一区二区三区| av午夜玫瑰| 先锋色眉乱伦资源| 少妇精品久久久八区九区| 草莓精品视频| 五月婷网站| 伦理弟一页| 影音先锋乱| 欧美激情1区| 青苹果影院男人的天堂| 欧亚性爱啪啪| 2019天天干| 1024人妻| 亚欧高清| 99超碰碰| 久久久婷| 日本一级特级毛片视频| 天天日天天屌天天操| 91粉嫩萝控精品福利网站_精品影音先锋国 | 欧美国产成人在线| 青青草操逼逼视频| 亚洲精品三区在线观看| 国产精品日日摸天天碰| 77777亚洲蜜臀精品久久综合蜜臀| 一区二区三区黄色片a| 亚洲欧美骚| 欧美另类自拍 | 最新亚洲黄色免费电影| 女人天堂网| wwe 天天干.com| 少妇高潮对白在线观看| 女人被添高潮免费视频| 国产对白刺激视频| 香蕉视频精品亚洲一区二区三区在线播| 99综合自拍| 大香蕉123| 午夜精品久久久久久久99蜜桃一| 国产毛片毛片4p懂色| 美女91网| 国产麻豆一区二三区| 99国产精品免费| 日韩天堂av电影在线观看| 天美麻豆精品视频99| 国产树林里野战在线看| 日本色色色| 亚欧高清在线| 国产亚洲精品玖玖玖在线观看| 蜜臀无码视频在线观看| 国产女人视频三四五区| 午夜亚洲| 91超碰在线播放| 久久一本大香蕉| a片久久久久久久久久久久| 插插综合网天天影视网| 九九操久久国产免费视频| 欧美最婬乱婬爆婬性视频| 影音先锋每日最新资源在线观看| 久久这里只有精品9| 欧美少妇色图| 国产成久久综合片| 久久精品国产亚洲AV嘿嘿| 大伊香蕉在线视频免费| 婷婷五月影院| 无码一区二区三区四区五区六区七区八区九区十区视频 | aaaa少妇高潮大片| 99久久久无码国产精品性男| 欧美成人都市人妻| aⅴ日韩成人电影av在线免费看av大全| A片 AV一级在线播放观看免费 | 欧美躁死她一区二区| 亚洲日本韩国极品一区二区| 精品成人av一区二区三区在线| 国产精品视频自拍在线| 午夜黄色免费在线观看| www.av在线观看| 亚洲美乱| 亚洲脚交| 伊人国产成人av网站| 国产精品成久久久久午夜午夜| 最新岛国大片| 精品日韩人妻视频| 高清无码久操视频| 国产精品久久久久久久久AV大片| 久久东京国产精品视频| 日韩一999精品| 97中文字幕色| 大香蕉伊人75| 操逼啊啊啊91| 亚洲综合春色| 免费超碰97久久| 青青久日| 2019精品国产无码成人| 亚洲综合小说另类图欧美视频激情小说色五月天| 99热综合| 97ai亚洲| a天堂视频| 91成人社区| 91丨人妻丨国产丨丝袜| 日韩性爱一级片| 日本性爱网址| 97超碰免费人人性爱| 无码久| 亚洲欧美一区二区网址| 五月天婷精品激情| 欧美天堂亚洲电影院一区在线播放| 日本精品性生活久久久| 狠狠久久手机视频精品| av资源在线观看少妇| 亚洲天堂人人妻| 欧美一二三级精品在线| 久久9亚洲| 91美女视频| 国产天天看| 亚洲精品白浆高清久久久久久| 伊人激情| 亚洲毛片基地专区| 人妻嗯啊啊在线播放| 91九色丨风韵犹存| 精品久久人妻成人网| 亚洲日韩欧美一区二区| 极品色www影院| 日韩BBN| 国产一二三福利视频网| 久久久精品成人国产| 中文字幕视频一区视频二区| 欧洲综合无码| 蜜臀无码一区二区| 天天日少妇逼AV| 天天看天天日天天操| 天天摸天天插天天日| 97爱| 亚洲射综合网| 日韩性爱小视频| 97视频在线观看高清资源| 国产1024在线播放| 免费超碰97久久| 精品亚洲国产成人AV制服丝袜 | 亚洲揄拍网| 美国一区二区免费视频| 蜜臀久久在线视频| 人妻啊啊人妻啊| 影视综合无码少妇| 国产欧美日韩在线观看麻豆传媒公司| 人人操,人人液| 欧洲站一级二级三级h| 色欧美天天| 天天艹天天日| 日韩91网| 99精品伊人| 婷色五月天| 综合网欧美| 中出789在线视频| 日韩三级网址| 欧美麻豆成人同性GⅤ在线| 啊啊啊免费| 欧美第五页| 青青草日逼视频| 国产高清成人免费视频| 熟女高潮合集-永久久久-成人AV | 看免费的黄片| 极品销魂美女一区二区| 舔人妻中文免费视频| 久久超碰久| http://qxhbdz.com| 精品视频久久久久九九九九9999| 国模不卡| 91人人| 精品美女少妇一区二区| 激情文学 亚洲图片| 综合 青草 伊久久 影院 综合| 在线观看一卡二卡| 日本久久超碰| julia国产在线| 欧美97视频| 东京成人一区| 啊啊啊啊在线观看网址| 精品国产国产AV| 99只有精品| 国产高清1234区| www久久久| 岛国A V在线免费看| 亚洲精品三区在线观看| 亚洲欧美精品国产一区二区| 超碰在线人妻中文字幕| 免费精品国偷自产在线在线 | 亚洲av综合色| www.av在线观看| 嗯嗯啊啊操死我| 日韩乱码Av| 四虎永久在线精品免费网址 | 六月婷婷色综合| 97电影院超碰| 男人的天堂色偷偷青青草视频婷婷网| 乱码熟妇人妻久久久| 91天天爽| 国产精品一级特黄aaa大片在线观看| 欲香欲色| 天天肏夜夜肏| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 丝袜无码a片| 伦理日韩国产久久| 熟妇乱伦一区二区| 人妻日日干| 97人人草| 久啪| 中文字幕精品探花视频| 免费毛片在线播放| 国产亚卅97| 啊啊啊啊啊好多水| 日韩黄色一区二区三区| 综合久久中文字幕综合日韩精品| 五月丁香| 天天操天天日天天干| 欧美天天综合在线| 欧美日本中字另类在线| av在线人气| 超碰综合97在线| 国产精品免费日韩| 91bbb| 74成人在线| 操逼免费视频无码国产| 丁香五月天久久精品视频一区二区三区| 中国91AV| 怡红院一区二区熟女人妻| 8050午夜少妇无码| 欧洲免费一区二| 91久久国产精品| 蜜乳AV网址| AV色图| 欧美亚洲色图另类国产| a久久| 在线五区| 人、人、摸,人、人、草| 97天天在线| 久久免费精品视频免一| 91欧洲入口| 国产www色在线观看| 精品人妻一区二区三区夜夜| 精品三级在线专区| 亚洲射综合网| 涩综合导航| 欧美永久激情一区二区| 9丨亚洲一区二区在线| 97硬碰| 97在线免费观看视频| 婷婷五月天网| 久久久久久久9999| 粉嫩在线一区二区懂色| 蜜臀无码一区二区| 制服乱伦| 人妻精品视频一区二区三区| 激情终合网| 91免费看一区二区三区| 97在线青| www.99热| 日韩高清黄片| 久久免费少妇| 成人天天看站长推荐| 国产黄色视频久久| 96精品一区| 国产精品秘 福利姬在线观看| 人妻天堂网| 久久久久密臀一区二区| 免费AV中文网在线观看| 欧洲Au麻豆| 国产东北女人在线视频| 3P丝袜熟女 色综合| 国产熟女少妇一区| PMv在线观看| 一区二区三区男人的天堂| 亚洲图片 91| 日韩欧美中文日韩欧美色| 亚洲熟女一区二区| 欧美色图 人妻| 久久伊人网视频一区二区三区 | 国产欧美美女免费观看视频| 成人aⅴ一区二区三区| 亚洲欧美97| 日韩无码服务区| 久久熟妇五十路一区| 激情五月天插| 在线视频 亚洲精品| 久九9精品| 婷婷另类小说| 久久高清欧美国产| 999久久久久久久久| 欧美综合第一| 嗯啊免费视频| 久久久中文| 九九RE视频在线精品| 欧美一级美片在线观看免费| 精品对白久久不卡| 在线亚洲丝袜视频网站| m欧洲一级午老| 亚洲精品天天影视综合网 | 91精品国产麻豆国产自产在| 人人操我人人干| 亚洲色婷婷久久91| 乱性AV| 国产内射爽爽大片| 青操影院| 欧美黑人与女人91| 国产又粗又长视频| 日本男人插女人的逼黄色| 91精品成人| 操淫穴亚洲五月丁香| 日韩av色图综合| 91色爽欧美| 欧洲综合视频| 91n美女视频| 欧美日韩免费专区在线| 青青伊人久久| 中文字幕久久亚州无码| 欧美91变态| 日韩欧美亚洲自拍偷拍| 91免费看一区二区三区| gogogo免费高清看中国国语 | 婷婷99狠狠躁天天躁| 免费观看啪视频| 综合网,亚洲,欧美| 色超碰综合| 国产夫妻性生活视频| 亚洲综合在线第一页| 欧美日韩在线小说 | 超碰 97国产熟女| 狠狠干精品一二三四五六2022| 亚洲色图自拍| 国内偷拍精品一区二区| 亚川综合视频| 欧洲熟妇xxXx欧美老妇裸体| 色色综合网站| 久日综合网| 中文字幕视频免费| 久久久性爱| 久久久久久久九九九九九九| 岛国黄色大片网站| 国产久久久9999| 亚洲日韩东京热一区| 亚洲日韩电影| 午夜毛片亚洲精品片国产久久久| 日韩福利综合一区| 日韩三四五区| 老熟女综合网| 国产又操| 十八禁一区二区无码观看| 久久久男人的天堂| 影视综合无码少妇| 欧美九九爱| 男女国产精品| oumeisetu综合| 天天操熟妇| 国产在线视视频有精品| 久9爱经典视频 | 91老熟妇| 男人的天堂,欧美亚洲另类国产日韩,日本高清一区二区 | 日本熟妇熟色97一本在线观看| 欧美综合91| 久操九九九九| 粉嫩久久久极品| 一起草日韩| 一区二区 日韩 欧美 国产 传媒| 国产黑白丝在线| 又粗又长又爽在线观看| 99re9这里只有精品| 人人摸人人添人人操| 中文字幕一区 二区三四五 区日 日骚| 欧美三级偷拍| 激情九月婷婷| 久久久精品视频欧州站| 东京热一区二区中文字幕| 懂色综合久久久| 日本羞羞的视频在线播放| 午夜国产综合视频在线观看| 久久內射| 国产免费久久久久| 国产嫩草精品A88AV| 97爱免费插| 激情熟女12P| 可以看的av| 国产精品不卡av免费在线观看| 亚洲视频,小说| 免费看欧美美女黄色大片| 国产乱不卡| 美中韩AV综合网| 国产无码高清操逼视频| 国产欧美后入| 清柠毛片| 91丨九色丨国产丨人妻在线 | 日日超碰亚洲| 人妻一区久久二区三区色播| 丁香五月综合| 偷拍综合网| yazhousetuoumei| 丁香五月婷婷色| 天堂俺去俺来也www久久婷婷| 亚洲日本大香蕉1| 婷婷五月天丁香花| 约操熟妇| 亚洲国产精品99久久久| 中文字幕精品探花视频| 久久国产999| 1024亚洲中文字幕久在线看片你懂的 | 亚洲精品日日夜夜52| 少妇激情一区二区三区视频| 亚洲色资源| 亚洲色图激情小说| 懂色AV一区二区三区| 岛国黄色大片网站| 国产野战露脸在线播放| 亚洲欧美日韩激情不卡| 天堂亚洲精品| 激情在线青青操| 综合日韩激情另类图片| 视频二区美腿丝袜制服人妻欧美| 超碰成人国产| 制度丝袜99| 亚洲美女精品九九视频| 九九九精品色乱九九九| 国产乱人妻精品入口| 97色视频在线| 97在线青| 午夜福利区| 性爱AV天堂| 久久久国产精品亚洲精品| 中国小夫妻勾搭露脸淫荡对白 | 91bbbbbb| 亚洲在高跟鞋自慰久久在色线| 91丝袜在线观看视频在线观看| 北京专精特新企业招聘信息| 久久久久久国产精品| 丁香五月社区| 日韩免费性爱视频在线观看| 丰满人妻一区二区三区四区| 啪啪啪东京| 91精品人妻一区二区三区蜜桃| 91欧美丨精品丨入口| 日韩91网| 黑人综合色| 精品女同一区| 91深夜夜| 青青草依人大香蕉| 精彩国产视频播放1区2区| 久久99午夜精品一区人妻| 国产suv精品一区二六| 一二三四免费视频| 第四色奇米影视777| 粉嫩AV一区夜夜嗨| 久操婷婷| 在线色导航| 操老熟女AV| 久久久久久欧美精品se一二三四| 91熟女视频| 欧美一区二区日韩传媒搭讪精品| 2019天天干天天操| 精品免费囯产一区二区三区| 人妻激情另类| 黄片色区软件| 久久春色| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 蜜桃久久综合视频| 亚洲一区二区中文字幕| 亚洲中文字幕在线视频一区二区| 天堂亚洲精品| 欧美丝袜美女电影一二三四区| 超碰免费人人| 亚洲天堂AV在线播放| 亚欧免费观看视频| 人人妻人人爽一区二区三区| 蘋果手機免費看成人Av| 麻豆天美制片厂网站视频| 日韩女模中文造逼| 囯产精品久久久久久久久久梁医生 | 日本精品网站在线中文| 男人的天堂一区| 亚洲日本大香蕉1| 99热在线只有精品| 精品美女人人干| 大香蕉欧美国产日韩高潮| 国产免费大片| 人人透人人操| 国产精品一二三区福利| 中国亚洲呦女专区| 人人考人人摸人人干| 人、人、摸,人、人、草| 中文字幕蜜乳av| 欧美黑人熟妇精品91| 久久99国产精品| 啊啊啊好想要| 久久性爱精品一区| 99国产在线 精品 视频| 九久9精品| 风间由美日韩欧美久久| 日本二区不卡| 久久久久久综合久久伊人蜜月| 成人国产二区三区在线,男女精品。| 欧美78P| 国产捆绑一区| 蜜乳视频网站| 色噜噜精品一区二区三| 亚洲国产无码精品首页久久久| 91neishe| 欲色影视综合吧| 曰本人妻人人澡人人夹| 黄色av片三级三级三级免费看| 2018天天日天天日| 亚洲 欧美 制服 另类 自拍| 2019精品国产无码成人| 黄片aaaaa一区| 国产后入精品| 亚洲男人的天堂V| 岛国999| 亚洲丝袜二区在线| 91精品国产91久久福利| 国产树林里野战在线看| 亚洲高清无码免费观看视频| 在线综合 亚洲 欧美中文字幕| 日本东京热大香蕉a片| 色噜噜人妻av中文字幕| 亚洲一区日韩精品| 亚洲天堂电影精品一区| 亚洲最大91网| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 欧美中文综合| 国产大学生高潮在线播放| 嗯嗯啊啊操死我| 欧美日韩美女精品久草一区二区三区 | 色妺妺在线视频| 99re在线视频国产| 99热精品在线观看| 日本操色导航| 日本免费中文一区二区三区四区| 色综合1991| 国产无马在线| 91丝袜美女国产| 亚洲精品天天影视综合网 | 天天干天天操天天操夜夜操天天操 | 天天做天天爱| 色婷婷网| 亚洲综合 欧美| 中国人高清www色视频免费| 女人高潮大叫一级毛片| 九九热九九热| 极品色综合| 中文字幕日本久久| 青久久| 在线观看高清AV| 超碰日本97美女人妻人人玩人人爱| 久久大香蕉97| 东京热男人的天堂精品| 狠狠操狠狠燥| 国产精品欧美日韩久久| 好看的久久不射无码影视影院| 免费国产电影一区二区| 九九黄色网| 亚洲资源吧| 色婷婷九月| 精品久操| 一级aaaaa欧美中文字幕录像片| 九九九九九九九九九九九免费国产| 亚州欧美另类| 九月丁香婷婷| 亚洲精品一区二区精品| 亚洲天天影视综合网| 欧美一级久久久丰满| 97人人中文网| 日本成人A片免费看| 精品久久久一本一道| 日本有码久久| 在线毛片片免费观看| 国产精品密臀网在线观看| 国产成人亚洲精品无码古代早漏男 | 夜夜精品视频| 97干com| 人人看黄色视频| 啊啊啊久久久视频 | 综合影视国产无码| 亚洲美女av无码| 久久亚洲影院一区二区| 亚洲国产精品99久久久| 国产麻豆一区二三区| 91久久久久久久久18| 久久日韩肥臀| 任你干在线视频| 中文字幕美女91| 欧美91色| 精品四五区| 免费超碰97在线观看| 91色欧美| 97视频900| 97色五月天完| 操逼www.| 国产无码久久高清| 亚洲性刺激| 日本淫穴在线| 欧美久热| 亚洲少妇中文字幕网址| 欧美精品三级黄片| 天久久久噜噜噜久久国产精品爽爽| 成人网欧美风情| 久久久一区二区三区四曲免费听| 国内精品嫩模A∨私拍小视频| 1024精品在线| 啊啊啊啊啊啊啊啊要喷了| 天美av在线观看| av在线播放国产一区| 超碰碰小说97| 久久久久久91香蕉国产| 天天日少妇逼AV| 丁香六月东京热| 中文字幕一二区二三区人妻专区| 亚州欧美色图| 色图综合| 欧美人妻二区三区| 婷婷五月天成人网| 开心婷婷五月| 国产精品呦一区二区三区| 午夜一区二区三区国产| 国产女人高潮嗷嗷嗷叫小说| 天美传媒婬乱| 极品国产内射| 一区二区高清视频| 亚洲色人阁| 99热在线观看| 青青在线视频日韩欧美| 超碰97丝袜| 屁股久久久久久久久久| 欧美丝袜91| 青女偷拍网| 骚妻少妇精品性色无码四色A V| 人妻 制服 日韩 中文 在线| 亚洲永久永久永久永久一级一级一级精品 | 岛国福利在线精品播放| 国产高清在线观看欧美| 日韩综合无码色欲vv| 加勒比在线视频一区二区三区| 精品视频一区二区| 欧美操人视频| 日韩图区 偷拍| 精品一区二区成人| 国产视频一区二区免费| 99视频内射三四| 五月婷婷六月丁香| 欧洲综合视频| 精品.99999| 久久激情五月| 欧美精品999| 青青11操操操操操操操操| 久久超碰av在线| 啊啊啊啊,啊啊好多水| 欧美,亚洲,日韩,v,天堂,手机在线观看| 国产精品久久久久久久久久二区三区| 人妻蜜桃臀| 特污精品女优骚货黄色视频在线免费观看| 女人香蕉久久毛毛片精品| 外国免费性情大片| www.伪伪| 日本中文字幕不卡视频| 两女互慰AV高潮喷水在线观看| 最新国内自拍av免费| www.五月天| 97香蕉人人乳| 亚洲精品熟妇1区2区3区。| 91久久免费视频互動交流| 成人乱码一区二区三少妇| 青青草原人妻| 欧美视频一区二区三区| 成人性爱免费播放| 丰满高潮18xxxx| 久久婷婷色综合一区二区三区| 999 久久久| 丰满人妻一区二区三区蜜桃视频| 久久久久久69国产一区二区| 精品妇女一区二区三区| 国产精品第二页| 97综合在线| 91狼人| 后入式在线免费观看60秒| 国产强奸乱伦第1页| 日本狂喷奶水在线播放212| 一本一道人妻久久一区二区三区| 青青草国产一区二区三区| 亚欧无码线免费观看视频| 91大胆欧美| 久久后入制服| 亚洲一级性爱视频免费看| 97免费在线视频在线观看| 人人九九精| 欧 美 自 拍 偷 拍| 二对二中文字幕。| 天天日夜干| 激情文学网伊人| 九九九九免费| 伊人久久亚洲中文字幕| 亚洲综合在线91| 欧美激色| 国产av波波国产精品| 久久偷偷色综合蜜桃| 成人免费福利网站国产| 99热日| 欧美大香蕉专区网| 少妇蹲下买菜露大唇0| 亚洲性爱无码乱伦av| 超碰 国产熟女精品一区| 丁香六月啪| 日本一二三免费久久| 99热精品在线在线| 我想要 啊 啊 啊| 97操97色| 91精品国产91久久青草| 亚洲伊人久久精品狠狠在线| 91美女精品| 在线观看AV不卡| 国产女同视频在线播放| 综精品久久久aaaa| 成人三级片一区二区三区视频| 后入美女国产| 精品三级在线专区| 嗯~啊~快点 死我视频免费看网站| 国产精品蜜乳AV| 欧美洲精品一级| 中文字幕成人| 日本狂喷奶水在线播放212| 欧美啪啪啪91| 日产狠狠干| 日本一级婬片试看三分钟| 蜜桃网熟妇| 91天堂色男人的天堂| 天天综合-91入口| 妇人噜噜| 欧美黑人精品一区二区| 天天综合~91| 草伊人高潮喷水超碰| 91色久|