1. 項(xiàng)目概述為什么微網(wǎng)調(diào)度開始擁抱深度強(qiáng)化學(xué)習(xí)微網(wǎng)優(yōu)化調(diào)度這個話題在電力系統(tǒng)圈子里討論了好多年。以前大家做微網(wǎng)調(diào)度基本就是建立混合整數(shù)規(guī)劃模型丟給求解器跑或者用遺傳算法、粒子群這類啟發(fā)式算法去逼近最優(yōu)解。但做著做著就發(fā)現(xiàn)一個問題真實(shí)微網(wǎng)里的光伏出力、負(fù)荷需求、電價(jià)信號全是隨機(jī)波動的傳統(tǒng)方法要么依賴精確預(yù)測要么計(jì)算時間太長跟不上實(shí)時控制的需求。尤其是當(dāng)需求響應(yīng)機(jī)制加入之后調(diào)度問題從“單目標(biāo)尋優(yōu)”變成了“多主體博弈不確定性決策”數(shù)學(xué)規(guī)劃的框架開始顯得力不從心。深度強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning, DRL這幾年之所以被引入微網(wǎng)調(diào)度核心邏輯其實(shí)很簡單調(diào)度本質(zhì)上是一個序貫決策問題而DRL正好是處理序貫決策的天然工具。你不需要精確建模光伏出力和負(fù)荷的概率分布只需要讓智能體在仿真環(huán)境里反復(fù)試錯自己去學(xué)“什么狀態(tài)下該做什么動作”的策略。這種“無模型”的特性讓微網(wǎng)調(diào)度擺脫了對預(yù)測精度的過度依賴。A3CAsynchronous Advantage Actor-Critic這個算法在微網(wǎng)調(diào)度場景里是個很有意思的選擇。它不是像DQN那樣只輸出動作價(jià)值而是同時學(xué)習(xí)策略和值函數(shù)加上多線程異步采樣的設(shè)計(jì)訓(xùn)練速度比傳統(tǒng)的單線程Actor-Critic快不少。更關(guān)鍵的是A3C天然適合微網(wǎng)這種多設(shè)備并行決策的場景——光伏、儲能、可調(diào)負(fù)荷、與大電網(wǎng)交互的功率這些控制變量本身就有一定的并行性A3C的異步架構(gòu)和這種物理結(jié)構(gòu)有契合點(diǎn)。這個項(xiàng)目適合誰參考如果你的研究方向是微網(wǎng)能量管理、需求響應(yīng)策略優(yōu)化、或者想嘗試把DRL落地到實(shí)際的調(diào)度場景這篇文章里拆解的建模思路、A3C實(shí)現(xiàn)細(xì)節(jié)和調(diào)試經(jīng)驗(yàn)可以直接拿過去用。我不會只講一堆原理會把我實(shí)際踩過的坑、調(diào)參過程中的教訓(xùn)一并寫出來這些才是文檔里找不到的東西。2. 調(diào)度問題這樣定義狀態(tài)空間、動作空間與獎勵函數(shù)的設(shè)計(jì)邏輯2.1 從傳統(tǒng)優(yōu)化到強(qiáng)化學(xué)習(xí)問題表述的轉(zhuǎn)變先明確一下微網(wǎng)調(diào)度在干什么。一個典型微網(wǎng)包含光伏PV、儲能系統(tǒng)BESS、固定負(fù)荷和可調(diào)負(fù)荷通過公共連接點(diǎn)PCC與大電網(wǎng)相連。調(diào)度的目標(biāo)是在滿足負(fù)荷平衡、儲能SOC約束、聯(lián)絡(luò)線功率約束的前提下最小化運(yùn)行成本。傳統(tǒng)做法是把一天24小時分成96個時段15分鐘一個斷面建立優(yōu)化模型求解每個時段的設(shè)備出力。傳統(tǒng)模型寫出來大概長這樣[ \min \sum_{t1}^{T} \left[ C_{grid}(P_{buy}^t) - R_{sell}(P_{sell}^t) C_{bess}(P_{dis}^t) C_{dr}(P_{shift}^t) \right] ]約束包括功率平衡、儲能充放電功率上下限、SOC遞推方程、聯(lián)絡(luò)線功率限制、需求響應(yīng)容量限制。這個問題本身不復(fù)雜復(fù)雜在于光伏出力預(yù)測不準(zhǔn)怎么辦電價(jià)波動怎么應(yīng)對需求響應(yīng)用戶的行為不確定怎么辦把這個問題轉(zhuǎn)化為強(qiáng)化學(xué)習(xí)表述核心變化在于優(yōu)化變量從“每個時段的決策量”變成“策略函數(shù)”——輸入當(dāng)前狀態(tài)輸出應(yīng)該執(zhí)行的調(diào)度動作約束條件要么嵌入動作空間的限制用tanh或clip限制動作范圍要么作為懲罰項(xiàng)加入獎勵函數(shù)目標(biāo)函數(shù)從“最小化總成本”變成“最大化累計(jì)獎勵”——把成本取負(fù)號變成獎勵即可這一步轉(zhuǎn)化看起來簡單實(shí)際做的時候問題很多。比如儲能SOC的約束如果你單純在動作空間里限制充放電功率不考慮SOC不能越界的約束智能體很容易學(xué)會一個“先過度充電后面再猛放”的粗暴策略。2.2 狀態(tài)空間哪些信息必須進(jìn)網(wǎng)絡(luò)狀態(tài)空間的設(shè)計(jì)直接決定智能體能不能學(xué)到有效策略。我建議按照“可觀測性”來分類考慮第一類是環(huán)境狀態(tài)包括當(dāng)前時刻的光伏實(shí)際出力、負(fù)荷功率、電價(jià)。光伏出力和負(fù)荷是外部變量微網(wǎng)本身控制不了只能被動適應(yīng)。電價(jià)如果是分時電價(jià)或者實(shí)時電價(jià)直接作為狀態(tài)輸入就行。第二類是系統(tǒng)狀態(tài)包括儲能SOC、聯(lián)絡(luò)線當(dāng)前交換功率、上一時刻的動作量。儲能SOC是調(diào)度決策最重要的狀態(tài)變量因?yàn)樗苯蛹s束了當(dāng)前的調(diào)節(jié)能力。上一時刻的動作量也很重要A3C這類算法需要知道“目前處于什么運(yùn)行狀態(tài)”才能做出平滑的決策——頻繁大范圍調(diào)整充放電功率對儲能壽命傷害很大。第三類是時間狀態(tài)包括當(dāng)前時段、星期幾、是否峰時。加這一維度的原因很簡單光伏出力和負(fù)荷有很強(qiáng)的時序模式白天光伏強(qiáng)、晚上負(fù)荷高智能體需要感知“現(xiàn)在處于一天中的哪個階段”才能做出合理決策。很多初學(xué)者忽略這一維結(jié)果訓(xùn)練出來的策略在深夜還在拼命充電場面很滑稽。我的做法是把狀態(tài)向量組織成如下形式96時段切分每個狀態(tài)向量維度約15~20[t_week, t_hour, t_minute, PV_predict, PV_actual, load_base, load_shiftable, price, soc, pcc_power_prev, pv_actual_prev, load_actual_prev, ...]這里有個重要經(jīng)驗(yàn)環(huán)境變量做歸一化的時候一定要分類型處理。SOC本來就是0~1的不用動功率變量按照微網(wǎng)容量基準(zhǔn)值歸一化時間變量用sin/cos編碼或者直接歸一化到0~1。如果統(tǒng)一用MinMaxScaler可能出現(xiàn)這樣的情況——電價(jià)在某些時段突然飆升歸一化后這個值變成1而其他時間都是0.2左右智能體會過度關(guān)注這一維特征學(xué)出來的策略在非尖峰時段動作會變得很奇怪。2.3 動作空間連續(xù)動作比離散動作更貼近實(shí)際微網(wǎng)調(diào)度的動作怎么定義是一個值得認(rèn)真思考的問題。早期很多論文用的是離散動作——把儲能充放電功率離散成幾個檔位比如[-50kW, -25kW, 0, 25kW, 50kW]然后用DQN類算法去做。這種方式實(shí)現(xiàn)簡單但和實(shí)際調(diào)度需求有差距。實(shí)際調(diào)度中儲能充放電功率是一個連續(xù)變量PCC交換功率也是連續(xù)變量。你不可能真的讓儲能要么滿功率充電要么完全停掉。所以這個項(xiàng)目我堅(jiān)持用連續(xù)動作空間A3C天然支持連續(xù)動作——Actor網(wǎng)絡(luò)的輸出層用tanh激活函數(shù)把動作限制在[-1, 1]區(qū)間再乘上動作幅值映射到實(shí)際物理功率。動作向量的定義# 動作向量[儲能充電功率(負(fù)值/正值), 儲能放電功率, 與電網(wǎng)交互功率(正買負(fù)賣), 需求響應(yīng)可調(diào)負(fù)荷縮減比例] # 經(jīng)過tanh映射到[-1,1]再乘以對應(yīng)容量 action_bess action[0] * P_bess_max # 儲能功率 action_pcc action[1] * P_pcc_max # 聯(lián)絡(luò)線功率 action_dr (action[2] 1) / 2 # 需求響應(yīng)比例映射到[0,1]這個設(shè)計(jì)好在哪它把儲能、聯(lián)絡(luò)線、需求響應(yīng)三個決策通道解耦了——每個通道有獨(dú)立的控制權(quán)限智能體可以單獨(dú)調(diào)節(jié)。實(shí)際工程中微網(wǎng)控制器也是這樣分層設(shè)計(jì)的EMS層下發(fā)每個設(shè)備的功率指令設(shè)備層執(zhí)行。這種解耦方式讓A3C的訓(xùn)練更穩(wěn)定因?yàn)椴煌ǖ赖膭幼鲗Κ剟畹挠绊懗叨炔町惡艽箅妰r(jià)成本是萬元級別的SOC約束懲罰可能是千元級別混在一起學(xué)容易互相干擾。2.4 需求響應(yīng)怎么建模價(jià)格型與激勵型的取舍需求響應(yīng)Demand Response, DR在微網(wǎng)調(diào)度里不是可選項(xiàng)而是重要的調(diào)節(jié)資源。我在項(xiàng)目里做了兩種建模方式的對比價(jià)格型需求響應(yīng)Price-based DR——用戶根據(jù)電價(jià)變化自動調(diào)整用電行為。你在微網(wǎng)里不直接控制用戶負(fù)荷只是通過分時電價(jià)引導(dǎo)用戶削峰填谷。這種DR在強(qiáng)化學(xué)習(xí)框架里不需要額外的動作變量電價(jià)本身就是狀態(tài)輸入的一部分智能體通過感知電價(jià)來自動優(yōu)化儲能策略間接實(shí)現(xiàn)DR效果。激勵型需求響應(yīng)Incentive-based DR——微網(wǎng)運(yùn)營商和用戶簽訂合同在特定條件下直接削減或轉(zhuǎn)移負(fù)荷。這種DR需要額外的動作變量——可調(diào)負(fù)荷的削減比例。項(xiàng)目里我采用了這種方式因?yàn)樗男Ч苯右哺菀讓戇M(jìn)獎勵函數(shù)里。需求響應(yīng)建模的具體做法定義可調(diào)負(fù)荷集合比如空調(diào)、熱水器、部分工業(yè)負(fù)荷每個時段智能體決定削減比例( r_{dr} \in [0, 1] )。削減負(fù)荷需要支付補(bǔ)償費(fèi)用合同約定的單位補(bǔ)償價(jià)格同時會帶來用戶舒適度損失。獎勵函數(shù)里這兩項(xiàng)都要體現(xiàn)否則智能體會發(fā)現(xiàn)“削減負(fù)荷能省錢”就瘋狂削減完全不考慮用戶體驗(yàn)。我強(qiáng)烈建議在DR建模時加入補(bǔ)償成本系數(shù)并且把它設(shè)置在“比從電網(wǎng)買電便宜、但比光伏發(fā)電成本高”的區(qū)間。這樣智能體才會在合理的時機(jī)使用DR而不是濫用它。2.5 獎勵函數(shù)設(shè)計(jì)直接成本與懲罰項(xiàng)的平衡藝術(shù)獎勵函數(shù)是強(qiáng)化學(xué)習(xí)里最影響訓(xùn)練效果的部分。我的設(shè)計(jì)思路是主獎勵項(xiàng)用真實(shí)物理量懲罰項(xiàng)用軟約束替代硬約束。主獎勵項(xiàng)很好理解就是運(yùn)行成本的負(fù)值[ R_{cost} - \left[ \text{購電費(fèi)用} - \text{售電收入} \text{DR補(bǔ)償} \text{儲能老化成本} \right] ]儲能老化成本很多人忽略但它對策略學(xué)習(xí)非常關(guān)鍵。如果你在獎勵函數(shù)里不加電池老化懲罰智能體學(xué)到的策略一定是高頻次深度充放電——因?yàn)閺某杀咀钚』慕嵌瓤瓷疃确烹娔軠p少購電但會嚴(yán)重縮短電池壽命。我在項(xiàng)目里用一個二次函數(shù)近似老化成本# 簡化老化模型充放電深度越大、變化率越大老化越快 aging_cost alpha * (abs(soc_new - soc_old) / dt) beta * (soc_new - soc_mid) ** 2懲罰項(xiàng)處理的是約束違約。儲能SOC越界、聯(lián)絡(luò)線功率越限、功率不平衡這些情況如果直接做硬約束——即動作采樣時強(qiáng)制clip——會導(dǎo)致梯度信息斷裂智能體不知道“為什么這個動作不行”。更好的方式是把約束違約定義為平滑的懲罰項(xiàng)# SOC越界懲罰距離邊界越遠(yuǎn)懲罰越大 soc_penalty lambda_1 * max(0, soc_min - soc_new) ** 2 lambda_1 * max(0, soc_new - soc_max) ** 2 # 功率平衡懲罰 balance_penalty lambda_2 * (pv_power pcc_power bess_power - load_total) ** 2注意懲罰系數(shù)不要設(shè)得太大。我一開始把懲罰系數(shù)設(shè)成10000結(jié)果智能體完全不敢靠近約束邊界行動儲能的調(diào)節(jié)能力被浪費(fèi)了。后面把系數(shù)調(diào)到100左右效果反而更好——智能體在邊界附近小幅試探學(xué)會了“貼著約束跑”的激進(jìn)策略。這個調(diào)參過程建議自己多做幾次實(shí)驗(yàn)對比不同的微網(wǎng)拓?fù)洹⒉煌脑O(shè)備容量最優(yōu)懲罰系數(shù)差異會很大。3. A3C算法在微網(wǎng)調(diào)度場景中的適配與實(shí)現(xiàn)細(xì)節(jié)3.1 為什么選A3C多線程異步帶來的探索效率提升先說結(jié)論A3C不是微網(wǎng)調(diào)度里唯一的DRL選擇DQN、DDPG、PPO都有論文做過相關(guān)實(shí)驗(yàn)。但A3C在某些維度上確實(shí)更適合微網(wǎng)調(diào)度這個場景。第一點(diǎn)探索效率。微網(wǎng)調(diào)度環(huán)境的狀態(tài)條件是連續(xù)變化的——光伏出力是一個隨時間平滑變化的曲線不是跳變的。這意味著相鄰時段的調(diào)度決策有很強(qiáng)的相關(guān)性探索空間是“連通”的。A3C的異步架構(gòu)讓多個worker從不同的初始狀態(tài)開始并行探索每個worker的探索軌跡相當(dāng)于給主網(wǎng)絡(luò)提供了多樣化的經(jīng)驗(yàn)。這個特性在微網(wǎng)場景里特別有用——不同worker可能分別遇到“光伏滿發(fā)”“負(fù)荷尖峰”“電價(jià)飆升”等不同運(yùn)行狀態(tài)主網(wǎng)絡(luò)能更快覆蓋到整個狀態(tài)空間。第二點(diǎn)穩(wěn)定性和可擴(kuò)展性。A3C的Actor-Critic結(jié)構(gòu)自帶方差削減機(jī)制優(yōu)勢函數(shù)配合N步回報(bào)n-step return做偏差方差均衡在連續(xù)控制問題上比DQN類方法穩(wěn)定得多。而且A3C的多worker設(shè)計(jì)天然適合分布式部署——如果你有多臺機(jī)器可以把worker分不到不同機(jī)器上各自模擬不同的微網(wǎng)場景比如一個模擬夏季工況、一個模擬冬季工況然后統(tǒng)一把梯度匯總到全局參數(shù)服務(wù)器。這種擴(kuò)展方式在微網(wǎng)研究中很有價(jià)值因?yàn)槲⒕W(wǎng)工況隨季節(jié)和氣候差異很大單一訓(xùn)練環(huán)境容易過擬合。當(dāng)然A3C也不是沒有短板。它的訓(xùn)練穩(wěn)定性比PPO差一些異步更新容易導(dǎo)致策略波動對超參數(shù)也更敏感。如果你時間充裕建議把PPO也跑一遍做對比報(bào)告里寫上兩種算法的收斂曲線對比工作量不大但效果很好。3.2 算法核心機(jī)制拆解Actor、Critic與優(yōu)勢函數(shù)A3C是Actor-Critic家族的典型代表包含兩個網(wǎng)絡(luò)Actor網(wǎng)絡(luò)策略網(wǎng)絡(luò)——輸入狀態(tài)輸出動作的分布參數(shù)。連續(xù)動作空間下通常假設(shè)動作服從正態(tài)分布Actor輸出均值和方差。方差可以固定訓(xùn)練初期大、后期減小也可以讓網(wǎng)絡(luò)自己學(xué)習(xí)方差的大小——后者更靈活但更容易出現(xiàn)訓(xùn)練震蕩。Critic網(wǎng)絡(luò)值函數(shù)網(wǎng)絡(luò)——輸入狀態(tài)輸出狀態(tài)價(jià)值估計(jì)。Critic的任務(wù)是評估“在當(dāng)前狀態(tài)下按當(dāng)前策略走能獲得多少期望回報(bào)”。兩個網(wǎng)絡(luò)共享前幾層特征提取層比如兩層128維的全連接層然后分叉為兩個輸出頭。共享特征的好處是減少參數(shù)、提升特征利用率壞處是兩個任務(wù)的梯度會互相干擾。微網(wǎng)調(diào)度這個場景狀態(tài)維度不高幾十維特征提取不難共享網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢大于劣勢。訓(xùn)練公式核心就兩個優(yōu)勢函數(shù)Advantage[ A(s_t, a_t) \sum_{i0}^{n-1} \gamma^i r_{ti} \gamma^n V(s_{tn}) - V(s_t) ]Actor損失[ L_{actor} - \log \pi(a_t|s_t) \cdot A(s_t, a_t) - \beta \cdot H(\pi(\cdot|s_t)) ]Critic損失MSE[ L_{critic} (R_t - V(s_t))^2 ]第一項(xiàng)是策略梯度第二項(xiàng)是熵正則項(xiàng)作用是鼓勵探索——如果熵太小策略會過早收斂到一個局部最優(yōu)動作后續(xù)探索不足。微網(wǎng)調(diào)度場景里熵系數(shù)beta一般設(shè)0.01~0.1太大策略太隨機(jī)太小策略太貪婪。3.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與關(guān)鍵代碼實(shí)現(xiàn)我用的是三層結(jié)構(gòu)兩層全連接ReLU層128神經(jīng)元 輸出層。Actor輸出層是兩個頭——動作均值tanh激活和動作方差softplus激活。Critic輸出層是單神經(jīng)元線性激活。學(xué)習(xí)率設(shè)1e-4Actor和2e-4CriticRMSProp優(yōu)化器微網(wǎng)調(diào)度任務(wù)不需要Adam那種自適應(yīng)矩估計(jì)那么強(qiáng)的調(diào)整能力RMSProp足夠還很穩(wěn)定。下面是核心代碼骨架我盡量精簡但保持完整邏輯import torch import torch.nn as nn import torch.nn.functional as F import numpy as np class ActorCritic(nn.Module): def __init__(self, state_dim, action_dim, hidden128): super().__init__() # 共享特征層 self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) # Actor輸出頭 self.actor_mean nn.Linear(hidden, action_dim) self.actor_logstd nn.Parameter(torch.zeros(action_dim)) # Critic輸出頭 self.critic nn.Linear(hidden, 1) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return x def act(self, state): x self.forward(state) mean torch.tanh(self.actor_mean(x)) std torch.exp(self.actor_logstd) dist torch.distributions.Normal(mean, std) action dist.sample() log_prob dist.log_prob(action).sum(dim-1) return action, log_prob def evaluate(self, state, action): x self.forward(state) mean torch.tanh(self.actor_mean(x)) std torch.exp(self.actor_logstd) dist torch.distributions.Normal(mean, std) log_prob dist.log_prob(action).sum(dim-1) entropy dist.entropy().sum(dim-1) value self.critic(x).squeeze(-1) return log_prob, entropy, value這里有個細(xì)節(jié)值得提一下我把Actor的logstd設(shè)成了可訓(xùn)練參數(shù)而不是固定值。這樣做的原因是微網(wǎng)調(diào)度不同通道的動作儲能功率、聯(lián)絡(luò)線功率、DR比例量綱和合理波動范圍差異很大固定方差不合適。儲能功率的合理波動可能是幾十千瓦的量級DR比例波動是0.05左右的量級方差如果共享訓(xùn)練會很別扭。可訓(xùn)練的方差參數(shù)讓每個通道自己學(xué)一個合適的探索強(qiáng)度。3.4 Worker設(shè)計(jì)與全局參數(shù)同步機(jī)制A3C的靈魂在“異步”。每個Worker獨(dú)立運(yùn)行一個微網(wǎng)仿真環(huán)境獨(dú)立采樣和計(jì)算梯度然后把梯度推送到全局模型。我用Python的multiprocessing實(shí)現(xiàn)多進(jìn)程而不是多線程——因?yàn)槲⒕W(wǎng)仿真環(huán)境里有大量數(shù)值計(jì)算多線程在GIL下發(fā)揮不出多核優(yōu)勢。def worker_process(worker_id, global_model, optimizer, env_config, max_episodes): # 每個worker創(chuàng)建自己的本地模型副本 local_model ActorCritic(env_config[state_dim], env_config[action_dim]) local_model.share_memory() # 共享內(nèi)存允許高效參數(shù)同步 env MicroGridEnv(env_config) for episode in range(max_episodes): state env.reset() done False episode_reward 0 # 軌跡緩存 states, actions, rewards, next_states, dones [], [], [], [], [] while not done: action, log_prob local_model.act(torch.FloatTensor(state).unsqueeze(0)) next_state, reward, done, info env.step(action.numpy().squeeze()) states.append(state); actions.append(action) rewards.append(reward); next_states.append(next_state); dones.append(done) state next_state episode_reward reward # 累積到T_max步或終止時計(jì)算梯度和更新 if len(states) T_max or done: update_global_model(local_model, global_model, optimizer, states, actions, rewards, next_states, dones) # 更新后同步參數(shù)到本地 local_model.load_state_dict(global_model.state_dict()) states, actions, rewards, next_states, dones [], [], [], [], []關(guān)鍵點(diǎn)是Worker不是每一步都更新全局參數(shù)而是攢夠一定步數(shù)T_max才推一次梯度。T_max我設(shè)的是20相當(dāng)于5小時15分鐘一個斷面。這個值太大策略更新滯后太小通信開銷大。20在實(shí)際運(yùn)行中效果不錯你可以試試16~32的范圍。3.5 微網(wǎng)仿真環(huán)境搭建Gym接口與物理約束處理仿真環(huán)境是整個項(xiàng)目的地基。我基于OpenAI Gym的接口規(guī)范寫了一個MicroGridEnv類之所以用Gym標(biāo)準(zhǔn)接口是為了后續(xù)可以無縫對接其他DRL框架Stable-Baselines3等也方便在多個算法之間做對比實(shí)驗(yàn)。class MicroGridEnv(gym.Env): def __init__(self, config): super().__init__() self.dt 0.25 # 15分鐘一個調(diào)度斷面 self.horizon 96 # 一天96個時段 self.pv_capacity config[pv_capacity] # 光伏裝機(jī)容量 self.bess_capacity config[bess_capacity] # 儲能容量kWh self.bess_power config[bess_power] # 儲能最大充放電功率kW self.pcc_max config[pcc_max] # 聯(lián)絡(luò)線最大功率 # 狀態(tài)空間維度 20 self.observation_space spaces.Box(low-np.inf, highnp.inf, shape(20,)) # 動作空間 3維連續(xù) self.action_space spaces.Box(low-1, high1, shape(3,)) self.reset() def step(self, action): # 解析動作 bess_power action[0] * self.bess_power pcc_power action[1] * self.pcc_max dr_ratio (action[2] 1) / 2 # [0, 1] # 應(yīng)用需求響應(yīng)可調(diào)負(fù)荷按比例削減 self.load_actual self.load_base self.load_shiftable * (1 - dr_ratio) # 功率平衡計(jì)算 balance self.pv_power pcc_power bess_power - self.load_actual # 更新儲能SOC if bess_power 0: # 放電 soc_new self.soc - bess_power * self.dt / self.bess_capacity * eff_dis else: # 充電 soc_new self.soc - bess_power * self.dt / self.bess_capacity / eff_chg # 計(jì)算成本 cost self.compute_cost(pcc_power, dr_ratio, soc_new) reward -cost # 更新狀態(tài) self.soc np.clip(soc_new, self.soc_min, self.soc_max) self.t 1 done self.t self.horizon return self._get_state(), reward, done, {cost: cost}環(huán)境搭建要注意的細(xì)節(jié)很多我挑重要的說第一功率平衡約束。我在step里計(jì)算了balance這個變量但沒有直接用它來強(qiáng)制約束動作——而是把它加入懲罰項(xiàng)。為什么強(qiáng)約束會切斷智能體的學(xué)習(xí)信號如果pcc功率稍微越界就直接clip成邊界值智能體學(xué)不到“為什么越界”只會盲目調(diào)節(jié)。軟懲罰讓智能體自己權(quán)衡“越界多少懲罰多大、其他收益多大”學(xué)出來的策略更有彈性。第二儲能SOC初始值。我做了隨機(jī)初始化——SOC初始值在[0.3, 0.7]之間均勻隨機(jī)采樣。這樣做的好處是讓智能體經(jīng)歷不同的儲能狀態(tài)起點(diǎn)避免總是從滿電狀態(tài)開始訓(xùn)練導(dǎo)致策略對SOC不敏感。實(shí)際運(yùn)行中也確實(shí)發(fā)現(xiàn)隨機(jī)初始化后訓(xùn)練出的策略對SOC的感知能力更強(qiáng)——光伏大發(fā)時會主動多充電、電價(jià)尖峰時會主動放電而不是只依賴當(dāng)前時段的電價(jià)做決策。第三負(fù)荷數(shù)據(jù)的處理方式。真實(shí)負(fù)荷和光伏數(shù)據(jù)是帶有明顯周期性和季節(jié)性的如果只用一段固定數(shù)據(jù)訓(xùn)練策略會過擬合到這段數(shù)據(jù)上。我用3~5年的歷史數(shù)據(jù)切片每個episode隨機(jī)抽取一天開始訓(xùn)練。這個方法在強(qiáng)化學(xué)習(xí)里叫“domain randomization”在微網(wǎng)場景里非常有效。4. 實(shí)操過程訓(xùn)練、評測與參數(shù)調(diào)優(yōu)全流程4.1 數(shù)據(jù)準(zhǔn)備與場景設(shè)計(jì)項(xiàng)目用的是某園區(qū)微網(wǎng)的歷史運(yùn)行數(shù)據(jù)包含一年8760小時的負(fù)荷和光伏數(shù)據(jù)。數(shù)據(jù)切片成15分鐘粒度即每天96個斷面。數(shù)據(jù)預(yù)處理三個階段第一階段是清洗。負(fù)荷和光伏數(shù)據(jù)有缺失值和異常值采集設(shè)備故障、通信中斷——用前后時段插值異常值超過設(shè)備容量2倍以上的數(shù)據(jù)點(diǎn)、負(fù)值負(fù)荷等直接剔除后插值。第二階段是縮放。負(fù)荷和光伏數(shù)據(jù)按照微網(wǎng)容量基準(zhǔn)值歸一化到[-1, 1]或[0, 1]區(qū)間。歸一化基準(zhǔn)要統(tǒng)一——都用微網(wǎng)額定容量做基準(zhǔn)不要分別用負(fù)荷最大值和光伏最大值做歸一化否則狀態(tài)向量各維度的尺度不一致網(wǎng)絡(luò)訓(xùn)練會很吃力。第三階段是構(gòu)建不同的運(yùn)行場景。我把數(shù)據(jù)分成三類訓(xùn)練場景春夏秋冬各取若干天、測試場景與訓(xùn)練場景完全不同月份的若干天、壓力測試場景極端天氣日比如連續(xù)陰雨天、極端高溫日。這樣的設(shè)計(jì)是必要的——訓(xùn)練集用來學(xué)策略測試集用來驗(yàn)證泛化能力壓力測試看看策略在極端工況下會不會崩。4.2 訓(xùn)練過程記錄與收斂性分析訓(xùn)練跑了大約5000個episode每個worker 1000個episode5個worker并行單機(jī)8核CPU跑了大約3個小時。以下是訓(xùn)練過程中的關(guān)鍵觀察記錄第1~500個episode獎勵非常低且震蕩劇烈。智能體在探索階段經(jīng)常出現(xiàn)“亂充亂放”的行為——連著幾個時段大功率充電光伏出力又不足只能高價(jià)從電網(wǎng)買電成本極高。這個階段是正常的不要過早判斷策略好壞也不要在這個階段調(diào)參。第500~2000個episode獎勵逐步上升震蕩幅度收窄。智能體開始學(xué)會一些基本的規(guī)則光伏大發(fā)時充電、電價(jià)低時購電充電、電價(jià)高時放電。儲能SOC曲線開始變得合理。第2000~5000個episode獎勵趨于平穩(wěn)震蕩幅度進(jìn)一步收窄。策略基本穩(wěn)定儲能SOC曲線基本遵循“白天光伏充電、傍晚高峰放電、夜間低價(jià)充電”的合理模式。DR削減率在電尖峰時段提高在平時時段基本接近零。在論文寫作或報(bào)告匯報(bào)時建議不要只畫一條Reward曲線。更好的做法是匯總?cè)齻€指標(biāo)累計(jì)成本、儲能SOC的均值和方差、DR削減率隨電價(jià)的變化關(guān)系。這三個指標(biāo)分別對應(yīng)經(jīng)濟(jì)性、安全性、需求響應(yīng)效果評審專家看到這些才覺得你的工作扎實(shí)。4.3 關(guān)鍵超參數(shù)effect一覽一份可以直接抄的調(diào)參表A3C的超參數(shù)對訓(xùn)練效果影響很大而且不同環(huán)境最優(yōu)值差異很大。我把自己實(shí)驗(yàn)過的參數(shù)整理成表格注意這只是一個合理的起點(diǎn)不是最優(yōu)解。超參數(shù)推薦值對訓(xùn)練的影響我的調(diào)試經(jīng)驗(yàn)學(xué)習(xí)率Actor1e-4過大策略震蕩過小收斂慢Actor和Critic學(xué)習(xí)率分開設(shè)Critic可以稍大學(xué)習(xí)率Critic2e-4同上分開設(shè)比共用一個值穩(wěn)定T_max更新步數(shù)20太短更新頻繁太長延遲大對應(yīng)5小時調(diào)度周期物理語義合理熵系數(shù)0.02太大策略太隨機(jī)太小過早收斂可以訓(xùn)練后期逐步減小折扣因子γ0.99影響遠(yuǎn)期回報(bào)的權(quán)重0.99適合天級調(diào)度如果做小時級可以設(shè)0.95懲罰系數(shù)λ100約束違約懲罰力度需要根據(jù)儲能容量、電價(jià)水平動態(tài)調(diào)整Worker數(shù)量4~8探索多樣性過多會導(dǎo)致梯度更新競爭加劇不一定更快收斂歸一化方法分通道歸一化防止不同量綱干擾SOC用原始值功率按容量歸一電價(jià)按峰值歸一學(xué)習(xí)率這一列重點(diǎn)說說。A3C的異步機(jī)制對學(xué)習(xí)率特別敏感——如果學(xué)習(xí)率太大某個worker推上來的梯度可能大幅更新全局參數(shù)導(dǎo)致其他worker還在用舊策略采樣出現(xiàn)“策略滯后”的惡性循環(huán)。我一開始用5e-4訓(xùn)練到2000個episode時發(fā)現(xiàn)損失函數(shù)震蕩得像心電圖一樣調(diào)低到1e-4才穩(wěn)定下來。這個經(jīng)驗(yàn)在換個場景、換組數(shù)據(jù)時大概率還會遇到先調(diào)學(xué)習(xí)率再做別的調(diào)參動作。4.4 訓(xùn)練過程中的“觀察指標(biāo)法”怎么判斷策略在變好強(qiáng)化學(xué)習(xí)調(diào)試最難受的地方是Reward曲線看著在上升但你不知道策略是否真的合理。畢竟在微網(wǎng)調(diào)度里Reward是成本的負(fù)值如果環(huán)境里電價(jià)普遍上漲了Reward下降不代表策略變差了。我總結(jié)了一套“觀察指標(biāo)法”來輔助判斷策略質(zhì)量第一看SOC曲線走勢。訓(xùn)練到后期每一輪episode的SOC曲線應(yīng)該是平滑的“扣碗形”——白天充電SOC升高、傍晚SOC在高位、夜間放電SOC降低。如果SOC曲線還在上躥下跳說明策略還不穩(wěn)定。第二看PCC交互功率的頻次。合理策略下PCC功率變化不該太頻繁因?yàn)轭l繁改變購售電狀態(tài)會帶來額外的交易成本。如果PCC功率在相鄰時段來回翻轉(zhuǎn)一會兒買電一會兒賣電說明策略在“抖”——通常是因?yàn)楠剟詈瘮?shù)里的成本項(xiàng)權(quán)重不夠策略對微小的電價(jià)差異過度敏感。第三看DR削減率與電價(jià)的相關(guān)性。好的策略應(yīng)該是“電價(jià)越高削減越多”而且峰值時段的削減比例與平谷時段之間有明顯差異。如果DR削減率在全天都差不多說明智能體沒學(xué)會“看價(jià)格行事”。這三個指標(biāo)配合Reward曲線判斷比只看Reward可靠得多。我建議把這些指標(biāo)可視化出來——畫在一張多子圖的圖里訓(xùn)練過程實(shí)時刷新一跑就停不下來。5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂原因和解決方案訓(xùn)練不收斂是DRL項(xiàng)目最常遇到的問題你們跑來問我的十有八九是這個。微網(wǎng)調(diào)度場景里不收斂的原因最大的嫌疑就是以下幾個方面第一個原因是獎勵函數(shù)設(shè)計(jì)不合理。比如成本量級和懲罰量級差距過大——購電成本幾萬元SOC越界懲罰只有幾十——智能體根本感知不到約束懲罰的存在自然學(xué)不出安全的策略。解法把懲罰項(xiàng)系數(shù)調(diào)大或者把成本也歸一化到合理量級。第二個原因探索噪聲過大。A3C的動作采樣自帶噪聲正態(tài)分布的方差如果方差參數(shù)初始值設(shè)得太大智能體在一個已經(jīng)很經(jīng)濟(jì)的動作附近反復(fù)大幅波動導(dǎo)致訓(xùn)練震蕩。解法把Actor的logstd初始值從0改為-2相當(dāng)于初始標(biāo)準(zhǔn)差約0.13探索溫和一些。第三個原因是狀態(tài)特征沒有被充分觀測。比如你忘了把“是否工作日”這個特征放進(jìn)狀態(tài)里智能體就無法區(qū)分工作日和周末的負(fù)荷模式差異策略只能在兩種模式之間取一個“折中方案”。解法審視狀態(tài)空間把所有影響調(diào)度決策的已知變量都放進(jìn)去哪怕你覺得“這個變量大概率沒用”——有它沒它做個消融實(shí)驗(yàn)再下結(jié)論。5.2 策略學(xué)出壞習(xí)慣過早收斂到局部最優(yōu)有一種情況是訓(xùn)練指標(biāo)看起來挺好的Reward在穩(wěn)步上升但在仿真測試?yán)锉憩F(xiàn)很差——常見原因是策略過早收斂到了局部最優(yōu)。微網(wǎng)調(diào)度里的典型局部最優(yōu)是“在所有時段都用最小購電量的策略”。這個策略在電價(jià)平穩(wěn)或者光伏充足時很有效但遇到極端天氣連續(xù)陰雨、負(fù)荷尖峰就完全不行。為什么因?yàn)橛?xùn)練數(shù)據(jù)里極端工況出現(xiàn)次數(shù)少智能體過早把大量權(quán)重放在了優(yōu)化常規(guī)工況上極端工況的樣本還沒來得及影響策略就“來不及了”。解法有兩個方向。方向一是修改訓(xùn)練數(shù)據(jù)的采樣方式——不要純隨機(jī)抽取歷史天而是按比例人工“過采樣”極端工況的樣本比如把陰雨天、極熱天的數(shù)據(jù)占比從天然比例約10%提升到30%。方向二是調(diào)整熵系數(shù)——訓(xùn)練前半段用較大的熵系數(shù)0.05鼓勵充分探索后半段逐步降到0.005讓策略收斂。這種“探索-利用”退火策略雖然簡單但非常有效。5.3 多工人訓(xùn)練效率低瓶頸往往是環(huán)境交互另一個常見問題是多worker訓(xùn)練提速不明顯。加了8個worker訓(xùn)練時間只快了1.5倍U盤被黃瓜卡位了排查后發(fā)現(xiàn)瓶頸往往不在網(wǎng)絡(luò)更新而在環(huán)境交互——MicroGridEnv.step()函數(shù)里如果有大量Python循環(huán)或非向量化的計(jì)算每個worker都慢吞吞地跑并行度再高也白搭。優(yōu)化方法有幾個層次第一層把環(huán)境交互中重復(fù)計(jì)算的部分提取出來——比如負(fù)荷插值、太陽能代入模型這些操作可以在環(huán)境初始化時預(yù)計(jì)算好step里直接用查表的方式取數(shù)據(jù)。這一步就能把環(huán)境交互耗時降低50%以上。第二層用numpy批量向量化替代Python循環(huán)。比如計(jì)算成本函數(shù)時不要一個時段一個時段地循環(huán)用numpy數(shù)組一次性算完——代碼長一點(diǎn)但速度差距巨大。第三層如果環(huán)境本身很復(fù)雜比如調(diào)用了外部潮流計(jì)算工具考慮簡化模型——用線性化的潮流近似替代完整潮流計(jì)算。微網(wǎng)調(diào)度的核心收益函數(shù)并不需要非常精確的潮流結(jié)果用近似模型訓(xùn)練策略再用完整模型做驗(yàn)證這是工業(yè)界很常見也推薦的思路。5.4 測試集上表現(xiàn)差泛化能力提升三板斧訓(xùn)練時Reward收斂很好一換測試集不同的月份、不同的天氣條件效果大幅下降——這是典型的泛化問題。微網(wǎng)調(diào)度場景里泛化能力差的核心原因往往是環(huán)境數(shù)據(jù)分布與訓(xùn)練數(shù)據(jù)分布不一致。解決方案三板斧第一板斧是數(shù)據(jù)擴(kuò)充。除了歷史數(shù)據(jù)用統(tǒng)計(jì)模型生成更多合成場景——比如基于歷史數(shù)據(jù)擬合分布用蒙特卡洛采樣生成大量“看似真實(shí)但未發(fā)生過”的光伏出力和負(fù)荷序列。這些合成數(shù)據(jù)可以極大擴(kuò)充訓(xùn)練集的分布覆蓋范圍。第二板斧是域隨機(jī)化。在訓(xùn)練過程中隨機(jī)調(diào)整環(huán)境參數(shù)——比如光伏出力在原始數(shù)據(jù)的±10%范圍內(nèi)隨機(jī)擾動、負(fù)荷在±5%范圍內(nèi)隨機(jī)擾動、電價(jià)在±5%內(nèi)擾動。這樣一來智能體學(xué)到的是對參數(shù)變化不敏感的策略而不是對特定參數(shù)值“過擬合”的策略。第三板斧是離線評估法。不要只用一個測試集而是構(gòu)建多個不同分布的測試集——光照充足的夏季數(shù)據(jù)集、光照不足的冬季數(shù)據(jù)集、高負(fù)荷的過渡季數(shù)據(jù)集——分別評估策略在各數(shù)據(jù)集上的表現(xiàn)。只有通過多個不同工況的考核你的策略才算“真的學(xué)會”了微網(wǎng)調(diào)度。6. 項(xiàng)目延伸與改進(jìn)方向6.1 從單微網(wǎng)走向多微網(wǎng)協(xié)同單微網(wǎng)的調(diào)度策略解決了下一個順理成章的方向是多微網(wǎng)協(xié)同調(diào)度。多個微網(wǎng)通過配電網(wǎng)相連時每個微網(wǎng)既有本地優(yōu)化目標(biāo)最小化自身運(yùn)行成本又需要和鄰居微網(wǎng)協(xié)調(diào)功率互濟(jì)、共享備用容量。用A3C可以做一個分布式架構(gòu)每個微網(wǎng)部署一個Actor網(wǎng)絡(luò)各自做本地決策通過共享網(wǎng)絡(luò)參數(shù)或通信機(jī)制實(shí)現(xiàn)協(xié)調(diào)。這個方向我試驗(yàn)過初步版本效果比單獨(dú)優(yōu)化然后“各管各的”好——儲能和DR的調(diào)節(jié)資源可以在不同微網(wǎng)之間動態(tài)調(diào)配整體效率提升10%~15%。但從單微網(wǎng)到多微網(wǎng)的跳躍要處理的問題從“算法問題”變成“系統(tǒng)協(xié)調(diào)問題”復(fù)雜度不是一個量級的。6.2 從純仿真走向硬件在環(huán)第二個順延方向是硬件在環(huán)驗(yàn)證。純仿真環(huán)境下訓(xùn)練的策略放到真實(shí)微網(wǎng)控制器上部署會發(fā)生很多問題——通信延遲、傳感器噪聲、執(zhí)行器誤差、設(shè)備故障等等。硬件在環(huán)思路是把訓(xùn)練好的策略部署到控制器硬件上用真實(shí)的通信協(xié)議和I/O引腳與環(huán)境仿真器連接驗(yàn)證策略的實(shí)時性和魯棒性。這個方向的代碼改動不大但要處理的問題非常磨人——比如仿真環(huán)境的時間和物理時間步不一致、控制器啟動初始化時序、異常值保護(hù)邏輯等。我從純仿真切到硬件在環(huán)大概花了兩周時間而真正燒錢的地方是你得有真實(shí)硬件。如果你們實(shí)驗(yàn)室有條件值得嘗試條件不夠做純仿真驗(yàn)證強(qiáng)化學(xué)習(xí)策略魯棒性分析也足夠發(fā)表。6.3 從單目標(biāo)到多目標(biāo)經(jīng)濟(jì)性與碳排放聯(lián)合優(yōu)化現(xiàn)在“雙碳”目標(biāo)下微網(wǎng)調(diào)度不能只盯著經(jīng)濟(jì)成本了——碳排放約束和社會效益也要納入調(diào)度決策。一種做法是給碳排放定價(jià)把它變成成本項(xiàng)加進(jìn)去另一種做法是真正的多目標(biāo)優(yōu)化——用帶約束的DRL比如Lagrangian方法加約束或者多目標(biāo)獎勵工程設(shè)計(jì)帕累托前沿搜索把經(jīng)濟(jì)目標(biāo)和碳排放目標(biāo)同時考慮。我用第一種方式簡單做過驗(yàn)證——把碳排放價(jià)格設(shè)為50元/噸策略會顯著減少聯(lián)絡(luò)線購電量更多依賴光伏和儲能。但真正的多目標(biāo)優(yōu)化需要動算法框架難度上了一個臺階。建議等單目標(biāo)的坑全部踩順了再來碰多目標(biāo)這塊。7. 寫在最后的個人經(jīng)驗(yàn)這個項(xiàng)目做下來我最深的體會是深度強(qiáng)化學(xué)習(xí)在微網(wǎng)調(diào)度里能不能落地根本不取決于你用A3C還是PPO還是DDPG而取決于你把調(diào)度問題本身想得多清楚。狀態(tài)空間里該放什么變量、獎勵函數(shù)里成本項(xiàng)和懲罰項(xiàng)怎么配比、動作空間怎么設(shè)計(jì)才能貼合物理約束——這些問題想清楚了選什么算法只是“最后一公里”的事。反過來如果環(huán)境建模一塌糊涂獎勵函數(shù)亂寫一氣再好的DRL算法也救不回來。我見過不少同學(xué)拿著現(xiàn)成的代碼跑Reward曲線確實(shí)在收斂但把策略拿出來一分析完全是“撞大運(yùn)”式的調(diào)度——儲能亂充亂放、PCC功率來回亂跳、DR濫用。這種“掛羊頭賣狗肉”的成果放到真實(shí)微網(wǎng)現(xiàn)場一秒就會露餡。最后分享一個小技巧訓(xùn)練好的策略要拿去部署或者做項(xiàng)目匯報(bào)時不要只展示Reward曲線——這是自娛自樂。學(xué)著把策略的可視化做完整——儲能SOC曲線、PCC功率曲線、DR削減率曲線、成本構(gòu)成堆疊圖——讓不懂強(qiáng)化學(xué)習(xí)的人也能一眼看出你的策略好在哪、和傳統(tǒng)優(yōu)化方法差在哪。這一步看起來是“錦上添花”實(shí)際上很多時候是“雪中送炭”。如果后續(xù)你想在這個方向繼續(xù)深入建議按這個順序推進(jìn)先搞定單微網(wǎng)經(jīng)濟(jì)調(diào)度再擴(kuò)展到多微網(wǎng)協(xié)同然后考慮多目標(biāo)優(yōu)化最后做硬件在環(huán)驗(yàn)證。每一步都走扎實(shí)了你手里積累的經(jīng)驗(yàn)和代碼就是最值錢的東西。