1. 多能源調(diào)度問題的本質(zhì)為什么傳統(tǒng)方法開始吃力1.1 多能源調(diào)度到底在調(diào)度什么先說(shuō)個(gè)背景。多能源調(diào)度不是單純的“電多了就少發(fā)點(diǎn)”而是把電力、熱力、燃?xì)?、?chǔ)能、新能源等不同能源形式放在一個(gè)系統(tǒng)里統(tǒng)籌安排。以典型園區(qū)為例來(lái)源包括光伏、風(fēng)電這類不穩(wěn)定的可再生電源還會(huì)有燃?xì)廨啓C(jī)、電鍋爐、儲(chǔ)電、儲(chǔ)熱甚至電轉(zhuǎn)氣負(fù)荷側(cè)則同時(shí)有電負(fù)荷和熱負(fù)荷。目標(biāo)是滿足這些負(fù)荷需求的前提下把運(yùn)行成本壓到最低同時(shí)兼顧碳排放約束和設(shè)備壽命本質(zhì)上是一個(gè)帶復(fù)雜約束的動(dòng)態(tài)優(yōu)化問題。傳統(tǒng)方法做這件事靠的是建模加求解最常見的組合是混合整數(shù)線性規(guī)劃加滾動(dòng)優(yōu)化。這個(gè)路線的問題很直接光伏出力隨機(jī)波動(dòng)、電價(jià)隨市場(chǎng)變化、負(fù)荷預(yù)測(cè)有誤差再加上設(shè)備啟停狀態(tài)的離散變量模型稍微一復(fù)雜求解器就會(huì)非常吃力。即使勉強(qiáng)算出來(lái)往往也需要簡(jiǎn)化約束而簡(jiǎn)化之后得到的方案在工程上又不一定好用。強(qiáng)化學(xué)習(xí)切入的角度完全不同。它不依賴精確的未來(lái)預(yù)測(cè)也不要求把整個(gè)問題的數(shù)學(xué)模型寫得清清楚楚而是讓智能體在運(yùn)行過程中通過與環(huán)境的交互不斷學(xué)習(xí)策略。這就意味著面對(duì)光伏波動(dòng)、電價(jià)突變這些不確定性智能體學(xué)到的是“應(yīng)對(duì)方式”而不是“擬合結(jié)果”。打個(gè)比方傳統(tǒng)方法像用地圖規(guī)劃一條最優(yōu)路線強(qiáng)化學(xué)習(xí)更像讓司機(jī)在實(shí)際道路上反復(fù)開車最終憑經(jīng)驗(yàn)知道什么時(shí)段走哪條路更穩(wěn)。1.2 傳統(tǒng)優(yōu)化方法的三座大山第一座是不確定性處理能力有限。光伏出力預(yù)測(cè)再準(zhǔn)也有誤差而基于預(yù)測(cè)的調(diào)度方案在誤差大的時(shí)候?qū)嶋H效果會(huì)顯著偏離預(yù)期。傳統(tǒng)方法常見的做法是魯棒優(yōu)化或隨機(jī)規(guī)劃但它們要么過于保守要么需要大量場(chǎng)景抽樣計(jì)算負(fù)擔(dān)很大。第二座是非線性約束難以處理。設(shè)備效率隨負(fù)載率變化、儲(chǔ)能充放電效率與功率水平非線性相關(guān)這些細(xì)節(jié)在傳統(tǒng)模型里要么線性化近似要么干脆忽略。我在做一個(gè)熱電聯(lián)產(chǎn)項(xiàng)目時(shí)就遇到過設(shè)備效率曲線帶明顯彎曲的情況線性近似之后算出的分配方案和實(shí)際能效差了不少最后只能換成分段線性建模求解時(shí)間也上去了。第三座是在線計(jì)算時(shí)間不足。調(diào)度周期越短對(duì)求解速度的要求越高。日內(nèi)滾動(dòng)優(yōu)化往往只有幾分鐘的窗口一旦模型規(guī)模上去混合整數(shù)線性規(guī)劃求解器不一定能在這個(gè)時(shí)間內(nèi)給出可行解更不用提全局最優(yōu)了。強(qiáng)化學(xué)習(xí)階段性的優(yōu)勢(shì)恰好體現(xiàn)在這幾處訓(xùn)練時(shí)可以忍受大量試錯(cuò)和離線計(jì)算訓(xùn)練完成后策略生成的速度非?？觳恍枰诰€求解優(yōu)化問題對(duì)模型精度的依賴低策略直接來(lái)自數(shù)據(jù)交互非線性關(guān)系也能通過神經(jīng)網(wǎng)絡(luò)自動(dòng)擬合。1.3 強(qiáng)化學(xué)習(xí)切入的方式把調(diào)度問題交給強(qiáng)化學(xué)習(xí)核心思路是把運(yùn)行過程抽象為馬爾可夫決策過程。智能體在每個(gè)調(diào)度周期觀察當(dāng)前狀態(tài)比如實(shí)時(shí)負(fù)荷、天氣預(yù)測(cè)、設(shè)備運(yùn)行狀態(tài)、電價(jià)、儲(chǔ)能荷電狀態(tài)然后根據(jù)當(dāng)前策略選擇一個(gè)動(dòng)作比如各機(jī)組的出力、儲(chǔ)能是否充放電環(huán)境執(zhí)行動(dòng)作后給出獎(jiǎng)勵(lì)信號(hào)同時(shí)轉(zhuǎn)移到下一個(gè)狀態(tài)如此循環(huán)往復(fù)。這個(gè)過程中智能體唯一的目標(biāo)就是最大化累計(jì)獎(jiǎng)勵(lì)把經(jīng)濟(jì)成本、碳排放、設(shè)備損耗這些目標(biāo)都折算進(jìn)獎(jiǎng)勵(lì)里。最終學(xué)到的策略本質(zhì)上是一個(gè)從狀態(tài)到動(dòng)作的映射運(yùn)行的時(shí)候直接查這個(gè)映射就能決策從“在線求解”變成“在線查表”從“建模優(yōu)化”變成“經(jīng)驗(yàn)決策”。下面我按自己做項(xiàng)目時(shí)踩過的坑從建模、算法選型、仿真訓(xùn)練三個(gè)層面把實(shí)操經(jīng)驗(yàn)展開講。2. 建模把能源調(diào)度問題喂給強(qiáng)化學(xué)習(xí)之前先做對(duì)這幾件事2.1 MDP建模的核心要素狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)模型設(shè)計(jì)在所有步驟里最重要也最容易出錯(cuò)。狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)這三個(gè)要素定義得好不好直接決定訓(xùn)練能不能收斂以及最終策略是否實(shí)用。狀態(tài)空間需要包含三個(gè)維度的信息系統(tǒng)外部環(huán)境、系統(tǒng)內(nèi)部狀態(tài)、歷史或預(yù)測(cè)信息。簡(jiǎn)單說(shuō)外部環(huán)境包括電價(jià)、光照強(qiáng)度、風(fēng)速、室外溫度、負(fù)荷需求其中負(fù)荷和新能源出力如果無(wú)法直接觀測(cè)可以加入短期預(yù)測(cè)值作為輔助信息內(nèi)部狀態(tài)包括各個(gè)設(shè)備的啟停狀態(tài)、儲(chǔ)能的荷電狀態(tài)、儲(chǔ)熱罐的溫度、機(jī)組當(dāng)前出力等歷史信息則包含上一時(shí)段的實(shí)際出力、前幾個(gè)時(shí)段的負(fù)荷偏差等。我見過一個(gè)常見錯(cuò)誤是狀態(tài)設(shè)置得過于精簡(jiǎn)比如只用當(dāng)前負(fù)荷和光伏出力做輸入結(jié)果訓(xùn)練出來(lái)的策略明顯出現(xiàn)短視行為看到當(dāng)前負(fù)荷低就完全不蓄能等到下個(gè)時(shí)段負(fù)荷高了才匆匆忙忙啟動(dòng)機(jī)組運(yùn)行成本高了很多。后來(lái)在狀態(tài)里加了未來(lái)6小時(shí)的負(fù)荷預(yù)測(cè)曲線和儲(chǔ)能荷電狀態(tài)策略立刻合理了很多。動(dòng)作空間的定義方式有兩種思路。離散化動(dòng)作用整數(shù)表示機(jī)組出力檔位適合燃?xì)廨啓C(jī)這類本身就有明確工作檔位的設(shè)備連續(xù)動(dòng)作直接輸出功率目標(biāo)值適合儲(chǔ)能、電鍋爐這類調(diào)節(jié)靈活的功率型設(shè)備。實(shí)際項(xiàng)目中更多用混合動(dòng)作空間但很多強(qiáng)化學(xué)習(xí)框架對(duì)混合動(dòng)作支持不友好所以常見做法是把連續(xù)量離散化或者把動(dòng)作分層上層用離散動(dòng)作選擇運(yùn)行模式下層用連續(xù)動(dòng)作輸出具體功率。動(dòng)作空間一定要考慮可行性約束也就是動(dòng)作必須落在設(shè)備允許的范圍內(nèi)。儲(chǔ)能充電功率不能超過額定值機(jī)組爬坡速率不能太大這些物理限制在環(huán)境里就應(yīng)該直接處理掉否則訓(xùn)練過程中大量動(dòng)作是“無(wú)效動(dòng)作”相當(dāng)于讓智能體在一個(gè)大部分區(qū)域不可達(dá)的地圖里亂走學(xué)習(xí)效率極低。獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)是整個(gè)建模過程的靈魂也是最容易出問題的地方。典型的形式是$$r -\left(C_{op} \lambda_1 C_{carbon} \lambda_2 P_{penalty}\right)$$其中 (C_{op}) 是運(yùn)行成本(C_{carbon}) 是碳排放成本或折算后的數(shù)值(P_{penalty}) 是各種約束違反的懲罰項(xiàng)(\lambda_1)、(\lambda_2) 是權(quán)重系數(shù)。負(fù)號(hào)表示我們希望最小化成本。這里有個(gè)權(quán)重調(diào)參的經(jīng)驗(yàn)懲罰項(xiàng)的權(quán)重如果設(shè)得過大訓(xùn)練的時(shí)候智能體會(huì)變得極度保守寧可犧牲經(jīng)濟(jì)性也要避開懲罰導(dǎo)致策略僵化設(shè)得過小約束又形同虛設(shè)。我一般先把這個(gè)權(quán)重設(shè)在正常成本量級(jí)的3到5倍確保約束優(yōu)先滿足然后再慢慢調(diào)低觀察策略是否在安全前提下優(yōu)化了經(jīng)濟(jì)性。懲罰項(xiàng)還有個(gè)技巧是使用平滑的二次懲罰而不是線性懲罰。線性懲罰在邊界處梯度不變智能體可能學(xué)會(huì)“貼著邊界操作”二次懲罰在接近邊界時(shí)會(huì)給出更強(qiáng)的梯度信號(hào)策略會(huì)被自然推向遠(yuǎn)離邊界的安全區(qū)域。2.2 狀態(tài)設(shè)計(jì)的實(shí)操經(jīng)驗(yàn)狀態(tài)的特征工程直接決定模型的表達(dá)能力。我常用的幾個(gè)關(guān)鍵特征包括歸一化后的數(shù)據(jù)避免不同量綱的數(shù)據(jù)混在一起。電價(jià)可能是一百多儲(chǔ)能SOC在0到1如果不歸一化神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)低數(shù)值特征會(huì)被淹沒。負(fù)荷和新能源出力的短期預(yù)測(cè)值這部分信息相當(dāng)于給了一個(gè)“未來(lái)視角”很多時(shí)候比當(dāng)前值還有用。時(shí)間特征比如小時(shí)編號(hào)、星期幾用正弦余弦編碼效果比直接用數(shù)值好因?yàn)榭梢员磉_(dá)周期性。上一時(shí)段的動(dòng)作結(jié)果比如實(shí)際執(zhí)行后的功率偏差這能幫助智能體感知執(zhí)行誤差并做校正。我踩過一個(gè)比較深的坑把開關(guān)機(jī)狀態(tài)這種二值變量直接和連續(xù)變量一起拼進(jìn)狀態(tài)向量網(wǎng)絡(luò)前期訓(xùn)練不穩(wěn)定后來(lái)把二值變量做成一熱編碼并在網(wǎng)絡(luò)輸入層單獨(dú)處理離散特征穩(wěn)定了很多。2.3 動(dòng)作空間怎么定義最合理定義動(dòng)作空間前先回答三個(gè)問題這個(gè)設(shè)備是離散控制還是連續(xù)控制它的調(diào)節(jié)周期是多長(zhǎng)動(dòng)作執(zhí)行有沒有延遲回答完這三個(gè)問題動(dòng)作空間的框架基本就定了。以某典型園區(qū)的調(diào)度為例設(shè)備包括1臺(tái)燃?xì)廨啓C(jī)、1臺(tái)電鍋爐、1個(gè)儲(chǔ)能電池、1個(gè)儲(chǔ)熱罐動(dòng)作設(shè)計(jì)如下設(shè)備動(dòng)作類型動(dòng)作空間說(shuō)明燃?xì)廨啓C(jī)離散30%-100%連續(xù)出力按5%間隔離散化電鍋爐連續(xù)0%-100%負(fù)載率可直接連續(xù)控制儲(chǔ)能電池連續(xù)-1到1歸一化負(fù)值放電、正值充電儲(chǔ)熱罐連續(xù)-1到1歸一化負(fù)值放熱、正值儲(chǔ)熱這里有個(gè)細(xì)節(jié)儲(chǔ)能動(dòng)作用正負(fù)號(hào)統(tǒng)一編碼會(huì)比分開兩個(gè)動(dòng)作維度好很多因?yàn)槌浞殴灿靡惶自O(shè)備天然存在互斥關(guān)系用單個(gè)變量可以從結(jié)構(gòu)上避免“同時(shí)充放電”這種物理上不合理但數(shù)值上卻可能出現(xiàn)的情況。2.4 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)的陷阱獎(jiǎng)勵(lì)稀疏會(huì)讓訓(xùn)練幾乎無(wú)法進(jìn)行。能源調(diào)度問題還好每個(gè)時(shí)間步都有成本信號(hào)不算稀疏。但真正的問題是獎(jiǎng)勵(lì)信號(hào)的“時(shí)延性”很難體現(xiàn)比如今天多充點(diǎn)電明天光伏多發(fā)時(shí)就能少買高價(jià)電這個(gè)好處要過好幾個(gè)時(shí)間步才體現(xiàn)出來(lái)。獎(jiǎng)勵(lì)設(shè)計(jì)如果不考慮這種時(shí)延智能體很可能只盯著眼前的小便宜形成短視策略。解決辦法之一是給儲(chǔ)能行為一個(gè)“未來(lái)價(jià)值估計(jì)”的輔助獎(jiǎng)勵(lì)也就是讓獎(jiǎng)勵(lì)函數(shù)中隱式包含電池余電的價(jià)值而不是只懲罰當(dāng)下的購(gòu)電成本。更常見的做法是依靠強(qiáng)化學(xué)習(xí)算法本身的折扣回報(bào)機(jī)制用合適的折扣因子讓智能體學(xué)會(huì)權(quán)衡短期與長(zhǎng)期收益。獎(jiǎng)勵(lì)函數(shù)還要注意量綱和尺度。成本和碳排放的量級(jí)可能差很多倍如果直接把兩個(gè)量相加數(shù)值大的那個(gè)會(huì)主導(dǎo)梯度方向訓(xùn)練出來(lái)的策略只關(guān)心碳排放成本完全失控或者反過來(lái)。我每次都會(huì)先做獎(jiǎng)勵(lì)分項(xiàng)的可視化分析畫出成本部分和碳排部分在每個(gè)episode的分解曲線看清楚各自量級(jí)后再定權(quán)重。3. 主流強(qiáng)化學(xué)習(xí)算法在多能源場(chǎng)景的選型與實(shí)戰(zhàn)3.1 DQN適合小規(guī)模離散動(dòng)作Deep Q-Network把Q表格替換成神經(jīng)網(wǎng)絡(luò)配合經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)一度是離散動(dòng)作領(lǐng)域最常用的算法。對(duì)多能源調(diào)度來(lái)說(shuō)如果系統(tǒng)規(guī)模不大機(jī)組數(shù)量和儲(chǔ)能不能太多動(dòng)作空間離散化之后還能控制在幾千以內(nèi)的量級(jí)DQN確實(shí)是個(gè)可行的起點(diǎn)。我在一開始做仿真驗(yàn)證時(shí)就用過DQN優(yōu)點(diǎn)是想明白網(wǎng)絡(luò)結(jié)構(gòu)就能跑通調(diào)參門檻低。缺點(diǎn)是面對(duì)稍復(fù)雜一點(diǎn)的場(chǎng)景動(dòng)作空間稍微爆炸就學(xué)不動(dòng)了而且對(duì)環(huán)境噪聲敏感訓(xùn)練還容易高估Q值導(dǎo)致策略不夠穩(wěn)定。如果你打算用DQN起步記得優(yōu)先處理動(dòng)作空間規(guī)模問題別一上來(lái)就追求超大規(guī)模調(diào)度。3.2 PPO目前最穩(wěn)的在線策略選擇Proximal Policy Optimization是目前多能源調(diào)度里使用最廣泛的深度強(qiáng)化學(xué)習(xí)算法之一。它的核心機(jī)制是限制策略更新的幅度讓每一步更新都在一個(gè)可信域內(nèi)保證舊策略到新策略的過渡不發(fā)生過激變化訓(xùn)練穩(wěn)定性明顯比傳統(tǒng)策略梯度算法好。PPO用的是Actor-Critic架構(gòu)Actor網(wǎng)絡(luò)直接輸出連續(xù)動(dòng)作的概率分布或離散動(dòng)作的概率Critic網(wǎng)絡(luò)估計(jì)狀態(tài)價(jià)值。在多能源調(diào)度場(chǎng)景中PPO的優(yōu)勢(shì)體現(xiàn)在策略平滑性上由于有裁剪約束更新幅度被限制策略輸出的變化不會(huì)太劇烈這對(duì)于設(shè)備啟停、出力調(diào)節(jié)這類需要平穩(wěn)運(yùn)行控制的場(chǎng)景非常重要。我在給燃?xì)廨啓C(jī)儲(chǔ)能系統(tǒng)做調(diào)度策略時(shí)試過幾種算法PPO在訓(xùn)練穩(wěn)定性和最終策略成本上的綜合表現(xiàn)是最穩(wěn)的。但PPO也有自己的問題最明顯的是超參數(shù)敏感尤其是裁剪系數(shù)、學(xué)習(xí)率、GAE參數(shù)這些一個(gè)沒調(diào)好就可能不收斂。后面我在實(shí)操部分會(huì)列出我的參考配置。3.3 TD3和SAC連續(xù)動(dòng)作空間的備選方案TD3和SAC都把連續(xù)動(dòng)作控制往前推了一步。TD3的核心思路是雙Q網(wǎng)絡(luò)加延遲更新加目標(biāo)策略平滑專門針對(duì)連續(xù)控制中常見的過估計(jì)問題做了修改。SAC則引入熵正則項(xiàng)讓策略在積累獎(jiǎng)勵(lì)的同時(shí)保持足夠探索。對(duì)于含大規(guī)模連續(xù)儲(chǔ)能設(shè)備和多臺(tái)連續(xù)調(diào)節(jié)機(jī)組的調(diào)度系統(tǒng)TD3和SAC往往比PPO的上限更高但訓(xùn)練難度也更高。我在一個(gè)包含電鍋爐、儲(chǔ)熱罐、電儲(chǔ)能和少量光伏的小型園區(qū)試過SAC訓(xùn)練曲線很不穩(wěn)定階段性效果很好下一階段又突然崩潰超參數(shù)調(diào)起來(lái)比PPO辛苦得多。如果你項(xiàng)目的時(shí)間緊我建議多能源調(diào)度場(chǎng)景優(yōu)先用PPO穩(wěn)定跑通基線如果效果不夠再考慮TD3和SAC的方案。3.4 離線強(qiáng)化學(xué)習(xí)與因果強(qiáng)化學(xué)習(xí)的新應(yīng)用IQL離線強(qiáng)化學(xué)習(xí)解決的是數(shù)據(jù)效率與安全性的問題。多能源調(diào)度系統(tǒng)開發(fā)過程中歷史運(yùn)行數(shù)據(jù)大量存在但這些數(shù)據(jù)來(lái)自過去的運(yùn)行策略很多邊緣情況沒有被覆蓋到。IQL這類離線強(qiáng)化學(xué)習(xí)算法可以直接在歷史數(shù)據(jù)集上學(xué)習(xí)策略而無(wú)需和真實(shí)環(huán)境交互也不需要完整重放所有交互過程。對(duì)于那些不允許過度試錯(cuò)的生產(chǎn)系統(tǒng)離線強(qiáng)化學(xué)習(xí)把歷史數(shù)據(jù)變成了訓(xùn)練素材。具體來(lái)說(shuō)IQL通過約束策略不偏離行為策略太遠(yuǎn)避免探索過程中遇到分布外狀態(tài)從而保證學(xué)習(xí)的策略在真實(shí)環(huán)境中能夠穩(wěn)定執(zhí)行。我在一個(gè)從仿真向?qū)嶋H遷移的儲(chǔ)能調(diào)度項(xiàng)目里嘗試過IQL效果比想象中好關(guān)鍵是歷史數(shù)據(jù)的質(zhì)量和覆蓋度要過關(guān)策略才不會(huì)嚴(yán)重退化。因果強(qiáng)化學(xué)習(xí)的核心機(jī)制比較特別它將因果推斷工具嵌入強(qiáng)化學(xué)習(xí)流程關(guān)鍵能力包括識(shí)別狀態(tài)變量之間的因果結(jié)構(gòu)、區(qū)分哪些信息是真正的決策依據(jù)、哪些只是相關(guān)性噪音以及提供策略干預(yù)的反事實(shí)推理能力。這對(duì)多能源調(diào)度非常有啟發(fā)。傳統(tǒng)強(qiáng)化學(xué)習(xí)容易學(xué)到一種“虛假相關(guān)”比如某個(gè)時(shí)段電價(jià)和某個(gè)設(shè)備狀態(tài)總是同時(shí)出現(xiàn)模型可能把設(shè)備狀態(tài)當(dāng)成決定因素實(shí)際上驅(qū)動(dòng)電價(jià)的完全是另一套邏輯。因果強(qiáng)化學(xué)習(xí)嘗試通過因果圖先解出變量間的因果方向再讓策略去參考真正的因果因素這樣不僅提升泛化能力也給調(diào)度策略帶來(lái)更強(qiáng)的可解釋性也是我目前比較看好的方向。4. 仿真環(huán)境搭建與訓(xùn)練流程4.1 環(huán)境建模工具從Gym自定義環(huán)境開始動(dòng)手做強(qiáng)化學(xué)習(xí)項(xiàng)目第一步是先把環(huán)境定義清楚。我習(xí)慣用Gym風(fēng)格的自定義環(huán)境接口規(guī)范簡(jiǎn)單和主流的強(qiáng)化學(xué)習(xí)庫(kù)都能直接對(duì)接。環(huán)境的核心接口包括狀態(tài)觀測(cè)空間、動(dòng)作空間、步進(jìn)函數(shù)、獎(jiǎng)勵(lì)計(jì)算、重置函數(shù)和約束處理。一個(gè)最小可用的多能源調(diào)度環(huán)境基本輪廓如下class MultiEnergyEnv(gym.Env): def __init__(self, config): super().__init__() self.action_space spaces.Box(low-1, high1, shape(n_actions,)) self.observation_space spaces.Box(low-np.inf, highnp.inf, shape(n_states,)) self.load_profile config[load_profile] self.pv_profile config[pv_profile] self.price_profile config[price_profile] self.storage_soc 0.5 self.time_step 0 def step(self, action): action self._map_action(action) violation self._check_constraints(action) cost self._calculate_cost(action) reward -cost - violation self.time_step 1 done self.time_step self.episode_length return self._get_state(), reward, done, {} def reset(self): self.time_step 0 self.storage_soc 0.5 return self._get_state()這里有個(gè)很關(guān)鍵的細(xì)節(jié)動(dòng)作空間用歸一化區(qū)間把真實(shí)動(dòng)作的映射放進(jìn)_map_action里這樣做的好處是讓策略網(wǎng)絡(luò)始終輸出一個(gè)限定范圍的數(shù)值避免不同設(shè)備物理范圍差異過大對(duì)訓(xùn)練造成干擾。4.2 訓(xùn)練流程的關(guān)鍵步驟完整訓(xùn)練流程我一般分成六步生成或?qū)攵嗄茉聪到y(tǒng)的運(yùn)行數(shù)據(jù)包括負(fù)荷曲線、光伏出力曲線、電價(jià)序列、設(shè)備參數(shù)注意把訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)時(shí)段分開避免被評(píng)估時(shí)用到訓(xùn)練過的數(shù)據(jù)。定義環(huán)境和獎(jiǎng)勵(lì)函數(shù)先用簡(jiǎn)單情況驗(yàn)證環(huán)境邏輯正確比如儲(chǔ)能只有充放電時(shí)獎(jiǎng)勵(lì)值是否和手工計(jì)算一致。選定強(qiáng)化學(xué)習(xí)算法并構(gòu)建網(wǎng)絡(luò)Actor網(wǎng)絡(luò)結(jié)構(gòu)不必太復(fù)雜兩層64節(jié)點(diǎn)加激活函數(shù)對(duì)大部分調(diào)度場(chǎng)景已經(jīng)夠用。配置超參數(shù)包括學(xué)習(xí)率、折扣因子、batch size、GAE lambda、更新頻率。訓(xùn)練并實(shí)時(shí)監(jiān)控每個(gè)episode的累計(jì)獎(jiǎng)勵(lì)和平均獎(jiǎng)勵(lì)保存訓(xùn)練過程中性能最好的模型而不是只保存最后一個(gè)因?yàn)橛?xùn)練后期可能會(huì)出現(xiàn)性能回退。在測(cè)試集上評(píng)估對(duì)比傳統(tǒng)方法的效果檢驗(yàn)策略的合理性。訓(xùn)練的時(shí)候我有一個(gè)習(xí)慣每周固定跑幾個(gè)隨機(jī)種子做對(duì)比。強(qiáng)化學(xué)習(xí)訓(xùn)練受隨機(jī)性影響非常大單次訓(xùn)練的結(jié)果不能代表策略的真實(shí)水平我一般跑5到10個(gè)隨機(jī)種子取平均和標(biāo)準(zhǔn)差來(lái)對(duì)比這個(gè)方法在做算法選型時(shí)特別有用。4.3 參數(shù)調(diào)整與收斂性判斷在多能源調(diào)度項(xiàng)目中我常用的PPO參數(shù)配置如下參數(shù)推薦值說(shuō)明actor學(xué)習(xí)率3e-4初始值觀察loss下降慢就適當(dāng)調(diào)大critic學(xué)習(xí)率1e-3通常比actor稍大保持價(jià)值估計(jì)穩(wěn)定折扣因子0.99調(diào)度周期短可以設(shè)更高0.995GAE lambda0.95平衡偏差和方差的關(guān)鍵參數(shù)裁剪系數(shù)0.2訓(xùn)練不穩(wěn)定可以降到0.1batch size256數(shù)據(jù)量小的場(chǎng)景可以降低每幕最大步數(shù)24或96對(duì)應(yīng)小時(shí)級(jí)或15分鐘級(jí)調(diào)度周期怎么判斷訓(xùn)練是否收斂我的經(jīng)驗(yàn)是不要只看累計(jì)獎(jiǎng)勵(lì)曲線因?yàn)楠?jiǎng)勵(lì)曲線波動(dòng)大肉眼看著容易誤判。我會(huì)同時(shí)關(guān)注三個(gè)信號(hào)actor的loss是否基本平穩(wěn)、critic的loss是否下降并趨于穩(wěn)定、策略輸出是否有合理的變化規(guī)律。還有一個(gè)更實(shí)用的判斷辦法在驗(yàn)證集上跑訓(xùn)練好的模型看生成的調(diào)度方案在人工審視下是否合理。比如儲(chǔ)能是否在電價(jià)低的時(shí)候充電、電價(jià)高的時(shí)候放電機(jī)組是否在負(fù)荷高峰前提前升出力。如果策略在驗(yàn)證集上的表現(xiàn)符合這些基本邏輯說(shuō)明學(xué)到的東西真的可用。4.4 幾種常見的不收斂現(xiàn)象我歸納了四種最容易碰到的訓(xùn)練問題震蕩型不收斂訓(xùn)練曲線一直在很大范圍內(nèi)波動(dòng)沒有下降趨勢(shì)。多數(shù)情況是學(xué)習(xí)率太高或batch太小策略在每次更新時(shí)都跳過頭先降到原來(lái)的四分之一試試。過早收斂到局部最優(yōu)訓(xùn)練很早就不動(dòng)了但獎(jiǎng)勵(lì)值不高。通常是探索太少PPO的話可以調(diào)大熵系數(shù)給探索更多空間或者把裁剪系數(shù)調(diào)大。后期崩潰訓(xùn)練到后半段突然性能大降。常見原因是價(jià)值函數(shù)估計(jì)偏差累積導(dǎo)致策略更新方向錯(cuò)誤?？梢越档蛯W(xué)習(xí)率或者檢查是否由于歸一化沒做好導(dǎo)致數(shù)值不穩(wěn)定。獎(jiǎng)勵(lì)尺度問題獎(jiǎng)勵(lì)值數(shù)量級(jí)極大或極小loss出現(xiàn)NaN。這種情況先把獎(jiǎng)勵(lì)做標(biāo)準(zhǔn)化處理確保在一個(gè)合理區(qū)間再檢查輸入數(shù)據(jù)是否含NaN。5. 常見問題與排查技巧實(shí)錄5.1 獎(jiǎng)勵(lì)設(shè)計(jì)不合理導(dǎo)致訓(xùn)練不收斂這個(gè)問題遇到最多。表現(xiàn)是訓(xùn)練過程中獎(jiǎng)勵(lì)曲線不降反升或者非常劇烈地震蕩。有一個(gè)項(xiàng)目里我把碳排放懲罰設(shè)得過大智能體發(fā)現(xiàn)任何發(fā)電行為都會(huì)帶來(lái)高懲罰于是傾向于把所有設(shè)備都關(guān)掉系統(tǒng)就無(wú)法滿足負(fù)荷需求獎(jiǎng)勵(lì)反而越來(lái)越差。排查獎(jiǎng)勵(lì)問題需要用追蹤手段。我會(huì)在訓(xùn)練代碼里記錄每個(gè)episode的獎(jiǎng)勵(lì)拆分項(xiàng)輸出成分項(xiàng)分解曲線。有時(shí)候會(huì)發(fā)現(xiàn)懲罰項(xiàng)始終是0或始終是最大值說(shuō)明約束根本沒有被有效感知。還有一個(gè)技巧是做“獎(jiǎng)勵(lì) sanity check”比如讓智能體執(zhí)行一個(gè)明顯合理的策略比如“低電價(jià)充電、高電價(jià)放電”看這個(gè)策略計(jì)算出來(lái)的獎(jiǎng)勵(lì)是多少如果算出來(lái)的獎(jiǎng)勵(lì)比訓(xùn)練后期得到的還低說(shuō)明獎(jiǎng)勵(lì)函數(shù)本身有問題。5.2 狀態(tài)空間過大導(dǎo)致采樣效率問題多能源系統(tǒng)狀態(tài)量很多直接全塞進(jìn)去會(huì)導(dǎo)致采樣效率非常低。一個(gè)典型的案例我朋友做某工廠綜合能源調(diào)度狀態(tài)包括設(shè)備詳細(xì)級(jí)狀態(tài)變量、環(huán)境變量、預(yù)測(cè)數(shù)據(jù)總共六十多個(gè)維度訓(xùn)練了一個(gè)月策略還是不理想。從這個(gè)案例學(xué)到的排查方法是先做狀態(tài)量分析和相關(guān)性分析把明顯與調(diào)度效果無(wú)關(guān)的狀態(tài)剔除比如某些外部預(yù)測(cè)數(shù)據(jù)幾乎不波動(dòng)對(duì)策略沒有貢獻(xiàn)。還要注意狀態(tài)頻率與調(diào)度頻率的匹配電網(wǎng)頻率很快但調(diào)度周期是按小時(shí)算頻率信號(hào)不足以支持每小時(shí)決策遠(yuǎn)高于決策粒度的數(shù)據(jù)要先做聚合。5.3 模型過擬合到訓(xùn)練集強(qiáng)化學(xué)習(xí)也會(huì)有類似監(jiān)督學(xué)習(xí)的過擬合問題。我把訓(xùn)練集數(shù)據(jù)畫出來(lái)看如果模型在訓(xùn)練集上表現(xiàn)很好一到測(cè)試集就崩就要懷疑過擬合了。解決思路有三個(gè)數(shù)據(jù)層面的做法是增加不同季節(jié)、不同天氣類型的數(shù)據(jù)覆蓋算法層面是不要訓(xùn)練太多個(gè)epoch早期停止可以在訓(xùn)練曲線在驗(yàn)證集上開始變差時(shí)觸發(fā)策略層面則是限制策略復(fù)雜度比如使用更小的網(wǎng)絡(luò)容量、增加熵正則項(xiàng)等。5.4 實(shí)測(cè)數(shù)據(jù)下的調(diào)參經(jīng)驗(yàn)有一次項(xiàng)目從仿真環(huán)境切換到真實(shí)歷史的實(shí)測(cè)場(chǎng)景原來(lái)的訓(xùn)練模型在仿真環(huán)境表現(xiàn)很好但遷移到真實(shí)數(shù)據(jù)后性能明顯下降。原因主要是仿真環(huán)境對(duì)新能源出力做了平滑處理而真實(shí)數(shù)據(jù)有大量突發(fā)波動(dòng)。我的處理方法是先確認(rèn)真實(shí)數(shù)據(jù)的波動(dòng)程度在狀態(tài)空間中加入多步歷史差分特征來(lái)增強(qiáng)對(duì)突變的感知能力。接著把訓(xùn)練數(shù)據(jù)的采樣周期從原來(lái)的一小時(shí)細(xì)化為十五分鐘提高對(duì)環(huán)境變化的響應(yīng)頻率再補(bǔ)充了一些極端天氣場(chǎng)景的數(shù)據(jù)然后重訓(xùn)。這套組合下來(lái)效果提升明顯。核心思路是讓智能體通過輸入特征感知到環(huán)境的不確定性而不是依賴環(huán)境本身做出精確的未來(lái)預(yù)測(cè)。6. 從Demo到落地強(qiáng)化學(xué)習(xí)調(diào)度策略的工程化思考6.1 仿真到實(shí)際的差距仿真環(huán)境永遠(yuǎn)無(wú)法完全模擬真實(shí)運(yùn)行。真實(shí)系統(tǒng)有通訊延遲、設(shè)備故障、數(shù)據(jù)質(zhì)量問題、人機(jī)交互不確定性這些在仿真里都沒有。我在一個(gè)現(xiàn)場(chǎng)項(xiàng)目中測(cè)試過訓(xùn)練好的策略發(fā)現(xiàn)第一個(gè)現(xiàn)實(shí)問題就是數(shù)據(jù)質(zhì)量——某些實(shí)時(shí)數(shù)據(jù)在短時(shí)間內(nèi)反復(fù)跳變導(dǎo)致狀態(tài)觀測(cè)結(jié)果異常策略被干擾得很明顯。這個(gè)問題的解決辦法是在狀態(tài)輸入里加一套數(shù)據(jù)合理性檢查邏輯對(duì)異常值做平滑或插值處理保證進(jìn)入策略網(wǎng)絡(luò)的觀測(cè)數(shù)據(jù)是健康的。第二個(gè)差距是執(zhí)行誤差。仿真中策略給出的動(dòng)作會(huì)精確執(zhí)行但真實(shí)設(shè)備存在響應(yīng)延遲、控制死區(qū)和機(jī)械磨損實(shí)際出力和指令值往往有偏差。如果環(huán)境建模時(shí)沒有考慮執(zhí)行誤差策略訓(xùn)練出來(lái)后在實(shí)際系統(tǒng)上會(huì)碰到性能損失。一個(gè)務(wù)實(shí)的做法是在仿真環(huán)境里注入一定比例的執(zhí)行噪聲比如功率指令和實(shí)際出力之間有5%左右的隨機(jī)偏差讓智能體學(xué)會(huì)在這種不確定性下做決策。6.2 可解釋性的問題調(diào)度系統(tǒng)牽扯到運(yùn)行安全、設(shè)備責(zé)任、操作規(guī)程不能接受“黑箱”決策。如果調(diào)度員不了解當(dāng)前策略為什么選擇這個(gè)方案就不會(huì)信任它。強(qiáng)化學(xué)習(xí)的可解釋性處理可以從三個(gè)層面入手。第一層是簡(jiǎn)單的行為可視化把策略生成的控制方案、狀態(tài)觀測(cè)量和獎(jiǎng)勵(lì)構(gòu)成畫出來(lái)讓調(diào)度員看到在不同場(chǎng)景下策略如何響應(yīng)。第二層是使用注意力機(jī)制或重要性分析找出哪些狀態(tài)量對(duì)最終決策貢獻(xiàn)最大比如電價(jià)和儲(chǔ)能SOC往往在多數(shù)時(shí)刻占據(jù)主導(dǎo)地位。第三層就是前面提到的因果強(qiáng)化學(xué)習(xí)通過因果結(jié)構(gòu)解釋“為什么這個(gè)狀態(tài)下策略會(huì)這樣決策”。我在項(xiàng)目里還喜歡做一件事把訓(xùn)練好的策略和傳統(tǒng)優(yōu)化方法做每日成本對(duì)比按周匯總分析得出“本周策略在哪些場(chǎng)景下比傳統(tǒng)方法更優(yōu)、哪些場(chǎng)景下更差”的結(jié)論。這些具體案例是最直接的信任建立材料比任何理論分析都好用。6.3 我對(duì)這個(gè)方向的個(gè)人體會(huì)做了多個(gè)多能源調(diào)度的強(qiáng)化學(xué)習(xí)項(xiàng)目之后總體體會(huì)是強(qiáng)化學(xué)習(xí)確實(shí)能解決傳統(tǒng)優(yōu)化方法在不確定性和計(jì)算時(shí)間上的核心痛點(diǎn)但不是銀彈。適合強(qiáng)化學(xué)習(xí)的場(chǎng)景有幾個(gè)共同特點(diǎn)有足夠的訓(xùn)練數(shù)據(jù)或高保真仿真環(huán)境決策周期比較短且決策頻率高存在明顯的時(shí)序依賴和不確定性以及目標(biāo)函數(shù)和約束可以被清晰地量化為獎(jiǎng)勵(lì)。反過來(lái)如果系統(tǒng)非常小傳統(tǒng)優(yōu)化幾秒鐘就能算出最優(yōu)解那就沒必要用強(qiáng)化學(xué)習(xí)。如果安全約束極其嚴(yán)格根本沒有試錯(cuò)空間直接上強(qiáng)化學(xué)習(xí)風(fēng)險(xiǎn)也很大這時(shí)候可以考慮離線強(qiáng)化學(xué)習(xí)先做預(yù)訓(xùn)練再配合保守策略部署。多能源調(diào)度這個(gè)領(lǐng)域最有價(jià)值的地方是它會(huì)不斷出現(xiàn)新的約束和新類型的不確定性。電價(jià)越來(lái)越市場(chǎng)化新能源滲透率越來(lái)越高碳交易機(jī)制逐漸落地這些變化都會(huì)讓調(diào)度問題更加復(fù)雜強(qiáng)化學(xué)習(xí)的適應(yīng)能力正好派上用場(chǎng)。但整個(gè)過程必須保持深度設(shè)計(jì)和工程思維從建模、算法、訓(xùn)練、評(píng)估到部署每一步都值得認(rèn)真規(guī)劃和驗(yàn)證。最后再分享一個(gè)實(shí)操習(xí)慣。我在訓(xùn)練多能源調(diào)度策略時(shí)一定會(huì)把基線模型一直保留到最后。每訓(xùn)練一個(gè)新版本都先在驗(yàn)證集上對(duì)比舊版本只有新版本在成本、約束滿足率、魯棒性上全面領(lǐng)先才切換。有很多次訓(xùn)練過程中看起來(lái)新版本獎(jiǎng)勵(lì)更高但在驗(yàn)證集上一跑約束違反率比舊版本高了不少果斷回退舊版本。這個(gè)習(xí)慣幫我避免過不少次調(diào)度事故發(fā)生越到項(xiàng)目后期越覺得落地交付最終比拼的不是某個(gè)算法的新穎程度而是能不能讓一個(gè)決策模型長(zhǎng)期運(yùn)行穩(wěn)定不“翻車”。