1. 項(xiàng)目概述當(dāng)智能體需要“分而治之”時(shí)最近在復(fù)現(xiàn)和調(diào)優(yōu)一些需要長(zhǎng)期規(guī)劃的多智能體強(qiáng)化學(xué)習(xí)任務(wù)時(shí)我遇到了一個(gè)經(jīng)典難題隨著任務(wù)時(shí)間跨度拉長(zhǎng)、智能體數(shù)量增多策略搜索空間會(huì)呈指數(shù)級(jí)爆炸導(dǎo)致算法要么收斂緩慢要么直接陷入局部最優(yōu)學(xué)出一堆“短視”的行為。這就像讓一個(gè)沒有管理經(jīng)驗(yàn)的團(tuán)隊(duì)直接去完成一個(gè)長(zhǎng)達(dá)數(shù)年的復(fù)雜項(xiàng)目缺乏層級(jí)和分工混亂和低效幾乎是必然的?！癏ierarchy-of-Groups Policy Optimization” 這個(gè)概念正是為了解決這類“長(zhǎng)視野智能體任務(wù)”而生的。它不是一個(gè)具體的算法而是一個(gè)極具啟發(fā)性的框架思路。其核心思想借鑒了人類社會(huì)組織中“分而治之”和“層級(jí)管理”的智慧。簡(jiǎn)單來(lái)說(shuō)它不把一堆智能體視為平等的、需要彼此精細(xì)協(xié)調(diào)的個(gè)體而是先根據(jù)任務(wù)結(jié)構(gòu)或智能體功能將它們自動(dòng)或半自動(dòng)地劃分成不同的“小組”。然后在這些小組之上構(gòu)建一個(gè)或多個(gè)更高層級(jí)的“管理者”策略來(lái)協(xié)調(diào)小組之間的目標(biāo)與資源分配。每個(gè)小組內(nèi)部則可以專注于自己子任務(wù)的優(yōu)化。這種層級(jí)化的策略優(yōu)化能顯著降低搜索復(fù)雜度讓智能體學(xué)會(huì)在長(zhǎng)時(shí)間跨度上進(jìn)行有效的分工與合作。它非常適合那些任務(wù)本身具有天然層次結(jié)構(gòu)的場(chǎng)景比如戰(zhàn)略游戲中的“總部-分隊(duì)-單兵”指揮鏈或者機(jī)器人集群任務(wù)中的“任務(wù)規(guī)劃-路徑規(guī)劃-運(yùn)動(dòng)控制”分層。如果你正在研究多智能體強(qiáng)化學(xué)習(xí)尤其是任務(wù)復(fù)雜、周期長(zhǎng)、需要高級(jí)規(guī)劃和協(xié)調(diào)的領(lǐng)域理解并實(shí)踐這個(gè)框架思路可能會(huì)為你打開一扇新的大門。2. 核心思路拆解為什么需要“組”與“層級(jí)”在深入實(shí)現(xiàn)細(xì)節(jié)之前我們必須先厘清這個(gè)框架要解決的根本問(wèn)題以及它為何有效。傳統(tǒng)的多智能體強(qiáng)化學(xué)習(xí)方法如MADDPG、QMIX等雖然考慮了智能體間的互動(dòng)但本質(zhì)上仍是在一個(gè)“扁平”的空間中進(jìn)行策略搜索。當(dāng)任務(wù)視野很長(zhǎng)時(shí)這會(huì)導(dǎo)致幾個(gè)致命傷。2.1 長(zhǎng)視野任務(wù)帶來(lái)的挑戰(zhàn)首先信用分配問(wèn)題在時(shí)間維度上被極度放大。一個(gè)智能體在任務(wù)早期的一個(gè)動(dòng)作其好壞可能要等到幾百甚至上千個(gè)時(shí)間步之后才能通過(guò)最終獎(jiǎng)勵(lì)體現(xiàn)出來(lái)。這種巨大的延遲使得策略梯度估計(jì)的方差極高學(xué)習(xí)信號(hào)極其微弱。其次探索變得異常困難。在龐大的聯(lián)合狀態(tài)-動(dòng)作空間中智能體幾乎不可能通過(guò)隨機(jī)探索碰巧發(fā)現(xiàn)那一系列能導(dǎo)致長(zhǎng)期高回報(bào)的連貫動(dòng)作序列。最后策略表示本身也面臨挑戰(zhàn)。一個(gè)需要記住長(zhǎng)遠(yuǎn)目標(biāo)并指導(dǎo)當(dāng)下行為的策略其網(wǎng)絡(luò)結(jié)構(gòu)必然更復(fù)雜訓(xùn)練也更不穩(wěn)定。2.2 “組”的概念引入降低協(xié)調(diào)復(fù)雜度HGPO框架的第一個(gè)關(guān)鍵創(chuàng)新是引入“組”。將N個(gè)智能體劃分為K個(gè)組K N其根本目的是將智能體間的協(xié)調(diào)問(wèn)題從“全員對(duì)全員”的O(N2)復(fù)雜度先降級(jí)為“組內(nèi)協(xié)調(diào)”和“組間協(xié)調(diào)”兩個(gè)層次。組內(nèi)的智能體通常共享相似的目標(biāo)或具備互補(bǔ)的功能。例如在《星際爭(zhēng)霸》的微觀操作中你可以將所有的“機(jī)槍兵”劃為一組所有的“醫(yī)療兵”劃為另一組。機(jī)槍兵組的策略專注于輸出和走位醫(yī)療兵組的策略專注于治療和跟隨兩組之間的協(xié)調(diào)比如醫(yī)療兵應(yīng)該治療哪個(gè)受傷的機(jī)槍兵則由更高層的策略來(lái)管理。這種分組并非總是預(yù)先定義的。在更一般的設(shè)定中分組本身可以通過(guò)聚類方法基于智能體的觀察、歷史行為或任務(wù)角色動(dòng)態(tài)學(xué)習(xí)得到這被稱為“自動(dòng)分組”或“角色發(fā)現(xiàn)”。分組策略為每個(gè)組產(chǎn)生一個(gè)組級(jí)的動(dòng)作或目標(biāo)然后由組內(nèi)的個(gè)體策略去具體執(zhí)行。2.3 “層級(jí)”的構(gòu)建實(shí)現(xiàn)時(shí)間抽象與目標(biāo)分解僅有分組還不夠HGPO的第二個(gè)核心是“層級(jí)”。高層策略操作在一個(gè)更粗的時(shí)間粒度上和更抽象的狀態(tài)空間上。它可能每幾十個(gè)底層時(shí)間步才執(zhí)行一次其動(dòng)作是向各個(gè)小組下達(dá)一個(gè)階段性的子目標(biāo)或指令。例如高層策略觀察整個(gè)戰(zhàn)場(chǎng)的宏觀態(tài)勢(shì)然后向“突擊組”下達(dá)“占領(lǐng)A點(diǎn)”的指令向“火力支援組”下達(dá)“提供壓制火力”的指令。這個(gè)指令會(huì)持續(xù)一段時(shí)間。在這個(gè)時(shí)間段內(nèi)底層的小組策略不再需要思考“最終勝利”這個(gè)遙遠(yuǎn)而模糊的目標(biāo)只需要專注于完成“占領(lǐng)A點(diǎn)”這個(gè)具體、近期的子目標(biāo)。這完美地解決了長(zhǎng)視野帶來(lái)的信用分配和探索難題。高層策略負(fù)責(zé)長(zhǎng)期的戰(zhàn)略規(guī)劃底層策略負(fù)責(zé)短期的戰(zhàn)術(shù)執(zhí)行。這種“時(shí)間抽象”是解決長(zhǎng)視野問(wèn)題的經(jīng)典思路而HGPO將其與“空間抽象”分組結(jié)合了起來(lái)。2.4 與現(xiàn)有范式的聯(lián)系與區(qū)別你可能聽說(shuō)過(guò)Option框架、Hierarchical Reinforcement Learning或者M(jìn)A-POCA。HGPO與它們一脈相承但側(cè)重點(diǎn)不同。Option框架主要關(guān)注單個(gè)智能體的時(shí)間抽象技能。HRL通常為單個(gè)智能體設(shè)計(jì)分層。MA-POCA等算法則是在多智能體場(chǎng)景中引入了集中式評(píng)論家。HGPO的獨(dú)特之處在于它明確地將“多智能體分組”與“分層策略優(yōu)化”耦合在一起形成“組內(nèi)-組間-高層”的多級(jí)優(yōu)化結(jié)構(gòu)。它更強(qiáng)調(diào)通過(guò)分組來(lái)顯式地建模智能體間的依賴關(guān)系并利用這種結(jié)構(gòu)化的依賴來(lái)引導(dǎo)更高效的策略搜索。3. 算法框架設(shè)計(jì)與關(guān)鍵組件要將HGPO從一個(gè)思想落地為一個(gè)可實(shí)現(xiàn)的算法我們需要設(shè)計(jì)幾個(gè)核心的組件。這里我結(jié)合近年來(lái)的研究趨勢(shì)如Actor-Attention-Critic提出一個(gè)具體的、可復(fù)現(xiàn)的算法設(shè)計(jì)。這個(gè)設(shè)計(jì)包含三層高層管理器、組間協(xié)調(diào)器和組內(nèi)執(zhí)行器。3.1 高層管理器戰(zhàn)略制定者高層管理器是整個(gè)系統(tǒng)的“大腦”它工作在最低的頻率和最抽象的層面。輸入全局狀態(tài)s_t或所有智能體觀察的某種聚合。這個(gè)狀態(tài)應(yīng)該包含任務(wù)的核心宏觀信息比如整體目標(biāo)完成度、關(guān)鍵資源分布、敵我力量對(duì)比等。輸出一組面向各個(gè)小組的抽象目標(biāo)g_t^kk1,...,K。這些目標(biāo)不是具體的動(dòng)作而是語(yǔ)義化的指令例如“移動(dòng)到區(qū)域坐標(biāo)(x,y)”、“防御某個(gè)單位”、“收集某種資源達(dá)到X量”。這些目標(biāo)需要被設(shè)計(jì)成底層策略能夠理解和執(zhí)行的。更新頻率每C個(gè)底層時(shí)間步更新一次C是一個(gè)超參數(shù)代表了高層決策的周期。C的選擇至關(guān)重要太短則失去了時(shí)間抽象的意義高層忙于微觀管理太長(zhǎng)則底層可能在沒有指導(dǎo)的情況下盲目行動(dòng)太久。策略優(yōu)化高層管理器有自己的策略網(wǎng)絡(luò)π_high(·|s_t)和價(jià)值網(wǎng)絡(luò)V_high(s_t)。它接收的獎(jiǎng)勵(lì)是經(jīng)過(guò)折扣的全局長(zhǎng)期獎(jiǎng)勵(lì)R_high。其優(yōu)化目標(biāo)是在宏觀層面上最大化累積回報(bào)。由于它的動(dòng)作空間是離散的或低維連續(xù)的通?？梢圆捎肞PO或A2C等策略梯度方法進(jìn)行穩(wěn)定訓(xùn)練。注意高層目標(biāo)g_t^k的設(shè)計(jì)是工程實(shí)現(xiàn)中的一大難點(diǎn)。它必須與底層觀察空間有明確的接口。一種常見做法是讓目標(biāo)成為底層觀察空間中的一個(gè)子集或某種變換。例如底層觀察包含自身位置和所有區(qū)域坐標(biāo)那么高層目標(biāo)“占領(lǐng)A點(diǎn)”就可以被編碼為A點(diǎn)的坐標(biāo)向量。3.2 組間協(xié)調(diào)器基于注意力機(jī)制的通信中樞在高層下達(dá)組目標(biāo)后小組之間可能仍需進(jìn)行一些實(shí)時(shí)協(xié)調(diào)。這就是組間協(xié)調(diào)器的作用。我強(qiáng)烈推薦使用注意力機(jī)制來(lái)實(shí)現(xiàn)它這也是“Actor-Attention-Critic for Multi-Agent Reinforcement Learning”這篇論文帶來(lái)的核心啟發(fā)。架構(gòu)每個(gè)小組配備一個(gè)“組間協(xié)調(diào)器”。它接收兩部分輸入1) 本小組的當(dāng)前狀態(tài)聚合h_t^k2) 通過(guò)注意力機(jī)制獲取的其他小組的上下文信息。注意力機(jī)制工作流每個(gè)小組將其狀態(tài)h_t^k通過(guò)一個(gè)線性層生成“查詢向量”Q^k和“鍵值對(duì)”K^k, V^k。對(duì)于小組i其協(xié)調(diào)器計(jì)算Q^i與所有小組的K^j的相似度得到注意力權(quán)重α^{ij}。用α^{ij}對(duì)所有的V^j進(jìn)行加權(quán)求和得到小組i的上下文向量c_t^i。將c_t^i與小組i自身的狀態(tài)h_t^i拼接作為該小組“增強(qiáng)后的狀態(tài)”輸入給組內(nèi)執(zhí)行器。作用這個(gè)機(jī)制允許每個(gè)小組動(dòng)態(tài)地關(guān)注其他小組中與當(dāng)前任務(wù)最相關(guān)的信息。例如一個(gè)正在交火的小組可能會(huì)更關(guān)注醫(yī)療小組的位置和狀態(tài)。這實(shí)現(xiàn)了靈活、高效的組間信息流而不需要全連接的高成本通信。3.3 組內(nèi)執(zhí)行器戰(zhàn)術(shù)執(zhí)行單元組內(nèi)執(zhí)行器是策略層級(jí)的最后一步負(fù)責(zé)將高層目標(biāo)和組間協(xié)調(diào)信息轉(zhuǎn)化為每個(gè)智能體的具體動(dòng)作。輸入對(duì)于組k內(nèi)的某個(gè)智能體i其輸入包括1) 個(gè)體局部觀察o_t^i2) 本小組的高層目標(biāo)g_t^k3) 由組間協(xié)調(diào)器產(chǎn)生的、與本組相關(guān)的上下文信息c_t^k可選也可以直接傳遞給每個(gè)個(gè)體。輸出智能體i在當(dāng)前時(shí)間步的原始動(dòng)作a_t^i。策略優(yōu)化組內(nèi)所有智能體共享一個(gè)策略網(wǎng)絡(luò)π_low^k(·|o_t^i, g_t^k, c_t^k)。這里采用“中心化訓(xùn)練去中心化執(zhí)行”的范式。在訓(xùn)練時(shí)可以利用一個(gè)集中式的評(píng)論家它能夠看到全局狀態(tài)s_t和所有小組的目標(biāo)g_t來(lái)為組內(nèi)策略提供更優(yōu)的梯度指導(dǎo)。組內(nèi)策略的獎(jiǎng)勵(lì)R_low^k由兩部分組成1) 全局獎(jiǎng)勵(lì)的一部分2) 一個(gè)專門衡量本小組目標(biāo)g_t^k完成情況的“子目標(biāo)獎(jiǎng)勵(lì)”。這個(gè)子目標(biāo)獎(jiǎng)勵(lì)是加速底層學(xué)習(xí)的關(guān)鍵。3.4 整體訓(xùn)練流程與信號(hào)流整個(gè)系統(tǒng)的訓(xùn)練是一個(gè)多時(shí)間尺度的過(guò)程底層循環(huán)在每個(gè)時(shí)間步t組內(nèi)執(zhí)行器根據(jù)當(dāng)前觀察、小組目標(biāo)在目標(biāo)有效期內(nèi)保持不變和協(xié)調(diào)信息產(chǎn)生個(gè)體動(dòng)作a_t^i。環(huán)境執(zhí)行這些動(dòng)作轉(zhuǎn)移到新狀態(tài)并產(chǎn)生全局獎(jiǎng)勵(lì)r_t。高層觸發(fā)每經(jīng)過(guò)C個(gè)時(shí)間步高層管理器被激活。它觀察當(dāng)前全局狀態(tài)s_t產(chǎn)生新一輪的小組目標(biāo)g_{tC}^k并開始一個(gè)新的高層決策周期。信用分配全局獎(jiǎng)勵(lì)r_t主要用于優(yōu)化高層管理器。同時(shí)一個(gè)專門設(shè)計(jì)的“子目標(biāo)達(dá)成獎(jiǎng)勵(lì)”會(huì)計(jì)算并分配給相應(yīng)的組內(nèi)執(zhí)行器。例如如果高層給小組A下達(dá)了“抵達(dá)B點(diǎn)”的目標(biāo)那么當(dāng)小組A的中心位置進(jìn)入B點(diǎn)一定范圍內(nèi)時(shí)就給予一個(gè)正向的子目標(biāo)獎(jiǎng)勵(lì)。參數(shù)更新高層管理器使用PPO算法基于其決策周期內(nèi)的累積回報(bào)進(jìn)行更新。組間協(xié)調(diào)器的注意力網(wǎng)絡(luò)參數(shù)通常與組內(nèi)策略一起訓(xùn)練其梯度通過(guò)組內(nèi)策略網(wǎng)絡(luò)反向傳播。組內(nèi)執(zhí)行器使用多智能體PPO或MADDPG風(fēng)格的算法進(jìn)行更新。集中式評(píng)論家如果使用的輸入是全局狀態(tài)和所有小組的當(dāng)前目標(biāo)/狀態(tài)聚合用于估計(jì)狀態(tài)價(jià)值或動(dòng)作價(jià)值為策略更新提供低方差的基線。4. 實(shí)操實(shí)現(xiàn)從零搭建一個(gè)HGPO原型理論講完了我們來(lái)點(diǎn)實(shí)際的。我將以PyTorch為基礎(chǔ)勾勒一個(gè)簡(jiǎn)化的HGPO實(shí)現(xiàn)框架用于一個(gè)“多智能體尋寶-運(yùn)輸”的模擬環(huán)境。這個(gè)環(huán)境有多個(gè)“探索者”智能體和“運(yùn)輸者”智能體寶藏分散在地圖中需要探索者找到并標(biāo)記運(yùn)輸者前往搬運(yùn)回基地。這是一個(gè)典型的長(zhǎng)視野、分工型任務(wù)。4.1 環(huán)境與智能體定義首先我們定義環(huán)境。狀態(tài)包括所有智能體的位置、寶藏狀態(tài)未發(fā)現(xiàn)/已發(fā)現(xiàn)/已搬運(yùn)、基地位置。智能體的局部觀察是其周圍一定半徑內(nèi)的信息。 我們將智能體預(yù)定義為兩組Group_Explorer(探索組) 和Group_Transporter(運(yùn)輸組)。每組初始包含若干同質(zhì)智能體。import torch import torch.nn as nn import torch.optim as optim import numpy as np from collections import deque, namedtuple # 定義經(jīng)驗(yàn)回放緩存 Transition namedtuple(Transition, (state, group_goals, actions, rewards, next_state, dones)) class MultiAgentTreasureEnv: # 簡(jiǎn)化的環(huán)境模擬類 def __init__(self, num_explorers3, num_transporters2): self.num_explorers num_explorers self.num_transporters num_transporters self.agents [explorer_{}.format(i) for i in range(num_explorers)] \ [transporter_{}.format(i) for i in range(num_transporters)] self.state_dim ... # 全局狀態(tài)維度 self.obs_dim ... # 個(gè)體觀察維度 self.action_dim 4 # 假設(shè)動(dòng)作上、下、左、右 def reset(self): # 重置環(huán)境返回全局狀態(tài)和個(gè)體觀察字典 pass def step(self, actions_dict): # 執(zhí)行動(dòng)作返回(next_global_state, individual_obs_dict, rewards_dict, done_dict, info) pass4.2 網(wǎng)絡(luò)模型定義接下來(lái)我們定義三個(gè)核心網(wǎng)絡(luò)。class HighLevelManager(nn.Module): 高層管理器網(wǎng)絡(luò)。輸入全局狀態(tài)輸出兩組的目標(biāo)例如目標(biāo)坐標(biāo)點(diǎn)。 def __init__(self, state_dim, goal_dim_per_group2, hidden_dim128): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, goal_dim_per_group * 2) # 兩組每組一個(gè)二維坐標(biāo)目標(biāo) ) def forward(self, state): goals self.net(state) # shape: (batch_size, goal_dim_per_group * 2) # 可以將輸出通過(guò)tanh映射到[-1,1]再根據(jù)環(huán)境范圍縮放 return torch.tanh(goals).view(-1, 2, goal_dim_per_group//2) class InterGroupCoordinator(nn.Module): 組間協(xié)調(diào)器使用注意力機(jī)制。 def __init__(self, group_state_dim, hidden_dim64, num_heads2): super().__init__() self.group_state_dim group_state_dim self.hidden_dim hidden_dim self.num_heads num_heads # 為生成Q, K, V的投影層 self.q_proj nn.Linear(group_state_dim, hidden_dim * num_heads) self.k_proj nn.Linear(group_state_dim, hidden_dim * num_heads) self.v_proj nn.Linear(group_state_dim, hidden_dim * num_heads) self.output_proj nn.Linear(hidden_dim * num_heads, group_state_dim) def forward(self, group_states): # group_states: (num_groups, batch_size, group_state_dim) num_groups, batch_size, _ group_states.shape Q self.q_proj(group_states).view(num_groups, batch_size, self.num_heads, self.hidden_dim).permute(2,0,1,3) # (head, num_g, bs, dim) K self.k_proj(group_states).view(num_groups, batch_size, self.num_heads, self.hidden_dim).permute(2,0,1,3) V self.v_proj(group_states).view(num_groups, batch_size, self.num_heads, self.hidden_dim).permute(2,0,1,3) attn_scores torch.matmul(Q, K.transpose(-2, -1)) / (self.hidden_dim ** 0.5) # (head, num_g, bs, num_g) attn_weights torch.softmax(attn_scores, dim-1) context torch.matmul(attn_weights, V) # (head, num_g, bs, dim) context context.permute(1,2,0,3).contiguous().view(num_groups, batch_size, -1) # (num_g, bs, head*dim) output self.output_proj(context) # (num_g, bs, group_state_dim) return output # 增強(qiáng)后的組狀態(tài) class GroupPolicy(nn.Module): 組內(nèi)策略網(wǎng)絡(luò)執(zhí)行器。共享于同組所有智能體。 def __init__(self, obs_dim, goal_dim, context_dim, action_dim, hidden_dim128): super().__init__() # 輸入個(gè)體觀察 本組目標(biāo) 本組協(xié)調(diào)上下文 self.policy_net nn.Sequential( nn.Linear(obs_dim goal_dim context_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, action_dim), nn.Softmax(dim-1) # 假設(shè)離散動(dòng)作 ) # 價(jià)值網(wǎng)絡(luò)用于基線中心化訓(xùn)練時(shí)使用 self.value_net nn.Sequential( nn.Linear(obs_dim goal_dim context_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1) ) def forward(self, obs, group_goal, group_context): x torch.cat([obs, group_goal, group_context], dim-1) action_probs self.policy_net(x) state_value self.value_net(x) return action_probs, state_value4.3 訓(xùn)練主循環(huán)偽代碼下面是訓(xùn)練過(guò)程的核心循環(huán)邏輯。# 初始化 env MultiAgentTreasureEnv() high_manager HighLevelManager(state_dimenv.state_dim) coordinator InterGroupCoordinator(group_state_dim64) # 假設(shè)組狀態(tài)維度64 explorer_policy GroupPolicy(obs_dimenv.obs_dim, goal_dim2, context_dim64, action_dimenv.action_dim) transporter_policy GroupPolicy(obs_dimenv.obs_dim, goal_dim2, context_dim64, action_dimenv.action_dim) high_optimizer optim.Adam(high_manager.parameters(), lr1e-4) explorer_optimizer optim.Adam(explorer_policy.parameters(), lr3e-4) transporter_optimizer optim.Adam(transporter_policy.parameters(), lr3e-4) C 20 # 高層決策周期 episodes 10000 for episode in range(episodes): state, obs_dict env.reset() episode_transitions [] high_goal None steps_since_high 0 while not done: # 1. 高層決策 if steps_since_high % C 0: state_tensor torch.FloatTensor(state).unsqueeze(0) with torch.no_grad(): high_goal high_manager(state_tensor) # shape: (1, 2, 2) # high_goal[0] 給探索組high_goal[1] 給運(yùn)輸組 steps_since_high 0 # 2. 組間協(xié)調(diào)準(zhǔn)備組狀態(tài) # 假設(shè)我們通過(guò)一個(gè)網(wǎng)絡(luò)將組內(nèi)所有智能體的觀察聚合為組狀態(tài) explorer_group_state aggregate_observations(obs_dict, groupexplorer) transporter_group_state aggregate_observations(obs_dict, grouptransporter) group_states torch.stack([explorer_group_state, transporter_group_state], dim0) # (2, 1, dim) with torch.no_grad(): enhanced_group_states coordinator(group_states) # (2, 1, dim) # 3. 組內(nèi)執(zhí)行器產(chǎn)生動(dòng)作 actions {} for agent_name, obs in obs_dict.items(): if explorer in agent_name: group_goal high_goal[0].squeeze(0) if high_goal is not None else torch.zeros(2) group_context enhanced_group_states[0].squeeze(0) action_probs, _ explorer_policy(torch.FloatTensor(obs).unsqueeze(0), group_goal.unsqueeze(0), group_context.unsqueeze(0)) else: # transporter group_goal high_goal[1].squeeze(0) if high_goal is not None else torch.zeros(2) group_context enhanced_group_states[1].squeeze(0) action_probs, _ transporter_policy(torch.FloatTensor(obs).unsqueeze(0), group_goal.unsqueeze(0), group_context.unsqueeze(0)) action torch.multinomial(action_probs, 1).item() actions[agent_name] action # 4. 環(huán)境交互 next_state, next_obs_dict, rewards_dict, dones_dict, info env.step(actions) global_reward sum(rewards_dict.values()) # 簡(jiǎn)單求和作為全局獎(jiǎng)勵(lì) # 5. 存儲(chǔ)經(jīng)驗(yàn)為簡(jiǎn)化這里存儲(chǔ)全局經(jīng)驗(yàn)用于高層組經(jīng)驗(yàn)分開存 # 存儲(chǔ)高層經(jīng)驗(yàn)每C步存一次 if steps_since_high 0: # 這里需要存儲(chǔ)高層動(dòng)作high_goal和對(duì)應(yīng)的長(zhǎng)期回報(bào)需要設(shè)計(jì)專門的回放緩存 store_high_level_transition(state, high_goal, ...) # 存儲(chǔ)組內(nèi)經(jīng)驗(yàn)每個(gè)時(shí)間步 store_group_level_transition(groupexplorer, obs..., goal..., action..., reward..., next_obs...) store_group_level_transition(grouptransporter, ...) state, obs_dict next_state, next_obs_dict steps_since_high 1 # 檢查是否所有智能體都done了 done all(dones_dict.values()) # 6. 周期結(jié)束更新網(wǎng)絡(luò)簡(jiǎn)化版實(shí)際應(yīng)用PPO等算法 update_high_level_policy(high_manager, high_optimizer) update_group_policy(explorer_policy, explorer_optimizer, groupexplorer) update_group_policy(transporter_policy, transporter_optimizer, grouptransporter)實(shí)操心得在實(shí)現(xiàn)時(shí)一個(gè)常見的坑是高層目標(biāo)與底層觀察的“語(yǔ)義對(duì)齊”。如果高層輸出一個(gè)抽象目標(biāo)如“攻擊”底層無(wú)法直接理解。我的經(jīng)驗(yàn)是在項(xiàng)目初期盡量將高層目標(biāo)設(shè)計(jì)為底層觀察空間可直接利用的數(shù)值形式比如目標(biāo)點(diǎn)的坐標(biāo)、需要達(dá)到的資源數(shù)量閾值等。等基礎(chǔ)協(xié)作跑通后再嘗試引入更抽象的目標(biāo)表示并通過(guò)一個(gè)額外的“目標(biāo)編碼器”網(wǎng)絡(luò)將其映射到底層可理解的向量。5. 調(diào)參心得與常見問(wèn)題排查HGPO框架涉及的超參數(shù)和組件較多調(diào)試起來(lái)比單一策略網(wǎng)絡(luò)復(fù)雜得多。以下是我在實(shí)驗(yàn)中總結(jié)的一些關(guān)鍵點(diǎn)和常見問(wèn)題。5.1 超參數(shù)敏感度分析高層決策周期C這是最重要的參數(shù)之一。C太小高層頻繁干預(yù)底層策略學(xué)習(xí)不穩(wěn)定且失去了分層意義C太大底層在過(guò)時(shí)的目標(biāo)下盲目行動(dòng)太久探索效率低。調(diào)試建議從一個(gè)中等值開始如底層時(shí)間步的10-20倍觀察高層目標(biāo)的價(jià)值函數(shù)是否能夠穩(wěn)定學(xué)習(xí)并上升。如果高層價(jià)值波動(dòng)劇烈嘗試增大C如果底層獎(jiǎng)勵(lì)長(zhǎng)期不見增長(zhǎng)嘗試減小C。組內(nèi)/組間獎(jiǎng)勵(lì)比例底層策略接收的獎(jiǎng)勵(lì)R_low通常是全局獎(jiǎng)勵(lì)R_global的一個(gè)縮放部分加上子目標(biāo)獎(jiǎng)勵(lì)R_subgoal。R_subgoal的權(quán)重需要仔細(xì)調(diào)整。權(quán)重過(guò)大底層可能過(guò)于“功利”只完成子目標(biāo)而損害全局合作權(quán)重過(guò)小分層引導(dǎo)作用減弱。調(diào)試建議初期可以給R_subgoal較高的權(quán)重甚至只用R_subgoal讓底層快速學(xué)會(huì)響應(yīng)高層指令。待基礎(chǔ)協(xié)作建立后逐步引入并提高R_global的權(quán)重讓策略向全局最優(yōu)對(duì)齊。注意力頭數(shù)與維度在組間協(xié)調(diào)器中注意力頭數(shù)num_heads和隱藏維度hidden_dim決定了模型的表達(dá)能力。對(duì)于小組數(shù)量少2-4組、組間關(guān)系相對(duì)固定的任務(wù)1-2個(gè)頭通常足夠。對(duì)于小組數(shù)量多、交互模式復(fù)雜的任務(wù)可以增加到4-8個(gè)頭。維度一般選擇64或128。5.2 典型問(wèn)題與解決方案問(wèn)題現(xiàn)象可能原因排查與解決思路高層策略不學(xué)習(xí)價(jià)值函數(shù)無(wú)變化1. 高層決策周期C過(guò)短或過(guò)長(zhǎng)。2. 高層動(dòng)作目標(biāo)空間設(shè)計(jì)不合理底層無(wú)法執(zhí)行或反饋稀疏。3. 高層獎(jiǎng)勵(lì)信號(hào)過(guò)于稀疏或延遲太大。1. 調(diào)整C并可視化高層動(dòng)作的分布看是否在有效探索。2. 簡(jiǎn)化高層動(dòng)作空間確保每個(gè)目標(biāo)都能被底層觀察并產(chǎn)生明確的子目標(biāo)獎(jiǎng)勵(lì)。3. 為高層設(shè)計(jì)更密集的中間獎(jiǎng)勵(lì)例如基于子目標(biāo)完成進(jìn)度的獎(jiǎng)勵(lì)。底層策略忽視高層目標(biāo)1. 子目標(biāo)獎(jiǎng)勵(lì)R_subgoal權(quán)重太低。2. 高層目標(biāo)在底層策略網(wǎng)絡(luò)的輸入中未被有效利用。3. 底層策略能力不足網(wǎng)絡(luò)太小無(wú)法同時(shí)處理觀察和目標(biāo)。1. 增大R_subgoal的權(quán)重或在一段時(shí)間內(nèi)只使用R_subgoal進(jìn)行訓(xùn)練。2. 檢查網(wǎng)絡(luò)輸入拼接是否正確嘗試對(duì)高層目標(biāo)進(jìn)行單獨(dú)的編碼處理后再拼接。3. 增大底層策略網(wǎng)絡(luò)的容量。組間注意力機(jī)制失效所有注意力權(quán)重均勻1. 注意力輸入的組狀態(tài)特征區(qū)分度不夠。2. 注意力網(wǎng)絡(luò)未得到有效訓(xùn)練梯度消失或爆炸。3. 任務(wù)本身不需要強(qiáng)的組間協(xié)調(diào)。1. 改進(jìn)組狀態(tài)的特征提取加入更多與協(xié)作相關(guān)的信息如距離、任務(wù)狀態(tài)。2. 檢查注意力層的梯度使用梯度裁剪適當(dāng)降低學(xué)習(xí)率。3. 可以暫時(shí)禁用注意力機(jī)制觀察性能是否下降以驗(yàn)證其必要性。訓(xùn)練不穩(wěn)定獎(jiǎng)勵(lì)曲線震蕩劇烈1. 不同層級(jí)策略的學(xué)習(xí)率不匹配。2. 經(jīng)驗(yàn)回放緩存中不同層級(jí)的數(shù)據(jù)混合導(dǎo)致干擾。3. 探索噪聲設(shè)置過(guò)大。1. 通常高層策略的學(xué)習(xí)率應(yīng)低于底層策略例如1e-4 vs 3e-4。2. 為高層和底層策略使用獨(dú)立的經(jīng)驗(yàn)回放緩存。3. 采用退火策略隨著訓(xùn)練逐步減小動(dòng)作噪聲或熵正則項(xiàng)的系數(shù)。智能體出現(xiàn)“懶惰”行為某個(gè)組不活躍1. 該組的子目標(biāo)獎(jiǎng)勵(lì)設(shè)計(jì)有缺陷太難或太易獲得。2. 組間資源分配不公例如探索組永遠(yuǎn)找不到寶藏導(dǎo)致運(yùn)輸組無(wú)事可做。3. 策略陷入局部最優(yōu)。1. 重新設(shè)計(jì)該組的子目標(biāo)獎(jiǎng)勵(lì)確保其具有可學(xué)習(xí)性。2. 檢查高層目標(biāo)生成是否均衡或者引入一些機(jī)制促使高層給“閑置”組分配任務(wù)。3. 增加該組策略的探索力度或嘗試課程學(xué)習(xí)從簡(jiǎn)單任務(wù)開始。5.3 性能評(píng)估與調(diào)試技巧分層可視化這是調(diào)試HGPO最重要的手段。不僅要看全局獎(jiǎng)勵(lì)曲線更要分開看高層價(jià)值曲線反映戰(zhàn)略規(guī)劃的有效性。各組子目標(biāo)完成率反映底層執(zhí)行效率。注意力權(quán)重?zé)崃D觀察組間關(guān)注模式是否合理。高層目標(biāo)分布圖看高層是否在探索不同的指令。消融實(shí)驗(yàn)為了證明HGPO中每個(gè)組件的有效性務(wù)必進(jìn)行消融實(shí)驗(yàn)無(wú)分組所有智能體使用同一個(gè)扁平策略。無(wú)分層有分組但只有一層策略即組策略直接輸出動(dòng)作沒有高層管理器。無(wú)注意力有分組和分層但組間協(xié)調(diào)使用平均池化或全連接而非注意力。 對(duì)比這些變體與完整HGPO的性能能清晰展示每個(gè)模塊的貢獻(xiàn)。課程學(xué)習(xí)啟動(dòng)對(duì)于復(fù)雜的長(zhǎng)視野任務(wù)直接訓(xùn)練完整的HGPO可能很困難。可以從簡(jiǎn)化環(huán)境開始如更少智能體、更小地圖、更密集獎(jiǎng)勵(lì)讓智能體先學(xué)會(huì)基礎(chǔ)的分工和分層控制再逐步增加難度遷移到完整任務(wù)中。實(shí)現(xiàn)一個(gè)有效的Hierarchy-of-Groups Policy Optimization系統(tǒng)確實(shí)比訓(xùn)練一個(gè)普通的策略網(wǎng)絡(luò)要費(fèi)時(shí)費(fèi)力它涉及到多層策略的耦合、不同時(shí)間尺度的信號(hào)傳遞以及組間動(dòng)態(tài)關(guān)系的建模。然而一旦調(diào)通它在解決復(fù)雜、長(zhǎng)視野的多智能體任務(wù)上展現(xiàn)出的規(guī)劃能力和協(xié)作效率是傳統(tǒng)扁平化方法難以比擬的。這個(gè)過(guò)程就像在編寫一個(gè)能夠自我進(jìn)化的組織管理程序看著智能體們從一團(tuán)混亂逐漸學(xué)會(huì)各司其職、協(xié)同作戰(zhàn)其中的挑戰(zhàn)和樂趣正是強(qiáng)化學(xué)習(xí)研究的魅力所在。