1. 從一次微調(diào)翻車說起Agent場景下SFT為什么不夠用了前幾天我往項目里加Agent能力模型要能自己決定調(diào)哪個工具、傳什么參數(shù)、看結(jié)果之后決定下一步做什么。一開始我很天真想著這不就是指令跟隨的升級版嗎把工具調(diào)用的輸入輸出整理成對話樣本跑一輪SFT就完事。結(jié)果模型確實學會了輸出“調(diào)用搜索工具”這幾個字但參數(shù)經(jīng)常傳錯搜索完拿到結(jié)果之后完全不知道該怎么用有時候甚至在一個死循環(huán)里反復調(diào)同一個接口失敗一次就再來一次像是被困住了一樣。這個現(xiàn)象逼著我重新審視一個基礎問題我們平時說的SFT在Agent場景下到底在訓練什么傳統(tǒng)SFT的樣本長這樣用戶問“北京的天氣怎么樣”模型答“北京今天晴22度”。一個輸入一個輸出答案就結(jié)束了。但在Agent場景里一個樣本是一條完整的軌跡用戶提出目標模型決定先搜索搜索返回結(jié)果模型分析結(jié)果發(fā)現(xiàn)不夠還要再調(diào)用一個天氣API拿到數(shù)據(jù)后匯總出最終答案。中間每一步都是決策每一步都可能錯而且錯誤會像滾雪球一樣累積到最終結(jié)果里。所以Agentic SFT給我的第一課就是它是監(jiān)督微調(diào)但監(jiān)督的不再是“最終的答案”而是“達成答案的整條決策路徑”。我們要教模型的不只是“該說什么”更是“該在什么時候做什么、做完之后怎么看結(jié)果、結(jié)果不對勁怎么改”。這篇文章就是我目前對這個話題的全部認知積累持續(xù)迭代持續(xù)記錄。我盡量寫得直白一點把我踩過的坑、觀察到的現(xiàn)象、還沒想明白的問題都說清楚。適合正在做Agent微調(diào)、或者準備把模型從“對話模型”改造成“干活模型”的同行參考。2. Agentic SFT到底在“學”什么從單輪問答到多步?jīng)Q策2.1 輸出空間的變化模型從“寫答案”變成“做決策”傳統(tǒng)SFT的核心假設是給定輸入最優(yōu)輸出是唯一的或者至少是高度確定的。SFT要做的就是讓模型去擬合這些輸入輸出對學一個從指令到回復的映射。Agentic SFT徹底打破了這一點。模型的輸出不再是一段最終回復而是一個行動序列。它先要判斷“我現(xiàn)在要不要調(diào)用工具”然后決定“調(diào)哪個工具”再生成“符合接口規(guī)范的參數(shù)”接著閱讀“工具返回結(jié)果”最后綜合所有信息繼續(xù)下一步。這本質(zhì)上是一個決策過程而不僅僅是文本生成過程。舉個例子一個典型的Agent軌跡樣本里模型輸出通常長這樣{ thought: 用戶想知道A股大盤走勢我需要先獲取指數(shù)數(shù)據(jù), action: call_tool, tool_name: get_stock_index, params: {index: sh000001, period: today} }關鍵在于模型要把“調(diào)用工具”這件事當成一種正常的文本輸出。它并不真的去調(diào)用任何東西它只是在“生成”一段符合工具接口協(xié)議的結(jié)構(gòu)化文本然后由外層框架去實際執(zhí)行。這就有意思了我們訓練的目標本質(zhì)上是讓模型學會“說人話”之外的另一種語言——工具協(xié)議語言。這就帶來一個直接后果SFT的數(shù)據(jù)不能再是簡單的“問題-答案”對而必須是“目標-行動-觀察-決策”的完整閉環(huán)。少了任何一環(huán)模型都學不會真正的Agent行為。2.2 監(jiān)督信號的粒度每一小步都要單獨負責傳統(tǒng)SFT里一個樣本只有一個監(jiān)督信號就是最終答案。哪怕模型在中間推理時胡說八道只要最后答案對了loss就是小的。但Agent場景不一樣錯誤會傳導。我后來在訓練里用了“逐點監(jiān)督”per-step supervision的思路對軌跡里的每一步分別計算loss而不是只在最終答案上算loss。具體來說一條軌跡可以拆成多個訓練單元單元一用戶說目標期望模型輸出“思考調(diào)用工具A”單元二工具A返回結(jié)果期望模型輸出“分析結(jié)果調(diào)用工具B”單元三工具B返回結(jié)果期望模型輸出“匯總最終答案”每一步都是獨立的監(jiān)督目標。這樣做的好處是哪怕最終答案因為外部工具的不確定性失敗了模型也能學到“在這個狀態(tài)下正確的下一步應該是做什么”。這在Agent場景里非常重要因為工具執(zhí)行可能失敗但模型對于“該調(diào)用哪個工具”的判斷仍然是有監(jiān)督價值的。2.3 為什么說“會背答案”不等于“會用工具”剛跑完第一輪Agentic SFT的時候我測了幾個訓練集里的用例表現(xiàn)非常好工具調(diào)用規(guī)范、參數(shù)準確、多步規(guī)劃也有模有樣。但換到全新的任務上立馬露餡。后來我意識到一個本質(zhì)問題模型在傳統(tǒng)SFT里學了太多“從問題直接到答案”的捷徑。對Chat模型來說這是優(yōu)點因為它能高效回答。但對Agent來說這個先驗反而是阻力。模型傾向于自以為是地直接輸出答案而不是先想一想“我需要哪些信息、哪些信息我沒有、我需要調(diào)用什么工具來獲取”。我一度以為是數(shù)據(jù)量不夠加了幾千條樣例之后問題依然存在。直到我對比了訓練集和評測集的分布才發(fā)現(xiàn)模型學到的是“看到相似的問法就模仿相似的軌跡”它并沒有真正學到“工具調(diào)用是一個為了彌補自身知識不足而采取的手段”。這個認知讓我后來在設計數(shù)據(jù)時刻意加入了大量“模型不調(diào)用工具就會答錯”的樣例逼迫模型學會依賴工具。效果有提升但離真正的泛化還有距離。3. 數(shù)據(jù)為王Agentic SFT的訓練數(shù)據(jù)到底怎么造3.1 軌跡數(shù)據(jù)的三種形態(tài)Agentic SFT的數(shù)據(jù)不是天上掉下來的。目前常見的獲取方式有三種我分別試過感受很不一樣。第一種人工構(gòu)造軌跡。找?guī)讉€核心業(yè)務場景自己模擬Agent的行為手工寫完整的多輪軌跡。優(yōu)點是質(zhì)量可控每條數(shù)據(jù)都符合我們想要的Agent行為范式缺點也明顯慢、貴、覆蓋場景有限。適合冷啟動不適合撐起大規(guī)模訓練。第二種從真實系統(tǒng)日志里扒軌跡。如果你的Agent已經(jīng)上線跑了一段時間日志里本身就是大量真實軌跡。把這部分日志清洗、過濾挑出高質(zhì)量的會話記錄下來直接當作訓練數(shù)據(jù)。這個數(shù)據(jù)源最貼近真實分布但問題在于日志里優(yōu)質(zhì)軌跡的比例往往不高需要大量過濾和重寫。而且日志里很多軌跡是帶有外部狀態(tài)依賴的清洗的時候要額外小心。第三種用更強的模型蒸餾。把任務描述扔給一個能力更強的模型讓它扮演Agent生成軌跡然后拿這些軌跡來訓練小模型。這是目前實踐中最常用、也最容易規(guī)?；囊粭l路。但本質(zhì)上蒸餾是在“壓縮教師模型的行為模式”如果教師模型本身就是錯的學生模型只會錯得更穩(wěn)定。3.2 數(shù)據(jù)里的信號密度比總量更重要的事我在實驗里發(fā)現(xiàn)一個反直覺的結(jié)論Agentic SFT的數(shù)據(jù)量提升帶來的收益會迅速進入平臺期但數(shù)據(jù)里的“信號密度”卻始終顯著影響效果。什么叫信號密度就是一條軌跡里包含的“關鍵決策點”的數(shù)量和多樣性。同樣是3000條數(shù)據(jù)如果每條都只有一個工具調(diào)用、一個觀察、一個最終答案模型能學到的東西非常有限。但如果里面有大量需要三次以上工具調(diào)用、或者中間出現(xiàn)工具失敗和恢復的軌跡模型的Agent能力會有質(zhì)的提升。所以我后來造數(shù)據(jù)時重點盯這幾個信號多步依賴第二個工具的調(diào)用參數(shù)依賴第一個工具的輸出而不是獨立的兩次調(diào)用拼在一起。這類數(shù)據(jù)教會模型“信息流轉(zhuǎn)”。失敗恢復工具返回了錯誤碼模型需要判斷是換參數(shù)重試還是換工具。這類數(shù)據(jù)教會模型“容錯”。中途改計劃拿到工具返回后發(fā)現(xiàn)和最初的設想不一致模型需要基于新信息調(diào)整后續(xù)步驟。這類數(shù)據(jù)教會模型“plan revision”。拒絕調(diào)用的場景用戶問了一個模型已能回答的問題期望模型直接回答而不是非要去調(diào)工具。這類數(shù)據(jù)教會模型“何時不應該調(diào)用工具”。最后這一點經(jīng)常被忽略。很多團隊造數(shù)據(jù)時無限強調(diào)工具調(diào)用結(jié)果模型變成了一個“調(diào)用工具強迫癥”連“今天星期幾”這種問題都要先調(diào)一下日歷API再回答。效率和成本都繃不住。3.3 構(gòu)造數(shù)據(jù)時我用到的具體配方以我目前在做的客服Agent為例我整理了一套比較實用的數(shù)據(jù)構(gòu)造流程從歷史工單里挑出100個高頻場景作為數(shù)據(jù)構(gòu)造的“骨架”對每個場景設計2到3種不同路徑一條最短路徑、一條帶糾錯的路徑、一條需要換工具的路徑人工編寫前50條作為質(zhì)量錨點確保風格一致把剩余場景交給教師模型批量蒸餾生成后逐條人工審核在最終數(shù)據(jù)集里控制比例多步軌跡不低于40%失敗恢復軌跡不低于20%單步軌跡控制在30%以下所有工具調(diào)用的參數(shù)值都做隨機池化防止模型過擬合具體的參數(shù)字面量這套流程跑下來的數(shù)據(jù)集規(guī)模也就一萬多條但訓練出來的Agent在評測集上的表現(xiàn)比我之前用五萬條粗糙數(shù)據(jù)訓練出來的結(jié)果要好不少。信號密度確實比總量更重要。4. 訓練細節(jié)里藏著魔鬼Loss設計與序列建模的取舍4.1 不是所有token都值得同等的監(jiān)督第一版訓練我直接把整條對話歷史拼成一個序列當成普通SFT去fine-tune了。結(jié)果是loss掉得很漂亮但模型行為完全不對。后來我才意識到在Agent軌跡里不同類型的文本監(jiān)督價值完全不同。用戶指令、工具返回結(jié)果、歷史觀察記錄——這些是模型需要“閱讀”的上下文不應該參與loss計算。模型真正需要學習生成的是它的思考、工具調(diào)用指令和最終回復。如果這部分輸入文本也參與了loss模型會把大量容量浪費在“模仿工具返回格式”這種無用功上真正要被訓練的部分反而被稀釋了。所以第一件事就是加mask。在訓練時把用戶消息、工具返回、系統(tǒng)提示這些部分全部mask掉只對模型自身生成的token計算loss。def build_agent_sample(conversation): conversation: List[Dict], 每條記錄包含 role 和 content role 包括 system / user / assistant / tool_result 只對 assistant 的文本計算 loss其余部分 masked input_ids, labels [], [] for msg in conversation: tokens tokenizer.encode(msg[content]) input_ids.extend(tokens) if msg[role] assistant: labels.extend(tokens) # 參與 loss else: labels.extend([-100] * len(tokens)) # 不參與 loss return input_ids, labels4.2 對“動作關鍵幀”施加更高的權(quán)重即使是在assistant生成的文本內(nèi)部不同內(nèi)容的重要性也不一樣。思考過程是軟性的就算措辭不太對意思到了就行。但工具調(diào)用的參數(shù)是硬性的參數(shù)值一旦錯了后面全盤崩潰。我在實驗里做過一個調(diào)整對工具調(diào)用相關的token特別是參數(shù)值、函數(shù)名額外提高loss權(quán)重比如乘以2.0。這樣模型會把更多學習容量分配到“準確生成工具指令”這個關鍵行為上。從效果來看工具調(diào)用的格式正確率有明顯提升而思考部分的質(zhì)量并沒有因此變差。順帶說一句有人會糾結(jié)要不要給“思考”部分也降低權(quán)重我覺得不用太極端。思考措辭的質(zhì)量高低對后續(xù)行為的影響是隱性的保持正常的訓練權(quán)重即可重點還是要把工具調(diào)用部分突出出來。4.3 序列打包的細節(jié)坑Agent軌跡天然比普通對話要長。一條多輪工具調(diào)用軌跡算上所有工具返回結(jié)果動輒三四千token。訓練時如果處理不當會遇到兩個典型問題。第一個問題是超長序列截斷。粗暴截斷會把中間的決策上下文切斷模型看到的是前后文不搭的輸入能學到個啥。我的做法是滑動窗口切分把長軌跡切成多個有重疊的窗口保證每個窗口里都至少包含一個完整的工具調(diào)用決策段。第二個問題是短軌跡拼接。為了提升訓練效率很多框架會把多段短文本packing到一起。但如果packing不當可能會導致模型跨樣本學習本來不相干的兩段軌跡被模型強行關聯(lián)。我的處理方式是在packing時加入分隔符并在計算attention時把跨樣本的部分mask掉。如果框架不支持這種mask就干脆不packing單條樣本訓練雖然慢一點但穩(wěn)。4.4 超參數(shù)配置的一個參考基準我目前的Agentic SFT跑得比較順的超參配置大致是這樣的超參數(shù)值說明基礎學習率5e-6Agent軌跡訓練容易過擬合務必用低學習率warmup比例3%太少容易前期震蕩太多會拖慢收斂epoch2超過2輪loss還在降但評測效果開始倒退batch size32每條樣本較長顯存受限時先用梯度累積工具調(diào)用token權(quán)重2.0突出關鍵動作幀對話歷史mask開啟輸入側(cè)全部不限參與loss這個配置不一定通用但可以作為起步基準。我個人強烈建議從低學習率開始因為Agent軌跡數(shù)據(jù)通常是高度重復的同樣的工具調(diào)用格式會反復出現(xiàn)學習率稍微高一點模型就會開始原地打轉(zhuǎn)訓練集上的行為非常華麗測試集上一塌糊涂。5. 評測Agentic SFT只看成功率遠遠不夠5.1 你測的到底是“模型的能力”還是“任務的運氣”我一開始評測Agent效果就盯著一個指標端到端任務成功率。后來發(fā)現(xiàn)這個指標單獨看非常騙人。舉一個具體的現(xiàn)象。給模型布置一個“查詢訂單狀態(tài)”的任務如果最終答對了我以為是Agent能力好。但翻日志發(fā)現(xiàn)模型第一次調(diào)工具就把訂單ID傳錯了工具返回錯誤模型居然把錯誤信息原樣搬進了最終回復里而用戶恰好能從那段錯誤信息里看到訂單狀態(tài)——外部工具的錯誤返回“湊巧”包含了正確信息。這種情況下標注“成功”會嚴重高估模型的真實Agent能力。所以我現(xiàn)在評測時把成功率拆成多個維度來觀察格式合規(guī)率模型輸出的工具調(diào)用是否符合接口規(guī)范是不是每次都能解析出合法的工具名和參數(shù)動作正確率在當前狀態(tài)下模型選擇的工具是否是合理的工具參數(shù)是否準確地表達了用戶意圖信息利用率模型在生成最終回復時是否真的用上了工具返回結(jié)果中的關鍵字段失敗恢復率工具調(diào)用失敗后模型是選擇了合理的重試/替代方案還是直接擺爛最終任務成功率整個流程最終是否解決了問題只有這五個指標一起看才能定位所謂的“成功”到底靠的是模型能力還是運氣。5.2 構(gòu)建評測集的坑不要讓訓練數(shù)據(jù)污染評測結(jié)果這個坑我印象太深了。有一次我從同樣的業(yè)務場景里分別抽訓練集和評測集只是換了些具體的參數(shù)值、改了點措辭結(jié)果評測效果出奇地好。后來我把訓練集和評測集的語義相似度算了一下發(fā)現(xiàn)好多評測用例和訓練用例重疊度很高模型根本就是在模擬訓練數(shù)據(jù)里的軌跡評測效果自然虛高。正確的做法是評測場景必須和訓練場景在任務類型、工具組合、交互模式上有可見的差異。如果訓練時只見過搜索類工具的調(diào)用評測時就應該補充一些調(diào)用計算器、調(diào)用數(shù)據(jù)庫查詢接口的場景。另外不要用同一個Agent框架里的同一條軌跡生成器既產(chǎn)訓練數(shù)據(jù)又產(chǎn)評測數(shù)據(jù)否則模型的“軌跡模仿”能力會被誤認為Agent規(guī)劃能力。5.3 一個更細的做法行為軌跡對齊我現(xiàn)在在嘗試一種更細的評測方案不再只看結(jié)果而是把模型在評測任務里的完整軌跡和標注人員預寫的“專家軌跡”做對齊。對齊的計算方式是序列級別的編輯距離看模型需要多少步增刪改才能走到專家軌跡的路徑上。這個指標的好處是能區(qū)分兩種看似相同的結(jié)果一種是模型直接完成任務的路徑和專家路徑一致另一種是模型繞了一大圈、東錯西錯、最后碰巧完成。兩者的編輯距離差異非常大。前者才是我們想要的行為模式后者說明Agent決策質(zhì)量還有很大問題。不過在實操中要小心一個點Agent任務通常有多條合理路徑專家軌跡不能只有一條。我現(xiàn)在的做法是每條評測任務預寫2到3條不同類型的合理路徑只要模型的軌跡和其中任何一條的編輯距離較小就認為該步行為合理。6. Agentic SFT和Agentic RAG訓練與檢索的分工邊界6.1 Agentic RAG是什么“Agentic RAG”最近被討論得很多簡單說就是讓模型自主決定何時檢索、檢索什么、從哪個來源檢索而不是像傳統(tǒng)RAG那樣在每條用戶請求前面都無腦做一次向量檢索。區(qū)別于傳統(tǒng)RAG的“固定流程”Agentic RAG是模型根據(jù)問題判斷“現(xiàn)在有沒有足夠信息來回答”沒有就去檢索檢索結(jié)果不夠再檢索一輪直到信息充足為止。我在實踐中的體會是Agentic RAG里的“Agentic決策”能力恰好就是Agentic SFT需要訓練的那部分能力。SFT負責把“在信息不足時主動檢索”這件事變成模型的固有能力RAG負責提供檢索的基礎設施和知識來源。6.2 SFT和RAG的同與不同能力底座與外部知識的邊界有人可能會覺得既然有了RAG模型不需要再通過SFT去學“事實知識”SFT就沒那么重要了。這個觀點對傳統(tǒng)RAG場景有一定道理但對Agent場景完全行不通。需要想清楚一個分工RAG解決的是“知識從哪里來”SFT解決的是“模型如何組織行動”。即使查詢都用RAG來做模型依然需要通過SFT學會“如何格式化一個檢索查詢”“如何判斷當前檢索結(jié)果是否足夠”“如何在檢索結(jié)果不足時換一種查詢思路”。這些行為模式不是RAG組件能給的而是模型自身需要具備的能力。我做過一個對比實驗在完全相同的RAG檢索鏈路下分別用普通SFT模型和Agentic SFT模型作為控制器前者的檢索行為非常僵化只會在固定的字段位置做一次檢索而后者的多輪檢索成功率有明顯提升。所以SFT和RAG不是替代關系而是底座和插槽的關系。SFT先把“會檢索”的能力訓練出來RAG再把這個能力接到真正的知識源上。6.3 組合使用時的訓練建議我在把SFT和RAG組合到同一個Agent系統(tǒng)里的時候有幾個心得。第一Agentic SFT訓練時不要脫離檢索工具去造數(shù)據(jù)。有些團隊為了簡化訓練把RAG檢索封裝成一個純文本輸入輸出的黑盒接口只在接口里塞一段檢索結(jié)果。這樣訓練出來的模型對“檢索結(jié)果可能不完整”“檢索結(jié)果需要二次加工”這類真實狀態(tài)缺乏感知。建議訓練數(shù)據(jù)里的工具返回內(nèi)容盡量保留真實檢索系統(tǒng)可能產(chǎn)生的不完美狀態(tài)比如返回空結(jié)果、返回低相關片段、返回超時錯誤讓模型見到真實世界的噪聲。第二RAG的檢索策略本身也需要SFT數(shù)據(jù)來覆蓋。我的數(shù)據(jù)里專門有一類樣本觸發(fā)場景是“第一輪檢索結(jié)果太泛、沒有命中具體信息”期望模型的行為是“基于第一次的結(jié)果改寫檢索詞進行第二輪更精確的檢索”。這類行為模型靠提示詞也能寫出來但提示詞控制不穩(wěn)定的情況很多把它作為SFT訓練樣本的效果穩(wěn)定得多。第三注意控制“檢索過快”的行為。我在評測時發(fā)現(xiàn)經(jīng)過Agentic SFT訓練的模型有一種傾向是太容易觸發(fā)RAG檢索什么都想查一下。原因很簡單訓練數(shù)據(jù)里檢索的密度太高了模型的先驗變成“看到任務就先檢索”。所以現(xiàn)在造數(shù)據(jù)時我會刻意加入一批“直接回答才是最優(yōu)策略”的樣本告訴模型有些問題是可以用自身知識直接回答的。7. 踩坑實錄四類典型翻車場景的排查鏈路7.1 翻車一SFT之后模型變“笨”了這是很多做Agent微調(diào)的人都會遇到的事通用能力跑到Agent能力然后模型在通用任務上明顯退步。我排查下來的原因有兩個方向。第一個方向是數(shù)據(jù)配比失衡。Agentic SFT數(shù)據(jù)量過大壓縮了通用數(shù)據(jù)的比例模型把所有容量都花在了擬合工具調(diào)用上把原先學會的推理、寫作、常識問答技巧沖淡了。解決思路是控制Agentic SFT訓練數(shù)據(jù)的配比上限并在訓練時混合一批高質(zhì)量通用指令數(shù)據(jù)。我的做法是7比3的比例七成Agent軌跡數(shù)據(jù)、三成通用對話數(shù)據(jù)能壓住退化又不影響Agent能力的學習。第二個方向是學習率過高。Agent軌跡里工具調(diào)用格式是高度重復的高學習率會在極短的步數(shù)內(nèi)把“工具調(diào)用”的模式刻進模型同時把其他能力全部覆蓋掉。把學習率降到5e-6甚至更低之后退化現(xiàn)象會明顯緩解。建議每次微調(diào)前先拿極小的驗證集跑一個50步的實驗觀察通用能力在訓練過程中的變化曲線再做全量訓練。7.2 翻車二工具調(diào)用格式像“家族遺傳病”一個讓我很頭疼的現(xiàn)象當訓練數(shù)據(jù)里的工具調(diào)用格式統(tǒng)一為“調(diào)用某個搜索API后將結(jié)果紋絲不動粘貼到回答中”時模型學到的是“工具調(diào)用就是為了照抄結(jié)果”。換了業(yè)務場景之后模型的格式完全混亂甚至在沒有任何工具定義的場景里也隨機輸出一段形似工具調(diào)用的文本。排查下來問題出在訓練數(shù)據(jù)缺乏“對工具結(jié)果做分析”的樣本。模型只見過“調(diào)用后原樣搬運結(jié)果”沒學過“調(diào)用之后結(jié)合自身理解重新組織答案”。解決方法是造數(shù)據(jù)時在同一批訓練集里增加一類樣本其目標行動是“閱讀工具返回結(jié)果后提煉關鍵信息忽略無關字段再整合生成回答”。這類數(shù)據(jù)能教會模型將工具當作信息來源而不是當作復制粘貼的對象。7.3 翻車三Loss在降評測不動懷疑人生有一段時間我的訓練loss曲線非常漂亮但評測集上的成功率一點沒變。后來我把模型在評測集上的輸出數(shù)據(jù)和訓練集數(shù)據(jù)做了一個序列相似度對比發(fā)現(xiàn)模型的高頻輸出軌跡和訓練集里的若干條軌跡高度雷同。這個現(xiàn)象的本質(zhì)是模型把“高頻軌跡”背下來了而不是把“決策規(guī)則”學會了。尤其在數(shù)據(jù)量不多、軌跡模式單一的情況下模型很容易把訓練集里有代表性的一條軌跡當成標準答案背下來。于是換一個場景就崩。解決方法是擴充軌跡多樣性。造數(shù)據(jù)時同一個任務多寫幾條完全不同的合理路徑訓練時每條軌跡做參數(shù)隨機化讓相同語義的表達有不同的措辭。這些手段都能有效壓縮模型“背軌跡”的空間逼它抽象出通用的決策規(guī)則。7.4 翻車四多輪對話里的上下文污染Agent系統(tǒng)通常要維護多輪對話歷史。微調(diào)時如果沒有設計好跨輪樣本模型很容易被前幾輪會話里的工具調(diào)用歷史干擾導致行為漂移。我遇到的具體問題是第二輪的對話里模型不該去訪問一個只和第一輪相關的工具但它還是去了。因為訓練數(shù)據(jù)里很多樣本是從一條完整軌跡直接切出來的而切分后的第二條樣本的對話歷史里還殘留著第一輪的“大量工具調(diào)用痕跡”模型就把“看到工具就調(diào)用”的錯誤規(guī)則學回去了。解決方法是構(gòu)造訓練樣本時明確區(qū)分“當前任務的目標工具集”和“歷史會話中已經(jīng)用過的工具集”。我給每條樣本標注了哪些工具在當前輪次是可用的哪些是歷史遺留的不可用工具并刻意構(gòu)造一些“歷史工具調(diào)用記錄和當前目標沖突”的場景。這樣模型才能在真實的多輪環(huán)境中學會正確判斷上下文邊界。8. 持續(xù)記錄的下一步方向目前這套Agentic SFT流程已經(jīng)在我的兩個項目里跑通了效果穩(wěn)定但遠談不上終極方案。我還沒想明白但準備接下來重點實驗的問題還有幾個一個是“軌跡長度對泛化的影響”?，F(xiàn)有數(shù)據(jù)里決策步數(shù)大多在3到8步之間如果任務需要12步以上的長程決策模型表現(xiàn)依舊不穩(wěn)定。我在考慮是否要構(gòu)造更長鏈條的數(shù)據(jù)但長軌跡不僅標注成本高訓練時也更容易被前面的決策錯誤帶偏需要單獨設計對“偏離修正”的監(jiān)督方式。另一個是“外部狀態(tài)是否應該作為模型輸入的一部分”。比如工具返回的實時數(shù)據(jù)、當前時間、用戶所在城市這些外部狀態(tài)變量在訓練數(shù)據(jù)里很多時候是缺位的真實部署時又必需。把外部狀態(tài)注入訓練樣本理論上能提升模型的泛化能力但具體以什么格式注入、注入哪些狀態(tài)、狀態(tài)缺失時怎么辦我還在摸索。還要想的是“如何讓SFT和強化學習階段配合得更好”。SFT訓練出來的Agent決策穩(wěn)定性直接影響后續(xù)RL階段的探索效率。目前我的思路是把SFT階段做“保守訓練”只教會模型做出正確決策的最低必要能力把更激進的探索空間留給RL。但這個邊界到底劃在哪里還需要更多實驗來驗證。這次關于Agentic SFT的記錄就先寫到這里。