DPO 這個名字最近兩年在模型對齊方向火得不行做 LLM 微調(diào)的人多少都會碰到。如果你已經(jīng)跑通了監(jiān)督微調(diào)開始接觸 RLHF、人類偏好對齊這些東西那 DPODirect Preference Optimization直接偏好優(yōu)化幾乎就是繞不開的一道坎。它的核心賣點(diǎn)非常直接不需要訓(xùn)練獎勵模型不需要復(fù)雜的強(qiáng)化學(xué)習(xí)采樣循環(huán)只用一條偏好數(shù)據(jù)對就能把模型對齊到人類偏好上。我最初看到這個思路也覺得有點(diǎn)反直覺——不建獎勵模型怎么優(yōu)化但當(dāng)你真正把代碼跑起來把損失函數(shù)拆開看一遍就會發(fā)現(xiàn)它的設(shè)計(jì)其實(shí)非常干凈。這篇博文不會去講太多學(xué)術(shù)公式推導(dǎo)而是從一份極簡教學(xué) Demo 的角度把 DPO 從原理到代碼實(shí)現(xiàn)完整捋一遍。適合兩類人一是剛了解 RLHF、想知道 DPO 到底在做什么的入門者二是已經(jīng)能跑通 SFT但對著 DPO 訓(xùn)練腳本不知道怎么改、踩了不少坑的實(shí)踐者。我會把 Demo 里每一段關(guān)鍵代碼的意圖、損失函數(shù)為什么長這樣、超參數(shù)怎么選連同我在實(shí)際訓(xùn)練中遇到的典型問題全部寫出來希望能幫你少走一些彎路。1. 整體設(shè)計(jì)思路DPO 為什么值得上手1.1 傳統(tǒng) RLHF 的復(fù)雜鏈路與 DPO 的化繁為簡在聊 DPO 的代碼之前得先搞清楚它到底解決了什么問題。傳統(tǒng)的 RLHF 鏈路是四步走先拿人類偏好數(shù)據(jù)訓(xùn)練一個獎勵模型再凍結(jié)基座模型、加載一個待優(yōu)化的策略模型然后用強(qiáng)化學(xué)習(xí)算法最常見的是 PPO去讓策略模型在獎勵模型的打分下不斷提升。這個鏈路有兩個難點(diǎn)讓人很頭疼第一獎勵模型本身要單獨(dú)訓(xùn)練、單獨(dú)調(diào)參它的質(zhì)量直接決定后續(xù)強(qiáng)化學(xué)習(xí)的上限第二PPO 的在線采樣、優(yōu)勢估計(jì)、價(jià)值網(wǎng)絡(luò)這些組件非常重訓(xùn)練不穩(wěn)定是常態(tài)動不動就崩連很多做過多年 RL 的人都覺得麻煩。DPO 的核心洞察在于它把“獎勵模型”和“策略優(yōu)化”這兩件事合并了。具體來說DPO 利用了一個數(shù)學(xué)上的等價(jià)關(guān)系——在 KL 約束下最優(yōu)策略和獎勵函數(shù)之間可以互相轉(zhuǎn)換。也就是說我們可以不顯式訓(xùn)練獎勵模型而是直接把這個最優(yōu)策略下的隱式獎勵表達(dá)式代入 Bradley-Terry 偏好模型中最終得到一個只依賴策略模型和參考模型的簡單損失函數(shù)。這個損失用一行代碼就能寫完訓(xùn)練過程和普通的交叉熵微調(diào)幾乎一樣簡單。這也是為什么 DPO 發(fā)布之后很快就被大量采用——性能上能對標(biāo)甚至超過傳統(tǒng) RLHF但工程復(fù)雜度低了一個量級。1.2 Demo 代碼的定位教學(xué)優(yōu)先于性能我們這份極簡教學(xué) Demo目標(biāo)不是刷排行榜而是把 DPO 的核心機(jī)制完整跑通。所以它的設(shè)計(jì)會有幾個明確取舍不使用分布式訓(xùn)練不使用大模型甚至連 LoRA 我都不打算直接套現(xiàn)成的訓(xùn)練庫而是用最原始的 PyTorch 代碼把訓(xùn)練循環(huán)寫出來。這樣做有好處你能看到每一個張量的形狀、每一步梯度是怎么回傳的、損失函數(shù)里每一項(xiàng)在算什么。當(dāng)你真正理解了這個最簡版本再去上 Hugging Face 的 TRL 庫或者使用各種大模型訓(xùn)練框架就只是換個 API 的問題底層思想是一樣的。Demo 的完整流程大概是這樣準(zhǔn)備一組偏好數(shù)據(jù)每條數(shù)據(jù)包含一個問題、一個被偏好的回答 chosen、一個不被偏好的回答 rejected加載一個預(yù)訓(xùn)練模型作為 policy model同時(shí)復(fù)制一份凍結(jié)參數(shù)作為 reference model然后計(jì)算兩條回答在 policy model 和 reference model 下的對數(shù)概率帶入 DPO 損失做常規(guī)的反向傳播。整個過程不采樣、不強(qiáng)化、不更新參考模型思路非常線性。我之前自己復(fù)現(xiàn)這個流程時(shí)最大的感受是DPO 的代碼框架比 RLHF 簡單太多但數(shù)據(jù)質(zhì)量的影響會被放大很多。因?yàn)檎麄€訓(xùn)練信號完全來自偏好之間的對比如果偏好數(shù)據(jù)本身標(biāo)注質(zhì)量差或者 chosen 和 rejected 的差異不明顯模型的分布偏移就會變得很怪。這一點(diǎn)在后面會詳細(xì)說。2. 核心細(xì)節(jié)解析DPO 損失函數(shù)的數(shù)學(xué)直覺2.1 偏好模型從 Bradley-Terry 說起要理解 DPO 的損失函數(shù)得先理解數(shù)據(jù)是怎么來的。我們搜集人類反饋時(shí)通常會拿到三元組 $x$提示、$y_w$優(yōu)秀回答、$y_l$較差回答。Bradley-Terry 模型給出了一種建模方式假設(shè)存在一個底層的獎勵函數(shù) $r(x, y)$人類選擇 $y_w$ 而不是 $y_l$ 的概率可以寫成 sigmoid 形式$$P(y_w \succ y_l \mid x) \sigma(r(x, y_w) - r(x, y_l))$$這個式子很直觀兩條回答的獎勵分差越大被偏好的那條勝出的概率越高。傳統(tǒng) RLHF 的做法是先學(xué)一個參數(shù)化的獎勵模型去擬合這個概率再拿這個獎勵模型去指導(dǎo)策略優(yōu)化。但 DPO 走了一條完全不同的路——它壓根不去顯式學(xué)獎勵函數(shù)而是直接把獎勵函數(shù)進(jìn)行參數(shù)化替換。突破口在于一個已經(jīng)證明的結(jié)論在 KL 散度約束下最大化獎勵的強(qiáng)化學(xué)習(xí)問題有閉式解。最優(yōu)策略 $\pi^*$ 和獎勵函數(shù) $r$ 之間存在一一對應(yīng)關(guān)系獎勵可以表示為$$r(x, y) \beta \log \frac{\pi^*(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)} \beta \log Z(x)$$這里的 $Z(x)$ 是配分函數(shù)$\beta$ 是控制偏離參考模型程度的溫度參數(shù)。DPO 的核心聰明之處就是把上面這個獎勵表達(dá)式直接代回 Bradley-Terry 公式配分函數(shù) $Z(x)$ 會在分子分母的比較中消掉。最終你得到的損失函數(shù)只和當(dāng)前策略模型、參考模型的概率比有關(guān)完全不需要獎勵模型。2.2 隱式獎勵與參考模型的角色DPO 里雖然沒有顯式的獎勵模型但每個策略模型其實(shí)都隱含著一個獎勵函數(shù)。你可以把 $\beta \log(\pi(y \mid x) / \pi_{\mathrm{ref}}(y \mid x))$ 看作是當(dāng)前策略相對于參考模型的“優(yōu)勢分?jǐn)?shù)”。當(dāng)策略模型給某條回答的概率顯著高于參考模型時(shí)就等價(jià)于隱式獎勵很大反之則很小。這個視角解釋了 DPO 為什么能在不建模獎勵的情況下對齊人類偏好。那 reference model 在這里起什么作用它是訓(xùn)練開始之前保存的初始策略副本全程凍結(jié)。它的存在相當(dāng)于一個“錨點(diǎn)”防止模型在優(yōu)化過程中偏離原始分布太遠(yuǎn)。如果你完全沒有參考模型或者參考模型加載錯了優(yōu)化目標(biāo)里就沒有了防止分布漂移的約束模型很快就會過度優(yōu)化偏好數(shù)據(jù)出現(xiàn)重復(fù)、退化、單一化等問題。我在實(shí)際復(fù)現(xiàn)中曾經(jīng)偷懶跳過參考模型結(jié)果 loss 下降得非常快但生成的文本質(zhì)量一塌糊涂這個教訓(xùn)后面會展開講。2.3 損失實(shí)現(xiàn)中的關(guān)鍵參數(shù)DPO 的最終損失函數(shù)寫出來非常簡潔。定義兩個概率比策略模型下 chosen 與 rejected 的對數(shù)概率差$\log \pi(y_w|x) - \log \pi(y_l|x)$以及參考模型下的同樣差值。兩者相減得到一個 logits再套一個負(fù)對數(shù) sigmoid就是最終的損失$$\mathcal{L}{\mathrm{DPO}} -\log \sigma\left(\beta \left(\log \frac{\pi(y_w|x)}{\pi(y_l|x)} - \log \frac{\pi{\mathrm{ref}}(y_w|x)}{\pi_{\mathrm{ref}}(y_l|x)}\right)\right)$$這個公式的信息量很大拆開看有三層第一層如果策略模型給 chosen 的概率提升、給 rejected 的概率下降那么兩個概率差會變大損失變小第二層參考模型的概率差相當(dāng)于一個基線如果參考模型本身就已經(jīng)偏向 chosen那么策略模型需要超過這個基線才會得到獎勵這有效防止了模型把分布偏移到參考模型已經(jīng)偏好過的方向上第三層$\beta$ 參數(shù)控制這個偏移的懲罰強(qiáng)度。在 Demo 代碼中這個損失函數(shù)通常只需要五六行即可實(shí)現(xiàn)。如果你看到別人代碼里的損失函數(shù)長得很奇怪多半是對負(fù)對數(shù) sigmoid 做了等價(jià)變換比如用 log-sum-exp 來穩(wěn)定計(jì)算核心邏輯都是一樣的。3. 實(shí)操過程與核心實(shí)現(xiàn)逐段解析3.1 數(shù)據(jù)準(zhǔn)備偏好數(shù)據(jù)的組織方式DPO 的數(shù)據(jù)集和 SFT 不太一樣不能簡單搞一個“輸入-輸出”的映射就完事。每一條訓(xùn)練樣本必須同時(shí)包含三樣?xùn)|西prompt提示、chosen被偏好的回答、rejected被拒絕的回答。很多開源偏好數(shù)據(jù)集的格式就是這樣的三元組你在加載時(shí)需要注意字段名稱不同數(shù)據(jù)集叫法可能不一樣有的叫 accepted/rejected有的叫 chosen/response_chosen 等。在極簡 Demo 里我會建議先把數(shù)據(jù)組織成一個列表每個元素是(prompt, chosen, rejected)的字符串元組然后單獨(dú)寫一個預(yù)處理函數(shù)把三個字符串拼接成模型輸入的 token 序列。一個非常關(guān)鍵的細(xì)節(jié)是chosen 和 rejected 必須使用完全相同的 prompt 前綴并且要分別獨(dú)立拼接不能把兩條回答放進(jìn)同一個序列否則模型看到 token 順序就會混亂。def construct_input(prompt, response): # 使用統(tǒng)一的對話模板拼接 prompt 和 response text template.format(promptprompt, responseresponse) return tokenizer(text, truncationTrue, max_lengthmax_seq_len)很多新手在第一步就踩坑chosen 和 rejected 的序列長度不一致于是在 batch 時(shí)需要 padding。此時(shí)要特別小心padding 的部分絕不能參與 loss 計(jì)算否則模型會去預(yù)測我們?nèi)藶樘畛涞?token導(dǎo)致概率計(jì)算完全失真。一種做法是把 padding 位置的標(biāo)簽設(shè)為 -100在計(jì)算對數(shù)概率時(shí)用掩碼排除還有一種做法是構(gòu)造一個loss_mask只對回答部分的 token 計(jì)算概率和損失。3.2 模型加載與參考模型凍結(jié)模型加載這塊Demo 里比較標(biāo)準(zhǔn)化的流程是加載一個預(yù)訓(xùn)練模型作為 policy model再深拷貝一份權(quán)重作為 reference model。我建議用copy.deepcopy(model.state_dict())這種直接復(fù)制狀態(tài)字典的方式然后加載到另一個模型實(shí)例里而不是在同一個模型上調(diào)用兩次加載這樣更干凈。policy_model AutoModelForCausalLM.from_pretrained(model_name) ref_model AutoModelForCausalLM.from_pretrained(model_name) # 或者直接把 policy_model 的權(quán)重深拷貝給 ref_model ref_model.load_state_dict(copy.deepcopy(policy_model.state_dict()))reference model 加載完之后立刻設(shè)置requires_grad_(False)把所有參數(shù)凍結(jié)。這一步很容易被忽略但如果不凍結(jié)梯度會同時(shí)傳到兩個模型上訓(xùn)練目標(biāo)就完全錯亂了。我在代碼里還會加一句檢查for name, param in ref_model.named_parameters(): assert not param.requires_grad, f{name} 應(yīng)該被凍結(jié)另外有個小建議如果你的顯存緊張但 GPU 能裝下模型可以把 reference model 和 policy model 放進(jìn)同一個 device兩個模型的前向計(jì)算交替進(jìn)行不會占用雙份激活值內(nèi)存因?yàn)?same batch 下兩個模型是順序執(zhí)行的。3.3 訓(xùn)練循環(huán)與損失計(jì)算的核心實(shí)現(xiàn)下面這段是整篇博文最核心的代碼我會一段一段拆開說。DPO 的訓(xùn)練循環(huán)本身并不復(fù)雜難點(diǎn)在于怎么把“對數(shù)概率差”算準(zhǔn)。def compute_logps(model, input_ids, attention_mask, labels): outputs model(input_idsinput_ids, attention_maskattention_mask) logits outputs.logits # [batch, seq_len, vocab_size] log_probs F.log_softmax(logits, dim-1) # 只取每個位置模型給真實(shí) token 的對數(shù)概率 per_token_logps torch.gather( log_probs, dim-1, indexlabels.unsqueeze(-1) ).squeeze(-1) # 把 padding 位置排除掉 mask labels ! -100 per_token_logps per_token_logps * mask.float() return per_token_logps.sum(dim-1)這段代碼做了三件事第一拿到模型對每個位置、每個詞表 token 的 logits轉(zhuǎn)成對數(shù)概率第二通過gather把每個位置模型給真實(shí) token 的概率撈出來第三將標(biāo)簽為 -100 的位置 mask 掉然后對序列求和得到整條回答的“總對數(shù)概率”。這里有個細(xì)節(jié)值得提醒求和而不是求平均在 DPO 中是故意的。因?yàn)?DPO 的損失計(jì)算的是兩條回答的概率差而概率本質(zhì)上是序列級聯(lián)合概率的對數(shù)。如果你求平均短回答和長回答的概率就被歸一化了偏好比較的尺度就失去了意義。實(shí)際操作長回答容易獲得更低的平均 logprob但不是模型生成質(zhì)量差的信號這只是概率乘法路徑更長導(dǎo)致的。所以 DPO 的原則是對齊所有 token 的聯(lián)合似然用求和。接下來就是 DPO 損失函數(shù)的核心計(jì)算def dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta0.1): policy_log_ratios policy_chosen_logps - policy_rejected_logps ref_log_ratios ref_chosen_logps - ref_rejected_logps logits policy_log_ratios - ref_log_ratios loss -F.logsigmoid(beta * logits) return loss.mean()你會發(fā)現(xiàn)這個實(shí)現(xiàn)總共就四行但每一行都對應(yīng)一個重要的概念。第一行計(jì)算策略模型對 chosen 和 rejected 的總對數(shù)概率差第二行計(jì)算參考模型的同樣差值第三行相減得到“策略相對于參考模型的偏好程度變化”第四行通過logsigmoid把 logits 壓成損失。訓(xùn)練循環(huán)本身和普通的語言模型微調(diào)沒什么兩樣把一組 batch 的 chosen 和 rejected 輸入分別前向算出四個 logps然后算 loss、反向傳播、更新梯度。有一點(diǎn)我要特別提醒如果顯存允許建議把 chosen 和 rejected 拼成一個 batch 一起前向這樣兩個序列都能共享一次 batch padding 邏輯但計(jì)算損失時(shí)按照索引切分否則當(dāng) chosen 和 rejected 長度差異大時(shí)batch padding 會浪費(fèi)大量計(jì)算。3.4 超參數(shù)選擇與訓(xùn)練配置DPO 的超參數(shù)里最值得花心思的是 $\beta$。它的大小直接代表了“允許模型偏離參考模型多遠(yuǎn)”。在 Demo 里我默認(rèn)設(shè)成 0.1這個值是很多實(shí)驗(yàn)驗(yàn)證過的安全起點(diǎn)但如果你發(fā)現(xiàn)模型生成風(fēng)格變化太快、過擬合嚴(yán)重可以把 $\beta$ 調(diào)大比如 0.5 甚至 1.0如果感覺模型學(xué)得不夠積極、偏好提升慢則可以調(diào)小到 0.05。學(xué)習(xí)率和 batch size 的選擇和 SFT 類似但因?yàn)?DPO 的梯度信號來自偏好對比對數(shù)據(jù)噪聲更敏感一般建議學(xué)習(xí)率不要太大在我的測試?yán)?1e-6 到 2e-5 之間比較穩(wěn)妥LoRA 場景下可以稍微大一點(diǎn)。訓(xùn)練輪數(shù)不宜過多通常 1 到 3 個 epoch 就足夠多了反而容易記憶偏好數(shù)據(jù)中的噪聲。還有一個常見的訓(xùn)練技巧是加上梯度累積。因?yàn)槠脭?shù)據(jù)構(gòu)造起來成本高通常數(shù)據(jù)量不會特別大所以小 batch 配合梯度累積既能穩(wěn)定優(yōu)化又能在有限顯存下擴(kuò)大有效 batch。不過要注意DPO 的 loss 是 pairwise 的做梯度累積時(shí)不需要額外處理正常累積即可。4. 常見問題與排查技巧實(shí)錄4.1 loss 一直在下降生成質(zhì)量反而變差這是我復(fù)現(xiàn) DPO 時(shí)遇到的最詭異的狀況訓(xùn)練 loss 曲線很漂亮均勻下降但生成結(jié)果卻越來越重復(fù)、越來越模板化。排查到最后發(fā)現(xiàn)這是因?yàn)槲以跇?gòu)建偏好數(shù)據(jù)時(shí)選了一個 quality gap 很大的數(shù)據(jù)集chosen 和 rejected 的差異太明顯模型一下子就把“答案風(fēng)格”也學(xué)進(jìn)去了。這其實(shí)是過擬合的一種表現(xiàn)通過增大 $\beta$ 或減小訓(xùn)練輪數(shù)可以緩解。我建議你在訓(xùn)練過程中不定期手動看一下生成示例不要只盯 loss 曲線。DPO 的 loss 下降本身并不能保證對齊質(zhì)量提升因?yàn)?loss 衡量的是偏好對比的滿足程度而不是絕對生成質(zhì)量。你可以額外記錄一個“chosen 平均對數(shù)概率差”的指標(biāo)這個差值如果一直在增高模型很可能已經(jīng)開始過度優(yōu)化偏好數(shù)據(jù)了。4.2 chosen 和 rejected 長度差異過大這個問題在真實(shí)數(shù)據(jù)里太常見了。有些標(biāo)注員寫的 rejected 回答只有一句話而 chosen 是很長的段落。求和后 chosen 的總對數(shù)概率天然比 rejected 更負(fù)因?yàn)殚L序列的 logprob 絕對值更大但其實(shí)每個 token 的擬合程度可能差不多。這樣模型會通過“加長輸出”這種偷懶手段來降低 loss而不是真正學(xué)會回答內(nèi)容的好壞。處理方式有兩個方向。第一個方向是過濾數(shù)據(jù)拒絕掉長度差異過大的樣本第二個方向是在構(gòu)造 loss mask 時(shí)只對回答部分的 token 計(jì)算概率并且不要讓 loss mask 覆蓋 prompt 部分。如果你確實(shí)想保留這類樣本可以把求和改成按 token 數(shù)量做輕微歸一化但這種情況不太推薦因?yàn)闀茐?DPO 的聯(lián)合概率比較邏輯。4.3 訓(xùn)練顯存不足DPO 理論上比 PPO 省顯存因?yàn)樗恍枰~外的值網(wǎng)絡(luò)、不需要存儲 rollout 軌跡。但如果你一次性加載 policy model 和 reference model 兩份完整參數(shù)顯存壓力依然存在。在不影響理解核心代碼的前提下有幾個非常實(shí)用的降顯存手段第一用 LoRA 之類的方式訓(xùn)練參考模型仍然全量加載但 policy model 的可訓(xùn)練參數(shù)極少梯度顯存大幅降低。第二把兩個模型放進(jìn)同一個 GPU用梯度檢查點(diǎn)gradient checkpointing減少激活值占用。第三如果 reference model 太大可以使用和 policy model 共用底層 transformer、只保存特定層副本的方式這種技巧只適合特殊網(wǎng)絡(luò)結(jié)構(gòu)我這里不多展開。我的經(jīng)驗(yàn)是在 Demo 階段直接用 7B 以下的小模型或者干脆用 1B 左右的模型先跑通邏輯不要一開始就上大規(guī)模模型。DPO 的訓(xùn)練思路在大模型和小模型上是完全一致的把 Demo 跑通了再遷移到大模型你會輕松很多。4.4 推理時(shí)出現(xiàn)重復(fù)與退化訓(xùn)練完的模型做推理時(shí)如果發(fā)現(xiàn)輸出和參考模型幾乎沒差別那通常是訓(xùn)練不充分、$\beta$ 太大或者學(xué)習(xí)率太小。反之如果輸出變得奇怪、語法錯誤、重復(fù)嚴(yán)重多半是過擬合偏好數(shù)據(jù)了也就是前面說的 loss 雖然降了但分布崩了。退化問題在 DPO 里比 SFT 更容易出現(xiàn)因?yàn)橛?xùn)練目標(biāo)只對比相對偏好沒有絕對質(zhì)量約束參考模型的錨定作用一旦被削弱模型就會往 score 高的方向狂奔。一個很有效的補(bǔ)救措施是保存訓(xùn)練過程中多個 checkpoint每個 checkpoint 都用固定的測試 prompt 寫幾段生成樣本人工比較之后再決定選取哪一個。不要只看驗(yàn)證集上的 loss因?yàn)轵?yàn)證集的構(gòu)建方式和訓(xùn)練集幾乎一樣模型很容易在偏好對比上作弊。5. 實(shí)操心得與后續(xù)擴(kuò)展方向我在實(shí)際把 DPO 從 Demo 擴(kuò)展到完整項(xiàng)目時(shí)有幾個很深的體會。首先是“參考模型就是隱式的約束器”這句話只有真正下場調(diào)過參才會有感覺——$\beta$ 和參考模型對結(jié)果的影響比學(xué)習(xí)率還大。其次是數(shù)據(jù)質(zhì)量再怎么強(qiáng)調(diào)都不過分DPO 把訓(xùn)練信號全部壓縮到了一條偏好對的對比里如果這條對比本身是錯或者模糊的整個模型就是在朝一個錯誤的方向移動而且因?yàn)橛?xùn)練簡單這個錯誤方向會很快被放大。所以在做過一輪完整實(shí)驗(yàn)后我又回頭花了大量時(shí)間清洗偏好數(shù)據(jù)效果比調(diào)參明顯得多。講到這里如果你已經(jīng)理解了那份極簡教學(xué) Demo 的代碼結(jié)構(gòu)可以繼續(xù)往這幾個方向擴(kuò)展把單輪偏好數(shù)據(jù)換成對話級別的多輪偏好數(shù)據(jù)把標(biāo)準(zhǔn) DPO 換成帶長度懲罰或 token 級加權(quán)的變體再加上 LoRA 和 4bit 量化做高效微調(diào)。這些擴(kuò)展本質(zhì)上都是在不改變核心損失函數(shù)的前提下對數(shù)據(jù) shape 和訓(xùn)練策略做調(diào)整。我自己跑過一圈后最深的建議是動手前先把這個最小 Demo 從頭到尾寫一遍不用任何封裝庫你會發(fā)現(xiàn) DPO 的神秘感瞬間消失了。