1. 項(xiàng)目概述當(dāng)推薦系統(tǒng)擁有“自主意識(shí)”最近在折騰一個(gè)老項(xiàng)目一個(gè)傳統(tǒng)的電商推薦模塊效果一直不溫不火。CTO扔過(guò)來(lái)一篇論文標(biāo)題是“Entropy Guided Diversification and Preference Elicitation in Agentic Recommendation Systems”。初看這標(biāo)題又是“熵”又是“智能體”還有“偏好誘導(dǎo)”感覺(jué)又是一堆學(xué)術(shù)黑話。但靜下心來(lái)拆解再結(jié)合最近業(yè)界在討論的“智能體”熱潮我發(fā)現(xiàn)這玩意兒指向了一個(gè)非常實(shí)際且前沿的問(wèn)題如何讓推薦系統(tǒng)從一個(gè)被動(dòng)的“信息過(guò)濾器”轉(zhuǎn)變?yōu)橐粋€(gè)主動(dòng)的、能與用戶進(jìn)行策略性交互的“智能助手”。傳統(tǒng)的推薦系統(tǒng)無(wú)論是協(xié)同過(guò)濾還是深度學(xué)習(xí)模型其核心邏輯是“猜你喜歡”。它基于歷史行為數(shù)據(jù)努力擬合用戶的靜態(tài)偏好然后推送它認(rèn)為相關(guān)性最高的內(nèi)容。這帶來(lái)了兩個(gè)經(jīng)典難題信息繭房和冷啟動(dòng)。前者讓用戶越看越窄后者讓新用戶或新物品難以被有效推薦。而“Agentic Recommendation Systems”智能體化推薦系統(tǒng)的提出正是為了解決這些痛點(diǎn)。它不再把用戶視為被動(dòng)的數(shù)據(jù)源而是將推薦系統(tǒng)本身建模為一個(gè)具有目標(biāo)導(dǎo)向行為的“智能體”Agent。這個(gè)智能體的目標(biāo)不是單純地預(yù)測(cè)點(diǎn)擊率而是在與用戶的多次交互中主動(dòng)探索用戶未知的偏好平衡短期滿意度與長(zhǎng)期興趣發(fā)現(xiàn)最終實(shí)現(xiàn)用戶整體體驗(yàn)的最優(yōu)化。在這個(gè)框架下標(biāo)題中的兩個(gè)核心概念就變得至關(guān)重要了Entropy Guided Diversification熵引導(dǎo)的多樣化這里的“熵”借鑒自信息論是衡量系統(tǒng)不確定性的指標(biāo)。在推薦場(chǎng)景中它可以理解為用戶興趣的“混亂度”或“未知度”。一個(gè)高熵的狀態(tài)意味著系統(tǒng)對(duì)用戶偏好知之甚少或者用戶興趣本身非常廣泛、難以捉摸?！办匾龑?dǎo)”意味著系統(tǒng)主動(dòng)利用這種不確定性作為信號(hào)來(lái)決定何時(shí)應(yīng)該進(jìn)行探索推薦一些新穎、多樣的內(nèi)容而非一味地利用推薦最保險(xiǎn)、最相關(guān)的內(nèi)容。這直接對(duì)抗信息繭房。Preference Elicitation偏好誘導(dǎo)這指的是系統(tǒng)主動(dòng)設(shè)計(jì)交互比如詢問(wèn)問(wèn)題、提供對(duì)比選項(xiàng)、設(shè)置小游戲等以更高效、更少干擾的方式從用戶那里獲取偏好信息。這不同于被動(dòng)收集點(diǎn)擊數(shù)據(jù)而是一種主動(dòng)的學(xué)習(xí)策略特別適用于冷啟動(dòng)或用戶意圖模糊的場(chǎng)景。將這兩者結(jié)合就構(gòu)成了一個(gè)動(dòng)態(tài)的、有策略的推薦智能體它通過(guò)計(jì)算當(dāng)前對(duì)用戶認(rèn)知的“熵”來(lái)判斷不確定性水平當(dāng)熵值高時(shí)傾向于執(zhí)行多樣化推薦或發(fā)起偏好誘導(dǎo)對(duì)話來(lái)降低不確定性當(dāng)熵值低即系統(tǒng)對(duì)用戶偏好很有把握時(shí)則專注于利用已知偏好提供精準(zhǔn)推薦。這形成了一個(gè)**“探索-利用”的平衡閉環(huán)**并且這個(gè)平衡是由數(shù)據(jù)驅(qū)動(dòng)、動(dòng)態(tài)調(diào)整的。2. 核心架構(gòu)與設(shè)計(jì)思路拆解要構(gòu)建這樣一個(gè)系統(tǒng)不能只停留在算法層面需要一套完整的架構(gòu)設(shè)計(jì)。它本質(zhì)是一個(gè)交互式?jīng)Q策支持系統(tǒng)Interactive Decision Support System, IDSS在推薦領(lǐng)域的具象化。下面我結(jié)合自己的理解拆解一下核心的設(shè)計(jì)思路。2.1 從“預(yù)測(cè)模型”到“決策智能體”的范式轉(zhuǎn)變傳統(tǒng)推薦系統(tǒng)的核心是一個(gè)“預(yù)測(cè)模型”輸入是用戶和物品特征輸出是點(diǎn)擊率、轉(zhuǎn)化率等預(yù)估分?jǐn)?shù)。而智能體化推薦系統(tǒng)的核心是一個(gè)“決策智能體”其輸入是當(dāng)前的系統(tǒng)狀態(tài)包括用戶畫(huà)像、歷史交互、會(huì)話上下文等輸出是一個(gè)動(dòng)作。這個(gè)動(dòng)作可以是“推薦物品A”也可以是“詢問(wèn)用戶問(wèn)題B”甚至是“暫時(shí)不推薦等待更多信號(hào)”。這個(gè)范式轉(zhuǎn)變帶來(lái)了幾個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)狀態(tài)空間定義我們需要明確用什么來(lái)描述系統(tǒng)在任一時(shí)刻的“認(rèn)知狀態(tài)”。這至少包括用戶偏好分布不是單一標(biāo)簽而是一個(gè)概率分布例如用戶對(duì)“科幻”、“喜劇”、“紀(jì)錄片”的喜好概率各是多少。這個(gè)分布的“方差”或“熵”直接反映了不確定性。會(huì)話歷史當(dāng)前會(huì)話中已發(fā)生的交互序列。用戶實(shí)時(shí)反饋?zhàn)罱鼛状瓮扑]的正面/負(fù)面反饋強(qiáng)度。上下文信息時(shí)間、地點(diǎn)、設(shè)備等。動(dòng)作空間定義智能體可以做什么動(dòng)作空間需要精心設(shè)計(jì)推薦動(dòng)作從候選池中選擇一個(gè)或多個(gè)物品進(jìn)行推薦。這里的選擇策略不再是簡(jiǎn)單的Top-K而是需要考慮多樣性、新穎性。詢問(wèn)動(dòng)作設(shè)計(jì)一組問(wèn)題或選擇來(lái)誘導(dǎo)偏好。例如“您更喜歡《星際穿越》還是《盜夢(mèng)空間》”基于物品的屬性對(duì)比或者“您正在尋找放松的還是刺激的內(nèi)容”基于抽象維度?；旌蟿?dòng)作結(jié)合推薦與詢問(wèn)例如“推薦一部電影并詢問(wèn)評(píng)分”。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)這是驅(qū)動(dòng)智能體學(xué)習(xí)的指揮棒。獎(jiǎng)勵(lì)不能僅僅是點(diǎn)擊或購(gòu)買(mǎi)因?yàn)槟菚?huì)鼓勵(lì)智能體變得“短視”和“保守”。一個(gè)設(shè)計(jì)良好的獎(jiǎng)勵(lì)函數(shù)應(yīng)包含即時(shí)滿意度點(diǎn)擊、觀看時(shí)長(zhǎng)、評(píng)分等。長(zhǎng)期興趣發(fā)現(xiàn)用戶探索了新品類后的正向反饋。會(huì)話活躍度用戶在整個(gè)交互過(guò)程中的參與深度。信息增益通過(guò)詢問(wèn)動(dòng)作獲得的、能有效降低用戶偏好熵的信息價(jià)值。2.2 “熵”作為核心調(diào)控器在我們的架構(gòu)里“熵”不是一個(gè)事后評(píng)估指標(biāo)而是一個(gè)實(shí)時(shí)的調(diào)控信號(hào)。我們可以為用戶偏好分布的每一個(gè)維度如品類、主題、風(fēng)格計(jì)算熵值。假設(shè)我們將用戶偏好建模為一個(gè)多項(xiàng)式分布例如用戶對(duì)K個(gè)品類的偏好概率為P (p1, p2, ..., pK)那么其熵H(P)的計(jì)算公式為H(P) - Σ (pi * log(pi))其中求和i從 1 到K。這個(gè)值越大說(shuō)明系統(tǒng)越不確定用戶到底喜歡哪個(gè)品類值越小說(shuō)明系統(tǒng)越確信用戶的偏好集中。如何用熵來(lái)指導(dǎo)決策我們可以設(shè)定一個(gè)或多個(gè)熵閾值高熵區(qū)間當(dāng)H(P) θ_high系統(tǒng)處于“迷?！睜顟B(tài)。此時(shí)決策應(yīng)傾向于探索。具體動(dòng)作可以是多樣化推薦從多個(gè)高熵不確定的品類中選取物品組成一個(gè)多樣性列表。主動(dòng)詢問(wèn)針對(duì)熵值最高的那幾個(gè)維度設(shè)計(jì)對(duì)比性問(wèn)題直接獲取用戶反饋。低熵區(qū)間當(dāng)H(P) θ_low系統(tǒng)處于“自信”狀態(tài)。此時(shí)決策應(yīng)傾向于利用。具體動(dòng)作是精準(zhǔn)推薦從用戶偏好概率最高的品類中選取質(zhì)量最優(yōu)的物品進(jìn)行推薦。中熵區(qū)間介于兩者之間可以采用湯普森采樣或上置信界等算法平衡探索與利用。注意這里的熵計(jì)算是基于系統(tǒng)當(dāng)前的“信念”而非用戶真實(shí)的、不可知的偏好。我們的目標(biāo)是讓系統(tǒng)的信念熵通過(guò)對(duì)用戶真實(shí)偏好的學(xué)習(xí)而降低。2.3 偏好誘導(dǎo)的策略設(shè)計(jì)偏好誘導(dǎo)是降低熵、解決冷啟動(dòng)的利器。但糟糕的詢問(wèn)會(huì)惹惱用戶。設(shè)計(jì)的關(guān)鍵在于效率和用戶體驗(yàn)。基于物品對(duì)比的詢問(wèn)這是最直觀的方式。系統(tǒng)選擇兩個(gè)在屬性空間上差異較大、且各自在某些維度上具有代表性的物品讓用戶選擇。例如對(duì)比“硬核科幻”與“浪漫科幻”。用戶的選擇能直接更新對(duì)應(yīng)屬性維度的偏好概率信息增益高?；诔橄髮傩缘脑儐?wèn)直接詢問(wèn)用戶對(duì)抽象維度如“節(jié)奏快慢”、“劇情復(fù)雜度”的偏好。這需要系統(tǒng)建立物品屬性到抽象維度的映射模型。漸進(jìn)式誘導(dǎo)不要一次性問(wèn)太多問(wèn)題。采用“推薦-反饋-再詢問(wèn)”的循環(huán)。例如先推薦一個(gè)物品無(wú)論用戶喜歡與否都可以跟進(jìn)一個(gè)針對(duì)性的問(wèn)題“您不喜歡它是覺(jué)得太冗長(zhǎng)了嗎”。隱式誘導(dǎo)將詢問(wèn)融入自然交互。例如在推薦卡片上增加“為什么推薦這個(gè)”的按鈕用戶點(diǎn)擊后展示推薦理由基于其歷史偏好并提供一個(gè)“調(diào)整此偏好”的微調(diào)選項(xiàng)。實(shí)操心得在真實(shí)產(chǎn)品中顯式的詢問(wèn)動(dòng)作一定要克制頻率要低且問(wèn)題要設(shè)計(jì)得極其精煉、有價(jià)值。通常將其作為冷啟動(dòng)或用戶主動(dòng)觸發(fā)“探索模式”時(shí)的專用流程。大部分時(shí)候依賴隱式的、基于多樣推薦的探索更為友好。3. 系統(tǒng)實(shí)現(xiàn)的關(guān)鍵模塊與技術(shù)選型紙上談兵終覺(jué)淺我們來(lái)聊聊具體怎么搭。一個(gè)原型系統(tǒng)至少包含以下模塊我會(huì)結(jié)合當(dāng)前主流的技術(shù)棧談?wù)勥x型。3.1 用戶狀態(tài)管理模塊這是系統(tǒng)的“記憶中樞”。它需要實(shí)時(shí)維護(hù)和更新用戶的狀態(tài)表示。技術(shù)選型向量數(shù)據(jù)庫(kù)用于存儲(chǔ)和快速檢索用戶和物品的嵌入向量。Milvus、Pinecone或Weaviate是不錯(cuò)的選擇。它們擅長(zhǎng)處理高維向量的相似性搜索對(duì)于基于向量計(jì)算多樣性至關(guān)重要。鍵值存儲(chǔ)/內(nèi)存數(shù)據(jù)庫(kù)用于存儲(chǔ)實(shí)時(shí)更新的用戶狀態(tài)如本次會(huì)話的交互序列、臨時(shí)計(jì)算的偏好分布。Redis是絕佳選擇性能極高支持豐富的數(shù)據(jù)結(jié)構(gòu)。傳統(tǒng)數(shù)據(jù)庫(kù)用于存儲(chǔ)永久的用戶畫(huà)像、長(zhǎng)期偏好模型。PostgreSQL或MongoDB均可。狀態(tài)更新流程用戶執(zhí)行一個(gè)動(dòng)作點(diǎn)擊、跳過(guò)、回答詢問(wèn)。事件被發(fā)送到實(shí)時(shí)流處理平臺(tái)如Apache Kafka。狀態(tài)管理服務(wù)消費(fèi)事件根據(jù)預(yù)定義的規(guī)則更新 Redis 中的用戶實(shí)時(shí)狀態(tài)。同時(shí)事件也被寫(xiě)入長(zhǎng)期存儲(chǔ)用于離線更新深度用戶畫(huà)像模型。3.2 熵計(jì)算與決策引擎這是系統(tǒng)的“大腦”。它接收當(dāng)前用戶狀態(tài)計(jì)算熵并根據(jù)策略選擇動(dòng)作。技術(shù)選型決策引擎可以使用輕量級(jí)的規(guī)則引擎如Drools處理基于閾值的簡(jiǎn)單策略。但對(duì)于更復(fù)雜的、基于學(xué)習(xí)的策略需要一個(gè)強(qiáng)化學(xué)習(xí)框架。強(qiáng)化學(xué)習(xí)框架Ray RLlib是一個(gè)強(qiáng)大的工業(yè)級(jí)選擇它集成了多種強(qiáng)化學(xué)習(xí)算法支持分布式訓(xùn)練非常適合推薦智能體這類場(chǎng)景。你可以將用戶狀態(tài)作為狀態(tài)推薦/詢問(wèn)作為動(dòng)作用戶反饋?zhàn)鳛楠?jiǎng)勵(lì)來(lái)訓(xùn)練一個(gè)策略網(wǎng)絡(luò)。在線服務(wù)決策引擎需要以毫秒級(jí)延遲響應(yīng)。通常用PythonFastAPI/Flask或Go編寫(xiě)高性能API服務(wù)內(nèi)部調(diào)用訓(xùn)練好的模型或執(zhí)行規(guī)則邏輯。熵計(jì)算服務(wù)這是一個(gè)獨(dú)立的微服務(wù)它從狀態(tài)管理模塊獲取當(dāng)前用戶的偏好分布向量P計(jì)算香農(nóng)熵H(P)。計(jì)算本身很簡(jiǎn)單關(guān)鍵在于分布P的估計(jì)要準(zhǔn)確。這個(gè)服務(wù)需要被決策引擎高頻調(diào)用。3.3 候選生成與排序模塊當(dāng)決策引擎決定“推薦”時(shí)它需要候選物品。這里通常分為召回和排序兩階段。召回階段目標(biāo)是從百萬(wàn)級(jí)物品庫(kù)中快速找出幾千個(gè)相關(guān)候選?；谙蛄康恼倩厥褂糜脩魻顟B(tài)向量或當(dāng)前興趣向量在向量數(shù)據(jù)庫(kù)中進(jìn)行近似最近鄰搜索。這是實(shí)現(xiàn)多樣化的關(guān)鍵。我們不僅可以搜索最相似的還可以有策略地搜索“次相似”但在某些維度上不同的物品?；谝?guī)則的召回當(dāng)熵高時(shí)可以強(qiáng)行加入一些流行新品、多品類混合的召回通道。排序階段對(duì)召回后的候選列表進(jìn)行精排。模型深度學(xué)習(xí)排序模型是主流如DeepFM、DIN、SIM等。輸入特征需要加入本次決策的上下文例如“本次請(qǐng)求的探索權(quán)重”、“目標(biāo)多樣性分?jǐn)?shù)”。多樣化重排在精排分?jǐn)?shù)的基礎(chǔ)上使用MMR、DPP等算法進(jìn)行重排在相關(guān)性和多樣性之間取得平衡。熵值可以直接作為多樣化權(quán)重的輸入熵越高重排時(shí)多樣性權(quán)重越大。3.4 偏好誘導(dǎo)接口模塊當(dāng)決策引擎決定“詢問(wèn)”時(shí)該模塊負(fù)責(zé)生成具體的問(wèn)題。問(wèn)題生成基于物品池從物品庫(kù)中選擇一對(duì)“好問(wèn)題”物品。選擇標(biāo)準(zhǔn)是它們之間的“期望信息增益”最大。這需要計(jì)算不同物品對(duì)被用戶選擇后能多大程度降低偏好分布的熵。基于知識(shí)圖譜如果擁有豐富的物品知識(shí)圖譜可以生成基于屬性對(duì)比的問(wèn)題如“您更看重導(dǎo)演還是演員”。接口設(shè)計(jì)詢問(wèn)的交互形式需要前端緊密配合?？梢允菑棿?、卡片對(duì)比、滑動(dòng)選擇器等。后端API需要返回問(wèn)題類型、選項(xiàng)內(nèi)容、以及每個(gè)選項(xiàng)對(duì)應(yīng)的預(yù)期狀態(tài)更新邏輯。4. 核心算法流程與實(shí)操示例讓我們串聯(lián)起上述模塊看一個(gè)具體的用戶會(huì)話流程并附上一些偽代碼級(jí)別的實(shí)現(xiàn)思路。4.1 新用戶會(huì)話啟動(dòng)流程狀態(tài)初始化新用戶U123進(jìn)入系統(tǒng)。狀態(tài)管理模塊為其創(chuàng)建一個(gè)初始狀態(tài)。# 偽代碼初始化用戶狀態(tài) user_state { ‘user_id‘: ‘U123‘, ‘preference_distribution‘: [1/K, 1/K, ..., 1/K], # K個(gè)品類均勻分布熵最高 ‘session_history‘: [], ‘entropy‘: calculate_entropy([1/K]*K) # 高熵值 } redis.set(f‘user_state:{U123}‘, user_state)首次決策決策引擎獲取狀態(tài)計(jì)算熵H(P) ≈ log(K)高于閾值θ_high。決策進(jìn)入“高熵”模式優(yōu)先進(jìn)行偏好誘導(dǎo)。動(dòng)作生成偏好誘導(dǎo)模塊從物品庫(kù)中選取一對(duì)在“科幻”與“喜劇”維度上對(duì)立的代表性物品I_a和I_b生成問(wèn)題。用戶反饋與狀態(tài)更新用戶選擇了I_a科幻。# 偽代碼基于選擇更新偏好分布 (簡(jiǎn)化版貝葉斯更新) # 假設(shè)I_a屬于“科幻”品類I_b屬于“喜劇” choice ‘科幻‘ # 更新概率這里alpha是學(xué)習(xí)率 for category in all_categories: if category choice: new_prob old_prob[category] * (1 alpha) else: new_prob old_prob[category] * (1 - alpha/(K-1)) # 歸一化 user_state[‘preference_distribution‘] normalize(new_prob) # 重新計(jì)算熵 user_state[‘entropy‘] calculate_entropy(user_state[‘preference_distribution‘]) # 保存狀態(tài) redis.set(f‘user_state:{U123}‘, user_state)更新后“科幻”的概率提升“喜劇”的概率下降整體熵值H(P)降低。4.2 穩(wěn)態(tài)推薦流程經(jīng)過(guò)幾輪交互用戶偏好熵降至中等水平。決策引擎工作熵值處于(θ_low, θ_high)區(qū)間。決策引擎調(diào)用強(qiáng)化學(xué)習(xí)策略網(wǎng)絡(luò)該網(wǎng)絡(luò)以用戶狀態(tài)向量為輸入輸出一個(gè)探索概率ε。候選生成以1-ε的概率進(jìn)行利用性召回使用用戶當(dāng)前最偏好的“科幻”類向量進(jìn)行ANN搜索。以ε的概率進(jìn)行探索性召回除了“科幻”還混合使用“動(dòng)作”、“懸疑”等次偏好品類的向量進(jìn)行搜索并將結(jié)果合并。排序與重排精排模型對(duì)召回結(jié)果打分。重排算法根據(jù)當(dāng)前的熵值計(jì)算多樣性權(quán)重λ。一個(gè)簡(jiǎn)單的線性映射可以是λ (H(P) - θ_low) / (θ_high - θ_low)。熵越高λ越接近1多樣性越重要。使用score_final (1-λ)*score_relevance λ*score_diversity進(jìn)行最終排序生成推薦列表。推薦與反饋循環(huán)用戶對(duì)推薦列表產(chǎn)生反饋點(diǎn)擊、忽略、長(zhǎng)時(shí)間觀看。這些反饋事件再次觸發(fā)狀態(tài)更新從而影響下一輪的熵值和決策。4.3 關(guān)鍵參數(shù)調(diào)優(yōu)經(jīng)驗(yàn)熵閾值θ_high和θ_low這是最重要的調(diào)控旋鈕。沒(méi)有銀彈必須通過(guò)A/B測(cè)試確定。通常可以先根據(jù)經(jīng)驗(yàn)設(shè)定例如θ_high設(shè)為初始均勻分布熵的80%θ_low設(shè)為20%。然后觀察用戶在不同熵區(qū)間的行為數(shù)據(jù)如探索后的長(zhǎng)期滿意度、會(huì)話長(zhǎng)度進(jìn)行動(dòng)態(tài)調(diào)整。探索概率ε如果使用強(qiáng)化學(xué)習(xí)它會(huì)自動(dòng)學(xué)習(xí)。如果使用簡(jiǎn)單策略可以設(shè)計(jì)一個(gè)與熵值正相關(guān)的函數(shù)例如ε min(ε_(tái)max, β * H(P))其中β是縮放系數(shù)。學(xué)習(xí)率alpha在更新偏好分布時(shí)學(xué)習(xí)率決定了系統(tǒng)對(duì)單次反饋的敏感程度。太高會(huì)導(dǎo)致偏好震蕩太低則學(xué)習(xí)緩慢。建議從較小的值開(kāi)始如0.1并考慮讓學(xué)習(xí)率隨時(shí)間或交互次數(shù)衰減。5. 常見(jiàn)陷阱、問(wèn)題排查與效果評(píng)估在實(shí)際部署中我們踩過(guò)不少坑這里分享一些核心的注意事項(xiàng)和排查思路。5.1 常見(jiàn)陷阱與規(guī)避策略陷阱表現(xiàn)根源規(guī)避策略過(guò)度探索用戶體驗(yàn)受損用戶總是看到不相關(guān)的內(nèi)容點(diǎn)擊率驟降用戶流失。熵閾值θ_high設(shè)置過(guò)低或探索性推薦的權(quán)重過(guò)大。1. 將探索動(dòng)作的“成本”納入獎(jiǎng)勵(lì)函數(shù)如用戶跳過(guò)探索項(xiàng)會(huì)產(chǎn)生負(fù)獎(jiǎng)勵(lì)。2. 探索內(nèi)容需保證一定的質(zhì)量底線不能是冷門(mén)劣質(zhì)內(nèi)容。3. 采用漸進(jìn)式探索在用戶已有偏好的基礎(chǔ)上進(jìn)行小幅拓展。偏好誘導(dǎo)惹人煩用戶反感被頻繁提問(wèn)直接跳過(guò)或離開(kāi)。詢問(wèn)頻率過(guò)高問(wèn)題設(shè)計(jì)生硬。1. 將詢問(wèn)動(dòng)作的觸發(fā)條件設(shè)得極其嚴(yán)格僅用于絕對(duì)冷啟動(dòng)或長(zhǎng)期興趣衰減時(shí)。2. 優(yōu)化問(wèn)題UI使其更像游戲或互動(dòng)而非考試。3. 提供“跳過(guò)”或“不再詢問(wèn)”選項(xiàng)并尊重用戶選擇。“熵”計(jì)算失真系統(tǒng)熵值很低自以為很懂用戶但推薦效果很差。偏好分布模型過(guò)于簡(jiǎn)單無(wú)法捕捉用戶復(fù)雜、多變的興趣。1. 采用更復(fù)雜的表示如多興趣向量如DIN、MIND模型為用戶學(xué)習(xí)多個(gè)興趣分布分別計(jì)算熵。2. 引入上下文感知區(qū)分用戶在周末和工作日的興趣偏好。3. 定期加入興趣衰減因子讓長(zhǎng)期不接觸的品類熵值緩慢回升。強(qiáng)化學(xué)習(xí)訓(xùn)練不穩(wěn)定線上策略效果波動(dòng)大有時(shí)甚至崩潰。推薦環(huán)境是部分可觀測(cè)、非平穩(wěn)的且獎(jiǎng)勵(lì)延遲嚴(yán)重。1. 采用離線強(qiáng)化學(xué)習(xí)或模仿學(xué)習(xí)先利用歷史日志數(shù)據(jù)訓(xùn)練一個(gè)基線策略再進(jìn)行在線微調(diào)。2. 使用穩(wěn)定算法如PPO、SAC。3. 設(shè)計(jì)更稠密、更合理的獎(jiǎng)勵(lì)信號(hào)避免稀疏獎(jiǎng)勵(lì)問(wèn)題。5.2 線上問(wèn)題排查清單當(dāng)線上監(jiān)控發(fā)現(xiàn)推薦效果指標(biāo)如CTR、觀看時(shí)長(zhǎng)下跌時(shí)可以按以下步驟排查檢查用戶狀態(tài)流抽樣一批效果差的用戶會(huì)話查看其狀態(tài)更新日志。確認(rèn)偏好分布P的更新是否符合預(yù)期熵值變化曲線是否正常檢查決策日志對(duì)于這些會(huì)話決策引擎輸出了什么動(dòng)作是探索為主還是利用為主這個(gè)決策在當(dāng)前熵值下是否符合策略規(guī)則檢查候選生成當(dāng)決策是“推薦”時(shí)召回和排序模塊返回了什么樣的列表多樣性是否異常高或低精排模型的輸入特征特別是熵相關(guān)特征是否正常傳遞檢查實(shí)時(shí)特征確保用于計(jì)算熵和決策的所有實(shí)時(shí)特征如用戶實(shí)時(shí)點(diǎn)擊序列的 pipeline 沒(méi)有延遲或中斷。進(jìn)行A/B測(cè)試回溯如果最近有策略上線立即進(jìn)行回溯分析對(duì)比實(shí)驗(yàn)組和對(duì)照組在核心指標(biāo)上的差異。5.3 效果評(píng)估指標(biāo)體系評(píng)估這樣一個(gè)系統(tǒng)不能只看短期點(diǎn)擊率。需要一套綜合指標(biāo)短期滿意度指標(biāo)CTR、轉(zhuǎn)化率、平均觀看時(shí)長(zhǎng)、評(píng)分。探索與多樣性指標(biāo)品類覆蓋率推薦列表中覆蓋的品類數(shù)?；嵯禂?shù)/辛普森指數(shù)衡量列表集中度。驚喜度用戶實(shí)際喜歡但歷史未接觸過(guò)的物品比例。長(zhǎng)期價(jià)值指標(biāo)用戶留存率7日、30日留存。興趣廣度用戶長(zhǎng)期交互的品類數(shù)變化。會(huì)話深度平均單次會(huì)話的交互次數(shù)。系統(tǒng)健康度指標(biāo)平均用戶熵全體用戶平均熵值的變化趨勢(shì)。理想情況下隨著系統(tǒng)學(xué)習(xí)平均熵應(yīng)緩慢下降并穩(wěn)定在一個(gè)合理水平而非降至零那意味著繭房。探索動(dòng)作占比探索性推薦和詢問(wèn)動(dòng)作占總請(qǐng)求的比例。我個(gè)人最看重的是“長(zhǎng)期價(jià)值指標(biāo)”和“平均用戶熵”。一個(gè)健康的智能體化推薦系統(tǒng)應(yīng)該能在保持用戶滿意度的同時(shí)逐步、溫和地拓寬其興趣邊界將平均熵維持在一個(gè)“既非一無(wú)所知也非固步自封”的活躍水平上。這就像一位優(yōu)秀的向?qū)Ъ戎滥愕闹饕埠糜挚偰茉诤线m的時(shí)候給你帶來(lái)一點(diǎn)意想不到的、卻又合情合理的風(fēng)景。實(shí)現(xiàn)這個(gè)平衡就是這項(xiàng)技術(shù)最大的魅力和挑戰(zhàn)所在。