日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AI變笨了嗎?構(gòu)建用戶體感驅(qū)動(dòng)的AI體驗(yàn)指數(shù)追蹤方法

AI變笨了嗎?構(gòu)建用戶體感驅(qū)動(dòng)的AI體驗(yàn)指數(shù)追蹤方法 在 Hacker News 上看到“Is AI Dumber Today?”這個(gè)展示項(xiàng)目時(shí)我先被它的標(biāo)題抓住了。不是因?yàn)樗苯咏o出了“是或否”的答案而是它想從普通用戶的觀點(diǎn)里做一個(gè) AI 模型體驗(yàn)指數(shù)專門回答很多人最近常問的一句話AI 是不是真的變笨了類似的做法是去收集社區(qū)討論、社交平臺(tái)、應(yīng)用商店評(píng)論里的抱怨和表揚(yáng)再按模型、時(shí)間段、任務(wù)類型拆開看用戶體感到底是往下走還是往上走。這個(gè)方向比單純跑分更有意思??赐赀@個(gè)項(xiàng)目我的整體判斷是它不一定要替代模型能力排行榜真正的價(jià)值在于給“用戶覺得模型變笨”這種模糊抱怨提供了一套可跟蹤、可比較的結(jié)構(gòu)化指標(biāo)。適合做模型評(píng)測(cè)、AI 應(yīng)用開發(fā)、模型選型和客服體驗(yàn)優(yōu)化的人關(guān)注。下面我會(huì)先拆清楚這個(gè)指數(shù)到底在度量什么再按數(shù)據(jù)來源、指標(biāo)計(jì)算、干擾排除和實(shí)踐落地的順序展開。1. 先搞清這個(gè)指數(shù)要回答的是“體驗(yàn)問題”不是“智商問題”1.1 用戶嘴里說的“變笨”其實(shí)包含了好幾種完全不同的狀態(tài)這是整個(gè)項(xiàng)目最容易被誤解的地方。用戶說“今天模型變笨了”可能是以下任一情況模型本身在某個(gè)任務(wù)上的能力確實(shí)下降了。模型沒有變但當(dāng)前上下文的長(zhǎng)度太長(zhǎng)導(dǎo)致模型忘記前文。服務(wù)端在做模型版本切換、負(fù)載均衡或臨時(shí)限流用戶被分到了較弱的實(shí)例。客戶端配置、接口參數(shù)或模型名稱寫錯(cuò)請(qǐng)求根本沒到目標(biāo)模型上。產(chǎn)品層增加了安全規(guī)則、格式限制或免責(zé)聲明回答變得更謹(jǐn)慎用戶誤認(rèn)為“不會(huì)思考了”。用戶自己的預(yù)期提高了。昨天能答對(duì)今天問更難的問題答錯(cuò)了也會(huì)被歸到“變笨”。如果不把這些狀態(tài)分開最后得到的指數(shù)會(huì)非?;靵y。所以“Is AI Dumber Today?”這個(gè)題目準(zhǔn)確說應(yīng)該是“用戶感受到的 AI 體驗(yàn)是否正在下降”。它是一個(gè)體驗(yàn)指數(shù)不是一個(gè)智商測(cè)試。項(xiàng)目標(biāo)題用了 Experience 這個(gè)詞也暗示了這一點(diǎn)。1.2 為什么“用戶觀點(diǎn)”不能被模型跑分替代模型跑分適合衡量靜態(tài)能力比如推理、代碼、數(shù)學(xué)、多語言理解。它的優(yōu)點(diǎn)是穩(wěn)定、可復(fù)現(xiàn)、能橫向比較。但跑分很難覆蓋真實(shí)使用場(chǎng)景里的問題多輪對(duì)話是否會(huì)丟失信息、長(zhǎng)時(shí)間任務(wù)是否穩(wěn)定、接口是否頻繁報(bào)錯(cuò)、回復(fù)是否因?yàn)楫a(chǎn)品策略變得過分保守。用戶觀點(diǎn)恰好能補(bǔ)上這塊空白。一個(gè)模型跑分再高如果用戶在實(shí)際界面里動(dòng)不動(dòng)就遇到連接失敗、模型不可用、上下文超長(zhǎng)報(bào)錯(cuò)體驗(yàn)分也會(huì)很低。用戶觀點(diǎn)的問題同樣明顯噪音大、情緒偏激、樣本量小、容易被特定事件帶節(jié)奏。一個(gè)技術(shù)社區(qū)集中討論某次服務(wù)故障當(dāng)周評(píng)論里就會(huì)塞滿“模型變蠢了”但真實(shí)原因可能只是服務(wù)端過載。這個(gè)項(xiàng)目的核心工程難點(diǎn)就是把體驗(yàn)感受從情緒噪音中抽出來而不是簡(jiǎn)單統(tǒng)計(jì)“夸還是罵”。1.3 先確認(rèn)自己是否需要這樣一個(gè)指數(shù)如果你只是日常用模型看到一兩條批評(píng)帖子不需要指數(shù)直接換模型或換提示詞就行。但如果你在做以下事情那么一個(gè)體驗(yàn)指數(shù)會(huì)很有價(jià)值給公司選模型擔(dān)心評(píng)測(cè)集和真實(shí)用戶感受不一致。開發(fā) AI 應(yīng)用想知道用戶吐槽的是模型能力還是產(chǎn)品功能。長(zhǎng)期使用某個(gè)模型 API想觀察版本更新和配置變更是否帶來體驗(yàn)波動(dòng)。維護(hù)模型接入層需要區(qū)分模型變差、服務(wù)故障和配置錯(cuò)誤。這個(gè)項(xiàng)目做成 Show HN本質(zhì)上是把想法公開出來讓用戶試用、糾偏。在看它時(shí)不應(yīng)該把它當(dāng)成已經(jīng)成熟的權(quán)威指標(biāo)更合理的態(tài)度是關(guān)注它的問題定義和數(shù)據(jù)口徑然后自己上手驗(yàn)證。2. 用戶觀點(diǎn)類數(shù)據(jù)從哪里來怎么聽得夠真2.1 每種渠道都有自己的偏差不能只盯一個(gè)平臺(tái)如果一個(gè)體驗(yàn)指數(shù)只從一個(gè)地方采集數(shù)據(jù)結(jié)果很容易失真。技術(shù)論壇里的討論偏主觀、愛玩梗產(chǎn)品評(píng)論區(qū)則更直接客服工單更接近真實(shí)故障。常用的渠道類型和特點(diǎn)可以參考這張表數(shù)據(jù)渠道優(yōu)點(diǎn)需要注意的偏差技術(shù)社區(qū)帖子討論深入能發(fā)現(xiàn)具體場(chǎng)景愛玩梗反諷多容易夸張社交平臺(tái)短評(píng)更新快能捕捉突發(fā)問題情緒噪聲大樣本代表性弱應(yīng)用商店評(píng)論用戶真實(shí)且聚焦產(chǎn)品體驗(yàn)評(píng)論數(shù)量可能很少官方反饋工單信息完整故障描述清晰通常是問題用戶指數(shù)天然偏負(fù)博客和專題文章能提供詳細(xì)案例時(shí)效性差更新慢聊天群組和論壇貼近普通用戶真實(shí)用法隱私和授權(quán)問題要優(yōu)先處理個(gè)人項(xiàng)目最容易犯的錯(cuò)是只抓某一個(gè)社區(qū)的帖子。結(jié)果只能代表這個(gè)社區(qū)的氛圍。社區(qū)喜歡黑某個(gè)模型其他人也跟著玩梗指數(shù)就會(huì)失真。我更建議先選定兩到三個(gè)互補(bǔ)渠道一個(gè)偏技術(shù)討論一個(gè)偏產(chǎn)品評(píng)論一個(gè)偏工單或問答記錄。等數(shù)據(jù)跑通后再擴(kuò)大渠道。2.2 數(shù)據(jù)采集時(shí)要把合規(guī)問題放在前面采集用戶公開觀點(diǎn)不能無視平臺(tái)規(guī)則。優(yōu)先使用平臺(tái)官方 API。如果官方接口不支持歷史搜索或關(guān)鍵詞過濾選擇清晰標(biāo)注來源和作者的公開數(shù)據(jù)集。用爬蟲抓網(wǎng)頁前先檢查平臺(tái)的服務(wù)條款、robots 文件、接口訪問頻率限制。個(gè)人項(xiàng)目一般量不大但也要做好請(qǐng)求限速不要給目標(biāo)網(wǎng)站造成壓力更不要抓取非公開內(nèi)容。另外用戶觀點(diǎn)往往包含個(gè)人信息。做指數(shù)不需要保留用戶名、頭像、聯(lián)系方式。格式化數(shù)據(jù)時(shí)最好只保存必要字段例如發(fā)布時(shí)間、來源渠道、文本內(nèi)容、涉及的模型名、情感標(biāo)注。敏感信息能刪就刪。2.3 靠關(guān)鍵詞篩選數(shù)據(jù)必須先建立“模型實(shí)體映射表”原始評(píng)論里很少規(guī)規(guī)矩矩寫“模型 A 在某任務(wù)上表現(xiàn)下降”。常見表達(dá)是“我用 A 寫 Python今天一直報(bào)錯(cuò)?!薄爸滞蝗蛔兊锰貏e啰嗦邏輯還沒有上周清楚。”“同樣的問題昨天還會(huì)今天怎么不會(huì)了。”為了把評(píng)論關(guān)聯(lián)到具體模型需要一張實(shí)體映射表。這張表至少包含三層官方名稱和別名比如某個(gè)模型的完整版本號(hào)、簡(jiǎn)稱、社區(qū)常用外號(hào)。產(chǎn)品名和底層模型的對(duì)應(yīng)關(guān)系。很多用戶只會(huì)說自己在用某款聊天產(chǎn)品而不知道底層是什么模型。時(shí)間線。模型會(huì)升級(jí)、下線、改名映射表也要跟著維護(hù)。沒有這張表再好的自然語言處理模型也無法把評(píng)論對(duì)應(yīng)到該對(duì)應(yīng)的對(duì)象上。3. 從原始評(píng)論到“可比較的體驗(yàn)指數(shù)”中間要過幾道關(guān)3.1 清洗和去重是第一道關(guān)采集到的評(píng)論不會(huì)直接可用。常見問題包括同一句話在多個(gè)渠道重復(fù)出現(xiàn)。短評(píng)論沒有足夠上下文無法判斷模型名和任務(wù)類型。大量反諷、夸張、玩梗內(nèi)容。包含錯(cuò)誤日志、配置片段和代碼塊容易被當(dāng)成模型能力的負(fù)面證據(jù)。我先建議從數(shù)據(jù)字段開始處理。每條樣本至少保留字段說明timestamp發(fā)布時(shí)間必須統(tǒng)一時(shí)區(qū)source來源渠道m(xù)odel映射后的模型實(shí)體如 model-a、model-btask_type任務(wù)類型如數(shù)學(xué)、代碼、長(zhǎng)文總結(jié)、閑聊complaint_category問題類別如可用性、配置、能力、上下文、限制sentiment_score體驗(yàn)分例如 -1、0、1或更細(xì)的 1 到 5raw_text原始文本或摘要去重不能只看文本是否一樣還要看同一條事件是不是在多個(gè)渠道被多人轉(zhuǎn)發(fā)。如果發(fā)現(xiàn)同一時(shí)段內(nèi)大量相同措辭的評(píng)論很可能是在跟帖玩梗直接刪除這批重復(fù)句保留最早的一條原文即可。3.2 情感標(biāo)注不能只用“正面/負(fù)面”二分類簡(jiǎn)單的正面負(fù)面標(biāo)注不夠用。用戶罵“模型不回我了”和“模型回答太保守”都是負(fù)面但前者是可用性問題后者是產(chǎn)品策略問題?!斑@個(gè)模型真傻”和“這個(gè)模型太聰明讓我害怕”在情感上都是負(fù)面但在體驗(yàn)指數(shù)里含義完全不同。所以我更建議在標(biāo)注時(shí)增加類別維度。情感分只負(fù)責(zé)方向類別分負(fù)責(zé)解釋為什么會(huì)這樣。類別可以包括能力問題推理、數(shù)學(xué)、代碼、寫作等具體能力不足。上下文問題多輪回答不記得之前信息??捎眯詥栴}服務(wù)不可用、響應(yīng)慢、連接斷開。配置問題模型名不對(duì)、密鑰錯(cuò)誤、參數(shù)不合法。體驗(yàn)風(fēng)格問題回答過于啰嗦、過于保守、格式混亂。用戶預(yù)期問題任務(wù)本身超出模型能力邊界。只有同時(shí)記錄情感和類別才能回答“是變笨了還是變難用了”。3.3 單條評(píng)論打分后要做時(shí)間聚合和任務(wù)拆分體驗(yàn)指數(shù)不該是“所有評(píng)論總體平均分”。因?yàn)椴煌瑫r(shí)間段、不同任務(wù)類型的用戶比例會(huì)變化。如果這周代碼問題集中爆發(fā)整體平均分下降但數(shù)學(xué)任務(wù)沒變差就會(huì)誤判。把數(shù)據(jù)按周或雙周聚合再拆成不同任務(wù)類型是比較穩(wěn)妥的做法。下面是一個(gè)最小可運(yùn)行的分析流程適合先用一兩百條樣本測(cè)試import pandas as pd df pd.read_csv(sample_user_opinions.csv) # 去重按文本和渠道 df df.drop_duplicates(subset[source, raw_text]) # 統(tǒng)一時(shí)間字段按周切分 df[published_at] pd.to_datetime(df[published_at], errorscoerce) df df.dropna(subset[published_at]) df[week] df[published_at].dt.to_period(W).astype(str) # 只看某個(gè)模型的數(shù)據(jù) model_df df[df[model] example-model] # 按周、任務(wù)類型聚合 weekly ( model_df.groupby([week, task_type]) .agg( avg_score(sentiment_score, mean), sample_count(sentiment_score, size) ) .reset_index() ) print(weekly.tail(10)) # 如果需要看趨勢(shì)可以畫圖 weekly.pivot(indexweek, columnstask_type, valuesavg_score).plot()這段代碼不是完整項(xiàng)目只用來理解數(shù)據(jù)處理鏈條。注意當(dāng)樣本量很小時(shí)按天聚合會(huì)非常抖。我一般建議至少按周聚合每個(gè)分組里的有效評(píng)論低于 5 條時(shí)不展示分?jǐn)?shù)只顯示樣本數(shù)。內(nèi)部使用可以看原始數(shù)字對(duì)外展示必須帶樣本量否則容易誤導(dǎo)。3.4 讓大模型來打標(biāo)可以提高效率但不能代替人工抽檢給大量評(píng)論分類和定情感可以調(diào)用另一個(gè)大模型來做。這個(gè)思路目前很常見。讓模型閱讀一條評(píng)論輸出模型實(shí)體、任務(wù)類型、問題類別、體驗(yàn)分效率比人工高得多。但大模型打標(biāo)會(huì)有自己的偏見。它可能把反諷當(dāng)真可能把配置錯(cuò)誤直接歸因到模型能力。所以正確的做法是先人工標(biāo)注一百條左右樣本再用大模型批量打標(biāo)最后每批次隨機(jī)抽二十到三十條做人工復(fù)核。如果一致率低于一定水平說明打標(biāo)提示詞還需要調(diào)整。打標(biāo)提示詞里要特別寫清楚如果評(píng)論中出現(xiàn)的是配置錯(cuò)誤、模型名不存在、上下文超長(zhǎng)這類信息不要把問題記為“模型能力下降”要?dú)w到配置或可用性類別。4. 判斷模型體驗(yàn)下降前先排除四類常見干擾4.1 很多“模型變笨”實(shí)際上是客戶端配置錯(cuò)誤用戶并不總能區(qū)分“模型本身答錯(cuò)”和“請(qǐng)求根本沒發(fā)到正確的模型上”。我在很多討論里見過這樣的報(bào)錯(cuò)模型名不支持、模型不存在、配置缺失、上下文長(zhǎng)度超過上限。這些信息本質(zhì)上是接入或配置問題不是模型智力問題。如果指數(shù)系統(tǒng)把這類報(bào)錯(cuò)都當(dāng)成負(fù)面能力評(píng)論那模型永久不可能翻身因?yàn)榕渲脝栴}會(huì)持續(xù)存在。實(shí)操建議是從原始日志中找出屬于“錯(cuò)誤碼類”的內(nèi)容單獨(dú)存到可用性表里不進(jìn)入能力評(píng)分。等積累足夠數(shù)據(jù)后再分析配置問題是否導(dǎo)致用戶體感下降。這類分析其實(shí)反映的不是模型能力而是產(chǎn)品接入體驗(yàn)。4.2 產(chǎn)品策略調(diào)整經(jīng)常被誤認(rèn)成模型變笨有些模型本來可以給出較長(zhǎng)回答產(chǎn)品方為了控制成本或安全風(fēng)險(xiǎn)增加了輸出長(zhǎng)度限制、敏感話題引導(dǎo)或過度免責(zé)聲明。用戶實(shí)際感受到的是“怎么感覺模型變敷衍了什么都說不清”。這在博文和數(shù)據(jù)流里很容易被歸為模型變笨。但從模型能力角度講權(quán)重沒變推理鏈路沒變只是產(chǎn)品策略變了。體驗(yàn)指數(shù)如果要客觀就必須區(qū)分“模型層能力分”和“產(chǎn)品體驗(yàn)分”。如果混在一起當(dāng)產(chǎn)品策略恢復(fù)后指數(shù)上升會(huì)被誤以為是模型進(jìn)步這是不準(zhǔn)確的。4.3 長(zhǎng)上下文帶來的記憶下降會(huì)制造偽趨勢(shì)用戶聊到一半說“我剛才已經(jīng)告訴過你了”如果模型確實(shí)忘了那就屬于上下文管理問題。這更常見的原因是總 token 超過模型當(dāng)前支持的最大長(zhǎng)度或系統(tǒng)為了性能做了摘要壓縮。在評(píng)論里用戶不會(huì)寫“模型的最大上下文長(zhǎng)度只有多少”只會(huì)寫“它越來越笨失憶了”。如果樣本主要集中在長(zhǎng)對(duì)話場(chǎng)景體驗(yàn)指數(shù)就會(huì)在某一周突然下跌但這不代表所有任務(wù)都變差。因此無論原始數(shù)據(jù)是否包含對(duì)話長(zhǎng)度指數(shù)都要單獨(dú)給“長(zhǎng)會(huì)話記憶”建一個(gè)維度。這樣才能把一次性長(zhǎng)上下文失敗和全局能力下降區(qū)分開。4.4 社區(qū)規(guī)模偏差會(huì)導(dǎo)致指數(shù)天然偏負(fù)技術(shù)討論社區(qū)里的用戶通常更愿意發(fā)“模型出錯(cuò)了”“這個(gè)版本真差”這類帖子很少有人專門發(fā)“今天模型回答很好”。這會(huì)導(dǎo)致體驗(yàn)指數(shù)在任何時(shí)間點(diǎn)都偏負(fù)。要解決這個(gè)問題不能只統(tǒng)計(jì)評(píng)論的絕對(duì)值可以考慮比較同一渠道內(nèi)部的時(shí)間變化而不是跨渠道比高低。記錄總發(fā)帖量計(jì)算負(fù)面評(píng)論占比而不是只看負(fù)面評(píng)論數(shù)量。定期加入用戶主動(dòng)反饋的正向數(shù)據(jù)比如調(diào)查問卷、產(chǎn)品內(nèi)點(diǎn)贊點(diǎn)踩數(shù)據(jù)。如果只有抱怨數(shù)據(jù)對(duì)外展示時(shí)要明確說明“這是問題反饋指數(shù)不是用戶體驗(yàn)總分”。做好這些前置處理指數(shù)才有可能不變成一群用戶的情緒宣泄面板。5. 動(dòng)手搭一個(gè)最小可復(fù)現(xiàn)的體驗(yàn)指數(shù)流程5.1 最小環(huán)境準(zhǔn)備不需要特別高配的機(jī)器。處理幾千條文本評(píng)論一臺(tái)普通電腦就能跑。我建議先按這個(gè)環(huán)境驗(yàn)證Python 3.9 或更高版本。pandas、matplotlib 用于數(shù)據(jù)處理和畫圖。如果要做大模型打標(biāo)準(zhǔn)備一個(gè)能調(diào)用的模型接口或本地模型地址。準(zhǔn)備一個(gè) CSV 文件至少包含字段發(fā)布日期、渠道、文本、模型名。原始數(shù)據(jù)不需要很大。先取 200 到 500 條評(píng)論完成從清洗、標(biāo)注到畫趨勢(shì)圖的閉環(huán)。能把小樣本跑通再考慮擴(kuò)大數(shù)據(jù)量。5.2 用兩條樣例理解標(biāo)注口徑假設(shè)有兩條真實(shí)評(píng)論第一條“今天用 example-model 寫一個(gè)數(shù)據(jù)清洗腳本同樣的需求昨天一次就寫對(duì)今天連續(xù)寫錯(cuò)三次還給了我一個(gè)只刪文件不保留備份的方案?!钡诙l“example-model 報(bào)錯(cuò) model not found檢查以后才發(fā)現(xiàn)是配置文件里的名字寫錯(cuò)了改完就正常了?!钡谝粭l應(yīng)該標(biāo)成task_type: codecomplaint_category: abilitysentiment_score: -1第二條不能當(dāng)成模型能力下降應(yīng)該標(biāo)成task_type: configcomplaint_category: configurationsentiment_score: 0如果不單獨(dú)區(qū)分第二條會(huì)讓模型體驗(yàn)指數(shù)下降一分。但模型本身并沒有任何能力問題。這是最容易干擾指數(shù)準(zhǔn)確性的點(diǎn)。5.3 體驗(yàn)分的計(jì)算方式不一定要復(fù)雜剛開始做不需要用復(fù)雜的觀點(diǎn)挖掘模型。可以先用規(guī)則加人工復(fù)核搭一個(gè)基線負(fù)面詞命中錯(cuò)誤、變笨、回復(fù)差、邏輯混亂、瞎編。正面詞命中準(zhǔn)確、聰明、穩(wěn)定、符合預(yù)期、進(jìn)步。中性詞命中且無明確情緒記錄但不記分。出現(xiàn)配置錯(cuò)誤、模型名不存在、超時(shí)、不可用只記可用性不計(jì)能力分。之后可以用統(tǒng)計(jì)方法定期校驗(yàn)。比如比較某模型在數(shù)學(xué)任務(wù)上的負(fù)面率是否在統(tǒng)計(jì)意義上顯著高于前兩周。如果還沒有顯著變化就不要在結(jié)論里寫“模型變笨了”最多寫“用戶對(duì)數(shù)學(xué)任務(wù)的抱怨有所增加”。5.4 可驗(yàn)證的輸出形式我建議最終輸出四類內(nèi)容整體趨勢(shì)圖按周展示平均體驗(yàn)分。分任務(wù)趨勢(shì)圖代碼、數(shù)學(xué)、寫作、長(zhǎng)會(huì)話記憶分別看??捎眯允录戆巡豢捎谩⒊瑫r(shí)、配置錯(cuò)誤做成獨(dú)立時(shí)間線。異常樣本列表高置信度且情感強(qiáng)烈的典型評(píng)論做成摘錄方便回溯。如果某周指數(shù)明顯下降不要直接發(fā)結(jié)論先打開異常樣本列表。如果你能回答出“哪個(gè)任務(wù)、哪個(gè)產(chǎn)品層策略、哪個(gè)模型版本改動(dòng)了”再判斷是不是真下降。5.5 項(xiàng)目上線后可以繼續(xù)擴(kuò)展的方向小閉環(huán)跑通后可以逐步增加自動(dòng)按月生成體驗(yàn)變化報(bào)告。把每周負(fù)面率做成類似警報(bào)表的單頁。當(dāng)某模型在特定任務(wù)上出現(xiàn)大幅波動(dòng)時(shí)發(fā)送告警。引入人工抽檢流程定期校正自動(dòng)打標(biāo)。這些擴(kuò)展做起來不難但每加一個(gè)都要問自己這個(gè)新指標(biāo)是服務(wù)“模型能力判斷”還是“產(chǎn)品體驗(yàn)判斷”混到后面自己都會(huì)分不清。6. 從 Show HN 走向長(zhǎng)期可用的幾個(gè)現(xiàn)實(shí)問題6.1 一次展示很容易持續(xù)更新才是難點(diǎn)很多類似項(xiàng)目在發(fā)布第一版時(shí)能獲得不錯(cuò)反饋但過了兩個(gè)月就停止更新。原因是數(shù)據(jù)采集和打標(biāo)不是一次性工作。模型會(huì)更新社區(qū)熱點(diǎn)會(huì)轉(zhuǎn)移用戶討論的語句會(huì)變化。你需要維護(hù)關(guān)鍵詞表、模型映射表、任務(wù)分類規(guī)則。如果每周沒有固定時(shí)間更新數(shù)據(jù)和復(fù)核標(biāo)注指數(shù)很快就會(huì)停留在過去某個(gè)時(shí)點(diǎn)反而誤導(dǎo)后來用戶。要想長(zhǎng)期有用最好從一開始就設(shè)計(jì)成可增量更新的流程。日志、標(biāo)注結(jié)果、人工修改記錄都保留下來方便重跑歷史結(jié)論。6.2 “沒有顯著變化”也是一種有價(jià)值的結(jié)果這個(gè)項(xiàng)目最容易犯的錯(cuò)是把所有波動(dòng)都解釋成“上升”或“下降”。多數(shù)時(shí)候模型用戶體感并不會(huì)有顯著變化。真正負(fù)責(zé)任的指數(shù)應(yīng)該允許自己說“本周沒有顯著變化樣本量不足暫不判斷”。在對(duì)外展示時(shí)也可以加入一個(gè)明確口徑只有當(dāng)樣本量超過一定閾值、負(fù)面率變化超過置信區(qū)間時(shí)才會(huì)標(biāo)記為異常。這樣能避免被少數(shù)極端觀點(diǎn)帶偏。6.3 平臺(tái)屬性和社區(qū)文化會(huì)讓分?jǐn)?shù)不可直接比較不同渠道的用戶說話方式完全不同。技術(shù)社區(qū)里大量使用反諷“這模型真能編太厲害了”明顯是批評(píng)應(yīng)用商店評(píng)論里“太厲害了”可能就是真夸。如果指數(shù)把所有渠道混在一起計(jì)算會(huì)得到互相抵消的平均值。所以處理時(shí)最好按渠道單獨(dú)計(jì)算分?jǐn)?shù)再考慮做加權(quán)合并。權(quán)重怎么定可以從每個(gè)渠道對(duì)真實(shí)故障的準(zhǔn)確覆蓋程度去調(diào)而不是拍腦袋。6.4 要在結(jié)果表達(dá)上留足余地避免標(biāo)題黨“AI 是不是變笨了”天然有流量但也天然容易帶節(jié)奏。個(gè)人項(xiàng)目可以展示結(jié)論但結(jié)論旁邊至少要寫清楚當(dāng)前統(tǒng)計(jì)的樣本量是多少。覆蓋了哪些渠道和任務(wù)類型。不覆蓋哪些方向比如企業(yè)內(nèi)部模型、私有部署、非公開接口。當(dāng)前版本的數(shù)據(jù)截止時(shí)間。一句話結(jié)論越醒目數(shù)據(jù)口徑越要保守。如果這個(gè)項(xiàng)目能把“發(fā)現(xiàn)體驗(yàn)變化”和“歸因到具體原因”分開它會(huì)是一個(gè)很好的觀察工具。如果只是把用戶抱怨聚合后打上“模型變笨了”的標(biāo)簽?zāi)撬囊饬x會(huì)大打折扣。我在梳理這個(gè)方向時(shí)最大的體會(huì)是普通用戶關(guān)心的不是跑分高了多少而是自己打開對(duì)話窗口后模型到底有沒有上一次好用。這個(gè)體驗(yàn)指數(shù)把模糊的“感覺”變成了能長(zhǎng)期追蹤的時(shí)間序列這個(gè)思路本身值得借鑒。真正落地時(shí)最該盯住的不是前端頁面做得有多炫而是數(shù)據(jù)清洗、樣本量、模型映射和錯(cuò)誤分類這些后臺(tái)基礎(chǔ)工作。把這些基礎(chǔ)做扎實(shí)哪怕指數(shù)暫時(shí)不更新也能隨時(shí)把歷史數(shù)據(jù)拿出來重新分析。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91人妻在线视频| 在线观看综合精品亚洲| 亚洲精品中文字幕一区在线视频| 色蜜AV| 男人的天堂在线| 被窝影院午夜看片无码| www鬼畜国产男人的天堂| 曰本特级特黄特色黄色A级网站高清在线免费看| 国产精品美女久久久久久网站| 久操不卡视频| 99精品丰满人妻无码| 精品国产三级av韩国在线| 久久久久成人蜜桃精品| 91热| 色婷婷99| 亚洲色图亚洲| 亚洲天堂性爱| 午夜乱轮操逼视频免费看| 97色伦欧美| 好色综合| 日欧美色| 成人26uuu| www鬼畜国产男人的天堂| 后入合集| 一品道视频一区二区三区| 婷婷九月丁香| 久久亚洲婷婷| 九月伊人中文字幕| 欧美日韩人人精品| 国产操逼网站亚洲一级黄色| 99精品丰满人妻| 麻豆国产97在线| 天天影视色香色欲| 久久久精品中文字幕爱豆| 欧美色图片91| 美中日韩无码| 日1区2区3区2020| 粉嫩不卡一区二区性爱| 骚日日av| 国产老熟女| 国产粉嫩蜜臀av一区二区三区| 热久久91婷婷| 亚洲精品一区二区日本| 曰本精品久久久| 干我久操| 96久久久精品| 亚洲av无码成人精品国产| 国产后入式在线观看| 国产情侣自拍在线播放| 97日亚洲欧美| 欧美情色贴图| 欧美一级色| 一区二区三区一亚洲中文字幕、综合区灬 | 一区二区三区四区色图| 人人干人人操人人爱| 久久草草欧美精品| 日婷婷| 国产精品久久久久久久久久久久久久久久 | 亚洲在线91| 国产免费大片| 看黄片视频免费| 精品一区二区2| 99精品久久| 91九九| ai欧美亚洲小说| 久久久九九网站| 天天cao在线| 蜜桃成人1区2区3区| 三级精品三级在线观看| 日韩精品人妻一区二区| 国产乱弄免费在线视频。| 亚洲中文国际强奸字幕| 国产午夜精品在线观看| 久久久性少妇| 欲香欲色天天天综合和网| 欧美亚洲日本视频久久久| 天天爱天天操| 色香网| 又黄又爽在线观看视频| 91深夜夜| av三级电影在线播放| 好爽免费视频,| 欧美日韩岛国大片在线观看| 中文字幕视频在线观看| 日韩精品大香蕉伊人在线| 狠狠综合网| а√天堂资源官网在线资源| 亚洲色人阁| 亚洲第一二区另类图| 天天色播亚洲综合网站| 久久黄片国产一区二区| 国产精品久久蜜乳av| 91亚洲影院综合| 性爱av在线免费观看| 女沟厕偷窥piss小便| 久久精品人妻一区二区三区| 日韩欧亚中文在线| 精品视频97| 五月天开心网| 日本色色的视频| 操操操五月天婷婷丁香影院| 东京热一区二区中文字幕| 亚洲AV色图一区| 99re不伦| 岛国AV一区二区电影| 在线看免费无码AV天堂的| 日韩中文字幕视频| 久久久久久97| 亚欧洲日韩国产精品| 91N综合在线| 天美国产三级传媒| 亚av顶级裸体一区二区三区四区五区 | 少妇无码999| 日本新免费二区三区| 美女露胸露屁股| 国产sv美女内射| 日比av无码| 丝袜狂射91| 久草色悠悠在线视频| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 3PAV乱伦视频| 亚洲999综合| 日韩,欧美,中文在线| 97久久久| 91麻豆天美| 精久久久| 成年人免费观看网站| 无码人妻精品一区二区三区九九| 日韩欧亚太美不卡| 天天看片天天爽| 思思99热| 美腿色图| 加勒比海成人视频网 | 久久久久久久久久va| 在线视频97| www.久久超碰| 日日做夜狠狠爱欧美黑人| 91麻豆天美传媒HD| 欧洲精品久久| 麻豆区久久久久亚| 四虎精品一区| 久久精品国产亚洲粉嫩| www.99中文字幕| 亚洲欧美日韩偷拍色图| 久草午夜| 国产v亚洲v日韩v欧美v片另类| 九九热国产| 久久内射| 老子午夜伦不卡影院| 夜夜操青青草| 校园春色家庭伦理欧美激情| 精品人妻伦一区二区三区久久| 91欧美美女日韩国产婷婷| 国产精品午夜成人福利| 亚洲91极品| 日韩激情中文字幕有码| 色五月激情网| 亚洲1区| 狠狠操夜夜操蜜桃视频三区| 夜夜嗷嗷一区二区| 欧洲亚洲天堂精品| 日本精品网站在线中文| 国产精品久久久无码AV网站| 亚洲一区中文字幕| 天操天操夜操夜月月年年操操| 97超碰美国| 久久久久国产一区二| 亚洲黄色a级片| 精品人妻中文字幕高清| 人人操人人干网页| 久草网站免费在线观看| 国产激情综合| 狠狠图片青青草| 男人亚洲91首页在线| 国产精品久久久久久久久久久久| 国产亚洲中文不卡二区| yellow网站免费观看日韩高清无码| 国产精品扒开腿做爽爽爽视频| 伊人青青草久久| 久久久久久中文| 蜜臀在线网站| 国产在线视频午夜精华在| 中文AV制服乱伦| 国产日韩精品人妻久久久久色欲网站| 国产一区二区三三视频| 69超碰综合| 国产精品91ai| 9Ⅰ超碰| 国产在线强奸视频| 丁香六月激情综合| 色香欲天天天天综合色| 偷拍综合网| 黑丝自慰喷水网站| 91中文精品日韩欧美在线| 色香网| 伊人网青青| 日韩不卡av一二三| 久久大线蕉一区| 欧美BT 亚洲色图| 色综合V| 亚洲色五月| 99色婷婷中文字幕乱色| 亚洲图片欧美色| 人人射人人操人人摸| 精品久久青青草| 大香交| 久久精品国产亚洲妲己影视| 久久久久久性爱片| 91成人亚洲色图| 黑人精品一区二区在线播放| 久99| 啊啊啊啊啊好舒服视频| 欧美成人A√在线一区二区| 欧美精品久久久久久久久88| 超碰人妻久久人妻中文97| 亚洲人人夜夜澡人人爽| 久久国产性爱| 欧美大片天天看| 亚洲国产精品成人久久蜜臀| 色色五月天婷婷| 九九伊人网| 日本人妻中文字幕精品| 电影69乱码96| 亚洲男人在线观看天堂 | 亚洲同性aV综合| 啪啪性爱免费视频| 超碰AV在线| 色777999综合| 在线观看精品国产免费| 超碰 欧美| 国产一区二区成人av在线播放| 97人人射| 97伦综合| 丁香激情网| 997色在线| 91伊人久| 美腿色图| 人人么人人操| 欧美综合97www| 69一区二区三区 | 狠狠色综合网| 青青草原伊人网| 青草青草久热| 欧美在线综合| 亚洲无线码欧洲精品区别| av操操不卡| 亚洲av资源| 久久XX| 欧美综合综合| 麻豆蜜桃视频在线观看| 国产无码三级视频在线观看| 欧美aⅴ99久久黑人专区| 18禁看网站一区| 91女神在线视频| 国产h小视频在线观看免费| 欧美视频在线第3页| 亚洲无992tv| 亚洲国产欧美日韩人妻日中文| 久久啊啊| 好吊色一区| 国产欧美精选自拍一区| 91男女| 丁香五月电影| 伊人 俄罗斯 a v| 欧美性爱精品一区二区| 久操九九九九| 翘臀vidoes| 躁躁躁日日躁2020| 久久9久9久99久9久9| 鸥美中出| 97看操| 成人无码影片视频在线| 中文字幕视频二区| 在线只有精品| 人人人干干人人干| 性色中出| 啪一啪免费视频| 另类图片五月天| 婷婷AV一区二区三区| 91丰满| 日韩美女久久一区二区三区| 99老司机精品视频在线观看| 九九九不卡| 色综合中文字幕不卡| 国产又黄又粗的视频| 夜夜嗨绯色| 亚洲高清无码在线桃色| 亚洲欲色| 97色爱| 欧美激情性爱视频网站| 欧美精品黑人猛交高潮| 日本精品免费一区二区三区四区| 国产麻豆一级精品视频| 亚洲日韩精品久久久久一区壹牛| 97天天插| 亚洲图片欧美制度| 九月丁香| 中国国产精品一区视频| 男同专区一区二区三区在线| 熟女一区二区三区| 国产精品麻豆成人AV艾秋| 亚洲**2021在线观看| 久久久国产护士丝袜美腿一| 歐美一級亂黃99在綫精品| 亚洲综合精品国产一区| 天天干人人看综合| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 为用户提供免费看黄网址在线观看| 国产精品动态一区二区三区四四| 97精品国产97久久久久久户外免费| 乱伦av.com| 大学生美女口爆| 夜夜爽夜夜摸夜夜操免费视频| 精品一区二区三区蜜桃臀赵总| 操逼免费视频无码国产| 欧美激情久操网| 老色鬼成人精品视频下载大在线观看| 中文啪啪视频| 国产无码久久高清| 婷婷爽人人婷婷爽视频| 亚洲丝袜二区在线| 久草老司机| 欧美曰韩国产精品| 欧美成年人性爱视频免费观看| 97中文字幕一区| 伊人久久大香线综合无码| 69人妻精品一区二区绯色| 看一级特黄a大一片| 亚洲码在线中文在线观看| 99rre在线精品99re8| 97精品视频网站| 九九九九九九九| 国产精品久久| 97超碰欧美手机| 宅男91视频在线播放| 中文色综合| 欧美一区二区三区入口| 草草电影院| 国产97av| 国产精品久久久久久夜夜夜夜| 伊人色综合超碰| 国产成人网址| 996热| 免费观看的黄色的网站| 国产精品久久久啊| 亚洲在饯| 久久精品店| 国内一级精品| 精品久久久久综合无码| 97一区二区三区视频| 日本加靬比网站发布页| 嗯嗯,啊啊,国产精品| 亚洲天天艹| 丁香五月成人| 成人AV在线电影| 人人插人人搞人人操| 绯色一区二区三区不卡少妇| 又大又大又大又粗爽高潮观看| 日韩天天综合| 骚货操死你| 欧美一级AAAAAAA| 亚洲精品99999| 极品色综合| 麻豆成人影音在线| 91熟女丨91老女人| 激情欧美97| 九九九九九九视频免费| 一级一性爱免费视频| 99久久国产精品免费高潮| 沈阳熟女高潮对白视频| 高清国产成人无码| 欧美大香蕉同搞| 国产午夜无码片在线观看影视| 嫩草影院在线观看精品 | www九九热| 欧美激情综合色综合啪啪五月| 91九色精品熟女内射| 亚洲精品三| 91 刺激在线| 亚洲情色1区| 日韩人妻精品中文字幕| 亚洲天天影视色综合| 啊啊啊啊啊啊啊网址在线观看| av草草在线电影| 日韩在线观看AV| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 首页中文字幕中文字幕免费| 美国一区二区三区视频| 中文自拍欧美影视| 欧美色棕合| 操人妻逼91| B049AV在线播放| 99色日| 2019午夜福利视频| 少妇天堂| 三级AV入口| 在线人人人人人人精品超| 天美麻花大全视频| 91网18| 一本色道久久综合狠狠操| 日夜精品| 被男人添B超爽视频| 国产高清成人传媒影视| 色综合中文字幕不卡| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 性videos欧美熟妇hdx| 青娱乐国产盛宴视频| 五月天婷婷影院| 青青草五月天| 国产精品97视频| 91精品人妻一品二品三品| 黄片qw| 午夜天堂啪啪| 青青草白白色| 啊啊啊啊操死我| 搡老女人老妇女AAA一VU麻豆| 天天做天天爱| 久艹伊人精品综合在线| 99超碰碰| 黄色免费网页无码| 污到发麻的视频 国产| 97欧美久久久久久久| 亚洲情色综合网| 视频国产成人精品日本亚洲18| 天天操天天干一区二区| 天天插天天干| 国产精品九九| 精品乱码久久久久| 2003天天干夜夜操| 东京热av男人的天堂| 久9久9久9久9久9久9| 少妇高潮流水av免费| 色五月亚洲| 激情四射婷婷六月天| 人人搞人人插人人操| www.色综合| 亚洲色图欧美另类在线| 天天干人人看综合| 蜜臀th| 国产精品suv一区| 成人小电影网站tex| 强奸国产在线| 97啪啪| 亚洲国产精品久久久久婷婷老年| 狠狠干91| 午夜福利成人免费视频| 99国内熟女露脸视频| 国产一区二区在线播放量| 亚欧免费| 蜜臀久久一区二区| 国产强奸超碰AV| 精品人妻一区二区免费蜜桃| 99国产女人| 日韩欧美字幕亚洲一区二区| 人妻人人澡人人爽人人| 操逼视频国产无套| 天天综合香 ld视频| 亚洲欧美999| 精品色色| 久久久久久久9| 9久热| 深爱伊人影院| 三级三久久线久久99久目本WW| 尤物视频偷拍免费| 色色色色日本| 乱伦熟女区| 亚洲欧美在线综合| Blackedraw视频一区二区| 91AV天美在线视频| 看免费的黄片| AV天堂丝袜| 国产AV人人夜夜澡人人爽麻豆| 九月色婷婷| 亚洲老司机123专区| 麻豆精品A片免费观看| 久热这里| 99久久婷婷丁香| 免费久久精品麻豆一区二区av| 婷婷丁香一区二区三区| 26uuu最新| 怡红院视频在线| 国产无马在线| 国产婷婷综合在线观看| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 男人的天堂在线有码| 91成人无码| 偷拍 精品 另类 四区| 国产性爱强奸乱伦大全| 日韩精品熟妇| 免费簧片在线观看| 校园春色 亚洲| 亚洲精品一二区| 91精产一区二区三区| 偷窥自拍A片| 色九久| 丁香五月激情网| 欧美色网络| 亚洲熟妇丝袜在线观看| 久久美女国产| 国产丁香精品露脸视频 | 17c嫩草51久久91嫩草| 26uuu欧美| 日韩欧美亚洲自拍偷拍| 98福利在线视频| 久久综合九九| 欧美日韩国产一区二区小黄片大全| 78久久久| 久久亚洲AV无码专区国产精品| 久操视频免费观看| 2020视频1区2区3区| 国产女s强制榨精视频| 天美传媒av一区二区| 99成人| 亚洲色系另类精品国产| 亚洲日本天堂| 91丝袜美女| 91亚洲色人| 日韩精彩视频| 久久精品中文字幕无码l| 69一区二区三区| 91挑色欧美| 97福利视频| 91搡老女人老妇女老熟女歌词翻译| 天美欧美国产| 99少妇精品视频| 思思性爱| 免费少妇一区二区| 好吊色青靑草| 天天操天天7| julia在线观看久久| 欧美麻豆成人同性GⅤ在线| 欧美翘臀视频网站一区二区三区| 亚州色图片在线色| 999日韩中文精品观看视频。| 人人操,操人人| 九九九九AV| 操逼短片| 天美欧美国产| 蜜臀久久99精品久久久久久久久| 人人摸人人干人人拍97| 色综合V| 日韩九九九| 亚洲人综合| 啊啊啊啊在线观看网址| 2020视频1区2区3区| 自拍大香蕉乱插| 久久久久久久久久va| 激情婷婷黑人91| 亚洲天堂7777| 亚洲精品白浆高清久久久久久| 999热这里只有精品| 男人的天堂无码| 白 大 人妻 区 在线| 97视频网站在线观看| 中文字幕jul-617人妻熟女| 岛国黄| 91丨国产丨白浆秘 洗澡动漫| 无码粉嫩白虎一线天b区| 精品乱码在线观看| 久久深夜无码| 大香蕉在线86| 伊人亚洲国产一成人久久精品,久久| 中国国国产一级特黄毛片| 伊人黄色片| 超碰97亚洲| 人人妻人人玩人人澡人人爽| 欧美综合色图片| 密臀在线免费观看| 2025亚洲男人天堂| 亚洲操人| 欧美精品自慰系列寂寞少妇| 色色毛片| 美国日韩黄片| 久久久久久久久久va| 国产精品又黄又猛又粗| 国产免费黄色一级大片| 日本一道在线播放高清| 南澳成人一级片在线播放| 噜噜瑟| 亚洲中文字幕久久无码精品| 婷婷10月天青娱乐| 久久香蕉国产线看观看亚洲女人| 熟女少妇一区二区三区| 国产白丝网站| 欧美瑟综合| 色97欧美| 亚洲天堂男人网| 欧美色就是色| 中文字幕丝袜国产第一页不卡| 一区二区三区四区姦女| 色综合色欲色综合色综合色综合| 女人高潮大叫一级毛片| 丰满人妻大屁一区二区| 亚洲激情av| 一起草高清无码| 欧美国产精品久久九九| 欧美五十路熟| 围产精品一区二区三区视频播放| 日韩不卡a级视频专区| 99视频精品| 日韩乱码Av| 国产福利夜| 九九九热精品| 国产91 丝袜在线播放 | 成年人黄色| 麻豆国产97在线| 国产精品 久久久精品一牛| 午夜偷拍久久熟女| 91人妻PORNY九色大屁股| 啊啊啊好爽快点啊啊啊嗯嗯| 天天摸夜夜摸| 天天大干大香蕉| 欧美色图综合网| 午夜AV污污污| 老熟女91视频| 日韩三A大片在线观看| 亚洲操逼无码| 99国产精品人妻人伦| 口爆综合网| 日本伦理一区二区| 99最新日韩偷拍视频| 91精品人妻一品二品三品| 国产精品ww久久| 强奸乱伦中文字幕AV| 久久欧美性爱视频| 色婷婷综合久久久久中文一区二区| 日韩三级网址| 中文字幕精品乱码| 96麻豆精品一区二区三区| 国产一区二区三区免费视频在性观看| 国产精品久久久鸭无码的功能| 精精夜夜| 少妇人妻在线| 涩综合导航| wwwcaobibi| 欧美日韩m| 亚州大图综合色图| 国产在线能看的你懂的| 三级三久久线久久99久目本WW| 99爱久久视频频| 精品一区二区2| 欧美成人A√在线一区二区| 巨爆乳肉感一区二区三区竹菊影视| 丁香六月婷婷久久综合| 性交一区二区在线播放| 91一区二匹| 日本孕妇一区二区视频操逼免费看 | 免费?级毛片无码?∨蜜芽试看| 成人性交午夜免费片| 不卡一区视频| 青青草五月份天| 八戒无码国产午夜福利| 素人播放一区| 超碰天天操你比| 97久久久久| 久操网视频| 在线女人91| 青青草华人在线欧美在线| 亚洲av国产av综合av卡| 亚洲色天堂日韩中| 国产精品另类一区大香蕉| 亚洲人成网站7777| 中文字幕 人妻不满 在线视频| 夜夜夜夜爽| 日本欧美韩国国产在线| 欧美大香蕉在线观看| 亚洲高清欧美总合| 欧美久久伊人| 久久精品国产精品| 人妻日日干| asc国产精品| 黄片qw| 老色69| 日韩人妻中文视频| 国产精品一二三免费网站| 色悠久久久av| 黄色人人| 亚洲一区中文字幕一区| 夜草欧美| dy888午夜老子影视达达兔| 精品伊人久久久大香线蕉小说| 韩国轻伦国内自拍一区| 蜜屁Av| 在线中文字幕| 天天干2区3区| 久久久蜜桃一区二区三区| 九九精品99| 亚洲男人天堂网久久| 91天天综合| 婷婷五月天丁香| 啊嗯嗯啊好大好爽| 国产精品制服丝袜清纯唯美 | 国产深夜福利| 国产九月婷婷| 91狠狠综| 玖玖爱综合| 精品久久久av无码免费| 春色校园综合网| 欧美日韩插逼视频| 欧美另类自拍| 尤物黄色在线观看网站| 综合网久久| 国产精品久久久 | 吉田爱美AV在线| A一区片| 99热这里都是精品| 加勒比综合网| 妇女视频网站| 中文字幕交换人妻| 一区二区 电影 亚洲| 日韩精品中文字幕人妻| 欧亚久久偷拍视频| 成人a大片在线观看| 国产一区96在线| 国产在线综合网| 日本蜜桃| 曰韩无码777| 舔足天天操天天射| 在线 亚洲 网爆 自拍| 亚洲综合另类| 欧美中文字幕一区| 亚洲av影音先锋| 天美传媒精品久久视频| 亚洲经典啪啪| 亚洲欧美999| 北京美女一区二区| 操逼片国产| 成人AV超碰免费在线| 日本黄色裸日本黄色裸体 | 欧美亚洲日韩人妻在线观看| 久久精品久久久久久久| 操人无码| 亚洲在线网站| 激情五月婷婷综合| 九九热三级片| 国产久久久9999| 国产高清吃奶免费视频网站| 欧洲精品区| 欧美熟女少妇| 久久的免费性爱视频| 天天做天天爱天天爽AV| 亚洲砖码砖专无区2023| 蜜桃av色偷偷av老熟女| 伊人久久大香蕉线AV五月天| 高清国产av无码| 美国日韩黄片| 亚洲天堂少妇| www.高清无码诱惑一区.com | 果冻传媒A片麻豆熟妇人妻| www.91色综合| 日韩 欧美 视频 在线 一区| 亚洲精品99999| 99日免费视频中文字幕| 国内91熟女人妻丝袜天天精品视频在线 | 日韩欧洲操屄视频| 久久久久ab| 亚洲欧综合另类无码一区| 欧美色青| 久久精品72| 五月天成人综合| 国产精品又黄又猛又粗| 亚洲九九视频| 1人人看人人摸人人操| h在线看免费版在线看| 亚洲涩涩| 五月激情啪啪| 草草影院最新网址| 欧美亚洲情色| 淫纸中9区| 殴美日韩m| 精品区国产区一区二区三区| 丁香七月婷婷| 91制服丝袜| 人妻大相焦在线| 92福利社视频| 熟女突然公开看18禁影片| 高清国产精品无码| 亚洲九九九| 夜夜操夜夜高潮夜夜爽国产精品区| 亚洲精品欧美专业| 色色色色色色色色色色色色色色综合| 日韩av不卡在线观看| 免费一级性爱久久| 久久产精品一区二区三区电影| 一区二区三区蜜桃成人撸久久东京热| 嗯啊不要在线观看嗯啊| www.色操逼| 午夜寂寞欧美| 国产成年精品高清在线观看91| 啊啊啊啊免费视频| 玖色av| 中国小夫妻勾搭露脸淫荡对白| 狠狠中文字幕| 天天日天天舔天天喷天天射| 爱射综合| 欧美日韩性爱操大逼| 国产91乱伦| 精品人妻中文字幕4399| 欧美色图校园春色| 国产自产22区| 青青草久久| 操逼精品视频| 欧美嗯啊……在线观看视频免费| 在线只有精品| 99久热| 黄污污污污| 久久精彩免费视频| 一区二区日韩欧美久久| 色色婷婷五月天| 亚洲高清在线| 乱伦3P视频| 午夜理论片在线观看免费| 人人看人人爰人人操| 天天爽天天操啊啊啊| 午夜操一视频一区| 操熟女91| 97国产精品在线观看| 九九九只有精品| 新91视频.cmp| 9ⅰ久久久天天| 天天日天天干天天摸天天操| 精品人妻一区二区三区视频在线| 亚洲欧美97√| 999999精品| 亚洲色婷婷久久91| 18禁在线视频| 思思热久久成人| 无码 有码 国产18p| 少妇xx精品| 丁香婷婷九月| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 亚洲成人妻日韩在线| 亚州综合AⅤ| 欧美国产有色电影| 日韩精品系列| 中文字幕一区二区无码成人| www.人人摸在线视频| 久操视频在线| 九九九九九九九九九国产精品| 中文字幕欧美日韩三级| 大香蕉免费3| 黄色网址在线免费观看| 国产精品无码av| 日韩女模中文造逼| 性爱综合网| 江都AV在线| 日本人体九九九九九九| 无码欧美有限公司| 亚洲午夜免费狠狠干| 欧美日韩资源在线| 亚洲诱惑| 2017,超碰| 日本操嫩b网| 黄页网站免费高清在线观看| 天堂国产AV| 国产60区。| 口爆综合网| 国产免费一区二区在线A片视频| 亚码激情| 超碰97最新人妻| 国产精品人人爽人人做可爱福利| 久热精品在线| 久久精品国产精品一区| 国产精品爱欲| 日韩国产乱子伦App| 97色婷| 久操 高清| 美女91网| AV和黑人在线播放| 强奸乱伦中文字幕AV| 9久超碰| 久久噜| 久久久新亚洲AV| 乱伦日本色图AⅤ| 高清不卡一二三区视频......| 东京太热久久久| 破处bbq| 日韩有码 一区二区三区| 亚洲超碰AV| 嗯嗯啊啊用力视频免费| 风间由美日韩欧美久久| 精品人妻视频入口| 狠狠综合| 四虎AV影视国产精品亚洲精品| 欧美日韩中文字幕不卡| 多毛小伙内射老太婆| 国产一区96在线| 中文无线日韩一区| 亚洲欧美伦综合| 欧美午夜一区二区三区| 欧美色图私拍91| 青青在线视频免费| 久久精品日韩| 亚洲美乱| 青娱乐导航AV| 黑人性暴力毛片| 在线观看色视频| 视频在线观看一二三区| 九九av| 免费av在线播放二区| 一二三四免费视频| 国产激情在线| 久综合国内精品自在自线| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 伊人久久国产免费观看视频| 青娱乐黄色录像| 免费精品人妻一区二区三| 嗯嗯嗯嗯啊啊啊好紧好大| 久久人妻熟女一区二区| 99热这里只有精品地址| 亚洲色悠悠久久88| 91天天看| 大香蕉免费中文| 啊啊啊水好多| 9999免费精彩视频| 久久精品91| 亚洲欧洲综合成人av一区| 久久久久久大| 中国一级αV| 亚洲欧洲另类| 十八禁电影伊人网| 一线黄色免费性爱片| 青青操在线亚洲视频观看欧美在线 | 久久久草成人网站久久久草成人久久久草久久久 | 人人插人人摸人人| 久久精品视频久久久| 91丨精品丨国产丨丝袜| A 在线网址| 97 亚洲 日韩 欧美 在线| 伊人操| 9久超碰| 91模特在线观看| 国产精品呦一区二区三区| 熟女网站最新| 色乱二区| 91美女看B| 操高情无码| 蜜桃臀AV在线| 伊人网综合在线视频| 国产久久久9999| 中文字幕三四区| 欧美aaaaaaa| 午夜精品久久999热蜜桃介男人用| 91亚州| 中文字幕jul-617人妻熟女| 欧美肥臀在线| 性爱乱伦网址| 色婷婷淫色网| www.国产高潮精品| 抽插亚洲无码| 人妻熟女av国产网站| nuu12国产麻豆精品| 国产情侣自拍在线播放| 日日摸日日碰夜夜爽视频| 久操婷婷| 综合另类| 亚洲 另类 丝袜 自拍 动漫| 性videos欧美熟妇hdx| 人妻精品综合中文字幕在线| 天天视频网站黄| 日韩人妻无码精品系列| 近亲乱伦一区二区| 九一国产精品| 五月天激情视频| 精品无码欧美三级| 国产亚洲精品美女| 色色色色综合网| 亚欧色图在线激情| 黄色小说亚洲| 成人羞羞视频国产| 天天日天天操VV| 欧美大香蕉专区网| 伊人91| 日韩99999色| 免费在线黄片视频| 91色s| 日韩人妻精品久久久久| 亚洲国产成人精品女人久久久| 亚洲综合小视频小说在线观看| 亚欧性爱无码| 啊啊啊水好多| 国产AV天美| 亚洲日韩成人性爱视频| 精品国产乱码久久| 狠狠狠狠狠干| 免费无码国产精品v片在线观看| 欧美淫乱视频| 操我啊啊啊啊啊| 伊人久久综合精品欧美| 超碰地址久久| 综合欧美日韩在线| 99久久网站| 色综合V| 亚洲色性| 好屌色综合| 久久亚洲精品成人av| 天天躁日日躁狠狠躁| 久久久久人| 嗯嗯嗯,草死我| 国产三级在线现体验区| 国产精品第一页国产大屁股视频免费区i| 男人的天堂2019AV| 黄色大片免费在线| 久操免费观看| 综合干干干av久久久综合网| 精品一区二区成人动漫| 亚洲 小说 欧美 激情 另类| 精品人妻一区二区乱码一区二区| 午夜爽爽爽在线观看永久入口姬片| 亚洲影视综合| 人妻喷水| 日夜干射色啊| 亚洲AV无码成人精品久久| 日韩视频精品在线观看| 精品国产乱码久久久A| 91l欧美在线| a级理论午夜日本| 乱伦a片视频| 国产精品点击进入在线影院高清| 97精品人妻一二三四| 欧美色五月| 操屄不卡视频| 久久久少妇诱惑精品视频| 久久无码成人| 尤物av网站免费在线播放| 亚洲国产欧美另类自拍| 久久久中文版| 久久久三区二区一区| 大象AV在线| 全免费a敌肛交毛片免费| 日韩性色b| 亚洲精品白丝| 国产51色综合久久免费| 极品粉嫩少妇视频| 超碰免费人妻人人| 国产白嫩精品久久| 欧美gv在线观看| 69超碰综合| 97超碰精品图片| 丰满人妻一区二区三区免费,| 亚洲日韩熟女人妻高清在线| 久久黄色性爱视频| 在线黄色污污网站| 午夜一级免费毛片| 亚洲综合影视| 国产精品国产亚洲区艳妇糸列| 超碰超碰95| 天美传媒婬乱| 精品国产嫩穴视频| 亚洲无码偷拍| 十八禁黄色成人网站观看| 无码丰满熟妇一区二区浪潮AV| 婷婷另类小说| 欧美成人A天堂片在线观看| 97在线青| 自拍偷拍 日韩无码| 91热色| 国产精品无码AV网站| 欧美熟妇精品黑人巨大91| 爱av免费| 精品九九九| 高清不卡一二三区视频......| 精品人妻一区二区三区四区石在线| 野狼激情网| 欧美日韩亚洲一区二区在线观看| 伊人久久亚洲中文字幕不卡| 国产亚洲精品无码三区| 后入日本1234| 日本三级人妻a人妻一在线| xxxx网站亚洲精品| 91精品久久久久| www.高清无码诱惑一区.com | av婷婷色网| 99精品视频在线观看免费| 久久久久久中文| 精品久久久久黄少妇| 久久婷五月| 白天啪啪晚上啪啪视频| 久久加勒比| 97少妇人妻中文字幕久久| 亚洲性爱高潮影院| 无码操逼网| 熟女探花啪啪| 精品人妻av区天天看片| 青青草国产一区二区三区| 一级黄色性爱A级片| 欧美日韩黄片精品在线| 乱久久久| 天天舔九色婷婷| 91爽啪| 美女刺激久久国产欧美| 欧美国产精品久久九九| 欧美日韩精品久久久久东北老熟妇| 九九热免费国产视频婷婷伊人五月 | 久久精品国产亚洲粉嫩| 久肏视频字幕| 天美传媒精品久久视频| 激情欧美日韩女同久久| 伊人AAA| 久久黄黄| 啪啪91| 极品色社| 伊人成人中文字幕久久网| 国产高清无码一区二区三区四区皇冠| 国产精品免费日韩| 日韩精品资源专区二区| 97色在线| 五月婷婷啪啪| 五月天色图| 嗯啊不要在线| 综合激情97| 999熟女精品| 欧美激情 亚洲色图| 人人操人人色网| 综合网欧美| 欧美一区二区三区互相| 370p日韩欧美亚洲精品| 国产精品无码在线| 99日韩| 成人资源中文字幕在线观看天天| 国产一区在线观看无码AV| 欧美性爱三区二区| 中文高清一区二区的| 欧美色图私拍91| 91 偷| 国产亚洲99久久精品熟| 青青操网| 男人的天堂网页| 乱伦a片视频| 国产精品久久久无码AV网站| 日本三级日本三级99| 人人插人人搞人人操| 999久久久久久久精| 久9久9精品| 人人操人人93| 在线v中文字幕一区二区三区| 人妻av在线| 九九国产热| 亚洲AV成人精品网站在AV| 日本天天操| 欧美一级黄片免费播放| 啊啊啊啊操死我了| 伊香蕉综合久久久久久久噜噜噜| 久久无码成人| 亚洲男人的天堂亚洲| 10000部十八禁看电影| 97操B| 伊人激情五月天一区二区| av优播| 亚洲一区二区av| 翔田千里AⅤHD无码| 五月天色图| 国产精品操| 天美麻豆精品视频99| 一摸二插三插| 日本黄色大片一级视频免费麻豆| 九九视品黄色| 日本韩高清无砖码22o| 国产成人资源| 日本综合色图|