簡介這份資源是面向計(jì)算機(jī)相關(guān)專業(yè)學(xué)生與項(xiàng)目實(shí)戰(zhàn)學(xué)習(xí)者的Python人工智能大作業(yè)完整資料包聚焦網(wǎng)絡(luò)輿情分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)適合正在準(zhǔn)備期末大作業(yè)、畢業(yè)設(shè)計(jì)或需要積累AI項(xiàng)目經(jīng)驗(yàn)的人群。壓縮包共118個(gè)文件約45.2MB以27個(gè)py源碼文件為核心輔以36個(gè)txt說明、12個(gè)jar與10個(gè)class等Java組件、7個(gè)java與6個(gè)xml配置以及ipynb實(shí)驗(yàn)筆記、json數(shù)據(jù)、xlsx表格和少量md文檔覆蓋從數(shù)據(jù)采集、中文NLP處理到可視化展示的完整鏈路。內(nèi)容預(yù)覽中可見AipNLP、BarChart、PieChart、InitialUIDesign等類說明系統(tǒng)包含情感傾向分析與圖表界面模塊。該資源經(jīng)導(dǎo)師指導(dǎo)并獲評審98分源碼均本地編譯調(diào)試可運(yùn)行已有144人學(xué)習(xí)。讀者可獲得可復(fù)用的輿情分析代碼框架、界面與算法實(shí)現(xiàn)思路及配套資料便于快速搭建與二次開發(fā)。1. 輿情分析大作業(yè)為什么總在“情感分類”這一步翻車做課程大作業(yè)時(shí)很多同學(xué)把網(wǎng)絡(luò)輿情分析系統(tǒng)理解成“爬蟲 詞云 情感餅圖”三件套結(jié)果代碼跑通了報(bào)告卻拿不到高分。問題不在工具而在鏈路原始文本沒清洗、情感標(biāo)簽靠拍腦袋、時(shí)間序列只畫一條折線最后系統(tǒng)只能演示不能解釋。基于 Python 的人工智能大作業(yè)網(wǎng)絡(luò)輿情分析系統(tǒng)真正要解決的是從非結(jié)構(gòu)化文本里提取可驗(yàn)證的輿情信號并讓每一步都有參數(shù)可調(diào)、有指標(biāo)可看。它適合正在趕大作業(yè)的本科生、需要快速搭原型的開發(fā)者以及想用一套完整源碼理解 NLP 落地流程的從業(yè)者。下面按“數(shù)據(jù)進(jìn)來、模型跑通、結(jié)果可信”的順序拆開講中間會給出可直接抄的代碼和參數(shù)表。2. 先定數(shù)據(jù)管道從采集到存儲的四個(gè)關(guān)鍵字段2.1 為什么不能直接拿原始評論喂模型輿情系統(tǒng)的輸入通常來自公開討論區(qū)、新聞評論或模擬生成的 JSON 文件。原始文本里混著表情符號、URL、重復(fù)刷屏和廣告直接送進(jìn)模型會讓準(zhǔn)確率掉 10 到 20 個(gè)百分點(diǎn)。常見做法是先把每條記錄壓成四個(gè)字段doc_id、publish_time、raw_text、source。doc_id用哈希或自增整數(shù)都行但必須唯一publish_time統(tǒng)一轉(zhuǎn)成YYYY-MM-DD HH:MM:SS后面做時(shí)間窗口聚合全靠它raw_text保留原文方便回溯source標(biāo)記渠道用于分組對比。清洗階段只做三件事去掉 URL 和 提及、把連續(xù)空格壓成一個(gè)、過濾長度小于 5 的短文本。不要在這一步做分詞或去停用詞因?yàn)楹罄m(xù)可能換模型保留原始字符更安全。import re import pandas as pd def clean_text(text: str) - str: # 去掉 URL 和 提及保留中文、英文、數(shù)字和基本標(biāo)點(diǎn) text re.sub(rhttps?://\S|www\.\S, , text) text re.sub(r\w, , text) text re.sub(r\s, , text).strip() return text def build_pipeline(raw_df: pd.DataFrame) - pd.DataFrame: df raw_df.copy() df[clean_text] df[raw_text].astype(str).apply(clean_text) df[publish_time] pd.to_datetime(df[publish_time], errorscoerce) # 丟棄時(shí)間解析失敗和過短文本 df df.dropna(subset[publish_time]) df df[df[clean_text].str.len() 5] df[date] df[publish_time].dt.date return df[[doc_id, publish_time, date, clean_text, source]]這段代碼里errorscoerce會把無法解析的時(shí)間變成NaT避免后續(xù)聚合報(bào)錯(cuò)長度閾值 5 是經(jīng)驗(yàn)值低于 5 個(gè)字符的文本通常是“頂”“贊”這類無信息內(nèi)容。date字段單獨(dú)抽出來是為了按天做輿情熱度曲線不用每次重算。2.2 存儲選型SQLite 夠用別急著上 MongoDB大作業(yè)的數(shù)據(jù)量一般在幾千到幾萬條SQLite 完全能扛住而且單文件方便打包進(jìn)源碼。建表時(shí)把doc_id設(shè)為主鍵publish_time和source建索引查詢速度足夠。如果非要用 MongoDB注意默認(rèn)端口和認(rèn)證配置否則演示時(shí)連不上會非常尷尬。下面是一個(gè)最小建表語句CREATE TABLE IF NOT EXISTS posts ( doc_id TEXT PRIMARY KEY, publish_time TEXT NOT NULL, clean_text TEXT NOT NULL, source TEXT, sentiment_label INTEGER, sentiment_score REAL ); CREATE INDEX IF NOT EXISTS idx_publish_time ON posts(publish_time); CREATE INDEX IF NOT EXISTS idx_source ON posts(source);sentiment_label和sentiment_score先留空等模型跑完再回填。這樣數(shù)據(jù)管道和模型解耦換模型不用重建表。2.3 參數(shù)怎么設(shè)清洗閾值與時(shí)間窗口清洗階段有兩個(gè)參數(shù)容易拍腦袋最小文本長度和去重策略。最小長度建議 5 到 8 個(gè)字符太短沒信息太長會誤刪有效短評。去重按clean_text的 MD5 哈希做保留最早出現(xiàn)的那條避免刷屏影響熱度統(tǒng)計(jì)。時(shí)間窗口按小時(shí)或按天聚合取決于數(shù)據(jù)密度一天超過 500 條就按小時(shí)否則按天。這些參數(shù)沒有絕對最優(yōu)但要在報(bào)告里寫清楚否則復(fù)現(xiàn)時(shí)會被質(zhì)疑。3. 情感分類模型從樸素貝葉斯到預(yù)訓(xùn)練模型的取舍3.1 三條技術(shù)路線的適用邊界做輿情情感分類常見三條路樸素貝葉斯 TF-IDF、LSTM 詞向量、預(yù)訓(xùn)練模型微調(diào)。樸素貝葉斯訓(xùn)練快幾千條數(shù)據(jù)幾分鐘出結(jié)果適合作為基線LSTM 能捕捉語序但需要更多數(shù)據(jù)和調(diào)參時(shí)間預(yù)訓(xùn)練模型準(zhǔn)確率最高但顯存和時(shí)間成本也最高。大作業(yè)如果只有 CPU建議先跑樸素貝葉斯再用預(yù)訓(xùn)練模型做對比實(shí)驗(yàn)報(bào)告里放兩張混淆矩陣分?jǐn)?shù)立刻上去。選型時(shí)看三個(gè)指標(biāo)準(zhǔn)確率、訓(xùn)練時(shí)間、可解釋性。輿情場景往往需要解釋“為什么判為負(fù)面”樸素貝葉斯的特征權(quán)重反而比黑盒模型更好寫分析。3.2 用 TF-IDF 樸素貝葉斯跑通最小閉環(huán)下面這段代碼假設(shè)你已經(jīng)有一個(gè)帶clean_text和sentiment_label的 DataFrame標(biāo)簽 0 為負(fù)面、1 為中性、2 為正面。先劃分訓(xùn)練集和測試集再建管道。from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline from sklearn.metrics import classification_report, confusion_matrix # 假設(shè) df 已包含 clean_text 和 sentiment_label X_train, X_test, y_train, y_test train_test_split( df[clean_text], df[sentiment_label], test_size0.2, random_state42, stratifydf[sentiment_label] ) pipe Pipeline([ (tfidf, TfidfVectorizer( max_features5000, # 控制特征維度防止過擬合 ngram_range(1, 2), # 一元和二元詞組捕捉“不 滿意”這類否定 min_df2, # 至少出現(xiàn)兩次才保留過濾噪聲 max_df0.9 # 出現(xiàn)在 90% 以上文檔的詞直接丟棄 )), (clf, MultinomialNB(alpha0.1)) # alpha 是平滑系數(shù)越小越依賴數(shù)據(jù) ]) pipe.fit(X_train, y_train) y_pred pipe.predict(X_test) print(classification_report(y_test, y_pred, digits4)) print(confusion_matrix(y_test, y_pred))max_features5000是平衡內(nèi)存和效果的常用值數(shù)據(jù)量超過 5 萬條可以提到 10000。ngram_range(1,2)能抓到“不 滿意”“很 好”這類組合對輿情情感很關(guān)鍵。alpha0.1比默認(rèn)的 1.0 更激進(jìn)如果數(shù)據(jù)干凈且標(biāo)注一致效果更好如果噪聲大調(diào)回 0.5 到 1.0。跑完看classification_report如果中性類 F1 明顯低說明中性樣本定義模糊需要回頭檢查標(biāo)注規(guī)則。3.3 預(yù)訓(xùn)練模型微調(diào)時(shí)的顯存與學(xué)習(xí)率如果要用預(yù)訓(xùn)練模型先確認(rèn)環(huán)境有 GPU。常見做法是加載中文預(yù)訓(xùn)練權(quán)重接一個(gè)分類頭用 AdamW 優(yōu)化器學(xué)習(xí)率設(shè) 2e-5 到 5e-5批次大小 16 或 32。顯存不夠就減小批次并開啟梯度累積。訓(xùn)練輪數(shù) 3 到 5 輪足夠太多會過擬合。下面是一個(gè)訓(xùn)練循環(huán)的關(guān)鍵參數(shù)片段from transformers import AdamW, get_linear_schedule_with_warmup optimizer AdamW(model.parameters(), lr3e-5, weight_decay0.01) epochs 4 total_steps len(train_loader) * epochs scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(0.1 * total_steps), # 前 10% 步數(shù)做 warmup num_training_stepstotal_steps )weight_decay0.01是常規(guī)正則化warmup防止初期梯度爆炸。如果訓(xùn)練損失震蕩先把學(xué)習(xí)率降到 1e-5如果損失下降太慢檢查數(shù)據(jù)標(biāo)簽是否平衡。預(yù)訓(xùn)練模型跑完后把預(yù)測結(jié)果回填到 SQLite 的sentiment_label和sentiment_score字段后續(xù)分析直接查表。4. 輿情熱度與趨勢時(shí)間序列聚合的三種口徑4.1 按小時(shí)聚合還是按天聚合聚合口徑?jīng)Q定趨勢圖能不能看出突發(fā)點(diǎn)。數(shù)據(jù)密度高時(shí)按小時(shí)能捕捉“某事件兩小時(shí)內(nèi)爆發(fā)”數(shù)據(jù)稀疏時(shí)按天否則曲線全是零。計(jì)算熱度可以用三個(gè)指標(biāo)發(fā)帖量、負(fù)面占比、平均情感得分。發(fā)帖量反映關(guān)注度負(fù)面占比反映風(fēng)險(xiǎn)平均情感得分反映整體傾向。下面是一個(gè)按天聚合的示例def daily_aggregate(df: pd.DataFrame) - pd.DataFrame: grouped df.groupby(date).agg( post_count(doc_id, count), neg_ratio(sentiment_label, lambda x: (x 0).mean()), avg_score(sentiment_score, mean) ).reset_index() # 補(bǔ)全缺失日期避免折線斷裂 full_range pd.date_range(grouped[date].min(), grouped[date].max(), freqD) grouped grouped.set_index(date).reindex(full_range.date, fill_value0).reset_index() grouped.columns [date, post_count, neg_ratio, avg_score] return groupedreindex補(bǔ)全缺失日期很重要否則折線圖會跳過沒有數(shù)據(jù)的日期視覺上誤導(dǎo)。neg_ratio用(x 0).mean()計(jì)算前提是標(biāo)簽 0 代表負(fù)面。如果標(biāo)簽編碼不同改成對應(yīng)值即可。4.2 突發(fā)檢測滑動窗口與閾值報(bào)警輿情系統(tǒng)的高分點(diǎn)往往在“突發(fā)檢測”。簡單做法是計(jì)算過去 7 天同一時(shí)段的均值和標(biāo)準(zhǔn)差當(dāng)天發(fā)帖量超過均值加 2 倍標(biāo)準(zhǔn)差就標(biāo)記為突發(fā)。這個(gè)邏輯可以用 pandas 滾動窗口實(shí)現(xiàn)grouped[rolling_mean] grouped[post_count].rolling(window7, min_periods3).mean() grouped[rolling_std] grouped[post_count].rolling(window7, min_periods3).std() grouped[is_burst] grouped[post_count] (grouped[rolling_mean] 2 * grouped[rolling_std])window7是經(jīng)驗(yàn)值數(shù)據(jù)少于 14 天可以改成 3。min_periods3保證前三天也有值。is_burst為 True 的日期在報(bào)告里單獨(dú)列出來配上當(dāng)天高頻詞分析說服力會強(qiáng)很多。4.3 高頻詞與情感詞的交叉分析只放詞云不夠要把高頻詞和情感標(biāo)簽交叉。比如“退款”這個(gè)詞在負(fù)面樣本里出現(xiàn)頻率是正面的 5 倍那它就是風(fēng)險(xiǎn)信號。實(shí)現(xiàn)時(shí)先分詞再按標(biāo)簽分組統(tǒng)計(jì)詞頻最后算每個(gè)詞在不同標(biāo)簽下的頻率比。分詞工具選常見的中文分詞庫即可停用詞表用公開的通用表再手動加幾個(gè)領(lǐng)域詞。交叉分析的結(jié)果用表格呈現(xiàn)比詞云更硬核。5. 避坑與排查大作業(yè)里最容易翻車的五個(gè)點(diǎn)5.1 標(biāo)簽泄露測試集里混進(jìn)了訓(xùn)練集文本現(xiàn)象測試準(zhǔn)確率 0.98換一批數(shù)據(jù)掉到 0.6。原因去重沒做好同一條文本既在訓(xùn)練集又在測試集。解決在劃分?jǐn)?shù)據(jù)集之前先按clean_text的哈希去重確保每個(gè)文本只出現(xiàn)一次。如果同一條文本有多個(gè)標(biāo)簽保留多數(shù)投票結(jié)果或直接丟棄。5.2 時(shí)間解析失敗導(dǎo)致聚合為空現(xiàn)象按天聚合后所有日期都是NaT折線圖畫不出來。原因原始時(shí)間格式不統(tǒng)一比如混了“2024/01/01”和“2024-01-01”。解決在pd.to_datetime里加formatmixed或先用正則統(tǒng)一分隔符。更穩(wěn)妥的做法是寫一個(gè)解析函數(shù)依次嘗試幾種常見格式全部失敗再丟棄。5.3 類別不平衡讓模型只會猜多數(shù)類現(xiàn)象負(fù)面樣本占 80%模型把所有文本都判為負(fù)面準(zhǔn)確率 0.8 但 F1 很低。原因訓(xùn)練時(shí)沒有處理不平衡。解決在MultinomialNB里設(shè)class_prior或在劃分時(shí)用stratify保證每類比例一致。更直接的辦法是對少數(shù)類過采樣但要注意過采樣只在訓(xùn)練集做測試集保持原始分布。5.4 預(yù)訓(xùn)練模型顯存溢出現(xiàn)象訓(xùn)練到一半報(bào)CUDA out of memory。原因批次太大或序列太長。解決把批次從 32 降到 16 或 8同時(shí)開啟梯度累積累積步數(shù)設(shè)為 2 或 4。序列長度截?cái)嗟?128 或 256不要直接設(shè) 512。如果還是溢出換用更小的預(yù)訓(xùn)練模型。5.5 報(bào)告里只放準(zhǔn)確率不放混淆矩陣現(xiàn)象老師問“中性類識別怎么樣”答不上來。原因只看了整體準(zhǔn)確率。解決每次實(shí)驗(yàn)都輸出混淆矩陣和分類報(bào)告重點(diǎn)看每一類的精確率和召回率。輿情場景里負(fù)面類的召回率比整體準(zhǔn)確率更重要漏掉一條負(fù)面輿情可能比誤判一條正面更嚴(yán)重。6. 把系統(tǒng)跑成可演示的閉環(huán)一個(gè)最小 Web 界面與驗(yàn)證習(xí)慣最后一章落到怎么把上面這些串成一個(gè)能演示的東西。不需要復(fù)雜前端用 Streamlit 或 Flask 寫一個(gè)單頁就夠。頁面分三塊頂部輸入框粘貼一條新文本中間顯示情感預(yù)測結(jié)果和置信度底部展示歷史趨勢圖。Streamlit 的好處是代碼量少適合大作業(yè)演示。下面是一個(gè)最小示例import streamlit as st import pandas as pd import joblib # 加載訓(xùn)練好的管道 pipe joblib.load(sentiment_pipe.pkl) st.title(輿情分析演示) text st.text_area(輸入一條評論文本) if st.button(分析): pred pipe.predict([text])[0] proba pipe.predict_proba([text]).max() label_map {0: 負(fù)面, 1: 中性, 2: 正面} st.write(f情感傾向{label_map[pred]}置信度{proba:.2f}) # 展示歷史趨勢 df pd.read_csv(daily_aggregate.csv) st.line_chart(df.set_index(date)[post_count])joblib.load加載的是之前訓(xùn)練好的管道注意保存時(shí)用joblib.dump(pipe, sentiment_pipe.pkl)。predict_proba返回最大概率作為置信度低于 0.6 的可以標(biāo)為“不確定”避免誤導(dǎo)。趨勢圖直接讀聚合后的 CSV不用每次重算。驗(yàn)證習(xí)慣方面我一般會做三件事第一每次改完清洗規(guī)則或模型參數(shù)重新跑一遍測試集記錄準(zhǔn)確率和負(fù)面類召回率第二把預(yù)測錯(cuò)誤的樣本單獨(dú)導(dǎo)出人工看 20 條找規(guī)律第三在報(bào)告里寫清楚每個(gè)參數(shù)的取值理由而不是只貼結(jié)果。這套流程跑下來大作業(yè)的分?jǐn)?shù)不會低更重要的是你真正理解了從文本到?jīng)Q策的每一步。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取