簡(jiǎn)介這份人工智能通識(shí)入門(mén)課程面向零基礎(chǔ)學(xué)習(xí)者、培訓(xùn)學(xué)員以及希望系統(tǒng)梳理AI知識(shí)框架的初學(xué)者圍繞人工智能基本概念、發(fā)展脈絡(luò)與大數(shù)據(jù)背景下的落地應(yīng)用展開(kāi)。內(nèi)容從達(dá)特茅斯會(huì)議、符號(hào)主義與連接主義講到深度學(xué)習(xí)并覆蓋機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)以及自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、機(jī)器人技術(shù)等核心分支同時(shí)結(jié)合Hadoop、Spark說(shuō)明數(shù)據(jù)預(yù)處理、特征工程與模型訓(xùn)練流程并討論隱私泄露、就業(yè)變革、算法歧視等倫理議題。資源包含1個(gè)PDF文件壓縮包約6.25MB適合電腦端閱讀、檢索和課堂投屏。課程配有實(shí)例演示與實(shí)戰(zhàn)項(xiàng)目思路可幫助讀者把數(shù)據(jù)清洗、模型構(gòu)建、效果驗(yàn)證到結(jié)果分析的過(guò)程串聯(lián)起來(lái)形成對(duì)AI應(yīng)用鏈路的整體認(rèn)識(shí)。目前已有385人學(xué)習(xí)適合作為AI入門(mén)自學(xué)、企業(yè)培訓(xùn)預(yù)習(xí)或高校課堂補(bǔ)充材料。1. 第一次聽(tīng)到“人工智能”就發(fā)怵先把這門(mén)通識(shí)課講明白很多人第一次聽(tīng)到“人工智能”這四個(gè)字腦子里先冒出科幻片里的機(jī)器人緊接著就是一句“我數(shù)學(xué)不好肯定學(xué)不會(huì)”。其實(shí)把 AI 想成一臺(tái)特別能吃數(shù)據(jù)的機(jī)器更貼切扔進(jìn)去的是大量原始數(shù)據(jù)出來(lái)的是“預(yù)測(cè)”和“判斷”它不會(huì)憑空變聰明靠的是你喂給它的東西夠多、夠干凈。這門(mén) AI 初體驗(yàn)通識(shí)基礎(chǔ)課要解決的正是“先搞懂它是什么”這道門(mén)檻它不教你造機(jī)器而是帶你認(rèn)全機(jī)器的每個(gè)部件認(rèn)全人工智能的四大分支再講清大數(shù)據(jù)為什么是它的燃料。適合完全零基礎(chǔ)、想弄明白 AI 到底怎么運(yùn)轉(zhuǎn)、又不想一上來(lái)就被公式勸退的人包括做產(chǎn)品、做運(yùn)營(yíng)、做業(yè)務(wù)以及準(zhǔn)備換方向的自學(xué)者。2. 為什么要學(xué)AI通識(shí)先認(rèn)清一條流水線(xiàn)上的五個(gè)工位我?guī)н^(guò)不少零基礎(chǔ)的同學(xué)最常見(jiàn)的開(kāi)局是聽(tīng)說(shuō)“機(jī)器學(xué)習(xí)”火直接去找實(shí)戰(zhàn)教程裝環(huán)境裝了兩天報(bào)錯(cuò)十幾條第三天就放棄了。問(wèn)題不在難度在于跳過(guò)了一張地圖。通識(shí)課的價(jià)值不是讓你立刻會(huì)寫(xiě)模型而是讓你在動(dòng)手之前就知道自己站在流水線(xiàn)的哪一段、下一步該往哪走遇到陌生的詞不至于心里發(fā)慌。AI 和大數(shù)據(jù)這兩個(gè)詞天天在會(huì)議上出現(xiàn)真正讓人焦慮的往往不是不會(huì)寫(xiě)代碼而是聽(tīng)不懂別人在說(shuō)什么。2.1 一個(gè)AI項(xiàng)目長(zhǎng)什么樣從原始數(shù)據(jù)到“能用”的五步把任何一個(gè) AI 項(xiàng)目拆開(kāi)基本都是同一條流水線(xiàn)采集數(shù)據(jù)、清洗與特征處理、訓(xùn)練模型、評(píng)估效果、交付使用。用做菜打比方特別順——先去買(mǎi)菜收集數(shù)據(jù)回來(lái)洗切配清洗和特征工程下鍋炒訓(xùn)練嘗一口咸淡評(píng)估最后端上桌交付。新手最容易犯的錯(cuò)是把全部注意力放在“炒”這一步以為模型越高級(jí)菜越好吃結(jié)果菜是爛的鍋再好也沒(méi)用。這門(mén)課的結(jié)構(gòu)其實(shí)就是按這條流水線(xiàn)排的先講人工智能的定義和歷史讓你知道這鍋菜是怎么演變來(lái)的再講機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、機(jī)器人技術(shù)這四個(gè)分支相當(dāng)于認(rèn)識(shí)廚房里的幾口鍋接著用一整段講大數(shù)據(jù)也就是買(mǎi)菜和洗切最后談倫理與社會(huì)影響相當(dāng)于食品安全。你按這個(gè)順序聽(tīng)腦子里會(huì)自動(dòng)形成一張流程圖而不是一堆散裝名詞。我建議零基礎(chǔ)的人聽(tīng)到這一步就做一件小事拿張紙把“數(shù)據(jù)—清洗—模型—評(píng)估—使用”這五個(gè)詞橫著寫(xiě)一行后面每學(xué)一個(gè)概念就往對(duì)應(yīng)的位置塞。學(xué)監(jiān)督學(xué)習(xí)塞到“模型”學(xué)特征工程塞到“清洗”。塞滿(mǎn)一輪你對(duì) AI 的認(rèn)知就不再是黑匣子了。提示這條流水線(xiàn)是所有 AI 項(xiàng)目的通用骨架后面學(xué)任何具體技術(shù)都先問(wèn)自己一句“它屬于哪一步”比死記定義有效得多。2.2 三個(gè)流派、幾次浪潮歷史不是背年份是理解“為什么變成今天這樣”課程開(kāi)頭會(huì)講人工智能這個(gè)概念在 1956 年的一次學(xué)術(shù)會(huì)議上被正式提出然后一路講到現(xiàn)在。很多人聽(tīng)歷史就走神覺(jué)得跟動(dòng)手無(wú)關(guān)其實(shí)這段最有信息量它解釋了為什么今天學(xué) AI 必須先把數(shù)據(jù)搞清楚。早期的主流思路叫符號(hào)主義說(shuō)白了就是“人把規(guī)則寫(xiě)死”。專(zhuān)家系統(tǒng)是這條路的高峰——把老師傅的判斷經(jīng)驗(yàn)一條條寫(xiě)成規(guī)則機(jī)器照著查。問(wèn)題很快就暴露了規(guī)則少的時(shí)候挺好用一旦業(yè)務(wù)變復(fù)雜規(guī)則庫(kù)膨脹到幾千條改一條牽動(dòng)十條維護(hù)成本高得嚇人。這就像給新同事寫(xiě)操作手冊(cè)寫(xiě)到第八十頁(yè)手冊(cè)本身成了負(fù)擔(dān)。后來(lái)思路轉(zhuǎn)了叫連接主義通俗說(shuō)就是“別寫(xiě)規(guī)則了給例子讓它自己總結(jié)”。給機(jī)器一萬(wàn)張標(biāo)好“貓”“狗”的照片它自己去找區(qū)分規(guī)律這就是機(jī)器學(xué)習(xí)。再往后數(shù)據(jù)越來(lái)越多、算力越來(lái)越便宜把模型的層數(shù)堆深就成了深度學(xué)習(xí)。所以這門(mén)課把大數(shù)據(jù)放在四大分支之后講不是隨便排的——數(shù)據(jù)是這條技術(shù)路線(xiàn)真正的地基。我第一次學(xué)的時(shí)候把這段歷史當(dāng)成故事聽(tīng)過(guò)后才反應(yīng)過(guò)來(lái)三種流派其實(shí)對(duì)應(yīng)三種解決問(wèn)題的策略——規(guī)則能寫(xiě)清就用規(guī)則寫(xiě)不清就給例子例子多到人看不完就上深度學(xué)習(xí)。拿到一個(gè)實(shí)際需求先判斷它屬于哪一種比盲目套模型靠譜。2.3 三類(lèi)人學(xué)它的理由不一樣對(duì)號(hào)入座再?zèng)Q定投入多少技術(shù)方向的人學(xué)通識(shí)是為了打地基。你會(huì)寫(xiě)代碼不等于懂 AI很多 bug 的根源是對(duì)“模型在干什么”沒(méi)有概念。先把四大分支和數(shù)據(jù)處理流程過(guò)一遍再去學(xué)具體算法進(jìn)度會(huì)快很多。非技術(shù)崗學(xué)通識(shí)目標(biāo)更實(shí)際能判斷一個(gè)需求靠不靠譜能跟技術(shù)同事對(duì)上話(huà)。比如業(yè)務(wù)方提“能不能做個(gè)自動(dòng)識(shí)別圖片里商品的系統(tǒng)”你聽(tīng)完課程里的計(jì)算機(jī)視覺(jué)部分至少知道要問(wèn)三件事——有多少標(biāo)注好的圖、識(shí)別到什么精度算合格、錯(cuò)了會(huì)有什么后果。這三問(wèn)一出口溝通效率立刻不一樣。學(xué)生和轉(zhuǎn)行的人學(xué)通識(shí)核心是建立詞匯表。AI 領(lǐng)域的術(shù)語(yǔ)密度極高同一個(gè)詞在不同上下文里意思還不一樣。通識(shí)課的作用是把這些詞先過(guò)一遍讓你以后看文檔、看教程時(shí)不至于每段都卡住。學(xué)到什么程度算夠我的標(biāo)準(zhǔn)是能用自己的話(huà)把一條完整的流水線(xiàn)講給外行聽(tīng)就算過(guò)關(guān)了。3. 零基礎(chǔ)第一步把AI的四個(gè)核心分支拆成看得懂的樣子四大分支聽(tīng)起來(lái)唬人其實(shí)就是機(jī)器處理四類(lèi)不同的東西表格和數(shù)字機(jī)器學(xué)習(xí)、文字自然語(yǔ)言處理、圖像計(jì)算機(jī)視覺(jué)、物理動(dòng)作機(jī)器人技術(shù)。這一章我們挨個(gè)拆每個(gè)分支都配上最小可跑的示例或者可跟做的步驟你不需要裝任何環(huán)境用最普通的 Python 就能跟著敲一遍。別小看這些“玩具代碼”它們的骨架和工業(yè)級(jí)系統(tǒng)是同一套。3.1 機(jī)器學(xué)習(xí)三種學(xué)習(xí)方式對(duì)應(yīng)三種生活場(chǎng)景監(jiān)督學(xué)習(xí)是帶答案的練習(xí)冊(cè)給一堆題目每道題后面都寫(xiě)著正確答案機(jī)器做完自己對(duì)答案慢慢調(diào)整。無(wú)監(jiān)督學(xué)習(xí)是沒(méi)有答案的一筐襪子沒(méi)人告訴你該怎么分機(jī)器自己按顏色、材質(zhì)找出幾堆。強(qiáng)化學(xué)習(xí)是打游戲沒(méi)人教你怎么走走對(duì)了給分走錯(cuò)了扣分靠試錯(cuò)摸索策略。課程里講這三類(lèi)重點(diǎn)不是公式而是讓你判斷手里的問(wèn)題屬于哪一類(lèi)。下面這段代碼是監(jiān)督學(xué)習(xí)的最小形態(tài)二十行不到卻包含了“訓(xùn)練”和“預(yù)測(cè)”兩個(gè)核心動(dòng)作# 最小號(hào)的監(jiān)督學(xué)習(xí)從已有答案的數(shù)據(jù)里找出一個(gè)判斷門(mén)檻 # 每條數(shù)據(jù)是 (學(xué)習(xí)時(shí)長(zhǎng), 是否通過(guò))1 表示通過(guò)0 表示沒(méi)通過(guò) history [(1, 0), (2, 0), (3, 1), (5, 1), (6, 1), (8, 1)] # 訓(xùn)練從 0 到 9 逐個(gè)試門(mén)檻看哪個(gè)門(mén)檻判斷錯(cuò)的次數(shù)最少 best_line, best_miss None, len(history) 1 for line in range(0, 10): miss 0 for hours, passed in history: guess 1 if hours line else 0 # 用當(dāng)前門(mén)檻做判斷 if guess ! passed: # 和真實(shí)答案比一比 miss 1 if miss best_miss: # 記錄目前最好的門(mén)檻 best_line, best_miss line, miss print(找到的分界線(xiàn)學(xué)習(xí)時(shí)長(zhǎng) , best_line, 小時(shí)) print(在歷史數(shù)據(jù)上判斷錯(cuò)的次數(shù), best_miss) # 使用來(lái)了一個(gè)學(xué)了 4 小時(shí)的新同學(xué)用這條分界線(xiàn)做預(yù)測(cè) new_hours 4 print(預(yù)測(cè)結(jié)果, 通過(guò) if new_hours best_line else 未通過(guò))先看history這個(gè)列表它就是訓(xùn)練數(shù)據(jù)每一行都帶著“正確答案”這正是監(jiān)督學(xué)習(xí)里“監(jiān)督”兩個(gè)字的由來(lái)。中間的循環(huán)在做的事叫訓(xùn)練把門(mén)檻從 0 試到 9每次數(shù)一數(shù)判斷錯(cuò)幾條留下錯(cuò)得最少的那條。這里的line就是模型參數(shù)miss就是評(píng)估指標(biāo)range(0, 10)是搜索范圍——真實(shí)項(xiàng)目里參數(shù)不止一個(gè)搜索方式也更聰明但邏輯完全一樣。最后三行是預(yù)測(cè)模型訓(xùn)練完就固定下來(lái)拿新數(shù)據(jù)套進(jìn)去出結(jié)果。你如果把new_hours改成 7結(jié)果會(huì)翻轉(zhuǎn)這就是模型在做判斷。想再進(jìn)一步把數(shù)據(jù)換成“學(xué)習(xí)時(shí)長(zhǎng) 出勤率”兩個(gè)特征門(mén)檻就從一條線(xiàn)變成一個(gè)平面這也是為什么特征越多模型越復(fù)雜。注意這段代碼在 6 條數(shù)據(jù)上找門(mén)檻很容易找到一條“剛好全對(duì)”的線(xiàn)但換一批新數(shù)據(jù)就未必準(zhǔn)。真實(shí)項(xiàng)目一定要留一部分?jǐn)?shù)據(jù)不參與訓(xùn)練專(zhuān)門(mén)用來(lái)檢驗(yàn)。3.2 自然語(yǔ)言處理先讓機(jī)器把一句話(huà)數(shù)成數(shù)字機(jī)器不認(rèn)識(shí)“人工智能”這四個(gè)字的含義它只認(rèn)識(shí)數(shù)字。所以自然語(yǔ)言處理的第一步永遠(yuǎn)是同一個(gè)動(dòng)作把文本變成數(shù)字。課程里講文本分析和智能對(duì)話(huà)系統(tǒng)底層都是從這一步長(zhǎng)出來(lái)的。# 把一句話(huà)變成機(jī)器能算的東西統(tǒng)計(jì)每個(gè)詞出現(xiàn)幾次 sentence AI 通識(shí)課 講 人工智能 和 大數(shù)據(jù) 也 講 人工智能 的應(yīng)用 tokens sentence.split() # 英文式的按空格切分中文要先分詞再走這一步 counter {} for w in tokens: counter[w] counter.get(w, 0) 1 # 出現(xiàn)一次加一 for w, c in sorted(counter.items(), keylambda x: -x[1]): # 按次數(shù)從多到少排 print(w, c)跑完你會(huì)看到“講”和“人工智能”各出現(xiàn)兩次其余各一次。這個(gè)結(jié)果叫詞頻把詞頻按固定順序排成一行數(shù)字就得到一條“特征向量”——機(jī)器終于可以拿它去算距離、做分類(lèi)了。新手在這里最容易卡的是中文分詞英文單詞之間天然有空格中文沒(méi)有所以要先切成詞。這一步的準(zhǔn)確率直接決定后面所有環(huán)節(jié)的效果“人工智能”被切成“人工”和“智能”意思就跑偏了。另一個(gè)常見(jiàn)誤區(qū)是以為詞頻越高越重要實(shí)際上“的”“了”“是”這類(lèi)詞出現(xiàn)最多卻毫無(wú)信息量工程上要把它們先剔掉。3.3 計(jì)算機(jī)視覺(jué)和機(jī)器人先看懂“機(jī)器看見(jiàn)”和“機(jī)器動(dòng)手”的三步計(jì)算機(jī)視覺(jué)的流程可以壓縮成三步把圖像變成數(shù)字矩陣、從矩陣?yán)锾崛√卣鬟吘?、紋理、顏色分布、根據(jù)特征做判斷。你不需要一上來(lái)就理解卷積先記住“圖像在機(jī)器眼里就是一堆數(shù)字”這件事后面所有術(shù)語(yǔ)都能掛在這句話(huà)上。機(jī)器人技術(shù)多一層感知、決策、執(zhí)行。感知靠傳感器決策靠算法執(zhí)行靠機(jī)械結(jié)構(gòu)三者缺一環(huán)機(jī)器人就動(dòng)不利索。課程里講這部分時(shí)更強(qiáng)調(diào)“自主性和適應(yīng)性”說(shuō)白了就是環(huán)境變了它還能不能干成活。零基礎(chǔ)摸這兩個(gè)分支我的建議是先不寫(xiě)代碼去找現(xiàn)成的在線(xiàn)演示改改輸入看輸出怎么變上傳不同亮度的照片看識(shí)別結(jié)果怎么抖換個(gè)口音看語(yǔ)音識(shí)別錯(cuò)在哪兒。這種“調(diào)參數(shù)看反應(yīng)”的過(guò)程比讀十頁(yè)原理更容易建立直覺(jué)也能讓你真正體會(huì)到為什么數(shù)據(jù)質(zhì)量決定了天花板。4. 大數(shù)據(jù)先上手一次數(shù)據(jù)預(yù)處理的完整走法課程中間有一大段講大數(shù)據(jù)很多初學(xué)者會(huì)跳過(guò)覺(jué)得那是搞基礎(chǔ)設(shè)施的人關(guān)心的事。恰恰相反這是零基礎(chǔ)最該花時(shí)間的地方。數(shù)據(jù)預(yù)處理做得好用最笨的模型也能出結(jié)果數(shù)據(jù)一塌糊涂再高級(jí)的模型也是白搭。這一章我們用一個(gè)十幾行的數(shù)據(jù)集把清洗、填補(bǔ)、除異常、歸一化這四步完整走一遍全部用 Python 標(biāo)準(zhǔn)庫(kù)不用裝任何東西。4.1 大數(shù)據(jù)的三條特性落到表格上才看得懂課程里講大數(shù)據(jù)有體量大、速度快、種類(lèi)多這三個(gè)特性光背沒(méi)用得知道它們各自對(duì)應(yīng)什么麻煩特性大白話(huà)你手上的表現(xiàn)新手要注意什么體量大一臺(tái)機(jī)器放不下、算不完文件幾百 MB 起打開(kāi)就卡別用一次性讀入內(nèi)存的寫(xiě)法要分塊處理速度快數(shù)據(jù)源源不斷進(jìn)來(lái)每秒都有新記錄昨天的數(shù)據(jù)今天就舊了清洗邏輯要能重復(fù)跑別手工改表格種類(lèi)多表格、文本、圖片、日志混在一起同一個(gè)用戶(hù)的信息散在五個(gè)系統(tǒng)里先統(tǒng)一字段名和單位再談分析這三條湊在一起就逼出了“大數(shù)據(jù)處理平臺(tái)”這個(gè)東西。課程里會(huì)講到分布式存儲(chǔ)組件和內(nèi)存計(jì)算引擎這類(lèi)平臺(tái)它們的作用用一句話(huà)概括單機(jī)算不動(dòng)的時(shí)候把同一份清洗邏輯拆給很多臺(tái)機(jī)器一起算。你入門(mén)階段不用碰它們但要知道自己寫(xiě)的清洗代碼將來(lái)是要搬到這種平臺(tái)上去跑的所以盡量別依賴(lài)“手工點(diǎn)兩下”的操作。4.2 第一次數(shù)據(jù)預(yù)處理四步清洗一步都別跳先看這份故意做臟的小數(shù)據(jù)缺失、重復(fù)、異常各來(lái)一個(gè)# 一份很小的學(xué)習(xí)行為數(shù)據(jù)里面埋了三種典型的臟數(shù)據(jù) raw [ {user: A, hours: 12, score: 88}, {user: B, hours: 3, score: 51}, {user: C, hours: None, score: 66}, # 缺失值 {user: D, hours: 9, score: 79}, {user: D, hours: 9, score: 79}, # 重復(fù)記錄 {user: E, hours: 400, score: 95}, # 異常值明顯錄錯(cuò)了 {user: F, hours: 7, score: 72}, ]第一步去重、第二步補(bǔ)缺失寫(xiě)在一起# 第一步去重。同一個(gè)人、同樣的數(shù)值只保留一條 seen, clean set(), [] for r in raw: key (r[user], r[hours], r[score]) if key not in seen: seen.add(key) clean.append(r) # 第二步缺失值用中位數(shù)補(bǔ)。中位數(shù)比平均數(shù)抗異常值 hours sorted(r[hours] for r in clean if r[hours] is not None) mid len(hours) // 2 median hours[mid] if len(hours) % 2 else (hours[mid - 1] hours[mid]) / 2 for r in clean: if r[hours] is None: r[hours] median print(清洗后條數(shù), len(clean), 用于填補(bǔ)的中位數(shù), median)去重那段的key是關(guān)鍵它決定“什么算重復(fù)”。這里用三個(gè)字段組合實(shí)際項(xiàng)目里通常用用戶(hù) ID 加時(shí)間戳因?yàn)橥粋€(gè)人在不同時(shí)間產(chǎn)生兩條記錄是正常的。補(bǔ)缺失那段用的是中位數(shù)sorted排序后取中間那個(gè)數(shù)如果你把median換成平均數(shù)400 這個(gè)異常值會(huì)把結(jié)果拉高補(bǔ)進(jìn)去的值就失真了。第三步除異常、第四步歸一化# 第三步用 IQR 規(guī)則找出異常值超出的直接剔除 vals sorted(r[hours] for r in clean) q1, q3 vals[len(vals) // 4], vals[len(vals) * 3 // 4] low, high q1 - 1.5 * (q3 - q1), q3 1.5 * (q3 - q1) clean [r for r in clean if low r[hours] high] # 第四步歸一化把學(xué)習(xí)時(shí)長(zhǎng)壓到 0 到 1 之間方便和分?jǐn)?shù)字段一起比較 lo min(r[hours] for r in clean) hi max(r[hours] for r in clean) for r in clean: r[hours_norm] round((r[hours] - lo) / (hi - lo), 3) for r in clean: print(r)1.5這個(gè)系數(shù)是統(tǒng)計(jì)學(xué)里的慣例想更嚴(yán)格可以改成1.0想更寬松改成3.0改完直接看剔掉了多少條——如果一下剔掉一半說(shuō)明要么數(shù)據(jù)真有問(wèn)題要么閾值太緊。歸一化的公式是“減去最小值再除以跨度”目的是讓不同量綱的字段能放在一起比較學(xué)習(xí)時(shí)長(zhǎng)是幾十分?jǐn)?shù)是幾十分不縮放的話(huà)模型會(huì)偏向數(shù)值大的那個(gè)。注意歸一化必須用清洗后的數(shù)據(jù)算最大值最小值順序反過(guò)來(lái)結(jié)果就不對(duì)了。跑完這段你會(huì)看到 E 那條 400 小時(shí)的記錄被剔除C 的缺失被補(bǔ)上D 的重復(fù)只剩一條。這四步幾乎出現(xiàn)在每一個(gè)真實(shí)項(xiàng)目里區(qū)別只是數(shù)據(jù)量和判斷標(biāo)準(zhǔn)。4.3 特征工程不是玄學(xué)把“原始字段”變成“能判斷的指標(biāo)”清洗完只是數(shù)據(jù)能用了要讓模型判斷得準(zhǔn)還得靠特征工程——從原始字段里造出更有信息量的指標(biāo)。課程里專(zhuān)門(mén)講了這部分我用一個(gè)最常見(jiàn)的例子說(shuō)明# 從報(bào)名日期和最近登錄日期造一個(gè)新特征沉默天數(shù) from datetime import date def days_silent(signup, last_login, todaydate(2024, 6, 1)): d1 date.fromisoformat(signup) d2 date.fromisoformat(last_login) return (today - d2).days print(days_silent(2024-01-10, 2024-02-01)) # 輸出 121 print(days_silent(2024-01-10, 2024-05-30)) # 輸出 2單看“最近登錄日期”這個(gè)字段機(jī)器沒(méi)法判斷誰(shuí)快流失了轉(zhuǎn)成“沉默天數(shù)”之后數(shù)字越大風(fēng)險(xiǎn)越高模型一下就能用上。類(lèi)似的還有從金額和訂單數(shù)算客單價(jià)、從注冊(cè)時(shí)間和首次購(gòu)買(mǎi)時(shí)間算轉(zhuǎn)化時(shí)長(zhǎng)。經(jīng)驗(yàn)之談是花在造特征上的時(shí)間回報(bào)通常比換模型高得多。我第一次做項(xiàng)目時(shí)死磕模型參數(shù)調(diào)了兩天漲了兩個(gè)點(diǎn)后來(lái)加了一個(gè)“最近三十天登錄次數(shù)”的特征直接漲了十幾個(gè)點(diǎn)那之后我才真正信了這句話(huà)。5. 新手避坑AI入門(mén)最容易翻車(chē)的五個(gè)地方這一章是我這些年帶人時(shí)反復(fù)見(jiàn)到的翻車(chē)現(xiàn)場(chǎng)按“現(xiàn)象—原因—解決”給你捋一遍?？吹臅r(shí)候不用記等你真動(dòng)手卡住了回頭翻對(duì)應(yīng)那條就行。5.1 概念上最容易擰巴的三個(gè)地方第一個(gè)坑把 AI 當(dāng)成“會(huì)自己思考”的東西?，F(xiàn)象是總覺(jué)得模型“應(yīng)該懂我的意思”結(jié)果一跑發(fā)現(xiàn)它連常識(shí)都沒(méi)有。原因在于宣傳口徑把“預(yù)測(cè)”說(shuō)成了“理解”實(shí)際上模型做的只是一件事——根據(jù)見(jiàn)過(guò)的數(shù)據(jù)找一個(gè)函數(shù)把輸入映射到輸出。解決的思路很簡(jiǎn)單每次看到 AI 產(chǎn)品的宣傳就把它的輸入和輸出寫(xiě)下來(lái)中間那部分它到底在算什么通常一行就能說(shuō)清。想通這一點(diǎn)你對(duì)模型能力的預(yù)期就不會(huì)飄。第二個(gè)坑以為數(shù)學(xué)不好就學(xué)不了?，F(xiàn)象是打開(kāi)教程看到公式就關(guān)掉反復(fù)幾次之后徹底放棄。原因是把研究路線(xiàn)當(dāng)成了入門(mén)路線(xiàn)學(xué)術(shù)論文要推公式入門(mén)只需要知道這個(gè)公式在解決什么問(wèn)題。解決的辦法是先建立流程感把數(shù)據(jù)、模型、評(píng)估這幾個(gè)環(huán)節(jié)的位置記住公式留到用得上時(shí)再補(bǔ)。我?guī)н^(guò)文科背景的同學(xué)從這條路徑走兩周就能獨(dú)立跑完一個(gè)完整的小項(xiàng)目。第三個(gè)坑把大數(shù)據(jù)和 AI 當(dāng)成兩件事。現(xiàn)象是學(xué)完 AI 分支就不管數(shù)據(jù)了一動(dòng)手發(fā)現(xiàn)八成時(shí)間花在處理數(shù)據(jù)上心態(tài)直接崩。原因是這兩塊在不同章節(jié)里講看起來(lái)像兩個(gè)主題實(shí)際上是發(fā)動(dòng)機(jī)和燃料的關(guān)系。解決的辦法是記住一句話(huà)模型決定上限數(shù)據(jù)決定能不能摸到上限。遇到效果不好先查數(shù)據(jù)再查模型。提示這三個(gè)坑的共同點(diǎn)是預(yù)期錯(cuò)位。把預(yù)期調(diào)對(duì)學(xué)習(xí)曲線(xiàn)會(huì)平緩很多。5.2 動(dòng)手時(shí)最容易翻車(chē)的兩個(gè)地方第四個(gè)坑模型在練習(xí)數(shù)據(jù)上準(zhǔn)得離譜一換新數(shù)據(jù)就崩。現(xiàn)象是訓(xùn)練集上準(zhǔn)確率九十幾實(shí)際用起來(lái)一塌糊涂。原因叫過(guò)擬合——模型把訓(xùn)練數(shù)據(jù)里的噪聲也背下來(lái)了換一批數(shù)據(jù)自然不認(rèn)。解決的做法是留出一部分?jǐn)?shù)據(jù)完全不參與訓(xùn)練專(zhuān)門(mén)做檢驗(yàn)數(shù)據(jù)量小的時(shí)候還可以輪著留一部分出來(lái)驗(yàn)多輪取平均?？吹健坝?xùn)練集近乎滿(mǎn)分”這種結(jié)果第一反應(yīng)應(yīng)該是警惕而不是高興。第五個(gè)坑同樣的代碼跑兩次結(jié)果不一樣?，F(xiàn)象是昨天跑出的數(shù)字今天復(fù)現(xiàn)不了懷疑自己寫(xiě)錯(cuò)了。原因是數(shù)據(jù)順序沒(méi)固定、隨機(jī)過(guò)程沒(méi)設(shè)種子或者清洗步驟的先后順序變過(guò)。解決的辦法是把清洗過(guò)程寫(xiě)成固定順序的腳本每次從原始數(shù)據(jù)重跑一遍別手工改中間結(jié)果涉及隨機(jī)的環(huán)節(jié)統(tǒng)一定一個(gè)固定值。血淚經(jīng)驗(yàn)是一次我在臨時(shí)文件上手工改了幾行后來(lái)怎么也對(duì)不上之前的結(jié)論重跑了一整天才找回來(lái)。注意任何讓你“手工改一下再看”的操作都記得先備份原始數(shù)據(jù)。原始數(shù)據(jù)永遠(yuǎn)只讀是所有結(jié)論的后悔藥。6. 下一步學(xué)什么從通識(shí)走向第一個(gè)能跑的模型通識(shí)課聽(tīng)完最容易出現(xiàn)的狀態(tài)是“都懂了但不會(huì)動(dòng)”。我的建議是別急著扎進(jìn)算法細(xì)節(jié)按下面這條路走四周每周只做一件事做完再進(jìn)下一周階段時(shí)間干什么過(guò)關(guān)標(biāo)準(zhǔn)一第 1 周把四大分支各用三句話(huà)講給外行聽(tīng)對(duì)方能聽(tīng)懂并追問(wèn)一個(gè)問(wèn)題是好事二第 2 周找一份幾百行的公開(kāi)小數(shù)據(jù)做完整清洗能說(shuō)清每一條被剔除的記錄為什么剔除三第 3 周用最簡(jiǎn)單的算法跑一次訓(xùn)練加評(píng)估能解釋訓(xùn)練集和檢驗(yàn)集分?jǐn)?shù)為什么不一樣四第 4 周把上面的流程寫(xiě)成一段可以重復(fù)跑的腳本換臺(tái)機(jī)器、換個(gè)時(shí)間跑結(jié)果一致第三周那個(gè)“最簡(jiǎn)單的算法”別挑花哨的。像我第 3 章寫(xiě)的那種找門(mén)檻的思路就夠用重點(diǎn)是跑通整條鏈路讀數(shù)據(jù)、清洗、切分、訓(xùn)練、評(píng)估、看結(jié)果。跑通一次你對(duì)前面所有概念的理解會(huì)突然落地。如果想再往前一步可以挑一個(gè)自己真正關(guān)心的場(chǎng)景做小項(xiàng)目比如分析一批文本評(píng)論的情緒傾向或者識(shí)別一批圖片里有沒(méi)有某個(gè)物體。場(chǎng)景一定要小小到你三天能看到結(jié)果做完了再回頭補(bǔ)理論動(dòng)力會(huì)強(qiáng)得多。最忌諱的是一上手就選“做一個(gè)智能客服”這種大目標(biāo)做兩周還在配環(huán)境。我自己有個(gè)習(xí)慣每學(xué)一個(gè)新東西先在紙上畫(huà)那條五步流水線(xiàn)把新概念塞進(jìn)對(duì)應(yīng)的工位塞不進(jìn)去就說(shuō)明還沒(méi)真懂。從那以后我每次開(kāi)新項(xiàng)目都強(qiáng)制走一遍“原始數(shù)據(jù)只讀、清洗寫(xiě)成腳本、檢驗(yàn)集單獨(dú)留出”這三條幾乎沒(méi)再翻過(guò)車(chē)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取