1. 項(xiàng)目概述相關(guān)性分析從入門(mén)到精通的實(shí)戰(zhàn)指南在數(shù)據(jù)建模和數(shù)據(jù)分析的日常工作中我們常常會(huì)面對(duì)一堆看起來(lái)雜亂無(wú)章的數(shù)據(jù)。比如你手頭有一份記錄了某城市過(guò)去十年氣溫、降雨量、用電量、冰淇淋銷量的數(shù)據(jù)集。老板問(wèn)你“氣溫升高用電量是不是也跟著漲冰淇淋賣得好不好跟天氣到底有多大關(guān)系”這時(shí)候你需要的不是拍腦袋的直覺(jué)而是一個(gè)客觀、量化的工具來(lái)回答這些問(wèn)題。這個(gè)工具就是相關(guān)性分析。簡(jiǎn)單來(lái)說(shuō)相關(guān)性分析就是用來(lái)衡量?jī)蓚€(gè)或多個(gè)變量之間關(guān)聯(lián)程度的統(tǒng)計(jì)方法。它不關(guān)心誰(shuí)是因、誰(shuí)是果只關(guān)心它們“同向”或“反向”變化的趨勢(shì)有多強(qiáng)。聽(tīng)起來(lái)簡(jiǎn)單但用起來(lái)卻處處是坑。比如你可能會(huì)發(fā)現(xiàn)“冰淇淋銷量”和“溺水人數(shù)”有很強(qiáng)的正相關(guān)但這絕不意味著多吃冰淇淋會(huì)導(dǎo)致溺水它們很可能只是共同受到“夏季高溫”這個(gè)第三變量的影響。這就是相關(guān)性不等于因果性的經(jīng)典陷阱。這篇文章我將結(jié)合自己十多年在數(shù)據(jù)分析、數(shù)學(xué)建模競(jìng)賽指導(dǎo)以及實(shí)際業(yè)務(wù)場(chǎng)景中的經(jīng)驗(yàn)為你拆解相關(guān)性分析的核心。我不會(huì)只給你公式和定義而是會(huì)帶你走一遍完整的實(shí)戰(zhàn)流程從數(shù)據(jù)預(yù)處理開(kāi)始到如何根據(jù)數(shù)據(jù)特征選擇正確的相關(guān)系數(shù)再到如何用Python/R一步步計(jì)算并可視化結(jié)果最后深入解讀結(jié)果、避開(kāi)常見(jiàn)誤區(qū)。無(wú)論你是正在準(zhǔn)備數(shù)學(xué)建模競(jìng)賽的學(xué)生還是剛踏入數(shù)據(jù)分析領(lǐng)域的職場(chǎng)新人或是需要快速回顧相關(guān)知識(shí)的老手這篇指南都能讓你獲得可以直接上手復(fù)現(xiàn)的干貨。2. 核心概念與相關(guān)系數(shù)家族全解析在動(dòng)手敲代碼之前我們必須先搞清楚手里有哪些“武器”。不同的數(shù)據(jù)類型和關(guān)系假設(shè)對(duì)應(yīng)著不同的相關(guān)系數(shù)。用錯(cuò)了工具得出的結(jié)論可能就是南轅北轍。2.1 皮爾遜相關(guān)系數(shù)連續(xù)變量的“黃金標(biāo)準(zhǔn)”當(dāng)我們談?wù)摗跋嚓P(guān)性”時(shí)最常指的就是皮爾遜積矩相關(guān)系數(shù)。它衡量的是兩個(gè)連續(xù)變量之間的線性相關(guān)程度。它的核心假設(shè)是兩個(gè)變量都是連續(xù)數(shù)據(jù)如身高、體重、溫度、銷售額。變量之間的關(guān)系大致是線性的在散點(diǎn)圖上近似一條直線。數(shù)據(jù)最好接近正態(tài)分布且沒(méi)有明顯的異常值。它的計(jì)算公式是協(xié)方差除以兩個(gè)變量標(biāo)準(zhǔn)差的乘積值域在 -1 到 1 之間1完全正相關(guān)。一個(gè)變量增加另一個(gè)變量以固定比例增加。-1完全負(fù)相關(guān)。一個(gè)變量增加另一個(gè)變量以固定比例減少。0無(wú)線性相關(guān)。但這不代表沒(méi)有其他關(guān)系如曲線關(guān)系。實(shí)操心得皮爾遜相關(guān)系數(shù)對(duì)異常值極其敏感。一個(gè)極端的離群點(diǎn)就可能把原本微弱的相關(guān)性扭曲成強(qiáng)相關(guān)或者掩蓋真實(shí)的相關(guān)性。因此計(jì)算前務(wù)必先做散點(diǎn)圖觀察。如果發(fā)現(xiàn)異常值需要根據(jù)業(yè)務(wù)邏輯判斷是剔除、修正還是保留。在數(shù)學(xué)建模中通常需要報(bào)告剔除異常值前后的相關(guān)系數(shù)作為穩(wěn)健性檢驗(yàn)。2.2 斯皮爾曼等級(jí)相關(guān)系數(shù)穩(wěn)健的非參數(shù)選擇當(dāng)你的數(shù)據(jù)不滿足正態(tài)分布或者你關(guān)心的是變量的單調(diào)關(guān)系即一個(gè)變量增加時(shí)另一個(gè)變量總是增加或總是減少但不一定是線性比例時(shí)斯皮爾曼相關(guān)系數(shù)是更好的選擇。它的原理很巧妙不直接用原始值計(jì)算而是先將兩個(gè)變量的數(shù)據(jù)分別轉(zhuǎn)換成排名rank然后計(jì)算這兩個(gè)排名序列的皮爾遜相關(guān)系數(shù)。這樣一來(lái)異常值的影響就被大大削弱了因?yàn)樗魂P(guān)心排名的相對(duì)順序。適用場(chǎng)景數(shù)據(jù)是順序尺度如滿意度等級(jí)非常不滿意、不滿意、一般、滿意、非常滿意。數(shù)據(jù)分布未知或明顯非正態(tài)。存在異常值且你更關(guān)心變量變化趨勢(shì)的一致性而非具體線性比例。2.3 肯德?tīng)柕燃?jí)相關(guān)系數(shù)關(guān)注一致對(duì)肯德?tīng)栂嚓P(guān)系數(shù)同樣用于衡量?jī)蓚€(gè)順序變量的單調(diào)關(guān)系。它的計(jì)算邏輯與斯皮爾曼不同考察所有可能的樣本對(duì)看兩個(gè)變量在這些對(duì)子上的排序是否一致。假設(shè)我們有數(shù)據(jù)對(duì) (X, Y)。對(duì)于任意兩對(duì)數(shù)據(jù) (Xi, Yi) 和 (Xj, Yj)如果 (Xi Xj) 且 (Yi Yj)或者 (Xi Xj) 且 (Yi Yj)我們稱這對(duì)數(shù)據(jù)是一致的。反之則為不一致?？系?tīng)栂禂?shù)就是一致對(duì)數(shù)量與不一致對(duì)數(shù)量之差的歸一化結(jié)果。它的特點(diǎn)是對(duì)樣本量相對(duì)不敏感在小樣本情況下比斯皮爾曼更穩(wěn)定。解釋更直觀直接反映了數(shù)據(jù)對(duì)排序一致性的概率。在統(tǒng)計(jì)學(xué)上具有更好的性質(zhì)常用于更復(fù)雜的非參數(shù)統(tǒng)計(jì)檢驗(yàn)中。2.4 其他相關(guān)系數(shù)速覽除了上述三位“主角”還有一些在特定領(lǐng)域常用的系數(shù)點(diǎn)二列相關(guān)用于衡量一個(gè)連續(xù)變量和一個(gè)真正的二分類變量如性別男/女的相關(guān)性。Φ系數(shù)用于衡量?jī)蓚€(gè)真正的二分類變量之間的相關(guān)性。克萊姆V系數(shù)用于衡量?jī)蓚€(gè)分類變量可以是多分類之間的關(guān)聯(lián)強(qiáng)度是卡方檢驗(yàn)的衍生指標(biāo)。為了幫你快速選型我整理了一個(gè)決策表格相關(guān)系數(shù)類型適用變量類型核心假設(shè)對(duì)異常值敏感度主要衡量關(guān)系常用場(chǎng)景皮爾遜 (Pearson)兩個(gè)連續(xù)變量線性、正態(tài)、無(wú)異常值非常敏感線性相關(guān)強(qiáng)度金融數(shù)據(jù)股價(jià)、收益率、物理實(shí)驗(yàn)數(shù)據(jù)、滿足正態(tài)的連續(xù)指標(biāo)斯皮爾曼 (Spearman)連續(xù)或順序變量單調(diào)關(guān)系不敏感基于排名單調(diào)相關(guān)強(qiáng)度滿意度評(píng)分、排名數(shù)據(jù)、存在異常值或非正態(tài)的連續(xù)數(shù)據(jù)肯德?tīng)?(Kendall)連續(xù)或順序變量單調(diào)關(guān)系不敏感基于一致對(duì)排序一致性概率小樣本數(shù)據(jù)、排名一致性檢驗(yàn)、非參數(shù)統(tǒng)計(jì)點(diǎn)二列相關(guān)一個(gè)連續(xù) 一個(gè)二分類連續(xù)變量在兩組內(nèi)近似正態(tài)中等均值差異與相關(guān)性研究性別男/女對(duì)某項(xiàng)成績(jī)的影響克萊姆V系數(shù)兩個(gè)分類變量無(wú)不適用分類變量關(guān)聯(lián)強(qiáng)度市場(chǎng)調(diào)研職業(yè)與品牌偏好、醫(yī)學(xué)疾病與癥狀分類注意選擇相關(guān)系數(shù)的第一步永遠(yuǎn)是可視化。畫(huà)一個(gè)簡(jiǎn)單的散點(diǎn)圖或箱線圖能幫你直觀判斷數(shù)據(jù)的大致關(guān)系形態(tài)和是否存在異常值這是避免選錯(cuò)方法最有效的一步。3. 完整實(shí)戰(zhàn)流程從數(shù)據(jù)到洞察理論說(shuō)得再多不如親手做一遍。下面我將用一個(gè)模擬的電商數(shù)據(jù)集來(lái)演示完整的分析流程。假設(shè)我們有一個(gè)包含“用戶每周瀏覽時(shí)長(zhǎng)分鐘”、“加入購(gòu)物車商品數(shù)”、“實(shí)際下單金額元”和“用戶年齡”的樣本數(shù)據(jù)集。3.1 第一步數(shù)據(jù)準(zhǔn)備與探索性分析任何分析都始于數(shù)據(jù)清洗和探索。我們使用Python的pandas和seaborn庫(kù)來(lái)完成。import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from scipy import stats # 設(shè)置中文顯示和樣式如果環(huán)境支持 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False sns.set_style(whitegrid) # 模擬生成數(shù)據(jù) np.random.seed(42) # 確保結(jié)果可復(fù)現(xiàn) n_samples 200 data pd.DataFrame({ 瀏覽時(shí)長(zhǎng): np.random.normal(120, 30, n_samples).clip(20, 300), # 正態(tài)分布截?cái)?加購(gòu)數(shù): np.random.poisson(5, n_samples) np.random.randint(0, 3, n_samples), # 泊松分布加噪聲 下單金額: np.random.exponential(300, n_samples) 50, # 指數(shù)分布模擬大部分小額訂單 年齡: np.random.randint(18, 60, n_samples) }) # 人為制造一些相關(guān)性瀏覽時(shí)長(zhǎng)和下單金額正相關(guān)加購(gòu)數(shù)和下單金額正相關(guān) data[下單金額] data[下單金額] data[瀏覽時(shí)長(zhǎng)] * 0.8 data[加購(gòu)數(shù)] * 15 np.random.normal(0, 50, n_samples) data[下單金額] data[下單金額].clip(10, 2000) # 確保金額為正且合理 print(數(shù)據(jù)前5行) print(data.head()) print(\n數(shù)據(jù)基本描述) print(data.describe())運(yùn)行后我們首先查看數(shù)據(jù)的基本描述均值、標(biāo)準(zhǔn)差、分位數(shù)檢查是否有明顯的缺失或極端值。接著進(jìn)行可視化探索。# 繪制變量分布直方圖 fig, axes plt.subplots(2, 2, figsize(12, 10)) axes axes.flatten() for i, col in enumerate(data.columns): sns.histplot(data[col], kdeTrue, axaxes[i]) axes[i].set_title(f{col}的分布) plt.tight_layout() plt.show() # 繪制散點(diǎn)圖矩陣觀察兩兩關(guān)系 sns.pairplot(data, diag_kindkde, cornerFalse) plt.suptitle(變量間散點(diǎn)圖與分布矩陣, y1.02) plt.show()通過(guò)分布圖我們可以判斷變量是否近似正態(tài)皮爾遜的前提。通過(guò)散點(diǎn)圖矩陣我們可以初步判斷變量間是否存在線性或單調(diào)趨勢(shì)以及是否存在異常點(diǎn)。從模擬數(shù)據(jù)的散點(diǎn)圖可能看到“瀏覽時(shí)長(zhǎng)”和“下單金額”呈現(xiàn)較明顯的正向云團(tuán)“加購(gòu)數(shù)”和“下單金額”也有正向趨勢(shì)但點(diǎn)更分散?！澳挲g”與其他變量的關(guān)系則可能很弱。3.2 第二步計(jì)算相關(guān)系數(shù)矩陣根據(jù)探索結(jié)果我們的變量基本都是連續(xù)變量。瀏覽時(shí)長(zhǎng)的分布可能接近正態(tài)但“加購(gòu)數(shù)”計(jì)數(shù)數(shù)據(jù)和“下單金額”指數(shù)分布明顯非正態(tài)。因此同時(shí)計(jì)算皮爾遜和斯皮爾曼系數(shù)進(jìn)行對(duì)比是更穩(wěn)健的做法。# 計(jì)算皮爾遜相關(guān)系數(shù)矩陣及p值 pearson_corr data.corr(methodpearson) pearson_p data.apply(lambda x: data.apply(lambda y: stats.pearsonr(x, y)[1])) # 計(jì)算斯皮爾曼相關(guān)系數(shù)矩陣及p值 spearman_corr data.corr(methodspearman) spearman_p data.apply(lambda x: data.apply(lambda y: stats.spearmanr(x, y)[1])) print(皮爾遜相關(guān)系數(shù)矩陣) print(pearson_corr) print(\n斯皮爾曼相關(guān)系數(shù)矩陣) print(spearman_corr) # 我們可以將相關(guān)系數(shù)和p值整理成更易讀的格式 def format_corr_table(corr_df, p_df): table [] for i in corr_df.index: for j in corr_df.columns: if i j: # 只取上三角避免重復(fù)和自相關(guān) corr_val corr_df.loc[i, j] p_val p_df.loc[i, j] sig *** if p_val 0.001 else ** if p_val 0.01 else * if p_val 0.05 else table.append([i, j, f{corr_val:.3f}{sig}, f{p_val:.4f}]) return pd.DataFrame(table, columns[變量1, 變量2, 相關(guān)系數(shù), p值]) pearson_table format_corr_table(pearson_corr, pearson_p) spearman_table format_corr_table(spearman_corr, spearman_p) print(\n皮爾遜相關(guān)結(jié)果格式化) print(pearson_table) print(\n斯皮爾曼相關(guān)結(jié)果格式化) print(spearman_table)3.3 第三步結(jié)果可視化與解讀數(shù)字矩陣不夠直觀熱力圖是展示相關(guān)系數(shù)矩陣的最佳方式。# 繪制皮爾遜相關(guān)系數(shù)熱力圖 fig, (ax1, ax2) plt.subplots(1, 2, figsize(16, 6)) # 皮爾遜熱圖 sns.heatmap(pearson_corr, annotTrue, fmt.2f, cmapRdBu_r, center0, squareTrue, linewidths.5, cbar_kws{shrink: .8}, axax1) ax1.set_title(皮爾遜相關(guān)系數(shù)熱力圖) # 斯皮爾曼熱圖 sns.heatmap(spearman_corr, annotTrue, fmt.2f, cmapRdBu_r, center0, squareTrue, linewidths.5, cbar_kws{shrink: .8}, axax2) ax2.set_title(斯皮爾曼等級(jí)相關(guān)系數(shù)熱力圖) plt.tight_layout() plt.show()解讀結(jié)果假設(shè)我們的輸出顯示“瀏覽時(shí)長(zhǎng)”與“下單金額”的皮爾遜相關(guān)系數(shù)為0.72p0.001斯皮爾曼系數(shù)為0.69p0.001。這表示兩者存在強(qiáng)正相關(guān)且統(tǒng)計(jì)意義顯著。業(yè)務(wù)上可以解讀為用戶瀏覽時(shí)間越長(zhǎng)其下單金額傾向于越高。這符合我們的業(yè)務(wù)直覺(jué)?！凹淤?gòu)數(shù)”與“下單金額”的皮爾遜系數(shù)可能為0.65斯皮爾曼系數(shù)為0.67。同樣強(qiáng)正相關(guān)說(shuō)明加購(gòu)行為是最終轉(zhuǎn)化的重要預(yù)測(cè)指標(biāo)。而“年齡”與其他變量的相關(guān)系數(shù)可能都在0.1以下且p值大于0.05說(shuō)明在這個(gè)模擬數(shù)據(jù)集中年齡與這些消費(fèi)行為沒(méi)有顯著的線性或單調(diào)關(guān)聯(lián)。關(guān)鍵點(diǎn)關(guān)注系數(shù)絕對(duì)值通常認(rèn)為|r|0.7為強(qiáng)相關(guān)0.4-0.7為中等相關(guān)0.4為弱相關(guān)。但這只是經(jīng)驗(yàn)法則具體領(lǐng)域標(biāo)準(zhǔn)不同。務(wù)必結(jié)合p值p值例如p0.05告訴我們這個(gè)相關(guān)系數(shù)是否“顯著地不等于零”即是否可能由隨機(jī)抽樣誤差導(dǎo)致。只有顯著的相關(guān)系數(shù)才值得進(jìn)一步解讀。對(duì)比皮爾遜與斯皮爾曼如果兩者數(shù)值接近說(shuō)明線性假設(shè)可能成立且數(shù)據(jù)受異常值影響小。如果斯皮爾曼絕對(duì)值明顯大于皮爾遜說(shuō)明變量間更可能是單調(diào)非線性關(guān)系或者皮爾遜系數(shù)受到了異常值/非正態(tài)性的影響。4. 高級(jí)應(yīng)用與統(tǒng)計(jì)深化掌握了基礎(chǔ)流程我們還需要深入一些關(guān)鍵環(huán)節(jié)這些往往是新手容易忽略或出錯(cuò)的地方。4.1 顯著性檢驗(yàn)?zāi)愕南嚓P(guān)是真的嗎計(jì)算出的相關(guān)系數(shù)只是一個(gè)樣本估計(jì)。我們真正關(guān)心的是在總體中這兩個(gè)變量是否真的相關(guān)這就需要顯著性檢驗(yàn)。原假設(shè)H0總體中兩個(gè)變量的相關(guān)系數(shù)為0即無(wú)關(guān)。備擇假設(shè)H1總體中兩個(gè)變量的相關(guān)系數(shù)不為0。Scipy的pearsonr,spearmanr,kendalltau函數(shù)默認(rèn)都會(huì)返回相關(guān)系數(shù)和p值。這個(gè)p值就是在原假設(shè)成立的前提下觀察到當(dāng)前樣本相關(guān)系數(shù)或更極端情況的概率。如果p值很小如0.05我們就有足夠證據(jù)拒絕原假設(shè)認(rèn)為相關(guān)性是顯著的。實(shí)操心得p值的陷阱樣本量效應(yīng)樣本量越大越容易得到顯著的p值。一個(gè)非常弱的相關(guān)系數(shù)如r0.1在大樣本下也可能變得極其顯著p0.001。因此一定要結(jié)合相關(guān)系數(shù)大小和p值共同判斷。一個(gè)顯著但極弱的相關(guān)系數(shù)如r0.05, p0.01可能統(tǒng)計(jì)上有意義但實(shí)際業(yè)務(wù)意義幾乎為零。多重檢驗(yàn)問(wèn)題當(dāng)你計(jì)算一個(gè)6x6的相關(guān)系數(shù)矩陣時(shí)你實(shí)際上進(jìn)行了15次顯著性檢驗(yàn)。這增加了犯“假陽(yáng)性”即誤將不相關(guān)判為相關(guān)錯(cuò)誤的概率。在嚴(yán)格的學(xué)術(shù)研究中需要對(duì)p值進(jìn)行校正如Bonferroni校正。在業(yè)務(wù)探索中至少要保持警惕對(duì)矩陣中顯著的相關(guān)系數(shù)進(jìn)行二次審視。4.2 偏相關(guān)分析剝離第三變量的干擾這是相關(guān)性分析中最重要、也最容易被誤用的進(jìn)階概念。它回答的問(wèn)題是當(dāng)控制住其他一個(gè)或多個(gè)變量不變時(shí)兩個(gè)變量之間的“純凈”相關(guān)性是多少回到開(kāi)頭的例子“冰淇淋銷量”和“溺水人數(shù)”正相關(guān)。如果我們控制住“季節(jié)或氣溫”這個(gè)變量再計(jì)算兩者的相關(guān)性這個(gè)偏相關(guān)系數(shù)很可能就變得不顯著了。這說(shuō)明它們的表面相關(guān)是由共同的原因變量導(dǎo)致的。在Python中我們可以用pingouin庫(kù)方便地計(jì)算偏相關(guān)。# 安裝 pip install pingouin import pingouin as pg # 計(jì)算控制“年齡”后“瀏覽時(shí)長(zhǎng)”和“下單金額”的偏相關(guān) partial_corr pg.partial_corr(datadata, x瀏覽時(shí)長(zhǎng), y下單金額, covar年齡) print(偏相關(guān)分析結(jié)果控制年齡) print(partial_corr) # 控制多個(gè)變量例如同時(shí)控制“年齡”和“加購(gòu)數(shù)” partial_corr_multi pg.partial_corr(datadata, x瀏覽時(shí)長(zhǎng), y下單金額, covar[年齡, 加購(gòu)數(shù)]) print(\n偏相關(guān)分析結(jié)果控制年齡和加購(gòu)數(shù)) print(partial_corr_multi)解讀如果控制“年齡”后偏相關(guān)系數(shù)相比原來(lái)的簡(jiǎn)單相關(guān)系數(shù)大幅下降甚至改變方向說(shuō)明年齡是一個(gè)重要的混淆變量。在我們的業(yè)務(wù)例子里如果控制“加購(gòu)數(shù)”后“瀏覽時(shí)長(zhǎng)”和“下單金額”的偏相關(guān)變得很弱那可能意味著瀏覽時(shí)長(zhǎng)主要是通過(guò)促進(jìn)加購(gòu)來(lái)間接提升下單金額的其直接貢獻(xiàn)有限。這個(gè)洞察對(duì)于優(yōu)化網(wǎng)站動(dòng)線設(shè)計(jì)至關(guān)重要。4.3 相關(guān)與回歸厘清關(guān)系很多人混淆相關(guān)分析和回歸分析。相關(guān)分析對(duì)稱地衡量?jī)蓚€(gè)變量的關(guān)聯(lián)強(qiáng)度和方向。沒(méi)有自變量和因變量之分。回歸分析旨在用一個(gè)或多個(gè)自變量預(yù)測(cè)因變量并量化每個(gè)自變量的影響大小。有明確的因果關(guān)系假設(shè)方向。相關(guān)性是回歸的基礎(chǔ)。在建立線性回歸模型前查看預(yù)測(cè)變量與因變量、以及預(yù)測(cè)變量之間的相關(guān)性多重共線性診斷是標(biāo)準(zhǔn)步驟。但強(qiáng)相關(guān)只是建立預(yù)測(cè)模型的必要條件之一而非充分條件。5. 常見(jiàn)陷阱、誤區(qū)與實(shí)戰(zhàn)建議即使算對(duì)了數(shù)字解讀錯(cuò)了也是白搭。下面是我在實(shí)戰(zhàn)中總結(jié)的幾個(gè)高頻“坑”。5.1 陷阱一相關(guān)不等于因果這是數(shù)據(jù)分析的第一鐵律但也是最常被違反的。A和B相關(guān)可能有四種情況A導(dǎo)致B。B導(dǎo)致A。C導(dǎo)致A和B混雜因素。純屬巧合小樣本或隨機(jī)波動(dòng)。如何規(guī)避保持清醒永遠(yuǎn)用“A與B相關(guān)”來(lái)陳述而不是“A導(dǎo)致B”。尋找機(jī)制從業(yè)務(wù)邏輯上思考是否存在合理的因果路徑。利用時(shí)序如果A總是發(fā)生在B之前那么A導(dǎo)致B的可能性更大但仍不能完全確定可能有未觀測(cè)到的C。實(shí)驗(yàn)驗(yàn)證最可靠的方法是進(jìn)行A/B測(cè)試或隨機(jī)對(duì)照實(shí)驗(yàn)。5.2 陷阱二忽視非線性關(guān)系皮爾遜系數(shù)只檢測(cè)線性關(guān)系。如果數(shù)據(jù)是U型或倒U型關(guān)系例如焦慮程度與工作效率皮爾遜系數(shù)可能接近0誤導(dǎo)你得出“無(wú)關(guān)”的結(jié)論。如何規(guī)避畫(huà)圖畫(huà)圖畫(huà)圖散點(diǎn)圖是發(fā)現(xiàn)非線性關(guān)系最直接的工具。計(jì)算斯皮爾曼系數(shù)。如果斯皮爾曼系數(shù)絕對(duì)值遠(yuǎn)大于皮爾遜系數(shù)強(qiáng)烈提示存在非線性單調(diào)關(guān)系。考慮變量轉(zhuǎn)換。例如對(duì)數(shù)據(jù)取對(duì)數(shù)、開(kāi)方可能將非線性關(guān)系轉(zhuǎn)化為線性關(guān)系后再用皮爾遜分析。5.3 陷阱三異常值和極端值的破壞力一個(gè)極端值足以扭曲整個(gè)相關(guān)系數(shù)。例如你的數(shù)據(jù)中有一個(gè)“瀏覽時(shí)長(zhǎng)1分鐘下單金額10萬(wàn)元”的超級(jí)VIP用戶可能是數(shù)據(jù)錄入錯(cuò)誤他會(huì)把“瀏覽時(shí)長(zhǎng)”和“下單金額”的相關(guān)系數(shù)拉向一個(gè)不可信的方向。如何規(guī)避分析前必做描述性統(tǒng)計(jì)和可視化用箱線圖快速識(shí)別異常值。使用穩(wěn)健的相關(guān)系數(shù)如斯皮爾曼或肯德?tīng)枴Ｖ?jǐn)慎處理異常值根據(jù)業(yè)務(wù)邏輯判斷是刪除、修正、保留還是分組分析。在報(bào)告中應(yīng)說(shuō)明處理方式并比較處理前后的結(jié)果。5.4 陷阱四基于分層數(shù)據(jù)的生態(tài)學(xué)謬誤這是將群體層面的相關(guān)關(guān)系錯(cuò)誤地推論到個(gè)體層面。經(jīng)典的例子是一個(gè)國(guó)家的人均巧克力消費(fèi)量與諾貝爾獎(jiǎng)得主數(shù)量高度正相關(guān)但絕不能推論為“多吃巧克力能讓人得諾貝爾獎(jiǎng)”。這個(gè)相關(guān)可能源于國(guó)家的富裕程度、教育投入水平等第三變量。如何規(guī)避明確你的分析單元和分析結(jié)論的適用范圍。群體數(shù)據(jù)得出的結(jié)論不要輕易套用到個(gè)體決策上。5.5 實(shí)戰(zhàn)建議清單分析前明確分析目標(biāo)是探索關(guān)系、篩選變量還是驗(yàn)證假設(shè)徹底了解數(shù)據(jù)背景和業(yè)務(wù)含義。進(jìn)行全面的數(shù)據(jù)清洗和描述性統(tǒng)計(jì)。分析中永遠(yuǎn)可視化先行。根據(jù)數(shù)據(jù)特征類型、分布、異常值選擇合適的相關(guān)系數(shù)家族成員。同時(shí)計(jì)算皮爾遜和斯皮爾曼作為交叉驗(yàn)證。對(duì)重要關(guān)系進(jìn)行偏相關(guān)分析以控制潛在混淆變量。分析后結(jié)合統(tǒng)計(jì)顯著性p值和實(shí)際顯著性r值大小共同解讀。牢記“相關(guān)不是因果”為發(fā)現(xiàn)的相關(guān)性尋找合理的業(yè)務(wù)解釋并提出可驗(yàn)證的后續(xù)假設(shè)。在報(bào)告結(jié)果時(shí)附上關(guān)鍵的散點(diǎn)圖和熱力圖讓結(jié)論一目了然。相關(guān)性分析是數(shù)據(jù)科學(xué)工具箱中最基礎(chǔ)、最常用但也最需要謹(jǐn)慎使用的工具之一。它像一把尺子能量化關(guān)系的強(qiáng)弱但它不會(huì)告訴你這關(guān)系背后的故事。真正有價(jià)值的永遠(yuǎn)是你將統(tǒng)計(jì)數(shù)字與業(yè)務(wù)邏輯、領(lǐng)域知識(shí)相結(jié)合后產(chǎn)生的洞察。下次當(dāng)你看到兩個(gè)變量翩翩起舞時(shí)別忘了多問(wèn)一句它們是真的在共舞還是只是被同一束燈光照亮的兩個(gè)獨(dú)立舞者