從事網際網路產業的先進和同業,對A/B測試這詞應該是耳熟能詳。尤其在大數據、雲端等資訊科技爆發後的今日,以谷哥為首的科技龍頭在施行任何網站優化時,言必稱A/B測試,更讓這門學問如同資料分析業界的魔法石,簡直能化腐朽為神奇。數據分析的力量一書用簡明易懂的敘述,協助讀者領會隨機對照試驗(或稱A/B測試)的理論與價值。也更進一步介紹,不連續迴歸設計、堆集分析和縱橫資料分析這三種分析方法,能用在無法實作隨機對照試驗的情境中。最後也詳列出四種手法的優缺點,提供讀者因地制宜挑選最恰當的作法。
在制定商業決策或是法規政策時,資料分析的核心課題就是找到最能達成效果的因素,並使之成為操作標的。但不論在媒體報導或公私部門的分析結果裡,還是會不時看到誤將相關關係當做因果關係的低級錯誤。像是在資料中看到某因素(X)對結果(Y)造成影響,就斷定X和Y之間存在因果關係(例如:喝咖啡會抗癌)。其實,事實上真相可能是有個其它因素(V)同時影響了X和Y(例如:較富裕的人喝比較多咖啡,生活習慣也比較好,因此較少罹患癌症)。另外,X和Y也有可能是出現反向因果關係,讓人誤將Y影響了X解讀為X影響了Y。數據分析的力量書中提及的資料分析手法,能強而有力地用來證明X和Y之間是否真正存在因果關係,協助你我在適當的時間點,依據資料做出正確的決策。
「隨機對照試驗(Randomized Controlled Trial:RCT)」,能驗證因果關係最強大的武器。藉由數據規模夠大的情況下,利用隨機分配將受試者區分為兩群人(介入組和比較組),再挑選介入組施行要試驗的假設,最後取出介入組與比較組的差異,即為假設真正的介入效果。受惠於受試者量體大,兩組除了操作的假設條件以外,其它能影響結果的群組屬性都會相同(以人為例:就是性別、年紀、收入...),因此介入效果的原因肯定就是最初進行操作的假設。施行時要符合分群必須隨機以及樣本數要夠大,才能得到有意義的結果。
「
不連績迴歸設計(Regression Discontinuity Design:RD設計)」,是一種
自然實驗手法,適用在無法施行RCT的場合。因為不是每件事情都可以自由地進行A/B測試,這時透過收集實地資料,從中尋找可以用來辨識因果關係的蛛絲馬跡,這就是所謂的自然實驗,可用來分析已經實行的政策或決策是否有效。RD設計是觀察連績資料(例如:年紀)是否在
X軸界線上(特定時間點)出現不合理的跳躍性
Y軸變化量(例如:就診人數),並搜集與比對該時間點是否存在某種
介入操作(例如:施行自付額減半政策)。書中舉出「
年滿70歲的日本國民,醫療自付額可減半,造成就醫人數增長」這個貼切的例子。
「
堆集分析(Bunching Analysis)」,其實是延伸自RD設計的一種變形。不像RD設計只能觀察界線前後的變化量,堆集分析觀察的是階梯(級距)狀的變化,是用來分析以級距施行的政策與決策的手法。例如「
所得稅率的設計是否會讓國民減少勞動意願」以及「
車輛的油秏政策是否影響到車廠設計車款時的車重」等疑問,都能運用堆集分析的處理。
「
縱橫資料分析」,當施行的政策與決策沒有明顯的
界線時,就只能使用縱橫資料分析。說穿了就是將數個期間內的歷史資料收集後以跨年度、跨月等角度去觀察是否有顯著的變化。由於不同期間的數據原本就可能存在差異(去年和今年的銷售值,不可能完全相同),因此在找出介入成效時,是在找出
差異中的差異。必須先減去不同時期的差異後,再觀察隨著時間的演進是否另外存在趨勢變化。
數據分析的力量是一本講解數據分析的入門書,針對
因果分析這項執行任何決策前必備的技能,它補足讀者所需的基礎理論。讓分析者與決策者能對手上的問題,用科學的手法進行研究分析,充滿信心朝正確的方向前進。