A/B 測試統計顯著性完整指南

統計顯著性的核心概念

為什麼需要統計？同一個 A 版本連續跑兩天，第一天轉換率 5%、第二天 7%，差異 2 個百分點。是版本變了嗎？不，只是隨機波動。所以 A vs B 也可能：B 看似贏，其實只是運氣。統計顯著性檢定告訴你「這個差異是真的還是巧合」。

樣本數計算

樣本數取決於三因素：

• 原本轉換率：越低需要越多樣本（2% vs 10% 轉換率，前者需要更多樣本）
• 預期改善幅度：越小需要越多樣本（想偵測 5% 改善比偵測 20% 改善需要更多樣本）
• 統計信心水準：通常 95%（業界標準）

範例：原 2% 轉換率，想偵測 10% 相對改善（即 2% → 2.2%），約需每組 30000-40000 次曝光。用線上樣本計算器（如 Optimizely Sample Size Calculator）算清楚再開測。

p 值（p-value）判讀

p 值是「假設兩版本沒差異，仍觀察到這個結果的機率」。p 值越小代表結果越不可能是巧合：

• p < 0.05：統計顯著（95% 信心水準），業界標準
• p < 0.01：強顯著（99% 信心水準），更可靠
• p < 0.001：極強顯著，幾乎不可能是巧合
• p > 0.05：不顯著，要繼續測或承認沒差異

五大常見統計錯誤

• 1. 樣本不足就下結論：前 3 天看起來 A 贏可能只是巧合
• 2. 看到「贏了」就提前停止：贏一半隨後可能逆轉，要跑滿預定樣本
• 3. 一次測太多變數：同時改顏色、文字、位置，無法判斷哪個有效
• 4. 忽略分眾差異：總體沒贏但新客贏，要分眾分析
• 5. 多重檢驗陷阱：測 20 個項目總有 1 個碰巧顯著，要做 Bonferroni 校正

正確的測試流程

標準七步驟：

• 1. 形成假設（如「縮短結帳步驟能提升 5% 轉換率」）
• 2. 用樣本計算器算所需樣本數
• 3. 設計 A/B 兩版本，確保只有一個變數不同
• 4. 隨機分配流量（50/50 或 90/10 都可，避免新舊客比例不均）
• 5. 跑滿預定時間或樣本量（至少 7-14 天）
• 6. 計算 p 值與信心區間
• 7. p < 0.05 才推上線，否則繼續測或承認沒差

測試時間的選擇

建議至少跑 7-14 天且跨完整週期（顧客行為週日 vs 平日可能差很多）。重要原則：等達到預定樣本數才結束（不要看數字波動就提前結束）；至少跑滿一個完整週期（含週末）；大檔活動期間避免測試（行為異常會干擾結果）；一次只測一個版本變化。短於 7 天的測試結論基本不可信。

實作工具推薦

中小電商可用：Google Optimize（已於 2023 年退役，可改用 Microsoft Clarity）；VWO；Optimizely；AB Tasty。簡易需求可用 Google Tag Manager + GA4 自製 A/B 測試。專業電商平台（如 Shopto）內建 A/B 測試工具，包含自動樣本計算與顯著性判讀。

常見問題解答