什麼是 A/B Test (A/B 測試)？

• A/B Test 通常在公司內部，用來評估產品、服務、活動是否有需要優化或是調整的地方，接下來講一下 A/B Test 大致上的進行方式
• A/B Test 的進行方式 3 大步驟解析：
  • 先分組：顧名思義，通常會分 A 及 B 組，可以想像成小時候做化學實驗的對照組 (什麼變因都不變，維持現狀的組別) 以及 實驗組 (改變一個或是多個變因的組別)
  • 接著做實驗：A 組 (對照組) 會是優化前的狀況，而 B 組 (實驗組) 會是優化後的狀況，改變的東西不限定，有可能是產品的小功能、服務的方式、活動的岸型規劃
  • 實驗是否成功：最後透過數據分析來找到我們想要優化的功能，對於指標的影響，是否是正面的！

為什麼要做 A/B Test (A/B 測試)？

• A/B 測試通常是在一個產品、服務、活動達到比較成熟的階段、也就是成長開始受阻的時候 (成長率開始趨緩，需要找方法挽救時)，公司會開始想要引進 A/B Test 來找到產品、服務、活動可以繼續成長的方式
• 所以如果數據分析師在找工作時，你找的是比較新創、剛起步的公司，或許不會碰到太多 A/B 測試的場景，或者是做測試的時候不會這麼嚴謹的要求要符合統計的指標，可能會遇到比較隨性一點的分群、做實驗
• 如果你在找工作時，是面試比較大、比較穩定的公司，那遇到 A/B 測試的場景就可能非常多！不論你是在產品、行銷、營運部門，每個地方都可能會有 A/B 測試的環節！
  • 產品的案例假設：針對用戶做不同介面的設計調整、主要功能的擺放及設計
  • 行銷的案例假設：活動案型及推薦商品的測試、電子報行銷的版面設計、落地頁 call to action 的方式

A/B Test 的實際步驟有哪些？8 個完整步驟

1. 了解要優化的產品渠道 (product funnel) 為何？

• 在開始思考 A/B Test 要做什麼？怎麼做之前
• 一定要先了解你想要改進的產品、服務、活動的整個產品渠道 (product funnel)
• 我們想要改進的核心指標有哪些？
  • CTR (click through rate, 點擊率) 還是 CR (conversion rate, 轉換率)
• 我們想要改進的核心問題是什麼？
  • 產品使用的流程還是客戶最後買單轉換的問題

2. 定義一個核心指標 (key metric)

• 定義一個正確指標：
  • CTR (click through rate, 點擊率) 還是 CR (conversion rate, 轉換率)
  • 或是其他針對目標有影響的指標？

3. 設想一個完整的假設 (hypothesis)

• 設想一下，目前做得不夠好的原因是在哪個環節出了問題？把明確的假設 (hypothesis) 定義出來
• 準備做實驗的調整項目對於指標 (key metric) 的影響？對於我們業務最重要的北極星指標的影響？

4. 設計完整的實驗內容

• 完整的實驗包含幾個最重要的項目：
  • Who：A 組 (對照組) 有誰？ B 組 (實驗組) 有誰？並且要先經過 A/A 測試，確保這兩群人的行為在做實驗之前都是相似的！而人數需要多少，就需要統計實驗來計算！
  • What：A 組 (對照組)、 B 組 (實驗組) 分別要看到的哪些不同內容 (產品、服務、活動)
  • When：進行的時間應該要多長？
• 與各部門協調目前要進行的實驗項目，確保同時間沒有相似的實驗一起進行，以確保實驗的品質！

5. 開始做實驗

• 實驗時必須注意的統計概念，這邊也一起補充說明，暫時不理解也沒有關係，這些都是邊做實驗，邊查資料邊注意就可以，不用把它背起來！：
  • 顯著水平 (significant level, 顯著水準)：業界通常會認可以 95% 當作目標，也就是 p-value < 5% 的時候
    • A 廣告 (對照組 A)：1000 人中，有 100 人點，CTR = 10.0%；B 廣告 (實驗組 B)：300 人中，有 35 人點，CTR= 11.6%；這是一個看似 B 廣告 (實驗組 B) 成效比較好，但是沒有考慮到顯著水平 (significant level, 顯著水準) 的典型案例。所以如果你想知道哪些究竟比較好，就必需注意顯著水平的問題
    • 這裡有我做的 A/B Test 顯著水平計算機，可以點擊建立副本！順便來看看到底這個實驗有沒有成功！
    • 如果不能建立副本，到這裡查看，點按「檔案」，「建立副本」，就可以使用我做的計算機囉！
  • 樣本數 (sample size)
    • 當上面的實驗，在 A/B Test 顯著水平計算機中，顯示實驗結果不顯著時，有兩個做法；第一個是，增加樣本數，繼續做實驗；第二個是，找到更好的實驗，可以做出轉換更好的結果 XD
    • 這裡有我平常會用的計算機：計算目標 (假設轉換率從 10% → 11%)，需要多少樣本數的計算機

• 所以，回到我們實驗設計的基本 Who、What、When？
  • Who？需要考量樣本數需要多少、還有用 A/A 測試來確保兩群人的行為沒有差異！
  • What？基本上你在第四步的時候，就要確定你要做什麼實驗 (產品功能？行銷活動案型？)
  • Whan？實驗需要做多久 = (你需要的樣本數 / 你一天可以回收多少樣本) + 等待實驗的發酵期
    • 等待實驗的發酵期，通常會跟行為本身的時間有關，有些行動，例如活動期間下單，會需要的時間就會跟著你的活動走期；有些行動，例如功能的改善，會需要讓大家有一點時間去發現、使用、回饋

6. 分析實驗結果

• 最後要考慮實驗結果到底顯不顯著？我做的 A/B Test 顯著水平計算機，可以點擊建立副本！
• 對於我的目標指標，有沒有達到預期？
• 其他對於公司也很重要的指標，有沒有負面的影響？
  • 舉例來說，如果是更改行銷活動上 Call to Action 的方式，我看「點擊率」有提高，但最後「成交率」反而下降，那就要非常注意這個實驗的設計了，因為他反而影響到最重要業務指標「成交率」！！

7. 結論：採納實驗、繼續做實驗

• 最後我們會對目標指標、公司也很重要的其他相關指標，做一個 A/B Test 的總結
• 接著最重要的兩個步驟：
  • 我是否要採納實驗的設計，全面的更改整個產品、服務、活動案型？
  • 還是實驗發現，這個設計並沒有帶來更好的影響，我是否要繼續做實驗，重新跑 1~7 的步驟？

其他 A/B Test 案例參考：(進階文章參考)

• Lucas 分享 AsiaYo 的 A/B test 實驗經過及記錄 (有圖文分享，產品實驗怎麼做！）
• 好豪分享在 Google 內 A/B Testing 會卡方還是 Z 檢定？ (含 Python 運算過程)，大家別怕！A/B Test 的要點不在用 python！

數據分析師如何參與在 A/B Test 當中？

• 必要參與的部分：會在 2. 定義一個核心指標 (key metric)、5. 開始做實驗、6. 分析實驗結果，這三個步驟中參與
  • 幫助主導 A/B Test 的部門選擇核心指標、搜集數據
  • 開始做實驗之後，幫助他們挑選實驗對象、回收實驗結果
  • 幫助主導 A/B Test 的部門檢驗實驗結果、統整數據部門看到的結論
• 但我也遇過整個過程都參與，甚至是由商業數據部門團隊主導實驗的設計到總結，因此如果可以理解整個實驗的步驟，對於未來面試或是工作一定是加分的！

結論：未必拘泥於統計概念，但實驗的過程必須了解

• 實驗中要注意的統計問題，可以跟著公司在意的方向走，例如信心水準要多少，有多少樣本數可以支持我們提升目標等等
• 但是實驗的過程，包含實驗的目的、解決什麼問題、選擇什麼指標、怎麼衡量實驗到底有沒有效？這些問題反而是實際上業界更在乎的基本 sense！所以面試中，非常有可能問你，如果要設計實驗，你會怎麼開始？(這時候，就可以搬出這七步驟的思考脈絡)
• 統計的概念，Google 上有很多前輩分享的文章可以參考，但是這一篇我分享的精簡白話版實驗架構跟脈絡，數據分析師們一定要優先掌握！！
• A/B test 也可以當作作品集放到履歷中，如果想要好好的設計對轉職數據分析師有幫助的履歷，可以看看 STEP 數據分析師轉職培訓班如何協助你！