什麼是 A/B Test (A/B 測試)?
- A/B Test 通常在公司內部,用來評估產品、服務、活動是否有需要優化或是調整的地方,接下來講一下 A/B Test 大致上的進行方式
- A/B Test 的進行方式 3 大步驟解析:
- 先分組:顧名思義,通常會分 A 及 B 組,可以想像成小時候做化學實驗的對照組 (什麼變因都不變,維持現狀的組別) 以及 實驗組 (改變一個或是多個變因的組別)
- 接著做實驗:A 組 (對照組) 會是優化前的狀況,而 B 組 (實驗組) 會是優化後的狀況,改變的東西不限定,有可能是產品的小功能、服務的方式、活動的岸型規劃
- 實驗是否成功:最後透過數據分析來找到我們想要優化的功能,對於指標的影響,是否是正面的!
為什麼要做 A/B Test (A/B 測試)?
- A/B 測試通常是在一個產品、服務、活動達到比較成熟的階段、也就是成長開始受阻的時候 (成長率開始趨緩,需要找方法挽救時),公司會開始想要引進 A/B Test 來找到產品、服務、活動可以繼續成長的方式
- 所以如果數據分析師在找工作時,你找的是比較新創、剛起步的公司,或許不會碰到太多 A/B 測試的場景,或者是做測試的時候不會這麼嚴謹的要求要符合統計的指標,可能會遇到比較隨性一點的分群、做實驗
- 如果你在找工作時,是面試比較大、比較穩定的公司,那遇到 A/B 測試的場景就可能非常多!不論你是在產品、行銷、營運部門,每個地方都可能會有 A/B 測試的環節!
- 產品的案例假設:針對用戶做不同介面的設計調整、主要功能的擺放及設計
- 行銷的案例假設:活動案型及推薦商品的測試、電子報行銷的版面設計、落地頁 call to action 的方式
A/B Test 的實際步驟有哪些?8 個完整步驟
1. 了解要優化的產品渠道 (product funnel) 為何?
- 在開始思考 A/B Test 要做什麼?怎麼做之前
- 一定要先了解你想要改進的產品、服務、活動的整個產品渠道 (product funnel)
- 我們想要改進的核心指標有哪些?
- CTR (click through rate, 點擊率) 還是 CR (conversion rate, 轉換率)
- 我們想要改進的核心問題是什麼?
- 產品使用的流程還是客戶最後買單轉換的問題
2. 定義一個核心指標 (key metric)
- 定義一個正確指標:
- CTR (click through rate, 點擊率) 還是 CR (conversion rate, 轉換率)
- 或是其他針對目標有影響的指標?
3. 設想一個完整的假設 (hypothesis)
- 設想一下,目前做得不夠好的原因是在哪個環節出了問題?把明確的假設 (hypothesis) 定義出來
- 準備做實驗的調整項目對於指標 (key metric) 的影響?對於我們業務最重要的北極星指標的影響?
4. 設計完整的實驗內容
- 完整的實驗包含幾個最重要的項目:
- Who:A 組 (對照組) 有誰? B 組 (實驗組) 有誰?並且要先經過 A/A 測試,確保這兩群人的行為在做實驗之前都是相似的!而人數需要多少,就需要統計實驗來計算!
- What:A 組 (對照組)、 B 組 (實驗組) 分別要看到的哪些不同內容 (產品、服務、活動)
- When:進行的時間應該要多長?
- 與各部門協調目前要進行的實驗項目,確保同時間沒有相似的實驗一起進行,以確保實驗的品質!
5. 開始做實驗
- 實驗時必須注意的統計概念,這邊也一起補充說明,暫時不理解也沒有關係,這些都是邊做實驗,邊查資料邊注意就可以,不用把它背起來!:
- 顯著水平 (significant level, 顯著水準):業界通常會認可以 95% 當作目標,也就是 p-value < 5% 的時候
- 樣本數 (sample size)
- 當上面的實驗,在 A/B Test 顯著水平計算機中,顯示實驗結果不顯著時,有兩個做法;第一個是,增加樣本數,繼續做實驗;第二個是,找到更好的實驗,可以做出轉換更好的結果 XD
- 這裡有我平常會用的計算機:計算目標 (假設轉換率從 10% → 11%),需要多少樣本數的計算機
- 所以,回到我們實驗設計的基本 Who、What、When?
- Who?需要考量樣本數需要多少、還有用 A/A 測試來確保兩群人的行為沒有差異!
- What?基本上你在第四步的時候,就要確定你要做什麼實驗 (產品功能?行銷活動案型?)
- Whan?實驗需要做多久 = (你需要的樣本數 / 你一天可以回收多少樣本) + 等待實驗的發酵期
- 等待實驗的發酵期,通常會跟行為本身的時間有關,有些行動,例如活動期間下單,會需要的時間就會跟著你的活動走期;有些行動,例如功能的改善,會需要讓大家有一點時間去發現、使用、回饋
6. 分析實驗結果
- 最後要考慮實驗結果到底顯不顯著?我做的 A/B Test 顯著水平計算機,可以點擊建立副本!
- 對於我的目標指標,有沒有達到預期?
- 其他對於公司也很重要的指標,有沒有負面的影響?
- 舉例來說,如果是更改行銷活動上 Call to Action 的方式,我看「點擊率」有提高,但最後「成交率」反而下降,那就要非常注意這個實驗的設計了,因為他反而影響到最重要業務指標「成交率」!!
7. 結論:採納實驗、繼續做實驗
- 最後我們會對目標指標、公司也很重要的其他相關指標,做一個 A/B Test 的總結
- 接著最重要的兩個步驟:
- 我是否要採納實驗的設計,全面的更改整個產品、服務、活動案型?
- 還是實驗發現,這個設計並沒有帶來更好的影響,我是否要繼續做實驗,重新跑 1~7 的步驟?
其他 A/B Test 案例參考:(進階文章參考)
- Lucas 分享 AsiaYo 的 A/B test 實驗經過及記錄 (有圖文分享,產品實驗怎麼做!)
- 好豪分享在 Google 內 A/B Testing 會卡方還是 Z 檢定? (含 Python 運算過程),大家別怕!A/B Test 的要點不在用 python!
數據分析師如何參與在 A/B Test 當中?
- 必要參與的部分:會在 2. 定義一個核心指標 (key metric)、5. 開始做實驗、6. 分析實驗結果,這三個步驟中參與
- 幫助主導 A/B Test 的部門選擇核心指標、搜集數據
- 開始做實驗之後,幫助他們挑選實驗對象、回收實驗結果
- 幫助主導 A/B Test 的部門檢驗實驗結果、統整數據部門看到的結論
- 但我也遇過整個過程都參與,甚至是由商業數據部門團隊主導實驗的設計到總結,因此如果可以理解整個實驗的步驟,對於未來面試或是工作一定是加分的!
結論:未必拘泥於統計概念,但實驗的過程必須了解
- 實驗中要注意的統計問題,可以跟著公司在意的方向走,例如信心水準要多少,有多少樣本數可以支持我們提升目標等等
- 但是實驗的過程,包含實驗的目的、解決什麼問題、選擇什麼指標、怎麼衡量實驗到底有沒有效?這些問題反而是實際上業界更在乎的基本 sense!所以面試中,非常有可能問你,如果要設計實驗,你會怎麼開始?(這時候,就可以搬出這七步驟的思考脈絡)
- 統計的概念,Google 上有很多前輩分享的文章可以參考,但是這一篇我分享的精簡白話版實驗架構跟脈絡,數據分析師們一定要優先掌握!!
- A/B test 也可以當作作品集放到履歷中,如果想要好好的設計對轉職數據分析師有幫助的履歷,可以看看 STEP 數據分析師轉職培訓班如何協助你!
Pingback: [數據分析#0] 數據分析文章導覽 - Lisa Wu