[數據分析#58] 必懂的 A/B test 7 步流程:挑戰最白話的講解實驗過程、統計概念及面試提點!

什麼是 A/B Test (A/B 測試)?

  • A/B Test 通常在公司內部,用來評估產品、服務、活動是否有需要優化或是調整的地方,接下來講一下 A/B Test 大致上的進行方式
  • A/B Test 的進行方式 3 大步驟解析:
    • 先分組:顧名思義,通常會分 A 及 B 組,可以想像成小時候做化學實驗的對照組 (什麼變因都不變,維持現狀的組別) 以及 實驗組 (改變一個或是多個變因的組別)
    • 接著做實驗:A 組 (對照組) 會是優化前的狀況,而 B 組 (實驗組) 會是優化後的狀況,改變的東西不限定,有可能是產品的小功能、服務的方式、活動的岸型規劃
    • 實驗是否成功:最後透過數據分析來找到我們想要優化的功能,對於指標的影響,是否是正面的!

為什麼要做 A/B Test (A/B 測試)?

  • A/B 測試通常是在一個產品、服務、活動達到比較成熟的階段、也就是成長開始受阻的時候 (成長率開始趨緩,需要找方法挽救時),公司會開始想要引進 A/B Test 來找到產品、服務、活動可以繼續成長的方式
  • 所以如果數據分析師在找工作時,你找的是比較新創、剛起步的公司,或許不會碰到太多 A/B 測試的場景,或者是做測試的時候不會這麼嚴謹的要求要符合統計的指標,可能會遇到比較隨性一點的分群、做實驗
  • 如果你在找工作時,是面試比較大、比較穩定的公司,那遇到 A/B 測試的場景就可能非常多!不論你是在產品、行銷、營運部門,每個地方都可能會有 A/B 測試的環節!
    • 產品的案例假設:針對用戶做不同介面的設計調整、主要功能的擺放及設計
    • 行銷的案例假設:活動案型及推薦商品的測試、電子報行銷的版面設計、落地頁 call to action 的方式

A/B Test 的實際步驟有哪些?8 個完整步驟

1. 了解要優化的產品渠道 (product funnel) 為何?

  • 在開始思考 A/B Test 要做什麼?怎麼做之前
  • 一定要先了解你想要改進的產品、服務、活動的整個產品渠道 (product funnel)
  • 我們想要改進的核心指標有哪些?
    • CTR (click through rate, 點擊率) 還是 CR (conversion rate, 轉換率)
  • 我們想要改進的核心問題是什麼?
    • 產品使用的流程還是客戶最後買單轉換的問題

2. 定義一個核心指標 (key metric)

  • 定義一個正確指標:
    • CTR (click through rate, 點擊率) 還是 CR (conversion rate, 轉換率)
    • 或是其他針對目標有影響的指標?

3. 設想一個完整的假設 (hypothesis)

  • 設想一下,目前做得不夠好的原因是在哪個環節出了問題?把明確的假設 (hypothesis) 定義出來
  • 準備做實驗的調整項目對於指標 (key metric) 的影響?對於我們業務最重要的北極星指標的影響?

4. 設計完整的實驗內容

  • 完整的實驗包含幾個最重要的項目:
    • Who:A 組 (對照組) 有誰? B 組 (實驗組) 有誰?並且要先經過 A/A 測試,確保這兩群人的行為在做實驗之前都是相似的!而人數需要多少,就需要統計實驗來計算!
    • What:A 組 (對照組)、 B 組 (實驗組) 分別要看到的哪些不同內容 (產品、服務、活動)
    • When:進行的時間應該要多長?
  • 與各部門協調目前要進行的實驗項目,確保同時間沒有相似的實驗一起進行,以確保實驗的品質!

5. 開始做實驗

  • 實驗時必須注意的統計概念,這邊也一起補充說明,暫時不理解也沒有關係,這些都是邊做實驗,邊查資料邊注意就可以,不用把它背起來!:
    • 顯著水平 (significant level, 顯著水準):業界通常會認可以 95% 當作目標,也就是 p-value < 5% 的時候
      • A 廣告 (對照組 A):1000 人中,有 100 人點,CTR = 10.0%;B 廣告 (實驗組 B):300 人中,有 35 人點,CTR= 11.6%;這是一個看似 B 廣告 (實驗組 B) 成效比較好,但是沒有考慮到顯著水平 (significant level, 顯著水準) 的典型案例。所以如果你想知道哪些究竟比較好,就必需注意顯著水平的問題
      • 這裡有我做的 A/B Test 顯著水平計算機,可以點擊建立副本!順便來看看到底這個實驗有沒有成功!
      • 如果不能建立副本,到這裡查看,點按「檔案」,「建立副本」,就可以使用我做的計算機囉!
    • 樣本數 (sample size)
      • 當上面的實驗,在 A/B Test 顯著水平計算機中,顯示實驗結果不顯著時,有兩個做法;第一個是,增加樣本數,繼續做實驗;第二個是,找到更好的實驗,可以做出轉換更好的結果 XD
      • 這裡有我平常會用的計算機:計算目標 (假設轉換率從 10% → 11%),需要多少樣本數的計算機
A/B Test 顯著水平計算機,免費下載!
  • 所以,回到我們實驗設計的基本 Who、What、When?
    • Who?需要考量樣本數需要多少、還有用 A/A 測試來確保兩群人的行為沒有差異!
    • What?基本上你在第四步的時候,就要確定你要做什麼實驗 (產品功能?行銷活動案型?)
    • Whan?實驗需要做多久 = (你需要的樣本數 / 你一天可以回收多少樣本) + 等待實驗的發酵期
      • 等待實驗的發酵期,通常會跟行為本身的時間有關,有些行動,例如活動期間下單,會需要的時間就會跟著你的活動走期;有些行動,例如功能的改善,會需要讓大家有一點時間去發現、使用、回饋

6. 分析實驗結果

  • 最後要考慮實驗結果到底顯不顯著?我做的 A/B Test 顯著水平計算機,可以點擊建立副本
  • 對於我的目標指標,有沒有達到預期?
  • 其他對於公司也很重要的指標,有沒有負面的影響?
    • 舉例來說,如果是更改行銷活動上 Call to Action 的方式,我看「點擊率」有提高,但最後「成交率」反而下降,那就要非常注意這個實驗的設計了,因為他反而影響到最重要業務指標「成交率」!!

7. 結論:採納實驗、繼續做實驗

  • 最後我們會對目標指標、公司也很重要的其他相關指標,做一個 A/B Test 的總結
  • 接著最重要的兩個步驟:
    • 我是否要採納實驗的設計,全面的更改整個產品、服務、活動案型?
    • 還是實驗發現,這個設計並沒有帶來更好的影響,我是否要繼續做實驗,重新跑 1~7 的步驟?

其他 A/B Test 案例參考:(進階文章參考)

數據分析師如何參與在 A/B Test 當中?

  • 必要參與的部分:會在 2. 定義一個核心指標 (key metric)、5. 開始做實驗、6. 分析實驗結果,這三個步驟中參與
    • 幫助主導 A/B Test 的部門選擇核心指標、搜集數據
    • 開始做實驗之後,幫助他們挑選實驗對象、回收實驗結果
    • 幫助主導 A/B Test 的部門檢驗實驗結果、統整數據部門看到的結論
  • 但我也遇過整個過程都參與,甚至是由商業數據部門團隊主導實驗的設計到總結,因此如果可以理解整個實驗的步驟,對於未來面試或是工作一定是加分的!

結論:未必拘泥於統計概念,但實驗的過程必須了解

  • 實驗中要注意的統計問題,可以跟著公司在意的方向走,例如信心水準要多少,有多少樣本數可以支持我們提升目標等等
  • 但是實驗的過程,包含實驗的目的、解決什麼問題、選擇什麼指標、怎麼衡量實驗到底有沒有效?這些問題反而是實際上業界更在乎的基本 sense!所以面試中,非常有可能問你,如果要設計實驗,你會怎麼開始?(這時候,就可以搬出這七步驟的思考脈絡)
  • 統計的概念,Google 上有很多前輩分享的文章可以參考,但是這一篇我分享的精簡白話版實驗架構跟脈絡,數據分析師們一定要優先掌握!!
  • A/B test 也可以當作作品集放到履歷中,如果想要好好的設計對轉職數據分析師有幫助的履歷,可以看看 STEP 數據分析師轉職培訓班如何協助你

【1 對 1 免費諮詢】數據分析師 0~1 培訓班陪你一路到轉職成功!

hi 我是 Lisa

你也是 0 經驗、沒有相關背景,但也想要轉職數據分析師,或運用數據分析,提升在領域的專業度嗎?

-

你是否也覺得,數據分析的網路學習資源很多,但是多到不知道從哪裡開始?

學了很多工具,但學完了,問題才真正開始,不知道業界怎麼使用?又該如何面臨工作跟面試?

-

我在 2019 年從營運專員的職位轉職到數據分析師

在這之後,因為數據分析,也讓我快速建構不同領域的知識:行銷、營運、商業策略、產品、網頁

轉職過程中,花了很多時間成本摸索

我發現,學數據分析最快的方式是:

  1. 確認自己跟市場需求之間的差距:訂定轉職策略及了解數據分析師的工作方式
  2. 以業界應用的角度學習工具:包括數據工具及分析用思維架構,並且如何高效運用
  3. 建立一個商業上的真實專案,並且得到回饋:打造屬於你及貼合職缺需求的作品集和專案
  4. 打造一個高效履歷跟面談:透過高價值包裝術拿下面試、成功獲得數據行業的門票

當初如果我有這套系統思維,應該可以在短時間內轉職,馬上拿到進入業界的門票

-

現在,我想把這套完整課程分享給你

這是專門為了 0 經驗、沒有相關背景的轉職者所設計

不需要去考研究所、不需要花大錢準備出國讀書

可以用最快的時間準備轉職、拿到門票!

-

如果你正在準備轉職數據分析師,且試圖找過解決辦法卻始終治標不治本!歡迎跟我預約免費 1 對 1 諮詢,我會在諮詢時,了解你的需求並且評估我是否可以協助到你!

電子書 職場人必學的數據分析術

Lisa Wu

Hi 大家好!我是喜歡探索身心靈健康及平衡的數據分析師 Lisa Wu!這個網站會幫助你:利用數據分析 (理性) 及 身心靈平衡 (感性) 的系統,去達成人生目標!如果你對我的人生系統工具有興趣,歡迎聯繫我:couplehonest@gmail.com

This Post Has One Comment

Comments are closed.