AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

洋蔥數學課程詳情頁優化

公司簡介

洋蔥數學是一款針對中小學生的在線輔導產品,有APP版和PC版;目前已推出數學和物理課程,包括小學、初中和高中三個階段,涵蓋國內12個版本的教材。每一節課程均是由5-8分鐘左右的動畫視頻和智能練習呈現。讓中小學生輕松進行個性化學習。

洋蔥數學將國家對中小學生的教學大綱中的知識點制作成一系列的視頻課程(與教材同步),每個視頻都用有趣的視頻語言來對教綱中的某個知識點進行詳細的解釋與闡述,并會在視頻中穿插練習題,確保學生在理解一個概念之后才繼續觀看視頻,直到完全掌握課程內容。而后還會有課后練習與章節測試題,做錯的題目會自動進入錯題本,方便學生以后復習。

 

案例背景

洋蔥數學的核心需求是提高課程詳情頁面轉化率。產品同學從業務特點,和受眾偏好出發設計不同USP文案來促進潛在用戶完成轉化。

 

測試方案

洋蔥數學的核心需求是提高課程詳情頁面轉化率。產品同學從業務特點,和受眾偏好出發。設計了兩版“課程詳情頁”分別將側重點放在了“在線輔導”和“介紹提分”。因而,需要設計一組 A/B測試來檢驗兩個版本在購買轉化率方面的表現。

%e5%9b%be%e7%89%871

基于以上試驗需求,吆喝科技與洋蔥數學一起設計了一組編程對比試驗(如圖)。得益于Appadhoc?A/B Testing良好前后端兼容性和友好的編輯功能,試驗中為新舊版本各是一個獨立的頁面,并通過該平臺實時調節和監測數據,實現了響應速度快、埋點工作量低的特色功能。

 

測試目標

本次A/B測試的主要目的是驗證,頁面凸顯不同賣點,對于用戶購買轉化率的影響,核心關注的目標數據是“購買按鈕”點擊數和“購買轉化率”,并參考兩個版本的置信區間。

新版本的置信區間和舊版本相比:

  • 如果出現置信區間同正或同負的情況,說明某一版本帶來了正面的或負面的增長;
  • 如果樣本量一定的情況下,置信區間一正一負,說此次改進沒有顯著效果,可以考慮換一個優化方向。

 

?

A/B測試數據反饋

本次試驗是在洋蔥數學小程序進行,試驗周期維持了一周。產品運營部門在Appadhoc?A/B Testing實時數據統計和多維度分析功能幫助下很快得出了科學的試驗結論。

%e8%af%95%e9%aa%8c%e6%95%b0%e6%8d%ae

試驗數據表明,兩個版本在試驗中并沒有明顯差異;

試驗中,通過Appadhoc?A/B Testing的科學流量分割與實時調節功能,實現兩個版本頁面均分流量,然而可觀察的樣本數據并沒有顯示出明顯差異,置信區間沒有收斂。最終,我們推薦洋蔥數學將課程頁面流量提上來,增加樣本量,再進行對比試驗。

這次A/B測試幫助洋蔥數學避免了盲目創新帶來的更新風險和用戶流失,并且幫助其進一步明確產品優化方向,把精力放在其他可以提升轉化率的方面。

?

8042 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金