AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

酷開TV 影視中心iqiyi會員優化

公司簡介

深圳酷開網絡科技有限公司成立于2006年10月,是一家專注智能電視研發以及客廳娛樂內容運營的互聯網科技公司。作為創維旗下新高端互聯網電視品牌,酷開專注電視產品新形態以及電視平臺內容增值服務,為中國家庭用戶提供軟件、硬件、服務一體化的酷開電視,通過全國最大的智能電視系統-酷開系統,為千萬級中國家庭提供內容與服務。在智能電視領域深耕多年后,于2013年推出酷開TV品牌,并于當年雙十一成為首個單日銷售過億的彩電品牌,創造吉尼斯世界銷售紀錄。

 

案例背景

作為智能電視硬件廠商,酷開TV正在逐步對他們的用戶進行精細化運營,從而實現流量價值的最大化。為此,他們計劃將現有電視商城板塊的布局做出一些調整,希望改版后的商城可以在帶來更好商業價值的同時,也獲得更多用戶的認可。他們早就計劃對這次改版進行A/B測試,但是由于他們的產品平臺的特殊性(基于安卓打造的智能電視系統),一直沒有找到合適的第三方測試平臺。

AppAdhoc作為國內唯一一家支持前、后端A/B測試的云服務平臺,SDK的產品兼容性可以滿足酷開TV產品部門的要求,確定了酷開的測試需求后,雙方開始配合試驗的接入工作。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

針對現有會員購買頁面,產品部門設計試驗方案如下:

%e9%85%b7%e5%bc%80tv-%e4%bc%9a%e5%91%981

原始版本:在會員購買頁面價格策略順序為 :?連續包月+費用,1個月+費用,3個月+費用年費+費用, 年費+費用

試驗版本:在會員購買頁面價格策略順序為:12個月+費用+(限時特惠 低至字樣),3個月+費用,連續包月+費用,1個月+費用(如上圖)。

同時,各個價格按鈕點擊率,進入支付頁面的曝光量, 掃碼成功次數和轉化金額作為本次試驗的核心關注指標。

 

測試目標

本次試驗的主要目標是,對比不同的價格排序策略,通過觀察漏斗中的次級指標和核心指標,最大限度提升會員購買轉化金額。

 

A/B測試數據反饋

此次試驗在酷開TV的智能電視系統進行,累計運行了5周的時間(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對試驗數據進一步分析后,產品部門得到了科學的數據結論:

  • 原始版本的會員購買頁面各個會員產品的點擊分別為500次(連續包月),90次(1個月),105次(3個月),200次(包年);試驗版本的會員購買頁面各個會員產品的點擊分別為270次(包年),120次(3個月),250次(連續包月),50次(1個月);
  • 雖然在個別價格位置上轉化率降低,但是觀察總體轉化金額提升了提升了14%, 95%置信區間為[ + 10%, ?+ 18%];
  • 綜合評估后,結合統計試驗數據和公司現階段業務目標,產品和運營人員決定全量發布試驗版本到100%流量,并在后續的發版迭代中采用此方案。

 

8181 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金