AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

酷開TV 影視中心試看結束優化

公司簡介

深圳酷開網絡科技有限公司成立于2006年10月,是一家專注智能電視研發以及客廳娛樂內容運營的互聯網科技公司。作為創維旗下新高端互聯網電視品牌,酷開專注電視產品新形態以及電視平臺內容增值服務,為中國家庭用戶提供軟件、硬件、服務一體化的酷開電視,通過全國最大的智能電視系統-酷開系統,為千萬級中國家庭提供內容與服務。在智能電視領域深耕多年后,于2013年推出酷開TV品牌,并于當年雙十一成為首個單日銷售過億的彩電品牌,創造吉尼斯世界銷售紀錄。

 

案例背景

作為智能電視硬件廠商,酷開TV正在逐步對他們的用戶進行精細化運營,從而實現流量價值的最大化。為此,他們計劃將現有電視商城板塊的布局做出一些調整,希望改版后的商城可以在帶來更好商業價值的同時,也獲得更多用戶的認可。他們早就計劃對這次改版進行A/B測試,但是由于他們的產品平臺的特殊性(基于安卓打造的智能電視系統),一直沒有找到合適的第三方測試平臺。

AppAdhoc作為國內唯一一家支持前、后端A/B測試的云服務平臺,SDK的產品兼容性可以滿足酷開TV產品部門的要求,確定了酷開的測試需求后,雙方開始配合試驗的接入工作。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

針對影視中心中的vip 內容,對于非會員或者會員過期的用戶,產品部門設計試驗方案如下:

%e9%85%b7%e5%bc%80%e7%bb%93%e6%9d%9f1

原始版本:文案為“試看結束,開通會員繼續觀看“, 按鈕布局為“再看一遍”再左,“開通會員“在右;

試驗版本:文案為“試看結束,開通會員可觀看完整影片“,按鈕布局為“開通會員”再左,“再看一遍“在右;

同時,用戶進入不同試看結束頁面后,開通會員按鈕的點擊次數,以及最終掃碼購買成功返回作為本次試驗的核心關注指標。

 

測試目標

本次試驗的主要目標是,對比不同的試看結束頁面的文案和布局,并找到轉化效果更好的設計方案。

 

A/B測試數據反饋

此次試驗在酷開TV的智能電視系統進行,累計運行了4周的時間(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對試驗數據進一步分析后,產品部門得到了科學的數據結論:

  • 原始版本的各區域產品詳情內容總點擊1345618次,人均0.448次;試驗版本的總點擊次1547460,日均0.51,相比原始版本提升了15%。95%置信區間[+10%, +20%];
  • 在掃碼成功指標表現試驗方案也明顯高于原始方案10%, 95%置信區間[+5%, 15%];
  • 綜合評估后,產品部門決定采用試驗版本中的文案和按鈕布局設計。

 

7731 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金