AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

某知名網絡視頻企業旗下直播平臺推薦算法優化

公司簡介

作為某知名網絡視頻企業旗下直播平臺,該企業成立于2013年8月,擁有熱播推薦、綜藝直播、廣場、排行榜、商城、論壇等功能。產品為用戶提供豐富精彩的真人視頻生活秀及優質綜藝直播內容,支持數十萬人同時在線收看,依托頂尖直播技術,實時傳遞高清畫質。在直播行業一片紅海的背景下,該公司率先推出“互動綜藝”概念,用差異化的直播產品卡位市場,將以藝人為核心的傳統綜藝節目,變成全民參與、深度互動的綜娛直播。產品定位為“中國第一互聯網大眾造星平臺”,借助強內容的優質內核擴大用戶的選擇范圍,致力于成為中國最好玩兒的直播媒體。平臺幫助用戶從乏味無感的傳統直播中抽身,從而有機地擴散最好玩兒的直播內容,同時利用高互動的參與形式擺脫傳統直播模式所造成的窘境。

 

案例背景

目前,大部分直播平臺的推薦頁是以“原始分+動態分+人工干預”的方式排列主播的直播內容。其中,原始分是人工初始打分,包括主播的外貌、才藝、歷史互動情況等;動態分是當前直播的具體表現,包括時長、關注量、真人觀眾數等;人工干預則是運營部門手動進行強制調整。某知名網絡視頻企業旗下直播平臺,希望憑借技術部門的力量,通過A/B測試進一步優化推薦頁面算法,找到最適合自身特點、最能促進用戶活躍度的算法方式。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現客戶反饋最好的版本,作為最終的新版本迭代方案。

產品技術部門設計了兩套不同的推薦算法,將相關頁面集成到AppAdhoc A/B Testing中,生成了1個試驗版本和1個原始版本。

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:原有推薦算法;

試驗版本:優化后的推薦算法,頁面其他元素保持不變。

同時,設置用戶觀看時長、直播間關注次數、觀看直播次數為主要優化指標。

 

測試目標

此次試驗主要目的在于,觀察不同推薦算法是否會對核心指標產生不同影響,從而選定本次算法優化的最終方案。

 

A/B測試數據反饋

此次 A/B 測試選在Android端進行,試驗持續了一周多的時間(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對試驗數據進一步分析后,產品部門得到了科學可信的數據結果。

-兩個版本的數據不論是從均值還是轉化人數來看,指標的數據差值都不大,且統計不顯著;

-說明兩種推薦算法對于產品核心指標的影響沒有明顯優劣不同;

-產品部門決定不更換現有推薦頁算法方式,從其他方面進一步思考促進用戶活躍度的方式。

10485 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金