AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

追書神器書籍推薦優化測試

公司簡介

《追書神器》是國內首款專注網絡連載文章的應用,旨在讓用戶以最便捷的方式瀏覽到文章的最新章節。產品以百萬級的小說收錄為基礎,在實現海量小說更新與作者云同步的同時,還結合真實的測評數據,為不同的用戶群體提供個性化的小說榜單和各類主題書單,一站式滿足差異化的閱讀需求,真正解決用戶閱讀的“書荒”痛點。此外,追書神器還擁有多元化的社區交流討論區,建立起作者與用戶、用戶與用戶之間的粘性和社交紐帶。作為一款專注開發免費閱讀小說的移動閱讀類APP軟件,追書神器自2012年上線以來,經過4年運營,用戶已超過6000萬,日活超過800萬。憑借強大的產品功能、社區日活系數、用戶的高口碑及留存率,追書神器獲得MAIC2016年度最具成長性移動閱讀類應用。

 

案例背景

用戶活躍度和留存是追書最核心的業務指標之一,所以追書對產品優化的一切改進都會圍繞這些指標來進行。這次追書神器的產品部門希望從書籍推薦入手,進一步促進已經閱讀到完結章節的用戶開啟下一步書籍的瀏覽。目前共有兩種推薦方式可以實行,至于哪種推薦方式能帶來更多的閱讀量和追新量,就需要借助A/B測試來找到更好的推薦方法。

 

測試方案

目前追書神器在側邊欄的推薦書籍中,分為主推書籍和弱推薦入口。用戶在主推薦欄可以看到被推薦書籍的封面、書名和作者信息,而弱推薦入口則需要點擊進入口才可以瀏覽相關書目。

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現客戶反饋最好的版本,作為最終的新版本迭代方案。

根據現有的書籍推薦方式,產品部門設計試驗方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:主推“精品書籍”版塊,即當下優質書目推薦,與用戶閱讀的書籍類型無關;

試驗版本:主推“相似書籍”版塊,即根據用戶當前閱讀的書籍類型,推薦與之相似的其他書目。

優化指標:將“添加到書架點擊量、展示書籍點擊量、更多選項點擊量、文字點擊量、開始閱讀點擊量”作為本次試驗的核心優化指標,同時設定“總消費金額”為輔助觀察指標。

 

測試目標

這次試驗的主要目標是觀察不同書籍推薦方式對用戶閱讀量的影響,同時驗證不同推薦方式是否會對付費轉化的產生積極作用。

 

A/B測試數據反饋

本次試驗Android端進行,兩個版本各分配25%的流量,運行周期共計15天(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在觀察對比上述優化指標后,產品部門得出了科學的試驗結論。

-試驗版本勝出,主推“相似書籍”的方式對用戶繼續閱讀并添加追新等指標有明顯的提升效果,其中“添加到書架”的點擊數據增加了354%以上;

-然而試驗版本對“總消費”指標的影響不大,盡管樣本數據顯示有非常微小的降低,但置信區間未收斂,說明沒有確定的增減影響;

-關于對總消費的不確定影響,推測可能的原因在于,從進入側邊欄到產生最終消費,整個行為路徑很長,期間用戶可能會受到其他因素的作用,因果關系不直接;

-這次試驗找到了能夠促進用戶繼續閱讀的書籍推薦方式,同時也為進一步優化“總消費”指標明確了方向。

8163 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金 好彩1怎么买 百晓配资 20选5高手自创选号技巧 德甲联赛赛程积分排名2019 微乐贵阳麻将辅助软件神器 赛车基本走势图 广东11选5怎么赚钱 冀东水泥股票分析 海南环岛赛中奖规则 怏3北京