AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

某工具類產品廣告入口icon優化

公司簡介

作為面向全球用戶的工具類出海公司,該客戶致力于為全球用戶提供高效易用的工具類產品。目前產品主要利用自有傳輸協議,在保證傳輸速度的同時,確保帶寬的有效利用,同時基于SDN的服務器控制平臺實現最優路徑的選擇與下發,在全球復雜網絡環境下優化用戶網絡速度。

 

案例背景

眾所周知,工具類產品變現越來越困難,生硬的廣告不但對用戶體驗有損,而且廣告轉化效果較差,變現效率低下。因此,產品部門希望通過A/B測試找到用戶點擊率較高的廣告入口,以此來提升產品變現效率。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

根據現有廣告入口的icon,產品部門設計試驗方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:廣告入口ICON為風車;

試驗版本1:廣告入口ICON為衛星;

試驗版本2:廣告入口ICON為機器人;

試驗版本3:廣告入口ICON為沙漏。

同時,將不同版本的icon點擊率作為本次試驗的核心關注指標。

 

測試目標

本次試驗的主要目標是,尋找用戶點擊率最高的ICON,提高廣告變現效率。

 

A/B測試數據反饋

此次試驗在iOS端進行,累計運行了2周的時間(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對試驗數據進一步分析后,產品部門得到了科學的數據結論:

-原始版本用戶點擊率為28%;

-試驗版本1用戶點擊率為34%;

-試驗版本2用戶點擊率為42%;

-試驗版本3用戶點擊率為29%;

-本次試驗共有20w用戶參與,最終試驗版本2(icon為機器人)勝出,相比原始版本,用戶的轉化率提升了50%;

-根據試驗數據,產品部門決定將新的icon設計(機器人圖標)作為下次迭代的優化方案。

7308 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金