AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

嗨住在線客服優化

公司簡介

嗨住是集租前、租中以及租后為一體的專業鏈條式租房服務平臺,致力于為年輕用戶解決“租房子,找室友,付房租”的問題。通過企業內部強大的團隊資源,產品房源信息覆蓋所有職業房東,同時,全網數據實時抓取覆蓋所有個人房源,保證房源的多樣性。對于每套房源,嗨住都會進行實地勘察比對,支持實時語音搜索監控、一鍵舉報,保證嗨住租房平臺房源可租信息實時可靠。用戶可在產品平臺或應用內租賃和支付,無需支付任何中介費用。此外,嗨住還為用戶提供了“直呼房東”、“免費預約”和“租后服務”等服務類型,讓用戶更省時、更省錢、更省心、更簡單的享受租房帶來的樂趣。

 

案例背景

根據長期的數據觀察和分析,嗨住的公司內部對于房源詳情頁中“在線客服”的插件使用情況產生了疑慮。同時,出于人工成本的考量,產品部門決定通過A/B測試的方法,來檢驗在線客服是否能夠刺激用戶進一步了解房屋詳情,最終促進用戶點擊“聯系房東”的轉化率。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

產品部門設計兩種結果展示方案如下:

%e5%9c%a8%e7%ba%bf%e5%ae%a2%e6%9c%8d%e4%bc%98%e5%8c%96-%e5%af%b9%e6%af%94

原始版本: 保留“在線客服”按鈕,入口在房源詳情頁底部,位于“聯系房東”按鈕左側;

試驗版本: 去掉“在線客服”入口,將“聯系房東”按鈕重新布局平鋪于底部,頁面內其他元素保持不變。

同時,將用戶撥打房東電話的按鈕點擊數設置為此次試驗的主要優化指標。

 

測試目標

本次試驗的主要目標是,通過分析兩個版本的試驗數據,觀察“在線客服”按鈕是否會對用戶點擊“聯系房東”產生影響,并根據數據結果對在線客服入口進行決策。

 

A/B測試數據反饋

此次試驗在嗨住的iOS端進行,累計運行了近3周的時間(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對試驗數據進一步分析后,產品部門得到了科學可信的數據結果。

-數據結果顯示,試驗版本的均值為-4%,置信區間顯示[-18%,+10%],而轉化人數統計(即有多少獨立用戶點擊按鈕),試驗版本+1.6%,置信區間顯示[-6.7%,+10%],均為非統計顯著;

-試驗結果說明,兩個版本沒有顯著差別,也就是說“在線客服”入口對用戶點擊“聯系房東”按鈕,沒有直接刺激作用;

-最終出于成本考量,嗨住產品部門決定去掉房源詳情頁的“在線客服”入口,只保留“我的”版塊中的電話客服。

9366 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金