AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

10086客服界面優化

公司簡介

10086是中國移動官方出品的移動端APP。作為中國移動于2014年10月設立的全資專業子公司產品,10086基于中國移動服務8億客戶的模式,致力于在數字化服務加速啟動的今天,滿足客戶對互聯網的依賴和對“以指代步”的期待。10086面向個人客戶,以“給手機一把金鑰匙,開啟4G專屬服務”為宗旨,產品視覺簡單直觀,交互易用,提供流量查詢、超額監控、套餐余量提醒等多種服務支持,同時還可以幫助親友管理流量和話費,隨時隨地關注消費變化,保證所有用戶的通信無憂。

 

案例背景

目前10086 APP客服問題頁面默認采用“熱門問題展開形式”進行展現,產品部門推斷這種展現方式導致“積分”等類型問題、和撥打10086等按鈕無法一屏展示,進而影響用戶快速找到相關問題知識,造成客服界面的使用率較低。為了提升首頁各問題欄目的點擊量以及在線客服支持的利用率,降低用戶在APP內撥打10086次數,進一步減少10086客服中心壓力,產品部門決定通過A/B測試修改應用中客服界面的布局和按鈕,確定此類改動對用戶使用情況的影響。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現客戶反饋最好的版本,作為最終的新版本迭代方案。

10086的產品部門在綜合考慮現有客服界面的內容布局后,決定創建3個試驗版本,具體方案如下:

10086-%e5%ae%a2%e6%9c%8d%e7%95%8c%e9%9d%a2-%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:熱門問題展開,頁面最下方有“聯系在線客服”和“撥打10086”兩個按鈕;

試驗版本1:不展開熱門問題內容,其余頁面元素保持不變;

試驗版本2:熱門問題展開,將頁面最下方的“撥打10086”按鈕移除,只保留“聯系在線客服”,其余頁面元素保持不變;

試驗版本3:不展開熱門問題內容,同時將“撥打10086”按鈕移除,只保留“聯系在線客服”,其余頁面元素保持不變。

同時,將各版塊中問題欄目的點擊和“聯系在線客服”的按鈕點擊,作為本次試驗的核心關注指標。

 

測試目標

此次試驗主要關注在調整“熱門問題”和頁面下方按鈕之后,客服界面中各問題欄目的點擊和在線客服的使用情況影響,從而驗證不同試驗方案的優化效果。

?

A/B測試數據反饋

本次試驗選擇A/B測試與灰度發布相結合的方式,初始流量分配4%(各版本分配1%的流量),在確保真實環境下無bug及報錯情況后,逐步調大試驗流量,試驗周期為14天(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在觀察對比不同版本的試驗數據后,產品部門得出了科學的試驗結論。

10086-%e5%ae%a2%e6%9c%8d%e7%95%8c%e9%9d%a2%e4%bc%98%e5%8c%96%e6%95%b0%e6%8d%ae

-關注問題欄目的點擊變化,不論“熱門問題”的展開與否,還是“撥打10086”按鈕是否存在,對用戶點擊不同類型的問題欄目都沒有顯著的直接影響;也可以看出,如果要提升問題欄目的點擊,要關注具體問題的以及答案的質量;

-從引導用戶點擊在線支持來說,不展開“熱門問題”并去掉“撥打10086”按鈕的試驗版本3效果最好,統計顯著結果并提升了近25%;

-對于試驗版本1,數據結果顯示當“熱門問題”欄被折疊,頁面最下方的客服和撥打10086按鈕上移,用戶關注熱線以及在線客服的興趣也會相應提升,其中選擇撥打電話的用戶提升更加明顯;

-這些數據證明用戶對頁面下方的按鈕使用率(包括撥打10086和使用在線客服),與“熱門問題”的是否展開還是有一定關聯的,產品部門可以依據本次試驗的寶貴經驗,為后續的優化明確方向。

8909 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金