AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

某知名保險企業旗下證券公司交易持倉刷新功能灰度發布

公司簡介

作為某知名保險企業旗下重要成員,該公司于1995年10月經中國人民銀行批準正式成立,注冊地為北京,公司總部設在深圳。憑借母公司的雄厚資金、品牌和客戶優勢,秉承”穩中思變,務實創新”的經營理念,該公司建立了非常完善的合規和風險控制體系,各項業務均保持著強勁的增長態勢,目前已經成長為國內主流券商之一。2006年,經中國證券業協會評審通過,該公司成為“創新類”券商之一。在“2007世界金融實驗室年度大獎”評選中,該公司榮獲“中國最值得信賴的十大證券公司”稱號。

 

案例背景

為了進一步提高用戶體驗,產品部門決定開發交易持倉刷新功能。理想狀況下,用戶在使用該功能的過程中,對服務器集群不會造成太大的壓力(服務器集群可以承受100%流量的壓力)。但考慮到全量上線后可能導致的bug或崩潰風險,產品部門決定通過灰度發布的方式,逐步開放該功能用戶流量。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征。同時,平臺還支持灰度發布的功能,企業可在試驗過程中隨時調整用戶流量,在版本穩定無bug的前提下,逐步擴大新版的使用群體,完成產品發布的平穩過渡。

%e5%b9%b3%e5%ae%89%e8%af%81%e5%88%b8-%e4%ba%a4%e6%98%93%e6%8c%81%e4%bb%93%e5%88%b7%e6%96%b0%e5%8a%9f%e8%83%bd

本次試驗采用灰度發布的方式,分批導入用戶流量,原始版本流量為0,試驗版本的初始分配流量2%,在保證新功能使用流暢無bug的前提下,將試驗版本流量逐步調整至10%,直至放量給全部用戶。

 

測試目標

此次試驗主要目的在于觀察新功能有無bug,是否會導致APP異常崩潰,以及在功能正常使用的情況下,對服務器集群的壓力情況。

?

A/B測試數據反饋

本次試驗在安卓和iOS端分別運行,試驗運行周期為19天。根據AppAdhoc A/B Testing的實時數據反饋,產品部門做出了針對這項功能的決策:

-該功能上線后,產品后臺并未收到bug反饋,同時APP沒有出現異常崩潰現象;

-隨著該功能的流量逐步開放,盡管用戶體驗優化,但后臺服務器所承受的壓力卻遠遠超出產品技術部門的預期;

-從功能全量發布后的風險角度考量,產品部門最終決定暫緩該功能的正式上線。

9007 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
ti7奖金