營運管理價值上億的線上實驗

公司如果能建立適當的實驗基礎設施和軟體,不但可以評估改善網站的構想,還能評估商業模式、策略、產品和行銷方案方面的構想,而且不必耗費很高的成本。本文告訴你,如何充分運用AB測試和其他對照實驗。
2012年,微軟(Microsoft)一名在搜尋引擎Bing任職的員工,對廣告標題呈現的方式,有新的構想。開發這個新做法並不需要很多資源,只需要花一名工程師幾天的時間,但它只是員工提出的數百個構想之一,專案經理認為不必優先處理。於是,這個構想被擱置超過六個月,直到一名工程師發現,那個構想要寫的程式碼成本不高,於是展開一個簡單的線上對照實驗,也就是AB測試,來評估這個構想的影響。新標題呈現形式才推出數小時,就產生異常高的收入,觸發「好得難以置信」的警報。這種警報通常意味著實驗出錯,但這一次不是。分析顯示,這個構想提高營收的幅度達到驚人的12%,等於光是在美國,一年便可以增加一億美元的收入,而且,還不會損害關鍵的使用者體驗指標。它是歷來替Bing創造最多收入的構想,但在測試之前,價值一直遭低估。

這真是教人謙卑的經驗!這個例子顯示,新構想的潛力可能很難評估。同樣重要的是,它說明了一件事:以相當低的成本同時執行多項測試,對公司大有好處。如今,已有愈來愈多公司體認到這一點。

現在,微軟和其他數家業界領導公司,包括亞馬遜(Amazon)、Booking.com、臉書(Facebook)和Google...