先進行實驗,新品再上市

Using Experiments to Launch New Products
傑夫.福塞特 Jeff Fossett , 鄧肯.吉爾奎斯特 Duncan Gilchrist , 麥可.魯卡 Michael Luca
瀏覽人數:1209
本文推薦四種好用的方法。

比起過去,現在的經理人更常運用大規模的隨機控制測試(也就是實驗),來引導我們做出決定。從亞馬遜到英國政府,許多組織都因而獲益良多。我們很振奮有這麼多組織運用實驗,過去幾年間也致力於思考應如何設計實驗及詮釋實驗結果。但與此同時,我們也看到各組織之間與組織內部使用實驗的方式各有不同,而且許多企業難以開始進行實驗或擴大實驗規模。

較大型企業常會忽略一種簡單的實驗做法:隨機分配新產品在一組不同的市場裡上市。若要知道這種做法為何很有價值,一個好例子就是優步(Uber)在2018年推出Express Pool服務的方式。

當時,優步已經推出UberPool共乘服務,讓前往同一方向的乘客得以共乘,並分攤費用。乘客使用UberPool時,可以選擇自己上下車的地點,就跟使用其他Uber服務一樣。如果使用Express Pool,乘客的花費比UberPool更少,但通常會需要走一小段路至上下車地點。

在2018年即將推出Express Pool時,優步指派本文作者之一鄧肯.吉爾奎斯特,評估這項服務成功的可能性(吉爾奎斯特任職於優步,負責管理一組經濟學家及資料科學家)。有多少乘客會選擇這項服務?這項服務又會如何影響更大、更複雜的優步生態系統?

為了回答這些問題,吉爾奎斯特和他的團隊進行一項實驗,在六個大型市場推出Express Pool服務,然後比較這些城市的數據資料,與沒有推出這項服務的城市的資料。這個團隊善用了實驗方法近年的最新進展,得以理解找出這項服務會如何影響乘客使用優步的方式;研究團隊使用的實驗新方法,特別是一種統計方法,可讓優步運用其他城市資料的加權組合,以形成一個更合適的「綜合」控制組。不難想見,Express Pool產生了新類型的搭乘配對。但這項實驗還看出了Express Pool對優步既有產品的影響,並確定這項服務對公司業務會有正面效果。於是,優步得以自信地在許多重要市場推出Express Pool。如果沒有那次實驗,優步就不可能有這種自信,也無法有實驗結果做為信心的基礎。

目前有許多線上市集,從優步、Airbnb到Rover與Tinder等等。其中並非只有優步開始進行市場層次的實驗,以測試新產品和創新。

Airbnb最近就做了一項實驗,測試新的登陸頁面設計,會如何影響在搜尋引擎上的排名及流量(本文作者福塞特曾在該公司擔任資料科學家)。為了做這項實驗,Airbnb運用了自身的情況,也就是在不同市場的登陸頁面有不同的網址(例如在舊金山、波士頓、紐約等市場)。如此一來,它就能夠隨機選擇不同的網址是否要試用新設計,因而能夠得知對搜尋引擎流量有何影響。Airbnb用這種方式得知新設計確實成功:新的登陸頁面讓搜尋流量提升達3.5%,也就是每天增加了幾千萬的訪問次數。根據這些結果,Airbnb在所有市場推出這個新設計。

不僅科技公司能夠使用大規模實驗,來測試新產品和創新。舉例來說,連鎖餐廳可以這麼做,以決定是否要推出新口味的火雞酪梨三明治。做這種決定的傳統做法,可能是在幾間策略性選定的分店推出新產品,進行焦點團體訪談,以及研究其他產品過去的銷售成績。如果那些分店的顧客似乎很喜歡新口味的三明治,餐廳就可以在所有分店都推出這個新產品,然後希望新產品在全國都能取得好成績。這種方法確實能對這個議題提供一些見解,但會有很大的限制。舉例來說,很難判斷這道新的三明治是否會影響其他品項的銷售,也很難判斷這是否能提升整體顧客人數。如果這家連鎖餐廳在這種方法之外,搭配運用大規模隨機測試,在幾個隨機選定的市場推出這款三明治,就能更了解這個產品可能會如何影響銷售(包括既有和新增產品)、顧客保留率及顧客滿意度。

我們見過公司錯過了重要的實驗機會,也看過實驗在執行及詮釋時碰到問題。如果企業想用實驗來測試新產品,以下是幾項執行上的建議:

1)判斷哪些指標對你最重要,並提出有關那些指標會如何發展的假設。投入資源以收集資料,並事先決定怎樣的實驗結果代表成功或失敗。畫出一個從資料到最後決定的路徑圖。請記住,如果有更多人買某項產品,那就是好事;但如果也帶來更多客訴電話,就不見得那麼好了。

2)隨機選出一組市場(例如不同地區、城市或加盟商),推出產品。市場層次的實驗結果常常十分繁雜,所以如果你想觀察一組市場的情況,就得仔細思考你是否能夠看出自己想要的結果。〔檢定力計算(power calculation)雖然需要許多假設,但有助於釐清這一點。〕

3)除了要看新產品表現如何,也一定要注意新產品上市後對既有產品有何影響。雖然Express Pool本身看起來像是成功的產品,但如果無法顯著提升整體搭乘市場,可能就不如表面看起來那麼有價值。同樣地,Airbnb推出新網頁的時候,也必須思考這會如何影響透過舊網頁訂房的狀況。美國星巴克推出用真空低溫烹調的雞蛋早餐時,同樣不能只考慮它本身的銷售,還要考量是否有排擠到菜單上的其他品項。

4)務必想清楚自己的產品為何成功,或是為何失敗。營收和銷售額等收入面的指標,並非事情全貌。新產品是否改善了某些類型顧客得到的結果,但破壞了其他顧客得到的結果?新產品是否讓你在某些方面更容易找到新顧客,但在某些方面也有不良影響?這些變化情況,是否符合你在實驗前建立的假設?了解某項指標為何變動,不僅可協助你做出有關產品上市的決定,也有助於了解如何在某個產品領域裡創新。

(林俊宏譯)



傑夫.福塞特 Jeff Fossett

哈佛商學院博士生,曾在Airbnb擔任資料科學家。


鄧肯.吉爾奎斯特

鄧肯.吉爾奎斯特 Duncan Gilchrist

Uber Technologies資料科學經理,擁有哈佛大學商業經濟學博士學位。


麥可.魯卡

麥可.魯卡 Michael Luca

哈佛商學院企管講座副教授。


本篇文章主題研發