本文出自

下一站,晉身領導人

下一站,晉身領導人

2011年3月號

科學化決策時代

A Step-by-Step Guide to Smart Business Experiments
艾立克.安德森 Eric T. Anderson , 當肯.席梅斯特 Duncan Simester
瀏覽人數:9851
  • 文章摘要
  • "科學化決策時代"

  • 字放大
  • 授課文章購買
    購買〈科學化決策時代〉文章
  • 個人收藏購買
    購買〈科學化決策時代〉PDF檔
    下載點數 10
測試顧客對公司改變做法的反應,能讓企業獲益良多。因此,經理人必須精通科學家和醫療研究者的技術, 才能推動獲利成長,並尋求未來的機會。此外,公司更要營造實驗文化。本文提出具體做法,教你執行聰明的商業實驗。

十年來,經理人見識到了分析法(analytics)的力量。有了精密的電腦和軟體,公司能接觸數量龐大的資料:根據一項估計值,企業2010年蒐集的顧客資訊,多過歷年來的總和。如果企業能找到有效的方式,來利用這些排山倒海而來的資料,就能獲得提高利潤的大好良機。

可惜,大部分的公司都找不到這種好方法。分析法把重點放在解析過去的資料上,而這是複雜的工作。極少公司擁有必要的技術能力,能執行全面的分析計畫。公司即使花大錢投資在分析工具上,也經常發現結果很難解讀、受到種種限制,或是很難運用分析結果來立即改善獲利。

只要進行簡單的商業實驗,大部分公司都能獲得更多價值。這是因為,利用實驗產生的資料,比研究過去的交易資料,更容易得到正確的結論。經理人必須熟悉如何運用基礎研究的技術。明確地說,他們要採用「測試中學習」(test and learn)的方法:對一群顧客採取某項行動,同時對控制組採取另一項行動(常用的另一種做法是不採取任何行動),然後比較兩者的結果。得到的結果,分析起來很簡單,資料容易解讀,而且因果關係通常相當明顯。測試中學習法的效力強大,即使從少數幾個實驗得到的回饋意見,也能立即大幅改善獲利(見邊欄:「一家零售商如何測試折價策略」)。分析法不好學,相反地,幾乎任何一位經理人都很容易學會實驗技巧。

沒錯,我們很難知道該從什麼地方著手。本文將一步步教你如何進行聰明的商業實驗。

一切只為了測試顧客反應

在某些產業中,實驗已是司空見慣的方法。例如,送到府上郵箱的《可魯》(J. Crew)或《陶倉》(Pottery Barn)型錄,大概都是某項實驗的一部分;用來測試產品、價格,或甚至是紙張的重量。慈善勸募和邀請使用信用卡,通常也是行銷測試的一部分。第一資本公司(Capital One)每年進行數萬次實驗,以改善它吸收顧客的方式、盡量提高顧客的終生價值,甚至與無法帶來利潤的顧客終止往來。第一資本公司用這種方法,從席內銀行(Signet Bank)的一個小事業部,成長為市值190億美元的獨立公司。

公司進行實驗的難易,取決於他們是否很容易就觀察到實驗結果。直效郵件公司、型錄公司、線上零售商,都能以不同的行動,精確對準個人,並衡量他們的反應。但許多公司從事的行業,或是接觸顧客的管道,都使它們不可能獲得可靠的回饋意見。電視廣告就是典型的例子。可口可樂(Coke)只能猜測上次奧運會期間,觀眾對它的廣告有什麼反應。約翰.華納梅克(John Wanamaker)講了一句名言,凸顯這種廣告受到的限制:「我花在廣告上的錢,有一半浪費掉了;問題是,我不知道到底是哪一半。」少了有效的回饋機制,就不得不恢復依賴直覺做決策。

實務上,大部分公司落在這兩個極端之間。許多公司只能在總體的層級進行測試,因此在評估反應時,只能比較不相當(nonequivalent)的處理組和控制組。如果蘋果公司(Apple)想實驗一款新iPhone的價格,它可能受到限制,必須在不同的國家訂定不同價格,然後觀察消費者的反應。一般來說,比起通路管理或廣告決策的實驗,訂價和產品決策的實驗較容易。針對消費者進行實驗,也比在企業對企業的市場中做實驗容易,因為企業對消費者(B2C)市場中,可能成為受測者的顧客人數要多得多。

像科學家那樣思考

進行商業實驗需要兩樣東西:控制組和回饋機制。

雖然大部分經理人了解,做實驗時使用控制組的目的,許多公司卻因疏忽而沒有使用,將新產品或新服務針對全部顧客群展開測試。舉例來說,想評估經銷網獨家代理效果的一家公司,如果給所有經銷商獨家代理權,一定會失去好機會。它應該在某些地區維持非獨家代理的方式,如此才更容易評估獨家代理對結果產生什麼影響。

理想上,控制組是以隨機的方式選取。第一資本公司想測試從其他信用卡免費移轉餘額的效果時(它就是靠這項創新一炮而紅),對一群潛在顧客的隨機樣本展開促銷,同時對另外一組隨機樣本(控制組)只提供標準辦法。先設處理組,再將其餘的顧客當作控制組,往往是有道理的。例如,一家銀行想實驗它的線上零售交易平台時,就會這麼做。這種做法,給了銀行經理人很大的相當(equivalent)顧客樣本,可用來對照評估處理組對新平台的反應。

處理組和控制組實施成功的關鍵,是兩者務必區分清楚,如此對其中一組採取的行動,才不會外溢到另一組。在網路上很難做到這一點,因為顧客可能重複造訪你的網站,你很難追蹤他們接觸的是網站的哪一個版本。在傳統的環境中,也可能很難區分清楚這兩組,因為各個店面有不同的處理方式,多種方式可能外溢到逛過多家商店的顧客身上。如果你無法在地域上區分,一個可能的解決方法,是在不同時間改變你的行動。如果你擔心根本的需求發生變化,而使不同時間的比較發生混淆,則可以考慮在好幾個短暫的期間內,重複執行不同的行動。

我們需要的第二個東西是回饋機制,讓你觀察顧客對不同的處理方式如何回應。我們有兩種回饋衡量指標:行為與認知。行為指標衡量的是行動;理想上,是衡量實際的購買行為。但即使是購買過程的中間步驟,也能提供實用的資料, Google的成功故事就是一例。Google對廣告主很重要,理由之一就是Google讓廣告主看到,消費者的行為顯示他們對廣告感興趣,例如點按廣告。如果Google能衡量購買行為,而不只是點按行為,對廣告主就更有價值了。Google和它的競爭同業當然知道這一點,因此積極探討各種方式,來衡量線上和傳統通路中,廣告對購買決策的影響。

認知衡量指標顯示,顧客自認會如何回應你的行動。若要取得這種臆測性的回饋,最常採用的方法是調查、焦點小組、聯合分析研究(conjoint study),以及其他傳統的市場研究。這些衡量指標,在判斷顧客決策過程的中間階段如何變化時,非常有用。

由於大部分公司的目標,是影響顧客的行為,而不只是影響他們的認知,所以用來衡量行為的實驗,和獲利有較直接的關係,尤其當它們衡量的是購買行為,更是如此。

執行實驗七準則

和許多計畫一樣,最好的實驗計畫,要從容易的地方著手;就是先做容易進行,以及能迅速取得明確洞見的實驗。換句話說,公司可以採取行動,例如,提高或降低價格,或是寄出直效郵件,然後觀察顧客的反應。你可以參考下列標準,找出公司能快速取得成果的實驗機會。

準則1:把重點放在個人,只考慮短期

最準確的實驗,是對個別顧客採取行動,然後觀察他們的反應,而不是針對某個顧客區隔或地區。測試最好用來衡量購買行為(而不是認知),並顯示改變做法會不會使獲利升高。把你的實驗重點,放在顧客立即有所回應的場合。瑞士銀行(UBS)考慮如何運用實驗,以改善財富管理業務時,發現應從吸收顧客開始著手,而不是改善顧客的終身價值。企業可立即衡量實驗在吸收顧客方面產生的效果,而顧客的終身價值受到的影響,可能需要25年才能評估。

準則2:力求簡單

尋求運用現有資源和人力,就能簡單執行的實驗。銀行若想針對顧客做實驗,不應由需要重新訓練零售櫃員的行動開始著手,而應把重點放在可透過銀行的資訊系統來自動化進行的行動。需要大費周章調整店內配置、產品項目、員工工作內容的實驗,成本可能高得驚人。我們知道有家零售商曾進行一項訂價實驗,實驗項目包括許多店面的數千項產品;這次實驗勞師動眾,而且花費超過一百萬美元。其實,這家零售商只要透過較少店面、選擇較少產品,來進行較小規模的實驗,即可獲得上述大規模實驗的大部分結論,還可以保留一些資源,投入後續的測試行動。

準則3:從驗證概念的測試做起

學術界的實驗中,研究人員一次改變一項變數,以得知什麼因素造成結果。在商業環境中,先驗證概念是很重要的。你可以改變多項變數,並根據你認為最可能得到所要結果的方式,來組合那些變數。連鎖便利商店想測試如何才是最佳方式,可將需求從全國性品牌,轉到那家便利商店的自有品牌,就提高全國性品牌的價格,並降低自有品牌的價格。結果這家零售商確定轉移需求是可行的,於是改良原有策略,分別調整這兩類產品的價格。

準則4:取得結果後,切割資料

隨機分配顧客屬於處理組或控制組,而且每組都有許多顧客,如此你就有很多實驗可分析。例如,如果你的樣本包含男性和女性,就可以分別評估男性和女性的結果。大部分行動對某些顧客的影響比較大,對另外一些顧客的影響比較小。因此資料出來後,你務必觀察控制組和處理組裡面的次群體。如果你只探討總體資料,可能做成不正確的結論,以為對任何顧客都沒造成影響(見邊欄:「切割實驗」)。

你用來將顧客分組的特徵,例如,性別或過去的購買形態,應和你採取的行動無關。例如,如果你想分析新開店面如何影響型錄的需求,就不能只比較在商店或不在商店購物的顧客,因為結果將反映現有顧客的差異,而不是開設新店造成的影響。你可以考慮改為比較住在新店面附近的顧客,與住家離新店面較遠的顧客,兩者的購買行為差異。只要這兩群人大約相當,他們行為上的差異,就可歸因於新店面的設立。

準則5:不受限於框架的思考

公司常犯的一個錯誤,是進行只漸進調整目前政策的實驗。例如,IBM可調整賣給代銷商的批發價格,實驗銷售額受到的影響。但如果測試完全不同的銷售方法,例如,獨家銷售地區或實施合作廣告計畫等做法,也許效益更大。如果你不曾用「如果……會怎麼樣」的方式去思考,實驗就不可能產生突破性的改善方法。關於這方面的一個好例子,是英國的超級市場連鎖店特易購公司(Tesco)。根據報導,它發現把有機食品優惠券送給購買野生鳥食的顧客,是有利可圖的做法。這是不受既有框架限制的思考方式。特易購公司讓總公司相當資淺的分析師,對少數顧客展開實驗。這些員工能做到資深經理人通常辦不到的事:針對年輕的顧客,源源不絕地提出深具創意的新構想。

準則6:衡量每件重要的事

關於回饋衡量指標,我們要提醒一件事:它們必須衡量所有相關的效果。最近,一家大型全國服飾零售商進行大規模的測試,以決定該多久寄一次型錄和其他促銷資料,給不同的客戶群體,效果才會最好。有些顧客在九個月內,收到17份型錄,而另一群隨機選定的顧客,則在相同的期間收到12份型錄。這家零售商發現,對它的最優良顧客增加郵寄型錄,提高了測試期間的銷售額,但之後的銷售額則降低。當這家零售商比較不同通路的銷售額,發現它的最優良顧客較常透過型錄通路(經由郵件和電話)購買,卻較少向它的線上商店購買。這家公司把各個不同期間和各個不同零售通路的銷售額加總後,得到一個結論:郵寄型錄給最優良顧客的頻率,可以大幅降低,但不致犧牲銷售額。如果某一個通路中的行動,會影響另一個通路的銷售額,或是短期行動會帶來長期結果,那麼,把實驗結果放在相關情境條件下來觀察,就變得極為重要。因此我們建議,從只會產生短期結果的行動開始做實驗,例如,吸收更多顧客的行動。

準則7:尋找自然的實驗

獲得1989年諾貝爾獎的挪威經濟學家特理夫.哈維默(Trygve Haavelmo)指出,實驗有兩種:「我們可能會想做的實驗」和「大自然這個龐大實驗室裡不斷產生的實驗,我們只要當個旁觀者就行」。自然的實驗發生時,如果公司能察覺,就可以用極低的成本,或是根本不需額外花費,而學到一些事。舉例來說,一家服飾零售商在某個州開第一家店時,法律規定要對銷往該州的線上和型錄訂單收取營業稅,而以往這種買賣是免稅的。這給了該公司一個機會,去了解營業稅對線上和型錄的需求會有什麼影響。這家零售商比較開店前後,住在該州南部州界兩邊顧客的線上和型錄購買狀況。南部的州界距離新店面很遠,那邊的顧客不可能到新店購物,因此,新店開設對需求不會有影響;唯一改變的,是線上和型錄購物需要繳稅,而這只影響州界一邊的消費者。比較結果顯示,收取營業稅導致線上銷售額大減,但基本上不影響型錄購物的需求。確認和分析自然實驗的關鍵,是找出某些外界因素創造的處理組和控制組,而不是特別為實驗才組成的群組。地域上的區隔,是自然實驗常用的一種方法,但地區不見得一定可以當成顧客分組的標準。例如,當通用汽車(GM)、福特(Ford)、克萊斯勒(Chrysler)讓消費大眾用員工優惠價來購買新車,就沒有自然的地域區分;所有的顧客都享有相同的優惠。為評估這些促銷活動的結果,研究人員比較促銷活動推出前後幾個星期的交易紀錄。有趣的是,他們發現銷售水準躍增,同時售價也提高了。顧客認為他們買得便宜,但其實,許多車型的價格,在促銷活動前是低於員工優惠購車價的。原來顧客的反應是針對促銷活動,而不是針對實際的價格,結果許多顧客即使支付較高的價格,卻買得很高興。

避開障礙

想借重實驗的公司,應了解實驗可能遭遇的障礙,包括內部和外部的障礙。有些時候,它們會遭遇法律障礙:對經銷商和零售商收取不同的價格,必須十分小心,尤其相互競爭的公司,更應小心,例如,有些實驗會對消費者收取不同的價格,像是搭乘飛機時坐你旁邊的人,支付的價格通常不是高於你,就是低於你。這種做法面對的法律問題比較少,但消費者可能會有不利的反應,這就足以使有些公司卻步不前。沒人喜歡受到比別人差的待遇。在價格方面,更是如此,而且現在人們很容易透過網路取得價格資訊,通常很容易發現價格的差異。做實驗時遭遇的內部障礙,往往比外部障礙還要大。在靠直覺做決策的組織文化中,要轉型為實驗的文化,需要從根本改變管理階層的觀點。直覺式管理的根源,通常在於個人希望迅速做成決策,以及組織文化對失敗不假辭色。相形之下,實驗需要較慎重的決策風格,以及願意嘗試許多方法,而其中一些方法不會成功。

有些公司誤以為,成功的實驗才是有用的實驗。但我們的目標不是進行完美的實驗,而是學習,以及做出比現在更好的決策。少了實驗,經理人的決策通常根據直覺判斷。讓人驚訝的,不只是這些決策的品質通常不好,而是經理人竟然對它們感覺良好。他們不該有這樣的感覺,因為改善的空間往往很大。組織如果致力培養實驗的文化,通常是因為高階主管很清楚機會在哪裡,也會將實驗納為公司的策略性目標。哈樂(Harrah,現稱為凱撒娛樂〔Caesars Entertainment〕)執行長蓋瑞.洛夫曼(Gary Loveman)就是這樣的人。他將擁有35,000名員工的組織文化,改造為尊崇實驗為核心價值。他投資在支援實驗所需的人員與基礎設施,料,包括在相關產業內各家競爭業者的行動和後續結果,能帶來寶貴的初步見解,協助你規畫實驗時,重點更明確。不管實驗是大或小、自然或用人為方式進行,經理人的目標都是將組織從直覺式決策的文化,轉型為實驗文化。直覺會繼續在創新過程中扮演重要角色。但必須經由實驗來驗證構想後,才能廣泛執行構想。長期來說,真正以資料為基礎來採取行動的公司,能授權主管進行小型的實驗,甚至低階主管也可以獲得授權。這麼做,可以鼓勵員工產生突破既有框架的創新,進而帶動真正的轉型。



艾立克.安德森 Eric T. Anderson

艾立克.安德森 西北大學凱洛格管理學院(Northwestern's Kellogg School of Management)行銷學講座教授。


當肯.席梅斯特 Duncan Simester

當肯.席梅斯特 麻省理工史隆管理學院(MIT's Sloan School of Management)的管理科學講座教授。


本篇文章主題創新