本文出自

提升「失敗報酬率」

提升「失敗報酬率」

2016年5月號

超級預測養成術

Superforecasting:How to Upgrade Your Company's Judgment
保羅.許梅克 Paul J.H. Schoemaer , 菲利浦.泰洛克 Philip E. Tetlock
瀏覽人數:17933
  • 文章摘要
  • "超級預測養成術"

  • 字放大
  • 授課文章購買
    購買〈超級預測養成術〉文章
  • 個人收藏購買
    購買〈超級預測養成術〉PDF檔
    下載點數 10
ARTWORK: SARAH MORRIS, ESTHER (SAO PAULO), 2014, HOUSEHOLD GLOSS PAINT ON CANVAS
組織和個人通常不善預測未知事件的可能性,不過一旦判斷錯誤,可能會造成嚴重的後果。要改善預測能力,企業可以透過訓練來改善個人預測能力、運用團隊來提升預測準確度,以及衡量與追蹤預測結果,並迅速提供回饋意見。

想像一下,你可以大幅改善公司的預測能力,但在此之前,必須先呈現出公司的預測內容及做預測的人,有多麼不可靠。這便是美國情報圈內的做法,結果相當戲劇化。

2002 年10 月,美國國家情報委員會(National Intelligence Council)發布正式意見,認定伊拉克擁有生化武器,而且正積極生產更多大規模毀滅性武器。當然,這個判斷後來證明完全是錯的。由於這個錯誤情報太讓人震驚,這個五百億美元規模的官僚體制開始思考未來該如何改善,也了解過程中或許會發生嚴重的組織漏洞。

最後決定進行的研究計畫中,包含一項大規模、歷時數年的預測循環賽,由我們其中一位作者(菲利浦)共同領導,稱為「優良判斷力計畫」(Good Judgment Project)。這一系列競賽是由數千名業餘者對抗情報分析專家,比賽結果產生三項驚人的發現:首先,在進行預測方面,有能力的通才往往勝過專家;其次,精心設計的訓練可提升預測能力;第三,運作良好的團隊表現勝過個人。這些發現,對組織與企業在預測不確定結果時採用的方式,具有重大意義;所謂不確定的結果,包括競爭者如何回應新產品上市、新促銷活動將增加多少營收,或是可能的雇用人選是否會有良好表現。

我們要在本文闡述建立持續改善組織預測能力的方法,但這個方法並不像烹飪書籍一樣,可提供保證成功的食譜,因為其中許多原則仍相當新,直到最近才運用到商業界。即使如此,我們的研究顯示,這些原則可協助領導人發現並培養組織的最佳預測能力,無論這些預測能力存在組織的什麼地方。

尋找甜蜜點

無論是企業或個人,向來都不擅長判斷未知事件的可能性,很多研究都已清楚證明這一點。當然,判斷錯誤可能產生嚴重的後果。2007 年,微軟(Microsoft)前執行長史帝夫.包默(Steve Ballmer)曾預言「蘋果公司(Apple)的iPhone 不可能取得太大的市場占有率」,微軟因此失去考量其他可能情境的空間。但是,只要略為提升公司的預測能力,便能產生競爭優勢。每五次預測中三次正確的企業,較每五次預測中二次正確的企業,擁有持續強化的優勢。

在開始探討組織如何建立預測優勢之前,先來看看哪些類型的判斷力最容易改善,以及哪些類型不需要白費心力。我們可以略過那些一目了然的預測,或是看來似乎不太可能的預測。有些預測是可想而知的:你知道時鐘五個小時後時針會指向何處;壽險公司可用最新的死亡率統計表作基礎,合理訂定保費。對於使用計量經濟學與作業研究工具(operations-research tool)就可相當正確預測的議題,培養主觀的判斷技能無法帶來太多優勢,因為資料早已說明一切。

在另一種極端,則是一些複雜、難以理解、不易量化的預測議題,例如,特定日期的雲層變化,或是下一個顛覆遊戲規則的科技,何時會從矽谷的某個車庫冒出來。同樣地,投入資源以便系統性地改善這類問題的預測能力,也不會帶來太大優勢,因為問題太難破解。

公司應致力尋求的甜蜜點,是那些可運用一些資料、邏輯、分析來處理,也很需要經驗豐富的判斷力與謹慎提問來處理的預測。在臨床試驗階段預測藥品的市場規模,不僅需要科學專業,也需要商業判斷。潛在併購對象的估價人員,除了根據正式的評價模型,也必須衡量無形的因素,像是企業文化的契合度、領導人之間關係是否融洽,以及預期綜效是否真能實現的可能性。

以下是一家英國銀行的例子:該銀行在1990 年代初期,放款給當時炙手可熱、後來卻紛紛倒閉的一些美國有線電視公司,產生巨額虧損。放款主管檢核了那些推斷錯誤的放款,分析放款類型、客戶及放款行員的特徵、相關的獎金及其他因素。她對不良放款在前述每項因素上的情況評分,再進行分析,找出那些最能解釋損失規模差異的因素。她發現,損失金額龐大的放款,主要問題在於核貸過程,造成放款給財務狀況不佳、或是先前無往來關係的客戶,而在這些因素上,專業與判斷都很重要。該銀行針對重要因素進行改善,結果不僅提升績效,也把損失降至最低。

根據我們的研究,以及過去的顧問經驗,得出一組實務做法,領導人可用來改善公司對中等複雜問題的判斷力。我們建議透過訓練來改善個人預測能力、運用團隊來提升準確度,以及追蹤預測結果,並迅速提供回饋意見。我們描述的一般性做法,當然要針對個別組織來調整,並且根據企業在施行過程中的經驗教訓而逐步演變。

優良判斷力的訓練

企業中大部分的預測,無論是有關專案預算、營收預測、潛在新進人員或併購對象的績效,都不是冷冰冰的計算結果,而也會受到與預測人員有關的因素影響,包括預測人員對基本統計論證的了解、認知偏誤、影響他人想法的意圖,以及對名譽的考量等。其實,預測往往會刻意模糊,以便在預測失準時,還有自圓其說的空間。值得慶幸的是,推理與去偏誤的訓練,可有效強化企業的預測能力。「優良判斷力計畫」顯示,只要一個小時的訓練,就可以在一年期間提升預測準確度達14%(見邊欄:「訓練與團隊如何改善預測」)。

學習基本原則

基本的推理錯誤(例如相信擲銅板時若連續三次出現頭像,下次擲時較可能出現反面),會影響預測準確度。因此,企業應設法建立預測基本原則的基礎:舉例來說,「優良判斷力計畫」的機率概念訓練,像是回歸均值(regression to the mean)與貝氏修正(Bayesian revision,根據新資料來更新機率估計值),都能明顯提高參與者的準確度。企業也應要求每項預測都必須明確定義要預測的是什麼(比方說,一位潛在新進人員達到銷售目標的機率),以及預測期間(比方說,一年)。預測本身必須以數字呈現機率,之後才可以為它的準確度精確評分。這表示某人應宣稱:在「80%信心水準」下,而不是說「相當肯定」,潛在新進員工會達成銷售目標。

了解認知偏誤

眾所皆知,認知偏誤會扭曲判斷,有些認知偏誤對預測尤其有破壞性的影響。這些偏誤會讓人們跟隨群眾、尋找能肯定他們看法的資訊,而且會積極證明自己有多麼正確。想扭轉人們的判斷並不容易,但「優良判斷力計畫」有過幾個成功的例子,讓人們注意到有些偏誤會影響預測。舉例來說,該計畫訓練初學者留意會造成過度自信的「確認偏誤」(confirmation bias),對不支持他們結論的證據,也要給予該有的重視。該計畫也提醒受訓人員不要單獨看待問題,而應採取諾貝爾得主丹尼爾.康納曼(Daniel Kahneman)所謂的「外部觀點」(outside view)。比方說,若要預測某個專案需要多久時間才能完成,受訓人員得到的建議,是去詢問類似專案通常要花多少時間,以避免低估所需時間。

訓練也有助於大家了解造成機率預估值偏差的心理因素,比方說,依賴錯誤的直覺,而非謹慎的分析。統計的直覺,常會受到錯覺與迷信的影響。股票市場分析師或許會看出資料的形態,但那些形態毫無統計上的根據,而運動迷常把籃球賽裡的連罰連中,或是稱為「手氣好」,當成超凡新能力的證據,但其實,他們只是目睹一個小樣本中難以預料的變化導致的假象。

另一個技巧也能讓人們注意到偏差估計值背後隱含的心理偏誤現象,那就是對他們施行「自信度測試」。要求參與者針對一般性問題(馬丁.路德.金恩〔Martin Luther King Jr.〕去世時幾歲?)或者,是特別針對公司的問題(例如你的公司去年付多少聯邦稅?),進行範圍估計(range estimate)。預測者的任務,是以範圍估計的形式提供最佳猜測,並提出信心水準程度;舉例來說,每個人可能會以90%的信心水準,猜測金恩博士遇刺時介於40到55 歲(其實他當時39 歲)。做這個測驗的目標,並非衡量參與者在某個專業領域的知識,而是要看看他們有多麼了解自己不知道什麼。就像威爾.羅傑斯(Will Rogers)曾挖苦地說:「讓我們陷入麻煩的,不是我們不知道的事,而是我們以為知道、事實上卻並非如此的事。」參與者普遍發現,在他們90%信心水準下所作的範圍估計值,有一半以上都不包含正確答案在內。

同樣地,沒有一體適用的方法,可避免這些系統性的錯誤;企業必須根據自家情況來調整訓練計畫。一家私人的全球量化交易公司海納國際集團(Susquehanna International Group),就擁有自己的特殊做法。該公司由一位撲克牌迷在1987 年成立,一年交易金額超過十億美元,它要求新員工必須在上班時間玩很多撲克牌。在這個過程中,受訓人員會了解到認知上的陷阱、一廂情願的想法等情緒影響因素、行為賽局理論(behavioral game theory),當然,還有選擇權理論、套利,以及外匯與交易規範。撲克牌訓練培養受訓人員注意到下列做法的價值:以機率的方式思考、聚焦在資訊不對稱(對手可能知道我不知道的事)、學會何時該放棄,並了解成功的定義不是贏得每一局,而是用手中的牌贏得最多。

企業也應該實施專門針對特定目的而規畫的訓練,聚焦在較狹窄的預測領域,像是營收與研發,或是過去表現特別糟的領域。如果你的銷售團隊有傲慢傾向,你可以有系統地處理這種偏誤。發展與執行專門性的計畫,比執行一般性計畫更具挑戰性,但這些計畫的目標明確,因此往往成效顯著。

建立適當的團隊

集合預測人員組成團隊,是有效改善預測的方式。在「優良判斷力計畫」中,數百位預測人員被隨機指派為獨立作業,而另外數百位則是組成一些團隊,與其他成員協同工作。在美國情報高級研究計畫循環賽舉行的四年期間,每一年都是團隊合作預測人員的表現優於獨立預測的人員。當然,若想有好的成果,必須有技巧地管理預測團隊,團隊也應具備一些獨特的特徵。

人員組成

在「優良判斷力計畫」循環賽中表現最佳的預測人員,非常坦白承認他們成功的來源,對於自己雖然分析品質不一定很好,但仍作出正確預測(而不是「因為」有了他們的分析才作出正確預測),他們對此表示感激。他們謹慎、謙虛、心態開放、愛分析,而且擅長數字(見表:「誰是超級預測家?」)。在組成團隊時,公司應尋找天生預測家,這種人很注意防範偏誤、掌握合理推論的訣竅,而且尊重資料。

另一個重要的條件是,預測團隊在知識專業上的多元。至少必須有一位成員具備預測領域的專業知識,例如在預算的預測團隊裡有一位金融專家;然而,非專家也很重要,尤其是勇於挑戰現有專家的人。不要低估這些通才,在「優良判斷力計畫」競賽中,非專家的平民預測人員常在這場由情報局贊助的比賽中,在情報分析方面打敗受過訓的情報分析師。

分歧、評估與聚合

無論團隊正在做單一事件的預測(像是兩年後美國經濟蕭條的可能性),或是不斷重複的預測(像是一些國家每年的衰退風險),成功的預測團隊必須管理好三個階段:分歧階段,在這個階段中,要從不同角度去探索各個議題、假設、追求答案的方法;評估階段,包括要花時間在對成效有助益的歧見上;聚合階段,團隊最後一致同意某一項預測。在其中每一個階段,如果問題的焦點集中、迅速提供回饋意見,學習與進度都會最快速。

分歧與評估階段非常重要,如果這兩個階段草率帶過,或是被忽略,團隊會發展出狹隘的看法,也就是焦點太狹隘,而且太快鎖定錯誤的答案,結果預測品質大打折扣。正確的規範可避免這項風險,做法包括專注在蒐集新資訊,以及測試與預測相關的假設。團隊也要努力化解一項常犯的預測錯誤,稱為錨定效應(anchoring),也就是一項早期提出、或許有失輕率的估計值,嚴重影響了後續的意見。這經常是無意中發生的,因為人們往往為了方便著手,而由容易取得的數字開始進行。(已有證據顯示,即使是隨機的數字,一旦被用於最初的估計值,都會固定住人們最後的判斷方向)。

我們的作者之一(保羅)曾針對芝加哥大學(University of Chicago)企管碩士班學生進行一項實驗,結果顯示出預測過程中廣泛分歧的探討,對最終預測有何影響。在某項測試中,控制組的受試者被要求預估,相較於另一個表現頂尖的國家,下屆夏季奧林匹克運動會美國會得多少面金牌,並且提出90%信心水準的估計範圍。另一組受試者則被要求先列出得金牌比率會低於或高於往年的原因,然後再作估計。這一組受試者很自然就會回想到恐怖攻擊和抵制行動,還會考慮到可能影響結果的其它因素,從生病到改善訓練,再到增強體能的藥物。因為這些廣泛分歧思考的影響,這一組的估計範圍遠較控制組廣泛,通常超過一半。一般來說,估計範圍較廣,表示更謹慎權衡之後的預測;而估計範圍較窄,往往表示是過度自信的預測,通常預測結果也較不正確。

信任

最後,對任何團隊來說,成員之間彼此信任,是良好成果的必要條件。因為工作性質,這點對預測團隊尤其重要。若團隊的工作,是預測新收購案的成敗,或是稍微壓低成功出售部分業務的機率以求客觀,這類預測的結論,可能會引發勢力範圍的議題,或是威脅到自尊與名譽。他們也有可能暴露出公司有些單位或個人的預測能力不良。為確保預測人員會分享最棒的想法,團隊成員必須彼此信任,也要信任領導人會保護他們的工作,並保住他們的職位和名譽。最令預測團隊感到不寒而慄的,就是感覺團隊的結論將會威脅到團隊本身。

追蹤績效並給予回饋意見

根據我們的「優良判斷力計畫」,以及與其他許多企業合作的經驗,我們發現,追蹤預測結果並適時給予回饋意見,對改善預測績效是非常重要的。

美國的氣象預測人員雖然常被惡意中傷,卻非常擅長自己做的事。當他們說有30%的機率會下雨,平均來說,那段日子裡就有30%的時間會下雨。他們傑出預測績效的關鍵,便是接收到有關他們預測準確度的即時、持續、清楚的回饋意見,而這通常連結到他們的績效評估。橋牌選手、內部稽核人員、石油地質學家,也具備出色的預測能力,部分是因為扎實的回饋意見與改善誘因。

預測準確度與長期追蹤預測結果的最純粹衡量指標,是布萊爾分數(Brier score)。公司可用這項指標,針對一系列的預測,針對不同預測人員,進行直接且具備統計可靠度的比較。長期來看,無論是相互競爭的個人、團隊成員或團隊,這項分數都可找出預測表現優異者(見邊欄:「布萊爾分數讓你的最佳與最糟預測者現形」)。

對任何團隊來說,成員之間彼此信任,是良好成果的必要條件。因為工作性質,這點對預測團隊尤其重要。

但是,只知道一個團隊的分數,無法改善績效;你還必須追蹤它的預測過程。重要的是,無論結果好壞,都要檢視為什麼會這樣,以便從中學習。有時會在檢視之後發現,特定流程步驟會導致好或壞的預測;有些則會顯示預測正確,但推論有瑕疵(也就是說,純屬運氣),或者,預測失準是因某些異常狀況發生,而非錯誤的分析。舉例來說,一家零售商可能非常準確估算出某天會有多少顧客光顧,但若出現一個黑天鵝事件,像是炸彈威脅,導致商店關門,它對當天的預測就完全錯誤。它的布萊爾分數會顯示出不良的績效,但檢視流程之後,就會發現造成分數低的原因是運氣不佳,而不是流程不佳。

流程檢核的另一個重點,是衡量團隊的運作動態。無論多少有價值的資料和按部就班的預測,都無法克服錯誤的團隊運作動態。例如,美國國家航空暨太空總署(NASA)與工程承包商摩頓泰爾克公司(Morton Thiolol) 在1986 年挑戰者太空梭(Challenger)發射失敗前的一番討論。起初,泰爾克公司的工程師建議取消發射,擔心低溫可能會危害到封住火箭推進器接合處的O 形環。因為溫度,他們預測出一個遠高於正常情況的失敗率。最後,很不幸地,泰爾克公司改變了立場。

工程師的分析正確,組織流程卻出問題。根據國會聽證會來還原當天的情景,顯示錯綜複雜的情況損及公司的預測:時間壓力、命令式的領導方式、未充分考慮不同的觀點、要意見不同的人保持沉默,以及一種絕不可能出錯的感覺(畢竟,前24 次的發射都很順利)。

為避免這樣的大災難,以及複製成功,公司應該有系統地蒐集即時資訊,了解公司的頂尖團隊如何作判斷,記錄所有假設條件、使用哪些資料、諮詢過哪些專家、外部事件等。公司可用會議的影音檔與紀錄,來分析預測的過程;此外,要求預測人員記錄自己的預測過程,也可提供一些重要看法。想想海納國際集團訓練交易人員玩撲克牌的做法。在真正進行交易之前,公司要求交易人員記錄他們思考是否進出交易的邏輯。他們被要求思考下列問題:有沒有別人可能擁有而你沒有的資訊,可能會影響交易?有沒有認知陷阱,可能會扭曲你對這筆交易的看法?你為什麼相信公司在這筆交易上有優勢?海納國際集團為更進一步強調過程的重要性,不但將交易人員的獎金,連結到個別交易的結果,還連結到背後的分析流程是否堅實。

適當的檢核,可回溯當時預測人員是否聚集在一個不佳的參考點(錨)、未妥善定義問題、忽略重要看法,或是未能讓持有異議的團隊成員參與,或甚至不讓他們表達意見。同樣地,他們可列出導向正確預測的流程步驟,提供其他團隊改善預測的最佳實務。

嘗試錯誤中求進步

我們闡述的每種方法,包括訓練、團隊建立、追蹤、尋找人才,都對正確預測很重要。這個方法必須根據不同企業作調整,就我們所知,目前沒有任何一家企業各方面都精通到足以建立完全整合的計畫。對率先採取行動的企業來說,這是一個大好機會,尤其是那些有組織創新文化的企業,以及像情報體系那樣採取實驗做法的企業。

企業若要獲得這項優勢,必須有受敬重的領導人支持這個做法,包括宣揚對嘗試錯誤抱持開放態度、願意面對怒氣反彈,並準備好呈現出「我們自以為了解卻並非如此」的事情,而這一切都是為了強化公司的預測優勢。

(吳佩玲譯自“Super forecasting:How to Upgrade Your Company''s Judgment,”HBR ,May 2016)



保羅.許梅克 Paul J.H. Schoemaer

賓州大學華頓商學院馬克創新管理研究所(Wharton School's Mack Institute)前任研究主持人,與人合著《周邊視野》(Peripheral Vision , HBR Press, 2006)。許梅克曾擔任由菲利浦.泰洛克共同領導的「優良判斷力計畫」(Good Judgment Project)顧問。


菲利浦.泰洛克 Philip E. Tetlock

賓州大學(University of Pennsylvania)講座教授,與人合著《超級預測》(Super forecasting , Crown, 2015)。


本篇文章主題決策