萬事萬物都能以時間換取高評分?

Research: Why Ratings on Everything from Wine to Amazon Products Improve Over Time
基蘭.奧康納 Kieran O'Connor , 艾默.齊瑪 Amar Cheema
瀏覽人數:1433
人們對某些內容的評分次數愈多,給分就愈高。

「評分」在我們的生活中扮演極重要的角色。評論家、評審和評鑑人員的評分,決定了一系列的結果,從看似微不足道的結果(例如你晚餐要選哪一種葡萄酒,或你要在亞馬遜網站上購買哪個產品),到更重大的結果(例如哪些運動員贏得奧運金牌,或哪些學生進入頂尖大學)。

但這些評分有多可靠?長期下來,這些評分是否仍維持可靠?

當我們得知有關葡萄酒評分偏高的揣測時,我們就思考過這一點。羅伯特.帕克(Robert Parker)在幾十年前為葡萄酒推出一百分評分系統,那年他給出的最高分數為91分。現在,每年都有許多葡萄酒在他創辦的刊物《葡萄酒倡導者》(Wine Advocate)當中被評為滿分。同樣地,《葡萄酒觀察家》(Wine Spectator)在2000年評比的葡萄酒中,只有15%的得分超過90,但到2015年,得分超過90的頻率增加超過一倍,現在接受評比的葡萄酒中,有近三分之一的得分超過90。

我們想知道這種現象背後的原因,以及人們是否長期傾向給予更高的評分。

評分隨經驗而上升

我們最近發表於《心理科學》期刊( Psychological Science)的八項研究中,取得超過12,000則連續評價,以了解評分是否會隨評分者的經驗增加而改變。這些評價涵蓋眾多領域:電視節目「與星共舞」(Dancing with the Stars)裡評審的給分、大學教授給學生的成績,以及大學生對短篇小說和照片的評分。我們也分析了認真提供評論的人,在亞馬遜網站上寫的數千則產品評論。

我們在一項研究中,分析了「與星共舞」同一批評審給出的5,511個分數。在節目播出二十季之後,我們發現評審評分的次數愈多,給分就愈高。即使我們排除其他因素的影響,這個結果依舊成立;其他因素包括:專業伙伴是否真的有進步,或是在後面幾季的節目中,是否有技能更熟練的舞者出現等等。

我們接著進行一項不同的研究,檢視十年間991堂課程的學生成績,這些課程由同一批教授多次開設。和前述舞蹈比賽評審一樣,教師講授課程的次數愈多,給學生的成績就愈高。同樣地,我們想知道其他因素是否可以解釋這些結果,包括:隨著時間的推移,學生的表現是否愈來愈好;所有課程的成績是否都有提高;成績給得更高的課程是否更有可能再次開課;教授們是否持續改進教學。即使排 除了這些可能性,我們仍發現相同的結果:教授若是多次講授相同課程時,往往會給學生更高的分數。

為了排除其他解釋,我們另外進行了一個對照實驗,以測試這種模式,那個實驗要求參與者評價短篇小說。我們要求168名大學生每天為一篇短篇小說評分,為期十天。在研究結束時,所有參與者都評價了同樣那十篇小說,但每個人以不同的隨機順序閱讀。隨機安排可讓我們排除順序(第1天,第2天等)對評價的影響。換句話說,無論他們評價的是什麼東西,做了更多次評價是否會讓評分上升?和先前相同,我們發現人們評價過的故事愈多,給出的評分就愈高。因此,第十個故事的平均得分高於第一個故事。

整體來說,我們發現相同的結果。

更豐富的評分經驗,讓評分感覺更容易

為什麼評分會隨時間推移而變高?

我們想知道,評分的經驗愈豐富,是否會讓人們覺得評價過程變得更容易,而這種感覺可能影響你對某件事情的正面評價程度。在一項後續研究中,我們要求一個由362人組成的網路小組,每天對一篇隨機選取的故事評分,為期十天。我們每天還會詢問他們一些問題,例如,評價這個故事的容易程度。隨著一天天進展,參與者表示,他們發現評價故事變得更加容易,也更愉快。長期下來,這種感覺也讓故事的得分變得更高。

研究結果顯示,有偏誤的評分是錯誤歸因過程造成的結果:人們若是覺得某件事情更容易評估,就會認為它實際上一定更好。換句話說,他們錯誤地將自己對做評估的感覺(覺得更容易評分),歸因為對實際優點的評估(這件事情應得到更高的評價)。即使每個人評分的故事採用隨機排序,這個結果依然成立。

然而,當我們詢問參與者,是否覺得自己的評分隨時間推移而有提高時,參與者不同意這樣的看法。結果顯示,大多數人都沒有察覺,這種偏誤可能影響到自己的判斷。

產品評分、升遷和績效意見:值得信賴的程度?

為什麼我們的發現對經理人和組織很重要?對尋求顧客評價的組織來說,這透露出一個實際的意涵。我們在一項補充研究中發現,亞馬遜網站上的評論者提供的產品評論愈多,他們給的評分就愈高。例如,如果某人第一次或第二次進行評論,無論是何種產品,他所給出的星級評價,很可能低於他第二十次評論時所給的評價。如果向群眾徵求得來的資訊,是組織商業模式的一個關鍵特徵,也是促成消費者選擇的驅動力量,那麼像這樣的偏誤就很重要,企業領導人應該要好好考量,消費者也應該注意到這一點。

我們最近這些研究發現,也為經理人帶來一個令人興奮、開放式的問題:這種評分偏誤如何影響聘雇、升遷和績效評估?儘管經理人試圖正確且公平地評估,但我們的研究結果顯示,評價流程對於被經驗較豐富的面談主管評估的求職者較有利。我們接下來準備研究這個問題,目前正在尋找組織合作進行這個研究。

我們也有興趣了解,類似的結果是否會出現在升遷決定,以及連續的年度360度回饋意見流程中。若是出現類似結果,這些偏誤的影響恐怕非常普遍,且會影響當前和未來的大多數勞動力。

我們也積極尋找減輕這類偏誤的方法,像是讓聘雇評估、績效評估和升遷更正確。我們在研究中指出,大多數人似乎都不知道,長期下來偏誤會影響決策。一種可能的簡單補救措施,就是讓人們注意到這種潛在偏誤可能會影響到他們的決定。我們也試圖更深入了解其他的情境變數。

我們的研究有一些值得注意的局限。儘管我們在研究的所有情境中都發現了偏誤,但仍有許多其他因素會影響評估決定。隨時間推移而產生的正向偏誤只是其中一個。其次,也有一些證據顯示,在某些條件下,評價可能隨時間推移而變得更加負面。然而,讓評價變得更正面或更負面的因素和條件,目前仍未可知。

也許下回你在Yelp上發文或花時間面談候選人時,你會考慮自己已經完成過多少次評估,以及你當下在進行的評價會因而變得更偏向正向的程度。這麼做可協助你更正確地評估。

相反地,當你依賴他人評價的分數時,請記住,那些評分不僅反映產品的品質,也可能因為評分者的經驗豐富而變得更高。更早接受評分、分數較低的葡萄酒,可能更值得購買。

(劉純佑譯)



基蘭.奧康納 Kieran O'Connor

美國維吉尼亞大學麥克英泰商學院(University of Virginia's McIntire School of Commerce)管理學助理教授。


艾默.齊瑪 Amar Cheema

美國維吉尼亞大學麥克英泰商學院行銷學講座教授。


本篇文章主題績效評估