五星級評等系統簡單到出問題?

The Problems with 5-Star Rating Systems, and How to Fix Them
喬許.布萊恩林格 Josh Breinlinger , 安德烈.哈邱 Andrei Hagiu , 朱利安.懷特 Julian Wright
瀏覽人數:1213
系統無法區分好產品和絕佳的產品。

商品與服務線上市集的價值愈來愈高,影響力也愈來愈大。可是,它們的聲譽評等系統仍然簡單到令人驚訝,通常採用五星評等形式。

十多年來,我們投資了數十家線上市集事業並提供建議,結果發現,簡單的五星系統雖然足以辨識和排除品質極低的產品或供應商,卻無法區分好的和絕佳的產品和供應商。對於提供大眾商品化產品和服務的市集來說(例如,Lyft和Uber),這可能不是大問題,但對於必須清楚區分真正優秀供應商的市集來說(例如,99designs、Fiverr、Upwork),就可能是個嚴重問題。(事實揭露:本文作者之一喬許擁有Upwork和Yelp的股票)。

五星評等系統目前的實施方式,有下列幾項缺點。由於缺乏誘因以鼓勵使用者提供真實的回饋意見,因此,相較於有普通體驗的使用者,有極端體驗(可能是非常糟或非常好的體驗)的使用者,更可能留下回饋意見,因而產生選擇偏誤(selection bias)。評等也容易出現「評等膨脹」(grade inflation),因此在某些市集裡獲得平均4.8顆星或96%正面回饋意見,並不代表供應商特別傑出。而在某些市場裡,4.5顆星和4.8顆星之間的差異可能很大,因此使用者很難區分還不錯的供應商和非常好的供應商。

有幾個選項,可以讓市集使用者更清楚知道供應商的相對排名。最起碼他們可以告訴使用者,相關產品類別中所有供應商的平均分數[例如,亞馬遜(Amazon),玩具;Yelp,舊金山的餐廳;Task Rabbit,搬家公司;Expedia,平價旅館]。他們甚至可以考慮(以簡單方式)顯示產品類別中所有分數的分布情形,呈現目前這家供應商在這個分布中的位置。使用者看到整體分布情況及供應商在其中的位置,就能迅速了解整體狀況。

有助於區分出頂尖供應商的另一種方法,是指出某家供應商位在最高百分位數群體當中(例如,「這是位於最高10%的供應商」),而不揭露其他供應商的這項資訊。這種做法是把最高百分位數視為榮譽徽章,類似於eBay和Airbnb分別授予優良業者的「高度評價賣家」(top-rated seller)和「超級房東」(superhost)稱謂。

我們提倡的第二個關鍵做法,是針對審核行為的差異,調整使用者的評分。具體來說,如果某位使用者的評論者分數有較大變化(相較於總是給予相同或類似分數的使用者),那麼就可以給這位使用者的評論較大的權重。更進一步,應該考慮根據使用者過去給予的平均評等,來調整這位使用者所給的分數,因此只有這位使用者給出的所有評等的相對差異,才會改變供應商的評等。這有助於調整給分通常偏高的使用者,與要求很嚴格的使用者之間的差異。

這些差異會造成問題,一個例子就是Lyft和優步(Uber)。跟Lyft不同的是,優步的司機可以看到乘客的評等,所以他們通常會拒絕評等較低乘客的搭車要求,因為他們預期這類乘客比較可能給司機低的評等。優步若要避免這個問題,可以考慮某些乘客總是給較低的評等,而司機不應該因為搭載這類乘客而受罰,因而據此調整乘客的回饋意見。這麼做會讓司機更願意搭載評等分數較低的乘客。

網路市集可用來改善聲譽系統的其他方式包括:使用更多私人資訊(過去從未向供應商揭露的評論和意見),以及相對比較(供應商與使用者先前的供應商比較起來如何),以便對供應商進行排名。它們還可以詢問使用者一些問題,這些問題的答案,有助於線上市集在未來為使用者媒合更合適的供應商(例如,你最喜歡和最不喜歡這家供應商的哪些特性?)。

只靠評等系統,可能根本不足以確保線上市集的信任和安全。通常還必須再搭配運用保險和其他擔保。不過,實施我們前面討論的做法,很有助於讓評等系統更加健全,並減少線上市集提供這些配套服務的需求和成本。

(蘇偉信譯)



喬許.布萊恩林格

喬許.布萊恩林格 Josh Breinlinger

早期創投公司Jackson Square Ventures執行董事。他之前是oDesk的創辦團隊成員(oDesk與Elance合併後成為Upwork),以及Rev.的共同創辦人。


安德烈.哈邱

安德烈.哈邱 Andrei Hagiu

美國波士頓大學凱斯特羅姆商學院(Boston University's Questrom School of Business)資訊系統副教授。


朱利安.懷特

朱利安.懷特 Julian Wright

新加坡國立大學經濟學教授。


本篇文章主題顧客