本文出自

實驗打造高效率創新

實驗打造高效率創新

2020年3月號

Pinterest科技資深副總裁傑瑞米.金:「這些技術的力量只會愈來愈強大」

The Power of These Techniques Is Only Getting Stronger
傑瑞米.金 Jeremy King
瀏覽人數:2295
  • "Pinterest科技資深副總裁傑瑞米.金:「這些技術的力量只會愈來愈強大」"

  • 字放大
  • 授課文章購買
    購買〈Pinterest科技資深副總裁傑瑞米.金:「這些技術的力量只會愈來愈強大」〉文章
  • 個人收藏購買
    購買〈Pinterest科技資深副總裁傑瑞米.金:「這些技術的力量只會愈來愈強大」〉PDF檔
    下載點數 10
傑瑞米.金認為,A / B測試不會只是一時風潮,因為運用實驗與資料的技術力量,會變得愈來愈強。而運行這些實驗的平台,變得更加廣泛可用,也愈來愈有效率。因此,他預期未來會有更多公司,藉由進行實驗來訂出商業決策。

傑瑞米.金(Jeremy King)在科技業工作將近三十年,在過去15年的大部分時間裡,協助多家公司運用實驗與數據來改善決策,目前擔任Pinterest科技資深副總裁。

他在接受《哈佛商業評論》的採訪時,談到實驗方法的好處,以及支持這方法必須具備的文化。

以下是編輯後的對話摘要:

根據資料做決策

《哈佛商業評論》問(以下簡稱問):A / B測試何時成為你工作的一部分?

傑瑞米.金答(以下簡稱答):我從2001到2008年在eBay工作,在我任職的後半段,實驗平台與A / B測試成為焦點。在早期,許多實驗的焦點集中在eBay的搜尋引擎。我在eBay任職時,公司網站上有一億件商品待出售,我們不斷試著優化使用者在搜尋不同條目時,呈現給他們的內容。我們的目標是,讓它保持相關性,但能創造意外收穫。

在eBay、Etsy與Pinterest之類的平台,你不希望搜尋功能過於精確。你想要鼓勵探索,這樣人們就會四處逛逛,發現新的事物。

因此我們會實驗使用不同的搜尋結果,並衡量一些指標,像是交易、點擊率和探索時間等,設法得到最佳組合。

問:公司是否需要特定的文化,才能在實驗上表現突出?

答:想在實驗上成功,就必須致力於根據數據資料來做決策。

對於大部分根基穩固的公司來說,這需要轉型變革。在許多組織裡,是由資深人員、主題專家或直接負責的人,單方面做出決定,而他們往往是根據直覺來做決定。在數據驅動的公司,你不太可能聽到有人說:「我猜是這樣……」或「我賭是這樣……」。

我加入Pinterest的時候,最令我印象深刻的是,在那天之前的六天中,65%的員工曾經查詢過公司的大數據系統。那些員工不只包括產品工程師和高階主管,還有人力資源與法務團隊的人員。

在我們的會議中,如果有人提問,人們的典型反應不是猜測答案,而是打開筆記型電腦,開始查看顧客交易,試圖找到有數據根據的答案。

資料民主是該做的事

問:對於較老、非數位的組織來說,轉變到這種環境有多難?

答:這些公司的頭號問題是,人們無法取得這些數據。組織喜歡談論「資料民主」,但是障礙仍然存在,例如隱私顧慮。各個產業裡抱持懷疑態度的人,對我提出大量問題,他們問:「我真的應該允許全公司都看到所有這些數據嗎?」

數據民主有賴於投資與文化的轉變,但是,讓公司裡更多人可取得數據,這麼做可帶來的好處非常顯著,因為它可以造就更好的決策。

問:你在沃爾瑪工作了近八年,請說明它的實驗文化。

答:在沃爾瑪,人們仍在談論八號店,創辦人山姆.華頓(Sam Walton)想要嘗試某個新做法時,就會在那裡試行。選擇少數幾個地點來試驗新點子,這種做法仍在繼續:沃爾瑪指定了大約十個店面進行實驗,每個地區至少有一家。實驗通常包括樓面格局或互動裝置等。我在沃爾瑪工作時,我們在一家店實驗了只有自助結帳通道,而沒有配置收銀員。你可以想像得到,在實體商店做實驗,比在數位環境緩慢許多。

沃爾瑪的文化也受到它的商家所影響,它們的經驗非常豐富,因此有時更倚賴直覺,而非數據。這種直覺方法,在一定程度上能獲得成功。

但特別當你是大規模經營,每天推出數千項新產品時(就像我們在Walmart.com的情況),一個人理解某個產品類別裡每一個新品項的能力,以及了解它未來在每個地區的銷售量的能力,都是有限的。這項任務最好還是留給電腦去執行。

兼顧實驗與決策速度

問:是否需要雇用不同類型的人,來支持實驗驅動的文化?

答:我不確定我們是否有招募不同的人,但這確實需要不同的到職做法。像臉書(Facebook)、Google與Pinterest之類的公司,是出了名的到職流程很長。

我有朋友在臉書工作,那裡的新進員工要花整整兩週接受數據訓練,所以每個人都了解有哪些數據可用、如何取得,以及如何運用最能支持決策。這類訓練需要龐大的投資。

問:公司是否會因為太聚焦在實驗,以致減緩決策速度?

答:我們在Pinterest內部有許多這樣的辯論。為了避免實驗妨礙決策,我們使用一種稱為「保留」的技巧。

假設你的直覺是,網站的某一項改變將會產生正面的影響,你對這一點很有信心。在這種情況下,我們有時就不等待兩週做A / B測試,而是立刻為99%的使用者進行這項改變,但對1%使用者不做這項改變。然後我們會進行測試,以確認那99%使用者的體驗,確實超越我們保留的一小群使用者的體驗。這讓我們能夠立即做出改變,但仍會進行測試,以確認我們的直覺是對的。

問:你是否會擔心所有這些實驗的成本不值得投資?

答:實驗相對昂貴,但我們看到的實驗收穫非常重大,所以通常是值得的。

例如在Pinterest,我們一直在實驗,看看機器學習在偵測違反我們社群守則的內容方面,表現有多好。

我們已經建立一個新系統,它偵測這類內容的能力提高了20%。如果沒有測試比較一種方法和另一種方法,而且測試很多次,我們不可能會有這樣的改進。

例如,我們開發了新的機器學習技術,來找出與隱藏有關自殘的內容,所以Pinterest上這類內容會少很多;去年,Pinterest使用者對這類內容的舉報減少了88%。如果有人舉報一則自我傷害的貼文,我們能以三倍快的速度移除它,這表示有更少的人看到它。實驗協助我們做到這一點。

問:A / B測試是否可能只是一時的風潮?

答:我認為不是。我從2004年開始採用這種方法,至今已有15年。這些技術的力量只會愈來愈強。用來進行這些實驗的平台,變得更加廣泛可用,也更加有效率。我預期未來會有更多公司,透過實驗來制定更多商業決策。

(王怡棻譯自“ The Power of These Techniques Is Only Getting Stronger,” HBR, March-April 2020)



傑瑞米.金 Jeremy King

Pinterest科技資深副總裁


本篇文章主題創新