本文出自

AI,我的行銷神器!

AI,我的行銷神器!

2021年8月號

AI行銷為何不給力?你沒問對問題,就會錯失機會

Why You Aren't Getting More from Your Marketing AI
伊娃.艾斯卡查 Eva Ascarza , 麥克.羅斯 Michael Ross , 布魯斯.哈帝 Bruce G.S. Hardie
瀏覽人數:4003
  • "AI行銷為何不給力?你沒問對問題,就會錯失機會"

  • 字放大
  • 授課文章購買
    購買〈AI行銷為何不給力?你沒問對問題,就會錯失機會〉文章
  • 個人收藏購買
    購買〈AI行銷為何不給力?你沒問對問題,就會錯失機會〉PDF檔
    下載點數 10
插畫/朱利歐.博納塞拉(Giulio Bonasera)
「你問對問題了嗎?」這是諸多領導人在運用AI做行銷決策時,會犯的第一個錯誤。還有哪些該避免的誤區?又該如何解決,才能讓公司投資的AI,真正發揮最大效益?

有一家大型電信公司的行銷主管設法要減少顧客流失,於是決定運用人工智慧(AI)來判斷哪些顧客最可能離開。他們取得AI的預測後,一再提供大量優惠促銷方案給高風險顧客,希望吸引他們留下。雖然實施這項留住顧客的活動,但很多顧客還是離開了。為什麼?這些主管犯了一個基本錯誤:向演算法問錯了問題。雖然AI預測的內容很好,但沒有解決這些主管真正想解決的問題。

這種情境,太常出現在使用AI來做商業判斷的企業裡。《史隆管理評論》(Sloan Management Review)與波士頓顧問公司(Boston Consulting Group)在2019年針對2,500位高階主管所做的調查顯示,有90%的受訪者表示,他們公司有進行AI相關的投資,但其中不到40%的受訪者,看到這些投資在一開始三年內帶來商業利益。

我們三名作者分別擔任學術、顧問與非常務董事的職位,曾研究和提供建議給超過五十家企業,檢視這些企業在行銷上運用AI時面臨的主要挑戰。我們從中找出行銷人員運用AI時最常犯的錯誤,加以分類,並發展出一項能避免這些錯誤的架構。

讓我們先檢視一下這些錯誤。

重點未校準〉沒能問對問題

我們研究的這家大型電信公司,主管真正該做的,不是找出哪些顧客可能流失,而是應弄清楚該如何運用行銷經費,來減少顧客流失。他們不應問AI哪些顧客最可能會離開,而應該問哪些顧客最可能被說服留下;換句話說,應該問哪些考慮離開的顧客,最可能會對促銷方案有回應?這就像政治人物會把力氣花在心意搖擺的選民上,主管也該把行動的目標,對準心意搖擺的顧客。前述這家電信公司的行銷人員,給予AI錯誤的目標,於是,把錢浪費在許多無論如何都會離開的顧客身上,但對於那些加倍花心力就能留住的顧客,卻投資不足。

另一個類似的例子,是一家電玩遊戲公司的行銷主管,希望鼓勵使用者在玩遊戲的同時多花點錢。於是,他也請數據科學團隊找出哪些新功能,最能讓玩家更投入。團隊運用演算法,找出可能的功能與顧客玩遊戲時間之間的關係,最後預測,如果提供獎品,並讓玩家排名的能見度更高,就能讓玩家花更多時間在遊戲上。公司根據這項結果做調整,但營收並未隨之提升。為什麼?因為這些主管同樣問了AI錯的問題:不該問「如何讓玩家更投入」,而應該問「如何增加玩家在遊戲時花費的金額」。大多數玩家並未在遊戲裡花錢,因此這項策略未能奏效。

這兩家公司的行銷主管,都沒有仔細思考要處理的商業問題是什麼,以及需要什麼預測,才能做出最佳決定。如果AI預測的,是哪些顧客可能最容易被說服、哪些功能會讓玩家花更多錢,AI才會極有價值。

利弊不對稱〉沒能體認到「預測正確的價值」與「預測錯誤的代價」不同

AI的預測應該愈準確愈好,不是嗎?不一定。差勁的預測,有時候代價極為高昂,但有時候代價不那麼高;同樣地,超級精準的預測,在某些情況下的價值,高於另外一些情況。行銷人員,或更重要的,是他們依賴的數據科學團隊,就常會忽略這一點。

以一家消費性商品公司為例。這家公司的數據科學家很自豪地宣布,他們提高了新的銷售量預測系統的準確度,錯誤率從25%降到17%。遺憾的是,他們改善這套系統的整體準確度,是因為提高了低利潤率產品的預測精準度,同時降低了高利潤率產品的預測準確度。低估了對高利潤率產品的需求,這情況造成的成本,遠高於正確預測低利潤率產品的需求所創造的價值,因此在公司實施這套「更準確」的新系統之後,獲利下降了。

必須了解的一項重點是,AI預測可能有各種不同的錯誤。預測除了會高估或低估結果之外,還可能會出現偽陽性(例如,指出顧客可能會流失,但其實顧客會留下),或者偽陰性(指出顧客不可能流失,但其實顧客後來離開了)。行銷人員的工作,是要分析這些類型錯誤的相對成本,而這幾項成本可能差異很大。然而,負責建立預測模型的數據科學團隊,常會忽略這種相對成本差異很大的狀況,或甚至沒有人告知他們這種情況,於是,他們假定所有的錯誤都同樣重要,導致出現代價高昂的錯誤。

插畫/朱利歐.博納塞拉(Giulio Bonasera)

數據未精用〉沒能充分善用精細的預測

企業會產生大量的顧客數據和營運數據,可以使用標準的AI工具,根據那些數據頻繁地做出詳細的預測。但許多行銷人員並沒有利用這種能力,仍根據舊有的決策模型來運作。以一家連鎖飯店為例。這家飯店的主管每週開會,以調整各個地點的房價,即使已有AI可以針對不同房型的顧客需求,每小時更新預測數字。他們的決策流程,還是過去保留下來的過時訂房系統。

另一個重大障礙,就是主管無法做出適當精細程度與頻繁程度的決定。他們除了檢視自己決策過程的步調之外,也該詢問,根據總計數字層次的預測所做的決定,是否也應該參考一些經過更精細微調的預測。例如,有個行銷團隊,要決定如何把廣告經費,分配到亞馬遜和Google的關鍵字搜尋。這個數據科學團隊目前的AI能夠預測,透過這些管道獲取的顧客各有多少終身價值(lifetime value)。然而,這些行銷人員如果使用更精細的預測,也就是平均每個管道、每個關鍵字帶來的顧客終身價值,也許就能讓廣告經費帶來更高的報酬。

雙向溝通不良

除了要不斷防範我們以上提到的各種類型的錯誤,行銷主管也必須改善與數據科學團隊的溝通與協作,並且清楚說明自己設法要解決哪些商業問題。這不是高深的科學,但我們常看到行銷主管在這方面出錯。

有好幾項因素會妨礙協作的成效。有些主管,還沒有完全了解AI的能力與限制,就直接投入各種AI方案。他們可能會有不切實際的期望,於是設定了AI做不到的目標;或者他們可能低估AI可能帶來的價值,於是他們的專案不夠遠大。如果資深主管不願意承認自己不懂AI科技,就可能出現這兩種情況。

對於溝通不良的情況,數據科學團隊也難辭其咎。數據科學家常常偏好具備自己所熟悉的預測要求條件的專案,無論這些條件是否符合行銷需求。如果行銷團隊沒有提供指引、說明如何提供價值,數據團隊常會待在自己的舒適圈裡。行銷主管的問題,可能是不願意提問(以免顯露自己的無知);數據科學家,則是常常難以向沒有技術背景的主管,解釋自己能做到什麼,以及做不到什麼。

我們已發展出一個包含三部分的架構,有助於開啟行銷團隊與數據團隊之間的溝通。我們已經在幾家企業應用過這個架構,這個架構能讓各個團隊結合各自的專業知識,並在AI預測與參考這些預測所做的決定之間,形成一個回饋迴圈。

架構運用實務

若要實際運用這套架構,讓我們回到前面電信公司的案例。

1.我們現在想解決的行銷問題是什麼?這個問題的答案必須有意義,而且精確。舉例來說,「我們如何減少顧客流失」就問得太廣泛,對AI系統開發人員沒有任何幫助。「如何能最妥善地分配留住顧客的活動預算,以減少顧客流失」這樣的問法比較好,但仍太廣泛。(這筆留住顧客的預算已經定案,還是要由我們決定?所謂的「分配」是什麼意思?是否要分配給不同的留住顧客活動?)最後,我們會得到一個對問題更清楚的陳述,像是:「如果現在有X百萬美元的預算,我們的某一項留住顧客活動,應該針對哪些顧客?」(當然,這個問題可以進一步調整,但你應該已經懂我們的意思了)。請注意,我們完全沒提到「我們要如何預測顧客流失」,因為預測顧客流失,並不是要解決的行銷問題。

企業應該盡可能轉向自動化程度更高的決策。這會是行銷用AI出現最大報酬的地方。

定義問題時,主管應該要深入到我們所謂的原子層次(atomic level),也就是在做決定或採取介入措施時,可以盡量考量到的最精細程度。在這個案例中,待做的決定就是,是否要把留住顧客的促銷方案寄給每一位顧客。

在這個發現流程中,必須要好好記錄當天如何做出各種決定的。舉例來說,這家電信公司使用AI,根據每位顧客可能在下個月流失的風險,把顧客由高到低排序。公司從風險最高的顧客開始發出促銷方案,一路往下提供,直到分配給留住顧客活動的預算用完為止。雖然我們似乎只是說明這個步驟,並沒有提到該如何重新建構這個問題,但我們已看過太多案例,數據科學團隊到這個時候才首次了解到,自己的預測結果是如何運用的。

在這個階段的一項重點,就是行銷團隊必須要採取開放的態度、願意反覆修改,直到妥善定義出待解決的問題,以呈現這項決定對損益的完整影響,並看出其中的任何權衡取捨,還要詳細說明真正有意義的改善可能是什麼樣子。根據我們的經驗,資深高階主管通常很能理解待處理的問題,卻不一定能精確定義這個問題,或者不見得能向其他團隊成員清楚說明,AI能如何協助解決這個問題。

2.在我們目前採用的解決方法裡,是否有任何浪費或錯失的機會?行銷人員常能看出所推出的活動成效令人失望,但沒有更深入探究。有時,主管不確定成果是否能夠改善。他們必須退一步,找出目前做決定的方式當中是否有浪費,以及是否錯失了機會。

舉例來說,大多數航空及旅館業者都會追蹤「溢出」(spill)與「空位」(spoil)這兩種指標:「空位」衡量的是空置未賣出的機位或房間(常是因為定價過高),而「溢出」衡量的是因為機位或房間太快就賣完(常是因為定價過低),而損失的交易機會。溢出和空位是很好的指標,可以衡量錯失的機會,因為這兩種指標呈現的樣貌,很不同於搭機住房率、平均支出之類的總計式指標所呈現的樣貌。行銷領導人如果要讓AI投資發揮最大效用,就必須找出相當於溢出與空位的指標,不是在總計數字的層次,而是在原子層次的指標。

第一步就是要反思,如何算是成功和失敗。在前述那家電信公司,一般人直覺認為的成功定義,是「接到促銷方案的顧客是否續約?」但這種定義太過簡化,也不準確;這些顧客或許不用促銷方案就會續約,所以提供優惠促銷反而浪費了留住顧客的經費。同樣地,如果沒有接到優惠促銷的顧客,最後決定不續約,這樣算是成功嗎?不一定。如果這位顧客無論如何都不打算續約,「不提供優惠」實際上算是成功,因為本來就無法說服他留下。然而,如果這位顧客只要收到優惠促銷就會留下,那就是錯失了一個機會。那麼,在原子的層次如何算是成功?應該只鎖定那些有很高流失風險、但可以被說服留下的顧客,而不提供給無法說服留下的顧客。

一旦找出浪費來源與錯失的機會,下一步就是在數據協助下,量化這些浪費和機會。這件事可能很簡單,也可能非常困難。如果數據團隊能檢視數據,然後迅速判斷,在原子層次如何算是成功或失敗,那就太棒了!這個團隊接下來可以檢視成功與失敗的分布情形,如此就能量化那些浪費與錯失的機會。

然而,有時很難找出在原子層次的失敗。在前述那家電信公司,數據團隊並未檢視哪些顧客有可能被說服留下,因此很難判斷失敗的類型。在這種情況下,團隊可以使用較屬於總計式的資料,來量化浪費與錯失的機會,即使這樣產生的結果較不精確,也要這麼做。這家電信公司可用的一個方法,就是檢視「提供促銷誘因的成本」,相較於「收到這些誘因的顧客所增加的終身價值」,何者較高。同樣地,對於促銷活動沒有接觸到的顧客,團隊可檢視因為他們不續約而損失的獲利。

這些手法有助於這家電信公司區分以下顧客:哪些顧客雖然被留下,但所花的成本高於所增加的終身價值;哪些高價值顧客,雖然收到留住顧客的促銷優惠,但仍流失;哪些高價值顧客沒有收到促銷優惠,而在促銷活動後離開。這些量化結果之所以能產生,是因為數據科學團隊有個控制組的顧客(也就是沒有對這些顧客施行任何介入措施,好讓他們成為基準),把結果與這些顧客的情況做比較。

3.什麼原因造成那些浪費與機會錯失?這通常是最難的問題,因為若想回答這點,就得重新檢視公司對目前方法的隱含假設。要找到答案,公司必須檢視數據,並讓特定領域主題的專家和數據科學家團隊合作。合作的重點,應該是要解決我們前面提過的問題:重點未校準、利弊未對稱、數據未精用。

→處理「重點未校準」的問題。這裡的目標,是要找出AI預測、決策、商業成果這三者之間的連結。這需要思考一些假設性的情境。我們建議各團隊回答以下問題:

「在理想的世界中,你會擁有哪些知識,可以完全排除浪費和錯失機會?你現在的預測,是否很接近那樣的理想狀況?」

前述電信公司的團隊成員,當初若是回答了這個問題,就會明白,如果他們的AI能完美預測,誰會因為留住顧客方案而留下(而不是預測誰將要離開),就既能排除浪費(因為他們就不必提供優惠給無法被說服留下的顧客),也能避免錯失機會(因為他們能鎖定所有可以被說服的顧客)。雖然在現實世界中不可能有完美的預測,但把重點放在「可被說服」上面,仍可大大改善結果。

確認有關理想情況的資訊之後,接下來的問題,就是數據科學團隊能否針對所需的預測項目,提出夠準確的預測。重要的是,必須由行銷團隊與數據科學團隊一起回答這個問題;行銷人員常常不知道可做些什麼。同樣地,數據科學家如果缺少那個主題領域的專業知識,也很難把預測結果連結到決策。

「AI產出的結果,是否與你的商業目標完全一致?」

你是否記得前面提到的電玩公司?他們當時使用AI,來找出能讓玩家更投入遊戲的功能。想像一下,如果他們不是這麼做,而是創造出能預測玩家可為公司帶來多少獲利的AI,那麼會帶來什麼效益?

這方面常見的一種錯誤,就是誤以為,預測與商業目標之間有相關性就已足夠。這種想法有缺點,因為相關性並非因果關係,於是可能出現一種情況,就是你或許預測到,某件事的變化與獲利能力有相關性,但其實無法改善獲利。即使真的有因果關係,也不見得能百分之百對應到你的目標,所以你花的心血,不見得能完全達到你要的最後結果,導致錯失了機會。

在前述那家電信公司,問第三個問題,可能引導團隊不只思考可被說服的使用者,也要想想,這些使用者能帶來的獲利會增加或減少。一個可被說服、但預期獲利低的使用者,優先程度應該不如可被說服、預期獲利高的使用者。

→處理「利弊未對稱」的問題。你一旦清楚了解AI預測,與決策和商業成果之間的關聯,就該把系統出錯所帶來的成本加以量化。這就需要問:如果AI產出的結果並不完全正確,我們會和我們想要的商業結果有多大差距?

在那家電信公司,把留住顧客的促銷方案,寄給無法說服的顧客(浪費),這樣的成本低於失去一個本來可以透過優惠方案而留下的高價值顧客(機會錯失)。因此,如果AI系統把重點放在「不要漏掉可說服的顧客」,公司的獲利會更高。即使這麼做,會提高誤判某些顧客願意接受優惠方案的風險,仍值得這麼做。

浪費與錯失機會之間的差異,有時很難量化。但即使只能大致得出這兩者之間不對稱的成本,也值得去計算。否則,我們做決策時根據的AI預測,可能是在某些指標上很準確,但對於會特別大幅影響到商業目標的那些結果,預測卻不準確。

人類大致上不樂意改變。在做一些老決定時,許多主管尚未調整,改採AI新科技能帶來的頻率與精細程度。

→處理「數據未精用」的問題。大多數行銷用AI所做的,並不是新的決定,仍是在處理舊決定,像是顧客區隔、鎖定目標顧客、預算配置等。「新」的部分在於做這些決定時,根據的是由AI收集處理的更豐富資訊。這麼做的風險,在於人類大致上不樂意改變。在做一些老決定時,許多主管尚未調整,改採AI新科技能帶來的頻率與精細程度。然而,他們為什麼還要用過去的步調來做決定?為何還要受到完全相同的限制?前面已經提過,這有時會造成失敗。

要解決這種問題,可進行兩種分析。第一,團隊應檢視,如何透過預測結果所產生的其他行銷活動,來減少浪費與錯失機會的情形。前述電信公司的團隊考慮採取的介入措施,就是為了留住顧客而提供折扣。如果團隊在這項決定裡加入其他誘因,情況會如何?團隊是否能預測,哪些人可能會接受這些誘因?團隊能否運用AI,判斷哪一種誘因對哪一種類型的顧客最有效?

第二種分析是要量化計算,如果AI預測做得更頻繁或是更精細,或者既頻繁且精細,那麼可能得到什麼好處。例如,某家連鎖零售商的數據科學團隊開發出一套AI,能每日預測個別顧客,對於各種行銷活動會有何反應,但這家連鎖零售商的行銷團隊,是每週針對16個顧客區隔做決定。改變決策方式顯然要付出成本,但這家零售商是否會發現,改變的效益大於那些成本?

建構攜手進步的合作

行銷需要AI。但AI需要借助行銷思維,才能充分發揮本身的潛力。這需要行銷團隊與數據科學團隊持續交流,以便更了解如何從理論上的解決方案,轉化為能實際執行的解決方案。

我們提出的架構,已證實可用於讓這兩個團隊攜手合作,提升AI投資帶來的好處。我們描述的這套方法,應該能創造一些機會,讓AI做的預測與企業想達到的成果更為一致,並了解差勁的預測可能帶來不對稱的成本,也能讓團隊重新思考,採取行動的頻率及精細程度,以改變決策的範圍。

行銷人員與數據科學家運用這套架構時,必須建立一種環境,讓人們透明地檢視績效表現,並時常反覆改善所用的方法,而且一定要明白,目標並不是要達到完美,而是要持續改善。

(林俊宏譯自“Why You Aren't Getting More from Your Marketing AI,” HBR, July-August 2021)



伊娃.艾斯卡查 Eva Ascarza

哈佛商學院企管講座副教授。


麥克.羅斯 Michael Ross

DynamicAction共同創辦人,該公司為零售業者提供雲端資料分析服務。他也是倫敦商學院(London Business School)企業高階主管研究員。


布魯斯.哈帝 Bruce G.S. Hardie

倫敦商學院行銷學教授。


本篇文章主題行銷