管理AI系統,你需要做出「關於決策的決策」

Managing AI Decision-Making Tools
麥克.羅斯 Michael Ross , 詹姆斯.泰勒 James Taylor
瀏覽人數:387
Andriy Onufriyenko/Getty Images
由AI推動的精細決定,稱做「微決策」。鑒於AI愈發融入公司的營運決策系統,身為人類的經理人,比起傳統的「做決策」,現在更需要做出「關於決策的決策」,也就是人類該如何與AI搭配,進行各種工作層面的決策。本文介紹四種架構,將幫助你確定,人類該何時介入,以及如何介入。

你的公司運用人工智慧(artificial intelligence,AI)的情況只會增加,不會減少,這是好事。數位化讓企業能在有如原子般的層次上營運,每天針對單一的顧客、產品、供應商、資產或交易,做出數百萬個決定。但是,人們沒辦法用電子試算表做出這麼多決定。

我們稱這些由AI推動的精細決定是「微決策」〔micro-decision,借自泰勒和萊登(Raden)合著的《系統夠聰明》(Smart Enough Systems)一書中所用的詞〕。這需要完全的典範轉移,也就是從「做決策」,轉為做出「關於決策的決策」。你必須透過規則、參數和演算法,在一個新的抽象層次上進行管理。這種轉移正發生在各行各業,以及各式各樣的決策中。我們在本文中提出一個架構,可用於思考這些決策,以及決定最適當的管理模式。

微決策必須自動化進行

由於微決策的性質,因此需要某種程度的自動化,特別是要做出即時和較大量的決策時。自動化是由演算法推動的(演算法是指那些決定如何做出微決策的規則、預測、限制和邏輯)。這些決策演算法常就被稱為AI。這方面很重要的一個問題是:經理人如何管理由演算法驅動的這種類型系統?

自主運作的系統在概念上非常簡單。以沒裝方向盤的無人駕駛汽車為例。駕駛人只須告訴車子要去哪裡,然後期待車子採取最好的行動就行。然而一旦有了方向盤,你就有問題要處理。你必須通知駕駛人,他們何時可能要介入干預、他們可以如何干預,以及在必須干預時,你將通知他們多少事項。你必須仔細思,考你要提供駕駛人什麼資訊,以協助他們採取適當的干預行動。

任何微決策都是如此。當有人參與,你就必須仔細思考,如何設計一套決策系統,讓人類能和機器展開有意義的互動。

我們開發的四大管理模式,在人力干預的程度和性質方面都不相同:我們稱這些模式為HITL、HITLFE、HOTL、HOOTL。重要的是,應認清這有如一條光譜,而且我們雖然已經提出關鍵的管理模式,但還是有一些次變體存在,取決於人和機器之間的任務劃分,以及人與系統互動的管理抽象程度。

各種管理選項

人在決策過程之中(Human in the loop,HITL):人由機器來輔助。這個模式中,由人做決策,機器只提供決策支援或某些決策的部分自動化,或者做出決策當中的一些部分。這通常稱為「智慧放大」(intelligence amplification,IA)。

收集和處置廢棄物與回收利用,是複雜的業務,從天氣到各地的噪音管制條例、停車場配置到門鎖、回收種類到傾倒地點、駕駛人的可取得性和貨車的載重容量,所有這些因素都影響到營運作業是否效率很高。一家《財星》五百大公司,正大量投資使用AI來改善營運作業。他們曉得,AI的價值往往來自協助人類把工作做得更好。一個例子是協助調度員更有成效地處理票證和路線。很多事情都有可能妨礙服務作業順利進行,例如,需要特定的鑰匙或密碼、可以或不可以在某個時段載運、寬度和長度限制、移動或打開物品的指示、臨時施工,還有許多因素。

最近開發出來的機器人,能有系統地瀏覽多個系統中的所有票證和請求,以找出任何可能影響某個停靠點的事項,並提醒調度員加以注意。該機器人會主動事先確認,目前安排的路線上所有可能遇到的問題(並在一天當中,有添加、移動或取消某些停靠點時,重新執行這項操作),機器人也可以被動地由調度員來操作,協助調度員尋找在現有路線裡增添請求的最佳方式。人類調度員負責監控系統,由系統自動化進行數千個有關服務票證的決策,消除了調度員每天20%至25%的工作負荷。

人在決策過程之中處理例外狀況(Human in the loop for exceptions,HITLFE):這個模式中,大多數決策是自動化執行,人只處理例外狀況。對於例外狀況,需要由人先做出某些判斷或輸入資料,系統才能做出決策,但不可能要求人做出整個決策。至於哪些例外狀況要被標示出來,讓人類去檢視,這個決策背後所根據的邏輯,是由人來掌控。

某個美容品牌開發了一套機器學習(machine learning,ML)演算法,用於預測不同類型的促銷活動如何影響提振銷售業績的效果,以取代既有的人工做法。ML預測考慮的因素包括報價、行銷支援、季節性,以及自家產品互相競爭等等,然後產生出自動化生成的預測。ML預測許多促銷活動的效果良好,但是在初步取得成功之後,隨後出現一些極端的預測失靈,造成重大的銷售損失,因此經理人很快就失去信心。數據科學家檢視那些預測結果之後,發現ML演算法難以預測某些類型的促銷活動。他們沒有放棄這項專案,而是開發出HITLFE方法。關鍵在於把機器對本身所做預測的信心水準(level of confidence)編碼,在機器的信心水準偏低時,由人來處理例外狀況,審視機器所做的預測。

人在決策過程之上(Human on the loop,HOTL):這個模式裡,是由人來輔助機器。機器做出微決策,但人檢討決策結果,而且可以針對未來的決策,調整規則和參數。在更高階的設置中,機器也會建議更改參數或規則,再由人來核准。

歐洲一家食品配送企業,必須管理本身的自行車外送員車隊,並使用電子試算表,來規畫下一小時∕天∕週所需的「送貨時段」人數。他們接著施行各種激勵措施,例如,提高單次配送費,使外送騎士的供給量符合預期的需求量。這是高度人工作業且不精確的流程,所以他們決定開發一套完全自動化的系統來測試,並與他們的人工方法做比較。結果相當有趣。有時人表現得比較好,有時機器表現得比較好。他們發現,自己建構這個問題的方式是錯的。真正的問題,是如何讓人和機器協同工作。這導致出現第二種方法,也就是設計一組控制參數,允許經理人在風險、成本和服務之間做出取捨,而不是由人在外送騎士的層次進行管理。這種方法承認這套系統的動態性質、需要做出一些可能會隨時間而改變的取捨,以及極為需要維持工作樂趣!

人在決策過程之外(Human Out of the Loop,HOOTL):這個模式中,機器由人監控。機器做出每一個決定,而人的干預只限於設定新的限制和目標。改善也是採取自動化的封閉環路式運作。根據來自人的回饋,以自動化的方式進行調整。

五月花號自駕船(Mayflower Autonomous Ship)正在探索全世界的海洋,航程中使用雷達、全球定位系統(GPS)、人工智慧攝影機、數十個感測器、多個邊緣運算裝置。但船上沒有船員。人類完全置身於這個決策過程之外。五月花號必須感知環境、預測航向、辨識危險、應用碰撞規則,並遵守海洋法規。它的AI船長自主執行這些事情,以實現這項專案負責人預先設定的目標。人都在岸上,只告訴它往哪裡去。

可能出什麼問題

美國一家旅遊業者,在Google上執行全自動化的HOOTL關鍵字行銷系統。行銷團隊輸入預算金額和目標,接著系統就會針對數百萬個關鍵字的支出和競價邏輯,自動確定最適當的分配方式。這套系統起初運作良好,既提高了效率,又改善了成果。然而,當系統開始表現得沒有那麼好,那個團隊無法解釋原因,也無法採取任何改正行動。這是個完全黑箱作業的系統,根據專有的演算法來打造,但在實務上無法受到管理,於是團隊回頭使用以規則為基礎的舊系統。

如果績效改善(即使只是暫時改善),經理人會很高興,但如果決策開始表現欠佳,要弄清楚新流程的哪些要素出問題,是極複雜的任務。例如,演算法決策可能十分不透明,無法通過主管機關的審查,或者沒辦法向不滿意的顧客解釋。演算法為回應它收集到的回饋而自動改變,可能會造成競態條件(race condition),導致演算法走上岔路歧途。太多的決策可能需要提交給人去檢視,而大大限制了演算法的價值。或者人可能在錯誤的層次參與演算法的運作,使得演算法因為人的介入而邊緣化。

解決方案的一部分,是針對特定的決策,選擇恰當的人力參與模式。此外,不管人力參與多少,都應該監控每一個微決策系統。監控可確保決策過程是「好」的,或者至少符合現在的目的,同時也產出發掘問題所需的資料,並且隨著時間過去,有系統地改善決策過程。衡量決策的效果也很重要:至少應該衡量兩個聚焦於決策成效的指標。任何現實世界的商業決策,都不能只靠專注在一個衡量指標而進行優化,總是有需要權衡取捨的地方。還有,你一定要收集有關系統如何做決策的資訊,而不只是實際做出的決策內容。這麼做,既可以有效解釋「壞」決策,也能把不夠好的結果,對應到決策方式中的具體部分。最後,你應該追蹤業務成果,並且對應到做決策的方式。

決定哪種模式適合你

認清下面這種情況很重要:這些系統會隨著時間流逝而逐漸演變發展,促成演變的因素包括新的技術、組織想要做出更精確決策的意圖,以及管理階層對自動化的信心增強。你必須決定,什麼程度的人力管理是可能做到的和理想的,以及你對風險和反覆執行(iteration)的偏好。這方面並沒有正確答案。

無論你採用哪種模式,我們認為很重要的是,應該把AI放進組織圖和流程設計中,以確保經理人覺得自己對它的輸出成果負有責任。組織需要更多的自主系統、消費者要求立即回應、供應鏈和遠距自動化環境需要即時協調,這些情況結合起來,使得你的組織內部不可避免會增加使用AI。這些系統將代你做出愈來愈精細的微決策,影響到你的顧客、員工、合作伙伴和供應商。若要成功,你必須了解和AI互動的各種不同方式,並且為你的每個AI系統,選擇恰當的管理方式。

(羅耀宗譯)



麥克.羅斯 Michael Ross

動態行動(DynamicAction)共同創辦人,這家公司為零售公司提供雲端資料分析。他也是倫敦商學院(London Business School)高階主管研究員。


詹姆斯.泰勒 James Taylor

決策管理解決方案(Decision Management Solutions)創辦人及執行長,擅長使用決策建模、商業規則、分析技術來進行數位決策。他著有多本書,包括《數位決策》(Digital Decisioning: Using Decision Management to Deliver Business Impact from AI;MK Press, 2019)。