人工智慧也需要投保?

The Case for AI Insurance
朗姆.尚克.席瓦.庫馬 Ram Shankar Siva Kumar , 法蘭克.內格爾 Frank Nagle
瀏覽人數:1097
多數大企業的人工智慧與機器學習系統都曾遭到欺騙、鑽漏洞,以及在無意間遭到誤導。面對新科技帶來的風險,現有的保險還無法完全因應。本文先分析目前人工智慧與機器學習系統若是失效,會造成哪些風險,再比較現有的網路保險,與專門針對人工智慧及機器學習的保險有何不同。企業領導人必須研究如何保護自己的機器學習模型,並為模型保險。

包括Google、亞馬遜(Amazon)、微軟(Microsoft)、優步(Uber)與特斯拉(Tesla)在內,多數大型公司的人工智慧(artificial intelligence)與機器學習(machine learning)系統都曾遭到欺騙、鑽漏洞,以及在無意間遭到誤導。但即使有這些知名的失效案例,大多數組織的領導人在打造和使用人工智慧與機器學習技術時,多半不太清楚本身面臨的風險。這並不完全是企業的錯。用來限制、彌補相關損害的科技工具,開發的速度向來不如機器學習技術;現有的網路保險(cyber insurance),大致上沒有完全涵蓋機器學習系統;法律救濟(例如著作權、法律責任、反駭客法)可能沒有涵蓋這類情況。目前逐漸出現的解決辦法,就是專門針對人工智慧/機器學習的保險。但是,誰會需要這種保險,以及這種保險的承保範圍為何,都還是問題。

了解風險

近來的事件顯示,人工智慧與機器學習系統很容易受到破壞,而且若是出問題,可能會在現實世界引發災難。我們有系統地研究了學術界發表的人工智慧失效案例,結果發現機器學習系統的失效案例分為兩類:刻意或非刻意發生的。

■ 刻意的失效案例是指,有人抱著惡意,嘗試顛覆這套人工智慧系統來達成本身的目標,例如,推論出私人的訓練資訊、竊取背後的演算法,或是取得人工智慧系統裡他們想要的任何輸出資料。舉例來說,Tumblr宣布決定不再容許發布色情內容之後,使用者把身體的照片調成綠色,旁邊再加一隻貓頭鷹,以避過Tumblr的過濾器,這是「干擾攻擊」(perturbation attack)的一個例子。

■ 非刻意的失效則是指,在沒有任何惡意介入之下,機器學習系統自己發生問題。舉例來說,OpenAI公司曾經教導一個機器學習系統玩一項賽船遊戲,系統若是展現可獲得高分的行動,就能得到獎賞。但那套機器學習系統一再進行那些動作,以取得更多分數,而不是完成比賽。造成非刻意失效的一個主因,就是機器學習開發者提出的錯誤假設,產生了形式上正確、但實務上錯誤的結果。

顧能公司(Gartner)在一項有關攻擊機器學習模型的報告中,對高階主管提出嚴正警告:「負責應用軟體的主管必須預期到、並準備好因應以下的潛在風險,包括資料毀損、模型盜竊、對抗例(adversarial sample;編按:指為了導致系統誤判而添加了干擾雜訊的資料)。」但各個組織目前的準備遠遠不足。美國最大型銀行之一的某家銀行安全主管告訴我們:「我們想要保護機器學習模型所使用的客戶資訊,但不知道該怎麼做。」並不只有這家銀行如此。我們曾非正式訪談了28個組織,包括《財星》五百大企業、中小企業、非營利組織和政府機構,結果發現其中25個組織,並沒有應付機器學習模型遭到對抗例攻擊(adversarial attack)的計畫。這情況的原因有三個。

第一,人工智慧的失效模式(failure mode)至今仍是個活躍、不斷演變發展的研究領域,還無法提出能建議解決之道的技術性減輕傷害方法。舉例來說,最近有研究人員發現,頂尖學術期刊提出的13種防衛對抗例攻擊的方法是無效的。第二,現有的著作權、產品責任、美國「反駭客」法規,可能無法處理所有的人工智慧失效模式。第三,機器學習與人工智慧系統操控數據的主要模式,是透過程式碼與軟體,因此很自然就會讓人想回歸傳統的網路保險(cyber insurance)方案。然而,與保險專家討論之後發現,現有的網路保險,可能只涵蓋到人工智慧失效的部分案例,而非所有案例。

了解網路保險,與人工智慧/機器學習保險的不同

我們訪談了許多保險專家,希望進一步了解傳統網路保險與人工智慧失效案例的關系。一般來說,網路保險的涵蓋範圍包括資訊安全、隱私責任,以及營業中斷。例如,如果是人工智慧失效,而讓企業營業中斷、隱私資訊外洩,最可能是由現有的網路保險來承保理賠。但如果是人工智慧失效造成品牌受損、人身傷害、財產損壞,就不太可能由現有的網路保險來承保。以下是區分方式:

網路保險一般可以承保以下常見的失效情況:

■ 模型竊取(model stealing)攻擊:舉例來說,OpenAI最近打造一套可自動生成文本的人工智慧系統,但並未完全揭露背後使用的模型,以免遭到錯誤使用而傳播虛假資訊。兩名研究人員重製了這套演算法並釋出,導致OpenAI也釋出完整的模型。像這樣的攻擊,呈現出企業可能因為人工智慧系統出問題,而面臨品牌受損、智慧財產蒙受損失。在這個案例中,理論上,網路保險有可能因為有隱私資訊外洩而理賠。

■ 資料外洩:舉例來說,研究人員只要能得到某個人的姓名,而且能進入某個臉部辨識系統,就可以重建那個人的臉部樣貌。這種操作非常有效,已經足以讓人們使用這種重建的相片,在一群人當中找出某個特定人士,準確率達到87%。如果這種情況發生在實際生活當中,網路保險也許可以適用,因為這可能是隱私資訊外洩(在這個案例中是指隱私訓練資料外洩)。

然而,網路保險通常並不承保以下那些實際生活中的人工智慧/機器學習失效情況:

■ 人身傷害:優步的自駕車曾在美國亞歷桑那州撞死一名行人,因為它的機器學習系統未能判斷擅闖馬路的行為。網路保險可能不會涵蓋這樣的事件,因為網路保險的根源來自金融損失保險, 而後者過去並不承保這類責任。如果人工智慧失效造成人身傷害(像是被送貨的無人機或自駕車撞傷,原因是影像辨識系統無法在大雪、大霧或結霜的情況下運作),網路保險不太可能理賠這種損害(但有可能理賠因為這些事件造成營業中斷的損失)。事件過後,優步停止在亞歷桑那州、賓州與加州的自駕車測試。優步因為營業中斷而造成的任何類型損失,都有可能適用於網路保險,但人身傷害的情況不可能適用。

■ 品牌受損:假設一個情境是,B公司設計了智慧型對話機器人,而A公司用這項產品在網路上推廣自己的品牌。如果這個機器人出了問題[就像是微軟的推特機器人Tay遇上的毒害攻擊(poisoning attack)],讓A公司的品牌嚴重受損,目前網路保險的內容,不太可能理賠A公司的損失。在另一個案例中,研究人員騙過了防毒軟體企業Cylance的人工智慧防毒引擎,讓它以為某個惡意勒索軟體並非惡意。如果這家公司因為這項攻擊而讓品牌受損,網路保險可能不會理賠。

■ 對實體財產的損害:Google研究人員提出一個情境:有一具掃地機器人,運用強化學習(reinforcement learning)來探索環境、了解房間格局。在這個探索過程中,機器人把一條濕抹布塞進插座裡,造成火災。要是這個情況發生在實際生活中,掃地機器人製造商的網路保險,很可能不理賠這項損失。

你的公司是不是該買機器學習/人工智慧保險了?

組織如果將機器學習系統當成自家事業的核心,就得面對系統失效的風險:可能導致資料外洩、品牌受損、財產損壞、營業中斷,有時還會造成人身傷害。就算企業已經準備好處理各種人工智慧失效模式,仍應體認到防守比攻擊更困難,因為防守時必須防備所有可能的情境,但攻擊時只需要找到一個弱點來利用就可以。四大顧問公司的一位安全主管,在接受我們訪談時表示:「傳統的軟體攻擊是已知的未知。對我們機器學習模型的攻擊,則是一種未知的未知。」

保險公司知道有這種落差,並積極拉近傳統軟體形式的保險與機器學習之間的差異。在今日,網路保險是成長最快速的保險市場,目標對象是中小型企業,而保險業者想要維持這種動能。

人工智慧的採用情況,在過去三年間已成為之前的三倍,因此保險業者把這當成下一個重大市場。此外,兩大保險業者指出,ISO和NIST等制定標準的組織,也正在建立各種可信賴的人工智慧架構。而且,各國正在考量人工智慧策略,而到目前為止,各國重視的是機器學習系統的安全、防護與隱私,其中歐盟在這方面的做法領先;這一切行動都可能導致未來制定相關法規。

企業如果想在未來人工智慧保險開始推出時得到最佳費率,現在就應該先了解各種選項,並開始做準備。我們認為,人工智慧保險一開始會由大型保險業者推出,因為小型保險業者可能還沒有足夠的安全網可投資新領域。從定價角度來看,以過去的網路保險市場為參考範例顯示,隨著人工智慧保險市場逐漸成熟,費率也下降,保險業者推出人工智慧保險以限縮業者的責任,企業應該預期到保險業者會提出嚴格的要求條件。

如何起步

為了協助主管踏出第一步,我們整理出一份行動計畫,讓人們用來討論如何保護自己的機器學習模型,並為模型保險。

下週的目標:

■ 開始和你的保險供應商討論保險涵蓋哪些範圍、沒有涵蓋哪些範圍,以免你根據錯誤的假設來運作。

■ 人工智慧系統在業界十分普遍,特別是大公司,因此很重要的是,應先評估系統失效可能造成什麼影響。我們建議,應該盤點組織裡所有的人工智慧系統,並根據這些系統的關鍵性程度的高、中、低來加以分類,然後據此實施保險及保護措施。

下個月的目標:

■ 指派人員監督關鍵業務決策,不要只依賴自動化系統。

■ 針對人工智慧系統失效的情況,進行沙盤推演,並評估結果。我們建議,根據「歐盟可信賴人工智慧準則」(EU Trustworthy AI Guidelines)來評估自身組織的狀況,特別是著重第二節(技術健全度及安全)與第三節(隱私及資料治理檢核清單)。

下年度的目標:

■ 指派一位安全長,評估人工智慧系統的安全與防護程度。這必須由資訊安全長及資料長底下的人員密切合作進行。

■ 改進安全措施,以應付對抗性機器學習(adversarial machine learning)的時代:更新對各種事件的回應手冊,並考慮找人對自己的機器學習系統進行模擬入侵,以執行壓力測試。

人工智慧與機器學習系統可為許多組織創造大量價值。然而,正如許多新科技的情形,必須先了解和降低相關風險,才能將這項科技完全整合進入組織的價值創造流程裡。

(林俊宏譯)



朗姆.尚克.席瓦.庫馬 Ram Shankar Siva Kumar

微軟Azure安全資料科學(Azure Security Data Science)團隊的資料科學家。他目前在微軟領導兩項任務:(1)透過Azure Sentinel雲端入侵偵測系統,運用機器學習來保障系統安全;(2)透過「可信賴人工智慧」(Trustworthy AI)團體,保障機器學習系統的安全。他也任職於哈佛大學柏克曼中心(Berkman Klein Center),並擔任華盛頓大學(University of Washington)技術諮詢委員會委員。


法蘭克.內格爾 Frank Nagle

哈佛商學院助理教授,研究和教學的重點是科技與策略交會領域的各項主題。他先前在網路安全領域有將近十年的工作經驗。


本篇文章主題風險管理