AI已從回答問題走向執行，當AI Agent開始取得資料、呼叫系統並執行任務時，企業面對的風險開始擴大，資安與治理機制成為必修課題。
《遠見》雜誌與《哈佛商業評論》共同成立的「AI數位轉型圈」，16日舉辦線上知識講堂，以「杜絕AI幻覺，掌握資安關鍵風險」為題，邀請前數發部部長、中研院資安專題中心執行長黃彥男、Salesforce首席技術顧問馬西緯、大同大學資訊工程系徐家銘博士，從AI發展趨勢、資安攻防到企業治理與人才培育，拆解AI導入後的新風險。活動吸引企業、醫療機構與教育單位逾200人線上參與。
黃彥男：AI從回答問題走向自主行動，資安風險同步擴大
前數發部部長、中研院資安專題中心執行長黃彥男指出，AI能力快速躍升，AI Agent更讓AI從提供答案走向執行任務，並能與其他AI協作。當AI開始處理過去只有人能完成的工作，企業必須重新思考人與AI之間的責任邊界。
風險首先出現在模型本身，例如訓練資料遭污染、資料偏見被帶入模型，或模型遭駭客透過提示注入、越獄攻擊操弄等。不僅如此，AI也成為攻擊者的工具，包括搜尋高價值目標、分析受害者資訊，再生成釣魚郵件與撰寫惡意程式來進行攻擊。
因此，企業除了要使用AI，更要建立可信賴的AI治理架構。黃彥男建議，從公平性、可究責性、透明度與倫理原則出發，進一步做好資料治理、AI評測、資安與人才培育，並依資料敏感程度與使用情境建立分級制度，釐清哪些資料可以使用雲端AI、哪些必須留在地端。
更重要的是，無論AI多麼自主，最終仍不能把責任交給模型。「人機迴圈」（human in the loop）仍是治理核心，讓人保有監督、判斷與介入的權限。
董事會別把合規當資安天花板，應重視資安主管人才
從企業治理角度來看，《哈佛商業評論》全球繁體中文版總編輯張彥文指出，董事會雖然愈來愈重視網路安全，實際降低風險的能力沒有同步提升。根據一項針對62家公司共239位資安委員會成員的調查發現，只有1位董事受過正式網路安全教育，顯示多數負責監督資安的董事，其實缺乏相關專業。
因此，董事會不必人人成為資安專家，但必須具備識別、評估優秀資安領導人的能力，並能有效監督資安工作。例如透過資安事件模擬或網路安全兵棋推演，觀察資安主管在壓力下能否清楚溝通、判斷與決策；平時也要檢視董事會與資安主管的互動，是定期討論營運韌性，還是只有出事後才被動反應。
另一個盲點是，許多企業談AI治理只看機會，忽略安全風險。事實上，AI可以協助企業提升效率，同時也能被用來自動生成惡意程式、製作釣魚內容，甚至進行高度客製化的深偽攻擊。
張彥文提醒，「資安法規只是地板，不是天花板。」法規制定與攻擊手法演進之間存在時間差，企業不能把通過稽核視為安全最高標準，應該比照飛航安全思維，嚴格掌控安全品質，把安全內建在產品、服務與營運流程中。
Salesforce：AI導入企業流程，需先建立「信任層」
要怎麼讓AI安全地進入企業流程？Salesforce首席技術顧問馬西緯建議，企業在大語言模型與內部資料、系統之間建立一層「AI信任層」，把資料隱私、資訊安全與法規遵循放進AI運作的每個環節。
他以製造業B2B業務為例，客戶要求沿用過去專案折扣並提前交貨，AI可以協助閱讀信件、整理需求、查詢歷史條件與產生回覆草稿，但不能直接取得所有客戶資料或回覆客戶。信任層依照身分與任務授權，只提供完成工作的必要資訊，再依企業規則檢查折扣、價格與交期，最後交由業務人員確認。
金融業的網銀客服更需要嚴格控管。當客戶詢問申請進度時，AI必須先確認詢問者身分與案件權限，才能進入系統查詢；產生的回答也必須根據企業內部規範，並提供資料出處，由客服人員確認後才能回覆客戶。
也就是說，AI每一次取用資料、執行任務與產生回覆，都必須經過授權與檢核。馬西緯建議企業建立三項核心原則：依身分與任務授權、依業務規則確認、保留決策與執行依據。
大同大學：導入AI不難，難的是培養人才判斷力
「現在企業導入AI門檻很低，但治理能力卻跟不上，因為培養人才時間比導入工具還長。」大同大學資訊工程系徐家銘博士指出，企業過去評估AI，常關注模型準確率，但當模型被放進自動化流程後，一個微小錯誤就會隨流程放大，最終影響營運。因此，AI治理的要求必須從「準確」進一步走向「可控」。
可控有兩大重點：首先，AI的行動軌跡必須能追溯，而且要有「人」看得懂。其次，AI必須能被停止，要有「人」判斷停止時機。這代表人才能力成為AI治理的重要一環。
徐家銘將AI人才能力分成三層：領域專業、AI與資安風險知識，以及最核心的判斷力。未來不只是資安人員，所有使用AI的人都要具備基本資安意識，並透過實作學會驗證AI答案、辨識風險。
因此，他建議企業採取三步驟：「先進站、讓資安追上、再一起加速」。先盤點目前導入多少AI、權限與責任邊界在哪裡，再補足AI資安能力，最後帶著防護機制持續擴大應用。人才培育則可透過內部訓練、外部課程、同業共學與產學合作並行，讓企業提出真實問題，學校提供模擬場域，讓人才在實作中建立判斷力。
下一個發展方向：AI防禦力
活動交流中，與會企業也關注大語言模型是否會使用企業資料訓練，以及模型之間的資料蒸餾風險。徐家銘指出，目前企業未必能直接驗證資料是否進入模型，因此除了合約約束，更重要的是從資料源頭設定邊界；不能外流的資料，就不應直接放進模型。馬西緯則建議，企業應選擇經過驗證、具備第三方稽核與明確資料使用規範的模型服務，並限制AI可以執行的工作。
如今，企業已導入工具，期望全員使用AI，下一個階段的重點是AI治理能力與資安，唯有建立可追溯、可授權、可停止的安全機制，並讓人始終掌握最後的判斷權，才能在加速AI應用的同時，守住企業的安全邊界。
