生成式人工智慧 不讓驚豔變驚恐!堅守四道防線,避免AI代理上線翻車

不讓驚豔變驚恐!堅守四道防線,避免AI代理上線翻車

Illustration by Julia Allum

AI代理的示範往往令人驚豔。但一旦AI代理能指揮正式系統,就不再只是生產力工具,而是組織營運的一部分。企業想大規模導入,關鍵不是安裝更多模型,而是建立身分、情境資訊、控制及當責機制,讓AI代理成為值得信任的數位隊友。

想像一個熟悉場景。某家供應商向你的領導團隊展示一個新的生成式AI「代理」。效果令人驚豔:這個代理會分流支援工單、更新顧客紀錄、草擬提案,並送交核准。示範過程天衣無縫。幾乎無可避免,很快就會有人提出:我們需要多久時間才能把這套系統部署到整個企業?

這個問題反映的是一套固有的預設性思維;這套思維主導了軟體即服務(Software as a Service, SaaS)時代的企業如何導入軟體。大家都覺得,多數工具只需少量客製調整,就能開通、設定並擴大使用。只要整合順利、員工也採用這項產品,那麼導入基本上就是實施一項專案,但代理式AI打破了這個模式。

不同於傳統軟體,AI代理的用途,是跨系統推理、規畫並採取行動。當代理能改動正式紀錄系統——更新價格、送出付款,或修改顧客數據——它就不再只是生產力工具,而會成為組織營運模式的一部分。

最重要的是,代理式AI會帶來全新的風險類別。用途較窄的生成式AI工具,例如用來草擬電子郵件的ChatGPT,會產生內容風險——它可能說錯話。代理式AI則會產生執行風險——它可能做錯事。

我們兩位研究人員(拉胡與齊亞)加上具備領導企業AI代理部署經驗的實務工作者(拉賈),一直...