新北首創AIEC實驗室 巧扮「城市AI守門員」

【Sponsored Content】2022年生成式AI進入人類日常,政府單位的科技應用,開始面對全新的風險。除了既有的資訊安全問題,還可能出現提示詞注入、敏感資訊外洩、AI 幻覺、演算法偏見,甚至系統失控等多重挑戰。
率先建立AI指引並成立AIEC實驗室
早在AI快速普及之前,新北市已超前部署資安守護,於2021年成立「資安鑑識實驗室」,把關市府各單位資安。我國已於2026年1月14日正式公布《人工智慧基本法》,新北腳步更早,2025年就制定《新北市政府使用人工智慧作業指引》,參考嚴謹的《歐盟AI法案》(EU AI Act)標準,透過四級風險分類制度規範,包括不可接受風險、高風險、有限風險與最低風險。
新北市進一步成立AIEC實驗室,作為AI產品與系統評測中心(Artificial Intelligence Evaluation Center,簡稱AIEC),建立全台第一個「制度把關、技術驗證」的雙軌框架。透過風險分類,新北市判斷「哪些 AI 要特別把關」,AIEC實驗室主責確認「這套 AI 到底能不能安全上線」,雙管齊下將政策規範轉化為實質安全門檻。
從AI導入前、建置中到正式營運,新北市已經建構一套一致性、可執行的治理模式。凡是涉及醫療、交通、執法、教育等關鍵領域的高風險AI系統,新北市全台首創,規定必須送交AIEC實驗室檢測,若檢測後發現風險較高,將會放棄導入,把風險降到最低。反之,當檢測通過、正式上線應用後,AIEC實驗室仍會檢視風險管理、倫理、資安、資料以及模型治理等層面,持續監督把關。
六大面向檢測 主動防禦把關
「主動防禦」是AIEC實驗室的核心概念!新北市政府資訊中心主任陳富添強調,「與其等待真正的攻擊者製造問題,不如在系統正式上線以前自我檢視。因此,AIEC實驗室會透過高強度的紅隊演練,模擬真實發生的攻擊情境,以AI對決AI。」針對個資外洩、演算法偏見等AI使用課題,揪出資料與模型的漏洞,交由開發廠商一一修正,降低受到外部攻擊的威脅,在AI系統上線、民眾接觸使用前,做到100%修補完成,確保資安與使用安全。
在把關的過程中,AIEC實驗室不只模擬演練,也建立一套更完整的檢測框架,導入OWASP Top 10 for LLM Applications、MITRE ATLAS 等國際標準與工具,從模型、資料到應用情境進行多面向檢視,讓AI系統在正式上線前,經過更全面的安全與風險驗證。
AIEC實驗室檢測內容涵蓋六大面向,包括AI是否有效可靠、能否承受外部攻擊、出了問題能不能追查、產出的結果是否可被理解、會不會洩漏涉及隱私的資料、是否產生不公平或有害的偏見。
不斷優化模型 讓AI更有臺灣味
AI模型大多是在國外開發,安全測試以英文或國際常見情境為主。當惡意指令,換成繁體中文、台人愛玩的諧音梗、拆字,甚至藏進特殊符號裡,考驗AI判斷力。
為確保新北AI模型具備正港臺灣味,陳富添強調,AI判斷力涉及管理者提供給AI模型的訓練資料,AI上線運作後也會受到實際資料影響,產生模型飄移(Model Drift),因此必須持續調校、更新AI模型,避免演算法偏見,維持最合乎公平原則的市政運作。
新北市政府設有489個機關、超過6萬名員工、近2,000個資訊系統,服務超過 400 萬市民。當AI進入政府體系,涉及市民資料、公共服務,以及攸關市民權益、公共安全等應用。
在每個局處持續導入AI的進程中,新北市政府資訊中心已舉辦166場資安與數位治理教育訓練,並透過AIEC實驗室管理AI應用風險。陳富添說明,凡是高風險AI系統一定會送至AIEC實驗室檢測管控,目前共有61個AI系統送驗,其中6案已經上線運作、進行動態監控,18案正進行深度驗證,37案進行前期評估中。
勇奪WITSA獎項 展現AI治理典範
今年新北市以《打造城市級AI信任框架:新北市AI指引暨AIEC實驗室》代表臺灣,角逐世界創新科技與服務聯盟舉辦的《WITSA全球AI傑出貢獻獎》,獲頒AI公共政策獎,讓世界看見臺灣AI治理新典範。
在全球AI應用深度廣度遽增的趨勢下,僅針對高風險AI系統進行標準定義,無法解決AI治理與管控風險。作為臺灣第一大城,新北市率先祭出更積極主動的態度與高度,有能力辨識風險、驗證風險,在AI落地服務市民前,將風險降至最低。新北市政府資訊中心將持續攜手各局處,做好監管把關,巧扮「城市資安守門員」,樹立AI治理模式,放大AI治理典範!
(新北市政府資訊中心廣告)



