「我同意」按鈕：為什麼它可能是企業中最危險的人工智慧？

凌晨 2 點，自動故障排除代理程式偵測到網路問題，追蹤到問題源自於配置錯誤的策略，並透過自訂框架驗證所提出的修復方案是否在定義的策略範圍內有效，然後修復了該問題。網路恢復穩定，未通知任何人。

早上，人工審核員會查看智能體當天的分析結果：一份匯總所有已實施變更的摘要，並附有相關記錄、審計追蹤、邏輯和根本原因的連結。他們確認所有問題都已正確解決，然後繼續下一步。這就是「人機協作」模式。

在另一個組織中，凌晨 4 點，一個自行搭建的臨時處理代理程式偵測到網路問題，追蹤到問題源自於配置錯誤的策略，並進行了修復。網路恢復穩定，但無人收到通知。第二天早上，一名工作人員查看日誌，認為問題已解決，然後繼續處理其他事務。

差別究竟在哪裡？

差別在於，在自建置場景中，日誌只反映了部分情況。日誌沒有顯示智能體為了得出最終方案還進行了三次其他更改，而且這些更改的範圍比最初計劃的要大得多。此外，由於智能體在自身約束條件下無需這樣做，因此這些變更背後的決策也沒有被記錄下來。這種系統透明度的缺失正是問題的核心所在。

這就是在缺乏適當制衡機制的情況下，走向「人為控制」系統的後果。沒有正式的任務交接，只有一系列看似合理的小規模授權，這些授權逐漸累積，最終形成了一種未經任何人明確同意的局面。這凸顯了人類對人工智慧未來發展控制的重要性。

這種情況發生的速度比大多數領導者意識到的要快得多。根據最近的研究，57%的IT領導者預計將在一年或更短的時間內將人從控制迴路中移除，而79%的領導者已經將人工智慧代理視為“用戶”，需要為其建立身份管理和治理控制機制。

代理人工智慧的轉變速度比大多數組織準備的速度要快得多，無論是在治理方面還是在評估自主系統的能力方面。

它們就像“我同意”按鈕。

自主人工智慧的解決方案似乎一直都很簡單：保留人為控制。有人審核輸出結果，點選「批准」按鈕，確保責任落實。但現實並非如此簡單。審核每一個操作並不能自動建立問責機制，反而會阻礙組織充分發揮自主性的優勢。

與其逐一審查每個程序，人們應該專注於評估結果，確保系統在其預期範圍內運行，並提供反饋以隨著時間的推移改進其性能。

審批可能會變成一種毫無意義的儀式。隨著系統可靠性的提高和警報數量的增加，人們有時會開始認為幹預往往是不必要的。

審批可能變成簡單的點擊，而非深思熟慮的選擇。一旦出現問題（例如，策略配置錯誤或自動化處理導致服務中斷），就很難確定責任人。

這也促進了一種更廣泛的轉變：人類最重要的能力之一變成了批判性思考和假設檢驗，而不是任務執行。

還有另一件事正在發生。人類正在從執行階段轉向先閱讀後批准階段——這對我們大多數人的日常工作來說是一個根本性的變化。

此外，歸屬並不等同於來源。一份記錄人工智慧代理行為的文件幾乎無法告訴你行為背後的原因，也無法告訴你是什麼因素影響了這個決策。而當出現問題時，這正是你最需要了解的資訊。

非人類身分與新的網路格局

當人工智慧代理在您的網路上執行操作（例如查詢系統、更改配置或路由流量）時，它們被視為實際用戶。它們需要像人類操作員一樣，具備憑證、策略、安全控制、可解釋性和稽核日誌。這種對透明度和問責制的需求與在人工智慧資料中心強制執行透明度的努力相呼應。

大多數組織尚未跟上這一發展步伐。身分認同框架是為人設計的，事後才考慮將人工智慧代理應用於其中，恰恰會造成安全團隊畢生致力於消除的那種隱藏式存取。

近80%已將人工智慧代理用作身分管理工具的領導者走在了行業前列。其餘的領導者則在累積風險，而這些風險只有在安全事件發生後才能評估。

為了正確實現這一點，必須將每個代理視為具有明確權限、限時存取權限、清晰撤銷路徑和完整日誌的主體實體；不僅記錄它做了什麼，還記錄它被允許做什麼以及為什麼。

獨立不是別人給的，而是靠自己爭取來的。

網路和網路安全團隊已經了解如何應用這項原則。每個組織都有一個存取控制框架，定義使用者可以存取哪些內容以及何時可以存取。初級工程師不會在第一天就獲得生產系統的完全存取權限；他們需要逐步取得權限。同樣的邏輯也應該適用於人工智慧代理。

我們還沒到那個地步。自主性常常被當作非此即彼的選擇，但這並非正確的模式。信任在人類身上並非如此運作，在人工智慧身上也不應該如此。人工智慧代理應該先提出解決方案，然後在明確界定的範圍內證明自身能力，之後才能擴大權限。並且要確保每個決策都能留下痕跡，不僅解釋發生了什麼，還要解釋背後的原因。

隨著自主人工智慧的應用日益廣泛，各組織機構需要平衡人工監督與系統化治理。人類不僅要負責審查人工智慧的輸出結果，還要在必要時審查其採取的行動及其背後的邏輯。

然而，隨著自主決策規模和複雜性的增加，這種監督必須輔以整合身分識別、策略執行、監控能力和問責機制的基礎設施。這些控制措施共同作用，有助於確保人工智慧行為保持透明、可追溯，並與組織目標保持一致。

建構能夠承受壓力的多智能體系統

隨著這些系統功能日益強大，各組織機構正越來越多地轉向多智能體架構。在這種架構中，每個專門化的智慧體負責處理工作流程的一部分，並將上下文傳遞給下一個智慧體。而這正是複雜性所在。

單一智能體的行為是可以追蹤的，即使它犯了錯誤。然而，對於一個由多個智能體組成的鏈條來說，每個智能體的行為都基於前一個智能體的輸出，因此，除非有合適的結構和治理機制，否則一旦發生錯誤，追蹤起來就困難得多。你需要知道每個智能體知道什麼，而不僅僅是它們做了什麼。

完成基本任務

兩家機構使用同一款人工智慧驅動的網路代理。其中一家完成了基礎但並不吸引人的任務：設定嚴格的存取權限、適當的身份控制以及在需要時提供清晰答案的審計日誌。另一家則沒有完成這些任務。

直到出了問題，你才會意識到其中的差異。