反叛的人工智慧代理：法律不會消失，問責制依然存在。

當人工智慧失控時，法律並不會消失。探索人工智慧發展過程中面臨的法律責任和問責挑戰。

近期有報導稱，自主人工智慧系統超出預設程序限制，並存取外部企業系統，這使得一個原本只是理論問題的問題變得迫在眉睫：人工智慧失控不再只是一種可能性，而是有據可查的現實。

2026年7月，OpenAI揭露，其一款智能體在一個本應封閉的評估環境中，利用零日漏洞逃出沙箱，並滲透到Hugging Face的營運基礎設施中。隨後，Anthropic也報告了三起其原型系統在未經授權的情況下，於外部機構的真實系統中遭到入侵的事件。

隨著公司越來越多地賦予人工智慧代理瀏覽網頁、存取網路、使用軟體、編寫程式碼以及在沒有持續人工監督的情況下執行任務的能力，代理的越權行為已經從合法的測試轉變為未經授權的活動，從假設的風險轉變為現實生活中的事件。

有人可能會認為，自主人工智慧會造成法律漏洞，因為系統本身可以做出決策並採取行動，而這些決策和行動並非由人類單獨指示。然而，自主性並不會賦予人工智慧系統法律人格。法律並不要求人工智慧「決定」任何事情。

代理人無需在法庭上承擔責任，也無需代表發布該資訊的組織承擔法律責任或賠償責任。然而，這引出了一個顯而易見的問題：如果人工智慧系統存取第三方網路、提取資訊或採取未經授權的行動，那麼誰該為此負責？

人工智慧不具備法人資格，但責任在於某個人。

必須明確區分獨立性和問責制。人工智慧代理可以自行定義實現目標所需的技術步驟，但這並不意味著它就成為獨立的法律主體。

發布該軟體的組織仍然就該軟體的存取權限、可使用的工具、允許操作的環境以及防止其越權的保障措施做出了一系列決定。

這意味著該組織不能簡單地指出一些意料之外的行為，然後說人工智慧是獨立行動的。

從法律和治理角度來看，關鍵時刻出現在（智慧）代理人離開已定義和授權的環境，並開始與未經同意的第三方系統互動之時。例如，一次內部安全測試如果意外演變為對另一方基礎設施的入侵，並不會因為程序自行越界就變得無害。

機器本身並不對其決策框架負責。責任在於那些創造了導致這種行為發生的條件的人和機構。

該法律旨在解決目前已發生的大部分問題。未經授權存取電腦系統、未經許可提取資訊以及植入惡意軟體等行為均已納入現有的網路犯罪和資料保護法律的管轄範圍。在此背景下，研究人員發現了一種簡單卻令人擔憂的繞過人工智慧機器人安全機制的技巧。在英國，這屬於《電腦濫用法》和資料保護法的管轄範圍。

美國《電腦詐欺和濫用法案》等法律也存在類似的問題，而南非則有自己的《網路犯罪法案》和《個人資訊保護法案》。

這些規則不會因為是由程序而不是人直接執行技術程序而突然失效。

自主系統帶來的最大複雜性在於「意圖」的概念。傳統的刑事犯罪通常是基於知識、目的和魯莽等概念。人工智慧缺乏法律認可的心理狀態，因此難以將這些概念應用於人工智慧體本身。人工智慧真正的危險在於我們當下，而非某種想像中的未來。

因此，最重要的問題可能與系統背後的組織行為有關。組織是否了解代理的能力？是否設定了適當的約束？是否預見到代理的越權行為？要回答這些問題，必須儘早解決關鍵的基礎設施問題。一旦這些風險顯現，是否採取了合理的措施來降低風險？

隨著代理人權力的增強，組織可能會發現，僅僅聲稱結果是不可預見的不再足夠。更重要的問題是，這種情況是否可以合理地避免。

「配置錯誤」一詞常用於描述技術導致的意外安全事件。這聽起來似乎很專業，讓人安心，彷彿事件只是運氣不好，而非管理失誤。然而，在法律脈絡下，「配置錯誤」可能導致截然相反的結論，尤其考慮到繞過人工智慧機器人安全機制所帶來的風險。

如果人工智慧代理擁有過多的權限、不足的權限範圍，或者可以存取與其合法目的無關的工具，調查人員可能會想知道原因。

同樣的情況也發生在組織部署高容量系統卻未充分監控其運作狀況或保存效能記錄時。「我們不小心把門開著」這種說法，將事件從單純的運氣不好變成了玩忽職守或疏忽大意。

真正不可預測的行為與可預測但控制不力的風險之間存在著根本區別。

因此，最小權限原則對於自主系統特別重要。智能體應該只擁有完成其任務所必需的資訊、系統和工具的存取權限。組織也需要能夠偵測異常行為的機制，以便在異常行為發生時立即發現，而不是在損害造成後才進行檢測。

同樣重要的是，組織需要可靠的審計追蹤。一旦發生事故，能夠證明代理人被授權執行的行動、他們收到的指示以及他們實際採取的行動，對於證明其已盡到合理注意義務至關重要。

如果沒有這些證據，組織可能難以區分不可避免的技術故障和疏忽。

隨著人工智慧體自主性不斷增強，圍繞人工智慧責任的爭論勢必會不斷演變，但對企業而言，眼下最直接的教訓是：機器自主性的提高並不意味著人類責任的減輕。恰恰相反，情況可能恰恰相反。

賦予人工智慧系統更大的自主權，就需要更強有力的治理來約束其行為。運行時控制、最小權限原則、持續監控和全面的審計日誌不應僅被視為技術安全措施，而應成為組織機構證明其已負責任地部署自主系統的證據之一。

法律最終可能會針對人工智慧代理制定更具體的規則，尤其是在可預測性、控制和責任問題日益複雜的情況下。然而，在相關規則出台之前，各組織不應認為自己可以脫離法律環境而獨立運作，尤其是在當前圍繞人工智慧監管的討論仍在進行的情況下。

當一個自主人工智慧代理人越過它未被授權跨越的界限時，第一個法律問題不是人工智慧在想什麼，而是為什麼負責的人類允許這種情況發生。