你需要知道的最重要的事情
- 組織現在必須建立一個可行且可擴展的治理結構，而不是等待一個無法跟上人工智慧代理快速變化的「理想」框架。
- 有效的治理需要精確的控制，這些控制是在個人代理人及其任務層面定義的，採取「核實而非假設」的方法，並進行持續監控以確保其有效性。
- 治理不僅關注代理人可以存取什麼，還關注他們存取資訊的順序，這需要為每個用例建立特定的操作序列。
然而，很少有組織能夠完全自信地說出他們的環境中有多少代理在運行，每個代理被允許訪問什麼，或者當出現問題時究竟是誰負責。
除非公司採取新的治理方法，對代理人的運作方式以及他們可以訪問、信任和使用的系統進行更嚴格的監督，否則這種差距可能會使代理人的工作流程從一項有前景的技術發展變成一個潛在的風險雷區。
不要期望完美。
市場針對人工智慧代理失控的潛在威脅，推出了一系列新工具：用於搜尋活躍代理的代理發現平台，以及用於限制代理行為的代理約束工具。兩者都很有用，但都無法單獨解決問題。
「控制」人工智慧代理的挑戰因快速變化而加劇。新的代理工具、新的人工智慧模式版本和新的協調方案層出不窮，任何現有的治理模式都會在短短幾個月內過時。
與其等待「完美」的治理框架成為標準，組織現在就應該採取措施，創造一個可以隨著時間推移而不斷發展的運作結構。
那麼，這在實踐中會是什麼樣子呢？
持續監控和精確控制
單靠政策和流程無法確認哪些方法在生產環境中真正有效。企業需要一套註冊和發現流程，能夠記錄所有正在使用的代理，而不僅僅是團隊報告已建置的那些代理。
真正的洞察力來自於對環境本身的精心準備，利用底層模型產生的記錄和監控數據，並在此基礎上建立分析模型。只有這些原始數據才能揭示智能體實際上在做什麼、頻率如何以及代價幾何，而不是依賴人們的臆測。
另一個關鍵步驟是從廣泛的管控轉向精細化的管控。例如，在整個組織內統一應用單一的、廣泛的管控系統，雖然可以限制管控範圍，但無法有效應對風險。不同的應用場景需要不同程度的限制，而對所有使用者一視同仁要麼會過度限制有價值的工作，要麼會限制風險較高的工作。
控制措施應在個別代理人及其具體任務層面定義，而非在整個組織層面定義。當代理人開始與其他代理人合作完成任務時，這種精確性就顯得尤為重要：每個代理人都需要對其權限和存取權限進行清晰明確的定義，以便任何越界行為都能立即被發現。
鑑於以上所有因素，企業必須採取「驗證而非假設」的方法。制定遏制體系或概念性政策只是第一步。驗證其在實際環境中是否有效則是一項獨立且持續的工作。
這裡一個有用的方法是將概念控制與邏輯或物理執行層結合起來：一種可以確認什麼是可執行的、代理可以與什麼交互以及它在實踐中是否遵守這些限制的工具。
持續監控政策，而不是一次性批准，才能證明遏制系統有效，因為代理人的能力和周圍的工具包幾乎每天都在變化。
准入並非唯一變數。
治理討論往往幾乎完全集中在代理可以存取哪些資訊上。同樣重要的是代理訪問這些資訊的順序。即使每個單獨的操作在技術上都是允許的，但如果代理以錯誤的順序收集信息，或者在後續步驟完成之前就對數據採取行動，也可能導致錯誤的結果。
有些工作流程需要並行執行多個步驟；而有些則需要特定的順序才能確保獲得最準確的結果。為每個用例建立一個獨立且定義明確的操作順序，而不是讓模型自行決定操作順序，可以顯著減少此類錯誤。
這既是流程設計問題，也是技術問題，關鍵在於人們在應用任何工具之前，能否清楚定義使用場景。
採取嚴謹的方法可以降低代理人帶來的風險。
這些要素並非孤立存在。缺乏嚴格控制的檢測手段，會讓組織意識到問題的存在，卻無法有效控制。缺乏驗證的隔離系統會營造出一種虛假的安全感。而僅關注存取權限的治理方式，則會忽略可能導致風險的關鍵因素。
能夠很好地管理代理治理的組織，會將代理治理視為現有 IT 和資料治理的延伸，並應用與傳統核心系統相同的管理方法，而不是將其視為事後考慮。
鑑於技術格局變化如此之快，這種整體的、可控的方法將使基於代理的 AI 能夠持續創造價值，並降低代理失控的風險。
我們已經介紹了最好的人工智慧工具。
本文是DzTecnium Pro Perspectives的一部分，該頻道旨在展示當今科技業最優秀、最聰明的人才。
本文觀點僅代表作者個人意見，不一定反映 DzTecniumPro 或 Future plc 的觀點。如果您有興趣投稿，請點擊此處了解更多：https://www.techradar.com/pro/perspectives-how-to-submit
在人工智慧代理失控之前對其進行管理
隨著人工智慧，特別是自主人工智慧體的快速發展，其巨大的潛力正在湧現，同時也伴隨著重大風險。 「人工智慧體失控」的概念不再是假設情景，而是需要積極治理的現實問題。清晰的框架對於確保這些智能體在合乎倫理和安全的範圍內運作至關重要。
為什麼人工智慧代理的治理已成為當務之急？
人工智慧代理的決策和獨立行動能力日益增強，其影響力正不斷擴展到金融、醫療和國防等關鍵領域。這種自主性固然帶來前所未有的益處，但若缺乏有效監管，也蘊藏著巨大的風險。監管缺失可能導致意想不到的後果，加劇數據中現有的偏見，甚至導致這些技術被惡意利用。因此，理解並應對這些風險是建立安全人工智慧未來的第一步。
「叛亂」情景：當人工智慧代理失控時意味著什麼？
當我們談到人工智慧代理「失控」時，我們指的並非人類意義上的有意識的反抗。這個術語指的是人工智慧系統出現意料之外或令人不快的行為，偏離其預期目標或超越倫理和操作界限的情況。這可能源自於設計缺陷、訓練資料有偏差，甚至可能是代理人為了實現特定目標而採取了與人類價值或安全標準相衝突的方式。例如，一個旨在提高效率的代理可能會在未考慮社會後果的情況下做出導致大規模裁員的決策；或者一個自衛系統可能會發展出意想不到的攻擊能力。了解這些潛在場景有助於我們設計更有效的控制機制。
有效治理人工智慧代理的關鍵原則
為確保人工智慧代理人能夠安全負責地服務人類，其治理必須基於以下幾個基本原則：
- 透明度： 人工智慧代理的工作原理應該盡可能地易於理解和審查，以便開發人員和使用者都能理解決策是如何做出的。
- 問責制： 如果人工智慧代理的行為導致錯誤或損害，則必須明確責任方。
- 安全性和可靠性： 系統必須設計得安全可靠，並經過嚴格測試，以確保不會造成意外傷害。
- 正義與公平： 人工智慧系統必須以公平的方式運行，避免可能導致歧視或加劇社會不平等的偏見。
- 隱私： 保護用戶資料並確保其以合乎道德和負責任的方式使用。
- 人為控制： 人類必須能夠隨時監督和乾預人工智慧代理的工作。
控制人工智慧代理的策略
有效控制人工智慧代理需要技術、組織和人為因素結合的策略：
- 技術保證： 開發內建安全機制，例如必要時可立即關閉代理的終止開關，以及用於在安全環境下測試代理行為的沙箱環境，並結合形式化驗證技術以確保代理行為符合規範，至關重要。近期研究發現了一種簡單卻令人擔憂的繞過人工智慧機器人安全機制的技巧，凸顯了加強這些安全措施的緊迫感。
- 監理與立法框架： 我們需要製定明確的法律和標準，界定責任，限制人工智慧代理的開發和使用，並提出透明度和問責制的要求。這些框架可以包括合規認證和行業標準。
- 人工監督： 在控制迴路中保持積極的人類作用，持續監控智能體的性能，在需要時提供人類幹預的機制，並建立倫理審查委員會來評估智能體的設計和行為。
快速變化的世界中人工智慧治理面臨的挑戰
儘管治理至關重要，但其發展和實施仍面臨許多挑戰。人工智慧的快速發展使得監管框架難以跟上最新創新步伐。此外，自主人工智慧系統日益複雜，使得理解和預測其行為成為一項艱鉅的任務。而且，人工智慧需要廣泛的國際合作來建立全球標準，鑑於各國利益和價值觀的差異，這難以實現。最後，最大的挑戰仍然是預測尚未完全開發的技術可能帶來的未來風險的能力。
前進之路：邁向人工智慧帶來的安全負責的未來
確保人工智慧擁有安全負責的未來需要多方持續努力。這項努力必須包括政府、私部門、學術界和民間社會之間的公開對話。投資研發安全的人工智慧技術，並向公眾普及其潛力和風險也至關重要。透過採取積極主動的參與式方法，我們可以建立靈活且適應性強的治理框架，確保人工智慧始終是造福人類的工具，而非危險的來源。
評論被關閉。