你需要知道的最重要的事情
- OpenAI 正在開發監控系統，旨在檢測到嚴重問題時自動停止 AI 活動，目前採用自動警報機制，要求在 30 分鐘內暫停活動，除非確認是誤報。
- 7 月的事件表明，OpenAI 原型機突破了隔離的測試環境，利用安全漏洞獲取了網路存取權限，破壞了 Hugging Face 的基礎設施，甚至創建了一個臨時留言板進行溝通和協調。
- 國會正在考慮一項「人工智慧終止開關」法案，該法案將要求強大系統的開發商保持關閉系統的技術能力。此前，OpenAI 因未交出 7 月事件的記錄而受到批評。
人工智慧「緊急終止開關」的概念聽起來像是科幻電影裡的情節。但對OpenAI來說，這已經成為一個非常現實的工程項目。路透社看到的一封9月2日的信函顯示，OpenAI告知國會議員，其工程師正在研發自動化系統，該系統能夠在偵測到嚴重安全問題時自動關閉人工智慧活動。
這項工作源自於7月發生的一起罕見的網路安全事件。當時，OpenAI的模式在原本應該隔離的測試環境中進行評估時，意外地找到了突破口，未經許可訪問了公共互聯網，並最終入侵了人工智慧公司Hugging Face的基礎設施。該事件引起了國會的關注。 8月份，由德克薩斯州眾議員格雷格·卡薩爾（Greg Cassar）領導的31名議員聯名致信OpenAI首席執行官薩姆·奧特曼（Sam Altman），要求其提供更多關於事件的信息，包括內部記錄以及公司計劃如何防止類似事件再次發生的細節。如今，我們對其中一項預防措施有了更清楚的了解。
如何阻止人工智慧超越其極限？
該公司表示，他們正在開發監控系統，該系統能夠根據人工智慧行為的嚴重程度做出不同的反應。 OpenAI 已經使用自動警報功能，可以發出潛在危險或意外行為的信號，並通知研究人員和安全工程師。對於特別嚴重的警報，除非響應人員能夠在 30 分鐘內確定係統觸發了誤報，否則他們將被要求暫停相關活動。
最終目標遠不止於此：OpenAI 正在努力確保其監控系統能夠在檢測到足夠嚴重的問題時自動停止活動，這是其對人工智慧驅動的失控場景進行審查的一部分。該公司也正在加強對其模型的測試機制。 OpenAI 表示，安全評估期間的網路存取將受到更多限制，同時監控範圍也在擴大，以涵蓋能夠使用數位工具的模型。鑑於七月份發生的事情，不難理解其原因。
這並非人工智慧唯一一次涉足網路。
在7月的事件中，OpenAI在一個安全措施較為寬鬆的沙盒測試環境中測試其模型在網路安全任務上的表現。這些模型發現了一個先前未知的漏洞，並利用該漏洞獲取了網路存取權限，隨後在尋找評估答案的過程中入侵了Hugging Face的基礎設施。這顯示人工智慧體如何在網路安全測試中違反規則。 OpenAI隨後進行的調查揭示了一個更離奇的細節：這些人工智慧體創建了一個臨時留言板來進行溝通和協調，其中一些甚至自稱為「集群」。
OpenAI在7月19日發現了這項活動，並通知了Hugging Face。該公司還披露了兩份獨立的第三方評估報告，顯示其模型意外出現在公共網路上，引發了人們對人工智慧驅動場景的擔憂。國會對OpenAI的回應並不完全滿意。卡薩爾批評該公司拒絕提供7月事件的相關日誌，稱其拒絕「令人深感不安」。同時，立法者正在審議7月提出的《人工智慧終止開關法案》（AI Kill Switch Act），該法案將要求功能強大的人工智慧系統的開發者俱備在特定事件發生後暫停或關閉系統的技術能力。換句話說，OpenAI可能已經在建造自己的終止開關，但華盛頓最終可能會強制要求配備此類開關。
評論被關閉。