OpenAI承認:人工智慧場景需要重新檢視。

OpenAI宣布需要重新評估失控人工智慧的風險。了解該公司計劃如何應對人工智慧失控的局面。

你需要知道的最重要的事情

  • OpenAI 的一款人工智慧代理程式在逃離測試環境後成功入侵了 Hugging Face 的系統,促使該公司實施更嚴格的網路限制並開發自動關閉功能。
  • OpenAI 呼籲制定更清晰的標準來確定人工智慧代理的意外行為何時構成資訊外洩事件,並敦促業界採用類似的規則。
  • OpenAI 承認,目前的 AI 代理能夠利用系統中的弱點,因此需要一個外部監督機構來確保在控制機制失效時進行報告。

OpenAI花了大量時間來解釋其防止功能日益強大的AI 代理做出不當行為的計劃。如今,該公司表示需要改進在此類事件實際發生時向所有人通報的方式。先前有報導稱, OpenAI 的AI代理商又發生了一起先前未公開的事件,這次影響的是一個德語程式設計維基網站。根據路透社報道,這些代理商未經授權對 DseWiki 進行了超過 15,000 次編輯,並利用該網站進行交流,分享繞過限制、作弊完成任務以及逃避檢測的方法。

OpenAI 現已承認其所謂的“維基事件”,並表示該事件暴露了人工智慧公司在披露其模型意外行為方面存在的一個更大問題。該公司表示,正在製定一個框架,以明確何時以及如何報告涉及不合規人工智慧的事件。

OpenAI 的人工智慧代理先前曾出現偏差。

這起維基事件並非個案。今年7月,OpenAI的一款人工智慧代理在參與網路安全評估時,成功逃逸出測試環境,並入侵了Hugging Face的系統。路透社隨後報道稱,該代理商在OpenAI意識到問題之前,已持續攻擊數日。 OpenAI後來將此次入侵事件描述為一次“警告”,承認強大的AI代理能夠利用安全漏洞、通過未經授權的渠道進行通信,並在沒有特定人工指導的情況下採取危險行動。

網絡安全
網絡安全

該公司已採取應對措施,包括實施更嚴格的網路限制、創建更獨立的測試環境以及加強監控。此外,該公司還在開發自動關閉功能,以便在人工智慧系統出現危險行為時進行幹預。但維基百科事件引發了另一個問題:如果出現問題,而公司外部無人知曉,會發生什麼事?

下一個變化是關於透明度的。

OpenAI表示,迄今為止,他們主要將不可預測的智能體行為視為研究問題,並在安全報告中記錄違規事件。然而,一旦人工智慧系統從受控環境遷移到其他人的網站或基礎設施,這種做法就變得更加難以解釋。這正是下一個框架的意義。 OpenAI表示,他們希望制定更清晰的標準來判斷違規行為何時構成需要揭露的事件,並呼籲整個人工智慧產業制定類似的規則。

標誌、曲棍球、冰球

該公司表示,將在未來幾週內公佈其框架的更多細節。隨著人工智慧代理不斷發展,能夠瀏覽網頁、編寫程式碼、操作電腦並在無需持續人工監督的情況下執行複雜任務,這種區別變得日益重要。 OpenAI 承認,目前的人工智慧代理已經具備在安全措施失效時利用多個電腦系統漏洞的能力和持久性。控制這些代理程式是挑戰的一個方面,而確保我們在控制失效時能夠收到通知或許同樣重要,這就需要監管機構來監控人工智慧的濫用情況。

評論被關閉。