Google Gemini 模型被惡意利用:可能入侵並控制智慧家庭系統

過去,駭客事件頻繁,但如今已變得司空見慣,多數人對此已習以為常。只有當駭客事件發生在大型公司,影響數百萬人時,才會引起人們的關注,就像 T-Mobile駭客事件影響64萬用戶由於您的資料可能透過多種方式受到損害,因此幾乎每種類型的數位服務或產品都設有保護措施來防止這種情況發生。

一台 Pixel 平板電腦放在桌上,背景牆上掛著一台 Nest 恆溫器。

當然,這些產品並非完美無缺,只要攻擊者夠聰明,總有辦法進行惡意攻擊。隨著Google Gemini 等大型語言模型 (LLM) 的出現,這些人工智慧工具隨時可能被用於惡意目的。雖然我們目前還沒有看到任何重大報道,但我們或許 《連線》雜誌重點介紹了一項研究項目 Gemini 正以你意想不到的方式侵入你的生活。這項研究揭示了 Gemini 可能被用來控制你數位生活的方方面面,甚至可能包括你家中的智慧型設備,這引發了人們對人工智慧時代安全和隱私的擔憂。

這種類型的攻擊可能會變得更加危險。

特拉維夫大學的 Ben Nassi、Stav Cohen 和 Or Yair 透露了他們的項目,“邀請就是你所需要的「它使用 Gemini 來存取和控制智慧家庭。有趣的是,攻擊不是從家庭內部開始,而是依靠另一個不相關的 Google 產品來啟動這個過程。

簡而言之,當使用者使用 Gemini 時,會觸發一些不必要的操作,並附帶特定的提示。這一切的巧妙之處在於,這些操作對使用者來說是隱藏的,看不見的。他解釋: 研究團隊詳細說明了其工作原理。其中「promptware」使用大型語言模型(LLM)執行惡意活動。

研究人員發現,利用“短期上下文中毒”和“長期記憶中毒”,他們可以讓 Gemini 執行提示中原本未包含的操作。這可以刪除各種 Google 應用程式中的事件、開啟 Zoom 通話、取得使用者位置、控制智慧家庭產品等等。這種攻擊被稱為“間接提示注入”,利用的是大型語言模型與外部資料互動過程中的漏洞。

研究團隊還透過精彩的教學影片演示了所有操作。這是一種簡單有效的方法,可以在不知情的情況下破壞他人的生活。人們更注重傳統的駭客攻擊方法,這意味著類似這樣的事情可能會非常出乎意料。

幸運的是,研究團隊已在 2 月向 Google 報告了這些問題,並與其團隊會面討論解決方案。 Google 表示,他們已「部署了多層防禦措施,包括:改進敏感操作的用戶確認機制;透過清理和信任等級策略實現強大的 URL 處理;以及使用內容分類器進行高級聲明注入檢測」。

該計畫重點關注“影響大型語言模型驅動的助手的理論上的間接索賠注入技術”,隨著人工智慧工具的日益複雜,這種技術在不久的將來可能會變得更加普遍。目前,該技術尚處於起步階段,需要更好的監控,以防止其在未來造成更嚴重的危害。隨著我們在日常生活中越來越依賴人工智慧,理解和降低這些潛在風險變得至關重要。

如果您對安全漏洞感興趣,您可以隨時 將您發現的內容提交給 Google 透過「漏洞獵人」計劃,您可以透過多種方式做出貢獻,因為人工智慧只是目前監控範圍的一小部分。如果涉及更嚴重的問題,谷歌還會為您的工作提供獎勵,讓您的努力更有價值。

評論被關閉。