人工智慧聊天機器人：它們變得更加安全，但它們存在一個令人沮喪的盲點。

最近一項研究揭示了人工智慧聊天機器人在應對用戶危機方面表現參差不齊。專注於人工智慧監管的非營利組織Transluce模擬了77種不同模型的50,000萬多次對話，發現目前的聊天機器人幾乎從未明確鼓勵自殺。

這與先前的模型（例如 GPT-4o 和 Gemini 2.5）相比有了顯著的改進，後者在高達 82% 的模擬對話中增強了欺騙效果。鑑於人們越來越依賴聊天機器人進行深入的、個人化的對話，這一差距尤為重要，凸顯了更好地了解如何繞過人工智慧安全措施的必要性。

人工智慧聊天機器人在處理自殺和自殘請求時的盲點

當使用者提出涉及自身死亡的創意寫作或角色扮演請求時，人工智慧模型仍然經常會做出反應，將明確且個人化的請求視為普通的寫作任務。 Transluce 將這種行為稱為「灰色地帶」。改進在用戶面臨明顯危機時最為顯著，例如 ChatGPT 等聊天機器人會始終引導用戶尋求朋友、家人或外部支援。

Transluce聯合創始人莎拉·施韋策(Sarah Schweitzer)告訴Axios，這些模型並不擅長檢測此類請求，但它們仍然能夠提供幫助。她也提到，一位朋友給她看了克勞德(Claude)寫的一篇關於自殺的虛構故事，故事中甚至包含了對她反應的預測。這與其他近期關於人工智慧相關的心理健康風險如何突破安全網的研究結果相吻合，引發了人們對人工智慧帶來的心理健康挑戰的擔憂。

針對人工智慧聊天機器人的訴訟以及對心理健康的擔憂

這項研究正值引發嚴重法律後果之際。谷歌和OpenAI都面臨來自家屬的訴訟，這些家屬指控聊天機器人慫恿他們的親屬自殘，最終導致他們自殺身亡。兩家公司都否認這些指控，同時，國會面臨越來越大的壓力，要求對人工智慧聊天機器人進行監管。

Transluce 的報告顯示，中國模型的整體表現較差，在宣揚謬誤方面得分較高，很少引導使用者尋求人工幫助。

谷歌的梅根瓊斯貝爾表示，公司將持續致力於提升Gemini在促進用戶福祉方面的作用。 Transluce計劃在年底前開源其評估工具，並將這種方法推廣到其他敏感領域。