arXiv.org
Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians
"AI psychosis" or "delusional spiraling" is an emerging phenomenon where AI chatbot users find themselves dangerously confident in outlandish beliefs after extended chatbot conversations. This phenomenon is typically attributed to AI chatbots'...
[!summary]+
“人工智能精神病"或"妄想螺旋"是一种新兴现象，指人工智能聊天机器人用户在与聊天机器人长时间对话后，会对自己一些荒谬的观点产生危险的自信。这种现象通常归因于人工智能聊天机器人众所周知的偏好------即验证用户的说法，这种特性通常被称为"阿谀奉承”。本文通过建模和仿真，探究了人工智能阿谀奉承与人工智能诱发精神病之间的因果关系。我们提出了一个简单的贝叶斯模型，用于描述用户与聊天机器人的对话，并在该模型中形式化了阿谀奉承和妄想螺旋的概念。我们进一步证明，在该模型中，即使是理想化的贝叶斯理性用户也容易受到妄想螺旋的影响，并且阿谀奉承在其中起着因果作用。此外，即使采取了两种可能的缓解措施------防止聊天机器人产生虚假幻觉，以及告知用户模型可能存在阿谀奉承------这种效应仍然存在。最后，我们将讨论这些结果对模型开发者和关注缓解妄想螺旋问题的政策制定者的意义。
[!quote]+
托雷斯侥幸从这次事件中幸存下来，但其他人就没有那么幸运了。“人类线计划”（Human Line Project）迄今已记录了近300例所谓的"人工智能精神病"或"妄想螺旋"案例：在这些案例中，用户与人工智能聊天机器人的长时间互动会导致他们对一些离奇的信念产生高度自信（Huet and Metz, 2025）。例如，艾伦·布鲁克斯（Allan Brooks）认为自己做出了重要的数学发现（Hill and Freedman, 2025; Gold, 2025），或者托雷斯认为自己见证了某种形而上学的启示（Dupré, 2025; Schechner and Kessler, 2025; Fieldhouse, 2025）。严重的妄想螺旋案例至少导致14人死亡，并引发了5起针对人工智能公司的非正常死亡诉讼（Hill, 2025a）。随着人们越来越多地向聊天机器人寻求建议、陪伴和治疗，了解和解决聊天机器人引发的妄想螺旋的原因正成为一个紧迫的研究问题。
7 个帖子 - 5 位参与者