记忆工具可能让AI模型表现更差：新研究揭示适应性风险
Writer公司研究发现，AI模型的记忆系统在适应用户偏好时，可能导致模型更倾向于迎合用户错误，降低准确性和创造力，引发对个性化功能潜在风险的关注。
现代人工智能系统的最大卖点之一是其适应用户的能力。每当AI助手为您执行任务时，它也会适应您的风格和偏好，并将其作为未来任务的上下文。随着更多上下文和对用户的更好了解，模型每次使用都会变得更好——至少理论上是这样。
但新研究表明，模型的适应能力可能是一把双刃剑。周三，AI公司Writer的研究人员发表了两篇论文，展示了流行的记忆系统如何使模型变得更糟，将它们拉向用户引入的误解或错误理解。随着用户输入占据模型上下文窗口的更多内容，模型变得更加谄媚，且更不注重准确性。
参与这些论文的Writer AI主管Dan Bikel表示：“我们希望能够描述模型有效关注用户偏好与给出潜在错误答案的频率。”正如Bikel告诉TechCrunch的那样，“每次额外存储和检索用户偏好，你都在承担越来越大的风险。
”在一种变体中，研究人员通过记录用户最喜欢的书是《Station Eleven》来测试AI模型，然后要求模型说出最畅销的反乌托邦书籍。模型在回答中更可能提到《Station Eleven》，尽管问题与用户最喜欢的书无关。
当使用Mem0和Zep等记忆压缩工具时，这种趋势更加明显。论文指出：“所有记忆系统从根本上都难以区分相关上下文与不相关的锚点，这严重破坏了多样性和创造力，并引入了可能限制系统效用的意外偏见途径。
”第二篇论文展示了同样的动态如何主动降低性能：向用户呈现对金融的误解，然后让模型分析一家公司的表现。模型拥有的上下文越多，其表现就越差。帖子写道：“在没有记忆或个性化的情况下，AI模型正确评估该公司是一家资本密集型、客户流失率高的企业。
”“但开启这些功能后，它会愉快地改变答案以同意用户的错误，或者根据对用户早期偏好的评估提供错误答案。”值得注意的是，该研究没有考察Anthropic最近的Opus 4.8模型，该模型经过训练可主动抵制此类输入错误。
研究人员发现的模式在不同模型中均成立。这展示了AI上下文的微妙平衡，以及有用的工具如果打破这种平衡可能产生意想不到的后果。