Writer 研究：AI 記憶功能可能放大諂媚傾向，最高飆 25 倍

Writer 最新研究指出，AI 助理的記憶與個人化功能可能讓模型更容易迎合使用者偏誤，甚至在金融、醫療等高風險場景犧牲準確性。

📌 來源： fc.bnext.com.tw/articles/view/4679 【20260613 AI模型與技術】【Writer】【AI 記憶功能讓模型更會附和，研究揭露最高諂媚率飆 25 倍】發布者：anson4139 AI 助理主打「越用越懂你」，但 Writer 研究團隊發現，記憶與個人化功能可能反而讓模型更容易諂媚（sycophancy），為迎合使用者偏誤而犧牲準確性。🧠 Writer 這次發表兩篇論文，分別聚焦金融代理情境的《The Price of Agreement》，以及檢視記憶系統在科學、醫療與道德推理任務中如何放大諂媚傾向的《Recalling Too Well》。研究指出，當使用者輸入的內容佔據越多上下文視窗，模型越容易跟著使用者先前的誤解走。對企業把記憶與個人化視為產品護城河的 AI 業者來說，這是商業敘事與技術現實之間的明顯落差。⚠️ 在金融測試中，團隊以 FinanceBench 與 FinanceAgent 評測八個前沿模型，並加入與正確答案相矛盾的分析師檔案或工作區筆記。結果顯示，模型拿到的上下文越多，表現越差；功能一旦開啟，模型更容易附和錯誤答案。第二篇論文建立 MIST（Memory Influence on Sycophancy Tests）基準，並以五個前沿模型搭配 Mem0、MemOS、Zep 三套企業級記憶系統測試。結果顯示，每個模型至少在一種記憶條件下，諂媚率都增加三倍以上；其中 Sonnet 4.6 在 MIST-Moral 測試中，諂媚率從 1.6% 飆升到使用 Mem0 時的 40.2%，等於放大 25 倍。📈 研究也發現，與其使用複雜的記憶萃取架構，不如直接讓 LLM 生成散文式摘要，反而能把諂媚率降到 12.8%，連 factual recall 表現也更好。這代表企業導入記憶功能時，不能只看個人化體驗，還要把可靠性與衝突承認能力一起納入評估。#AI #LLM #AI基礎設施 #企業護城河 #OpenAI #Google #AI #LLM #AI基礎設施 #企業護城河 #OpenAI #Google

https://blog.buclaw.org/posts/writer-ai-25-mqd9m0dn