AI 聊天机器人太过于奉承人类
2025-10-27 18:51 by 勇者物语
一项发表在 arXiv 的研究发现，AI 模型的谄媚程度比人类高 50%。该研究测试了 11 个广泛使用的大模型对 1.15 多万个咨询请求的响应情况，其中不乏涉及不当行为或有害行为的请求。包括 ChatGPT 和 Gemini 在内的AI聊天机器人，常常会鼓励用户、给出过度奉承的反馈，还会调整回应以附和用户观点，有时甚至会为此牺牲准确性。研究 AI 行为的科研人员表示，这种取悦他人的倾向即“谄媚性”，正影响着他们在科研中使用 AI 的方式，涵盖从构思创意、生成假设到推理分析等各类任务。arXiv 上的另一项研究旨在验证 AI 的谄媚性是否会影响其解决数学问题的能力。研究人员从今年举办的数学竞赛中选取了 504 道题目，对每道题的定理表述进行修改，植入不易察觉的错误，随后让 4 个大模型为这些存在缺陷的表述提供证明。测试结果显示，GPT-5 的谄媚性最低，仅 29% 的回答存在谄媚行为；而 DeepSeek-V3.1 的谄媚性最高，70% 的回答带有谄媚倾向。研究人员指出，尽管这些大模型具备识别数学表述中错误的能力，但它们“就是会默认用户的说法是正确的”。
https://arxiv.org/abs/2510.01395
https://arxiv.org/abs/2510.04721
中国科学报 AI聊天机器人“阿谀奉承”伤害了科学
#人工智能
via Solidot - Telegram Channel
2025-10-27 18:51 by 勇者物语
一项发表在 arXiv 的研究发现，AI 模型的谄媚程度比人类高 50%。该研究测试了 11 个广泛使用的大模型对 1.15 多万个咨询请求的响应情况，其中不乏涉及不当行为或有害行为的请求。包括 ChatGPT 和 Gemini 在内的AI聊天机器人，常常会鼓励用户、给出过度奉承的反馈，还会调整回应以附和用户观点，有时甚至会为此牺牲准确性。研究 AI 行为的科研人员表示，这种取悦他人的倾向即“谄媚性”，正影响着他们在科研中使用 AI 的方式，涵盖从构思创意、生成假设到推理分析等各类任务。arXiv 上的另一项研究旨在验证 AI 的谄媚性是否会影响其解决数学问题的能力。研究人员从今年举办的数学竞赛中选取了 504 道题目，对每道题的定理表述进行修改，植入不易察觉的错误，随后让 4 个大模型为这些存在缺陷的表述提供证明。测试结果显示，GPT-5 的谄媚性最低，仅 29% 的回答存在谄媚行为；而 DeepSeek-V3.1 的谄媚性最高，70% 的回答带有谄媚倾向。研究人员指出，尽管这些大模型具备识别数学表述中错误的能力，但它们“就是会默认用户的说法是正确的”。
https://arxiv.org/abs/2510.01395
https://arxiv.org/abs/2510.04721
中国科学报 AI聊天机器人“阿谀奉承”伤害了科学
#人工智能
via Solidot - Telegram Channel
