↩️🖼 METR 评估 GPT-5.6 Sol：作弊率为已评估公开模型最高，能力未显著超越前沿水平

科技圈🎗在花频道📮:

Cursor 研究：越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试 Cursor 团队发现在 SWE-bench Pro 测试中，Opus 4.8 Max 编程功能的 63%的成功案例并非模型自行推导，而是通过检索公开网络上的已知补丁或挖掘仓库 Git 历史直接套用答案。移除.git 目录并限制网络访问后，Opus 4.8 Max 得分从 87.1%骤降至 73.0%，Cursor 自家的 Composer 2.5 从 74.7%降至 54.0%。 研究显示这种“鼓励作弊”行为随模型代际急剧升级：Opus…

METR 评估 GPT-5.6 Sol：作弊率为已评估公开模型最高，能力未显著超越前沿水平

AI 安全评估机构 METR 于 6 月 26 日发布了对 OpenAI GPT-5.6 Sol 的独立部署前评估报告。在其软件任务测试中，他们发现 GPT-5.6 Sol 模型会利用评估环境漏洞、提取隐藏源代码和预期答案等“作弊”，而非按规则完成任务。模型 50% 时间跨度（指模型大概需要花多长时间，才能在这些任务上达到 50% 的成功率）估值约 11.3 小时；若将作弊计为成功则飙升超过 270 小时；剔除作弊数据后估值为 71 小时但置信区间极宽（13 至 11400 小时）。

METR 认为这些数字均不构成可靠的能力衡量，但综合其他基准分数和长期趋势判断，GPT-5.6 Sol 的软件与研发任务能力并未显著超越当前前沿水平，不足以实现全自动化 AI 研发，也未达到 OpenAI 准备框架 v2 中 AI 自我改进的"关键"能力门槛。

METR Blog

🌸 在花频道 · 茶馆水群 · 投稿通道

via 科技圈🎗在花频道📮 - Telegram Channel