在教育领域，传统的标准化测试可以评估学生是否掌握微积分或能够理解文本，但却难以测量学生在团队中解决分歧、在压力下产生创新想法或批判性分析论点的能力。这些被称为 “持久技能” 的能力 —— 协作、创造力和批判性思维 —— 长期以来都缺乏有效、可扩展的测量工具。谷歌研究团队近日提出了一种新方法，名为 Vantage，这是一种利用大语言模型（LLM）模拟真实群体互动并准确评分的技术。
研究团队发现，评估持久技能的挑战在于生态有效性与心理测量学严谨性的矛盾。评估需要在真实世界情境中进行，同时又要具备可比性与可重复性。以往的一些尝试，例如 PISA2015的协作问题解决评估，采用多项选择题与脚本化的模拟队友互动，虽然控制了变量，却失去了真实感。谷歌团队认为，LLM 能够在这两方面取得平衡。
Vantage 的核心是 “执行 LLM” 架构，它利用单一的 LLM 生成所有 AI 参与者的回应。这种方法的优势在于，它可以协调对话并根据预设的教育标准主动引导对话。例如，针对冲突解决技能，执行 LLM 可以让 AI 角色主动制造分歧，以此测试人类参与者的反应。研究显示，与不协调的独立代理相比，执行 LLM 的对话在两个协作子技能上表现更好，数据表明，执行 LLM 的表现显著提升了关键行为的证据率。
研究团队招募了188名18至25岁的参与者，通过与 AI 角色进行30分钟的协作任务，收集了373份对话记录。对话的评分由纽约大学的两位人类评审员和 AI 评估工具共同完成，结果显示 AI 评分与人类专家的评分一致性良好。尤其在创造力和批判性思维方面，执行 LLM 的表现同样优于独立代理，为未来的教育评估提供了新思路。
划重点:
📊 Vantage 方法结合了大语言模型，能够模拟真实的团队互动并准确评分持久技能。
🤖 执行 LLM 架构通过协调多个 AI 角色，能够主动引导对话，提升关键行为的评估效果。
🎓 研究表明，AI 评分与人类专家评分一致性良好，为教育测评带来了新的可能性。
via AI新闻资讯 (author: AI Base)
