我们的使命是让 AGI 造福全人类。要让人工智能对每个人都有用，就必须能跨越语言与文化有效工作。当下约 80% 的人并不以英语为母语，但衡量非英语能力的大多数基准测试仍存在明显不足。 现有的多语种基准，如 MMMLU ，已接近饱和——顶级模型得分集中，使其难以真实反映进步。此外，现有评测多侧重于翻译或选择题，无法充分衡量对语境、文化、历史以及人们日常关切的理解和推理能力，而这些正是评估语言能力时最重要的方面。 因此我们推出了 IndQA ，这是一个针对印度语种设计的新基准，旨在评估模型在印度语言中理解与…