🇮🇳 新基准IndQA发布：提升AI对印度语言和文化的理解
OpenAI发布了名为IndQA的新基准，旨在解决现有非英语AI评估基准的不足，并提升AI模型对印度语言和文化的理解与推理能力。全球约80%的人口不以英语为母语，而现有基准已趋于饱和，且未能充分捕捉文化、历史等深层语境。
IndQA专注于印度，该国拥有约10亿非英语母语人口、22种官方语言（其中至少7种拥有超过5000万使用者），并且是ChatGPT的第二大市场。该基准包含2,278个问题，涵盖12种印度语言（包括孟加拉语、印地语、卡纳达语、泰米尔语等，以及混合语Hinglish）和10个文化领域（如建筑、艺术、历史、宗教等）。这些问题由来自印度各地的261位领域专家合作创建，并采用基于评分标准的评估方法，旨在衡量模型对文化细微差别的理解和推理能力。
IndQA通过对抗性过滤，确保问题难度足以挑战GPT-4o、OpenAI o3、GPT-4.5及GPT-5等前沿模型。初步评估显示，OpenAI的模型在印度语言方面取得了显著进步，但仍有巨大提升空间。此举旨在改善印度用户的产品和工具，并鼓励研究社区创建更多针对特定语言和文化领域的AI评估基准。
(@OpenAI)
via 茶馆 - Telegram Channel
OpenAI发布了名为IndQA的新基准，旨在解决现有非英语AI评估基准的不足，并提升AI模型对印度语言和文化的理解与推理能力。全球约80%的人口不以英语为母语，而现有基准已趋于饱和，且未能充分捕捉文化、历史等深层语境。
IndQA专注于印度，该国拥有约10亿非英语母语人口、22种官方语言（其中至少7种拥有超过5000万使用者），并且是ChatGPT的第二大市场。该基准包含2,278个问题，涵盖12种印度语言（包括孟加拉语、印地语、卡纳达语、泰米尔语等，以及混合语Hinglish）和10个文化领域（如建筑、艺术、历史、宗教等）。这些问题由来自印度各地的261位领域专家合作创建，并采用基于评分标准的评估方法，旨在衡量模型对文化细微差别的理解和推理能力。
IndQA通过对抗性过滤，确保问题难度足以挑战GPT-4o、OpenAI o3、GPT-4.5及GPT-5等前沿模型。初步评估显示，OpenAI的模型在印度语言方面取得了显著进步，但仍有巨大提升空间。此举旨在改善印度用户的产品和工具，并鼓励研究社区创建更多针对特定语言和文化领域的AI评估基准。
(@OpenAI)
via 茶馆 - Telegram Channel
