Gemini 数据分析能力并不像宣称的那么好
谷歌旗舰级生成式人工智能模型 Gemini 1.5 Pro 和 1.5 Flash 的卖点之一是它们据称能够处理和分析的数据量。在新闻发布会和演示中，谷歌一再声称，这些模型能够凭借其“长上下文”完成以前不可能完成的任务，例如总结数百页的文档或搜索电影镜头中的场景。
但新的研究表明，这些模型实际上在这些方面并不是很擅长。两项独立研究调查了谷歌的 Gemini 模型和其他模型如何很好地理解大量数据。两项研究都发现 Gemini 1.5 Pro 和 1.5 Flash 很难正确回答有关大型数据集的问题；在一系列基于文档的测试中，这些模型给出正确答案的概率只有40%到50%。
马萨诸塞大学阿默斯特分校博士后、其中一项研究的合著者 Marzena Karpinska 说：“虽然像 Gemini 1.5 Pro 这样的模型在技术上可以处理长篇上下文，但我们已经看到许多案例表明，这些模型实际上并不‘理解’内容。”
—— Techcrunch
via 风向旗参考快讯 - Telegram Channel
谷歌旗舰级生成式人工智能模型 Gemini 1.5 Pro 和 1.5 Flash 的卖点之一是它们据称能够处理和分析的数据量。在新闻发布会和演示中，谷歌一再声称，这些模型能够凭借其“长上下文”完成以前不可能完成的任务，例如总结数百页的文档或搜索电影镜头中的场景。
但新的研究表明，这些模型实际上在这些方面并不是很擅长。两项独立研究调查了谷歌的 Gemini 模型和其他模型如何很好地理解大量数据。两项研究都发现 Gemini 1.5 Pro 和 1.5 Flash 很难正确回答有关大型数据集的问题；在一系列基于文档的测试中，这些模型给出正确答案的概率只有40%到50%。
马萨诸塞大学阿默斯特分校博士后、其中一项研究的合著者 Marzena Karpinska 说：“虽然像 Gemini 1.5 Pro 这样的模型在技术上可以处理长篇上下文，但我们已经看到许多案例表明，这些模型实际上并不‘理解’内容。”
—— Techcrunch
via 风向旗参考快讯 - Telegram Channel
