OpenAI 遥遥领先 —— GPT-4 与 Claude 2.1 的长上下文精度对比Greg Kamradt 对 GPT-4 (128K) 与 Claude 2.1 (200K) 进行了名为"大海捞针"的长上下文精度测试。实验了两个AI在接收不同长度的上下文时,对文档中不同位置的内容,有何记忆上的差异。
测试结果 :* AI更容易记住 (无论长度) : 文本后半部分。
* AI更不容易记住 (90K 长文时) : 文本前半部分。
* AI近乎100%记住 (无论长度) : 文本开头&文本结尾。
* 越少的上下文=越高的准确性。
* 测试的 API 调用成本约为1016美元。
Greg Kamradt投稿:
@ZaiHuaBot频道:
@TestFlightCNvia
🆕 科技新闻投稿📮 - Telegram Channel