OpenAI 遥遥领先 —— GPT-4 与 Claude 2.1 的长上下文精度对比

Greg Kamradt 对 GPT-4 (128K) 与 Claude 2.1 (200K) 进行了名为"大海捞针"的长上下文精度测试。实验了两个AI在接收不同长度的上下文时,对文档中不同位置的内容,有何记忆上的差异。

测试结果 :
* AI更容易记住 (无论长度) : 文本后半部分。
* AI更不容易记住 (90K 长文时) : 文本前半部分。
* AI近乎100%记住 (无论长度) : 文本开头&文本结尾。
* 越少的上下文=越高的准确性。
* 测试的 API 调用成本约为1016美元。

Greg Kamradt

投稿:@ZaiHuaBot
频道:@TestFlightCN

via 🆕 科技新闻投稿📮 - Telegram Channel
 
 
Back to Top