Apple云端大模型取得了超过 GPT-4 的成绩

Apple大模型的报告也已出炉，披露了大量技术细节。报告显示，在指令遵循、文本总结等任务上，苹果云端大模型取得了超过 GPT-4 的成绩。

苹果进行了 IFEval 测试，结果在指令和 prompt 两个层次上，云侧 AFM 都超过了 GPT-4，成为了新的 SOTA。端侧模型的表现，也超过了 Llama 3-8B、Mistral-7B 等近似规模的模型。在 AlpacaEval 当中，端侧和云侧 AFM 也都取得了第二名的成绩。

模型的训练通过自家基于 JAX 的 AXLearn 框架进行，并采用了张量并行、流水并行等策略。

数据则主要来源于通过 Applebot 爬取的网页，以及有公共许可的代码和数学数据集。值得一提的是，苹果选用的数据集中无一使用 GPL。

Apple

☘️ 关注频道 @ZaiHuaPd
📮 投稿爆料 @ZaiHuabot

via 软件新闻频道📮投稿爆料 - Telegram Channel