ChatGPT / AI新闻聚合
11:15 · 2024年4月6日 · 周六
Octopus-v2:可以在移动设备上运行的2B LLMs ,性能优于 GPT-4
via
XiaoHu.AI学院
(author: 小互)
Telegraph
Octopus-v2:可以在移动设备上运行的2B LLMs ,性能优于 GPT-4
Octopus-V2-2B是由斯坦福大学Nexa AI开发的一种先进的开源大型语言模型,具有20亿参数,专为Android API的功能调用定制。与需要详细描述潜在函数参数的检索增强生成(RAG)方法不同,Octopus-V2-2B采用了一种独特的功能性标记(functional tokens)策略,用于其训练和推理阶段。这种方法不仅使其达到了与GPT-4相当的性能水平,还大幅提高了推理速度,超越了基于RAG的方法,特别适用于边缘计算设备。 它能够在设备上直接运行,支持广泛的应用场景,从而推动Andro…
Home
Tags
Powered by
BroadcastChannel
&
Sepia