2024-04-10 12:28 北京 《语言模型物理学》放出新篇章，总结出12条语言模型的全新scaling laws 机器之心专栏机器之心编辑部 一个 7B 规模的语言模型 LLM 能存储多少人类知识？如何量化这一数值？训练时间、模型架构的不同将如何影响这一数值？浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾) 又将对 LLM 的知识容量产生何种影响？ 近日，朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学…