人工智能模型的开发成本正在迅速下降,这主要归功于“模型蒸馏”技术。该技术允许小型“学生”模型模仿大型“教师”模型,从而以较低成本获得高性能。例如:
* DeepSeek:据传,该公司以约500万美元的成本训练出一个可与OpenAI竞争的模型。
* 加州大学伯克利分校:研究团队用不到1000美元的算力成本训练出两个新模型。
* 斯坦福大学、华盛顿大学和艾伦人工智能研究所:研究人员以更低成本训练出一个可用的推理模型。
蒸馏技术并非全新,但开源模型的数量和质量的提升使其威力大增。这项技术降低了AI开发的门槛,但也对依赖专有大模型的公司(如OpenAI和Anthropic)构成威胁。专家预测,基础模型可能会趋于同质化,大模型公司可能需要通过打造受欢迎的产品或采取更激进的策略(如隐藏推理步骤)来应对。
(IT业界资讯)
via 茶馆 - Telegram Channel