一篇最新报道指出,一台使用2.5年、配备64GB内存的MacBook Pro M2笔记本电脑,成功运行了Z.ai公司新发布的GLM-4.5 Air大型语言模型(GLM-4.5 Air)。该模型原始版本拥有1060亿参数,完整大小为205.78GB,但通过Ivan Fioravanti为MLX平台构建的44GB 3比特量化版本,得以在消费级硬件上运行。
作者向该模型输入“编写一个实现《太空入侵者》的HTML和JavaScript页面”的指令后,GLM-4.5 Air成功生成了完整的游戏代码,并且首次运行即无需任何修改。在代码生成过程中,模型峰值内存占用约为47.687 GB,生成速度达到每秒25.564个token。
这一成就凸显了本地运行AI编码模型的巨大进步。过去六个月中,包括GLM-4.5 Air、Mistral 3.2 Small、Gemma 3和Qwen 3在内的多款高质量模型相继问世,使得强大的AI能力已能在普通笔记本电脑上实现,预示着AI在本地设备上的应用潜力正迅速增长。
(HackerNews)
via 茶馆 - Telegram Channel