搭载 M3 Ultra 的 Mac Studio 在本地运行大规模 DeepSeek R1 AI 模型
根据 Lee 的测试，6710 亿参数的 AI 模型可以直接在苹果高端工作站上执行，但需要大量内存资源，消耗 404GB 存储空间，并需要通过终端命令手动分配 448GB 虚拟内存。M3 Ultra 的统一内存架构是实现这一性能的关键，它允许系统高效处理 DeepSeek R1 的 4 位量化版本。 量化略微降低了准确性，但它保持了所有参数，每秒可提供约 17-18 个标记，足以满足许多实际应用的需要。最令人印象深刻的是，Mac Studio 在实现这一性能的同时，功耗还不到 200 瓦。 而在传统 PC 硬件上实现与之相当的性能则需要多个 GPU，耗电量约为其十倍。在本地运行此类高级人工智能模型的能力为医疗保健数据分析等敏感应用提供了隐私优势，因为在这些应用中，将信息发送到云服务会引发安全问题。不过，这样的性能并不便宜--配置 M3 Ultra 和 512GB 内存的 Mac Studio 起价约为 10000 美元。 如果将 M3 Ultra Mac Studio 的性能发挥到极致，配备 16TB SSD 存储和 32 核 CPU、80 核 GPU 和 32 核神经引擎的 Apple M3 Ultra 芯片的价格将高达 14099 美元。苹果称 M3 Ultra 是其发布的 最快的 Mac 芯片，这要归功于该公司使用"UltraFusion"技术将两个 M3 Max 芯片融合在一起的策略。 这使得该芯片的规格是 M3 Max 的两倍。 ...
PC版：https://www.cnbeta.com.tw/articles/soft/1486118.htm
手机版：https://m.cnbeta.com.tw/view/1486118.htm
via cnBeta.COM中文业界资讯站 - Telegram Channel
根据 Lee 的测试，6710 亿参数的 AI 模型可以直接在苹果高端工作站上执行，但需要大量内存资源，消耗 404GB 存储空间，并需要通过终端命令手动分配 448GB 虚拟内存。M3 Ultra 的统一内存架构是实现这一性能的关键，它允许系统高效处理 DeepSeek R1 的 4 位量化版本。 量化略微降低了准确性，但它保持了所有参数，每秒可提供约 17-18 个标记，足以满足许多实际应用的需要。最令人印象深刻的是，Mac Studio 在实现这一性能的同时，功耗还不到 200 瓦。 而在传统 PC 硬件上实现与之相当的性能则需要多个 GPU，耗电量约为其十倍。在本地运行此类高级人工智能模型的能力为医疗保健数据分析等敏感应用提供了隐私优势，因为在这些应用中，将信息发送到云服务会引发安全问题。不过，这样的性能并不便宜--配置 M3 Ultra 和 512GB 内存的 Mac Studio 起价约为 10000 美元。 如果将 M3 Ultra Mac Studio 的性能发挥到极致，配备 16TB SSD 存储和 32 核 CPU、80 核 GPU 和 32 核神经引擎的 Apple M3 Ultra 芯片的价格将高达 14099 美元。苹果称 M3 Ultra 是其发布的 最快的 Mac 芯片，这要归功于该公司使用"UltraFusion"技术将两个 M3 Max 芯片融合在一起的策略。 这使得该芯片的规格是 M3 Max 的两倍。 ...
PC版：https://www.cnbeta.com.tw/articles/soft/1486118.htm
手机版：https://m.cnbeta.com.tw/view/1486118.htm
cnBeta.COM
搭载M3 Ultra的Mac Studio在本地运行大规模DeepSeek R1 AI模型 - Apple Mac - cnBeta.COM
YouTuberDaveLee演示了配备M3Ultra芯片的苹果新MacStudio如何在本地高效运行庞大版本的DeepSeekR1AI模型，前提是用户为机器配备最大512GB内存。
via cnBeta.COM中文业界资讯站 - Telegram Channel
