💔 耗资3000美元的树莓派AI集群：性能不佳，作者表示后悔

一位技术爱好者耗时两年，投入约3000美元（含运费）构建了一个由10个树莓派CM5 16GB模块组成的AI集群，总计160GB内存。然而，经过一系列测试和多次重建（包括更换不可靠的SSD、解决散热问题），作者表示对该项目感到后悔，认为其性能和性价比远低于预期。

主要发现：

* 构建挑战： 集群的构建过程充满挑战，包括最初使用的NVMe SSDs不可靠、CM5模块在高负载下节流以及散热器固定问题。
* HPC性能： 经过散热优化后，该集群在高性能Linpack测试中达到325 Gflops，功耗约130W，比单个8GB CM5提升了10倍。然而，与一个8000美元的Framework集群相比，其速度慢了4倍，尽管在每瓦特Gflops方面略微更节能，但对于HPC应用而言，成本效益较低。
* AI性能： 由于树莓派5的iGPU目前无法通过Vulkan加速AI推理，集群只能依赖CPU进行计算。在运行Llama 3.3:70B大型模型时，通过llama.cpp RPC仅能达到0.28 tokens/秒（比Framework集群慢25倍），而使用distributed-llama也仅能达到0.85 tokens/秒（比Framework集群慢5倍）。
* 结论与小众应用： 作者认为，对于大多数AI和HPC应用而言，这个集群并非理想选择，性价比不高。然而，其高效、安静和紧凑的特点，使其在需要高节点密度或物理隔离节点的特定小众场景中仍有价值，例如持续集成（CI）任务或高安全性边缘部署（如Unredacted Labs用于构建Tor出口中继）。

(HackerNews)

via 茶馆 - Telegram Channel