Lemonade SDK：轻松运行、基准测试和部署大语言模型（LLM）的高效工具。

支持多种硬件加速，包括GPU和NPU，大幅提升模型运行速度；提供本地LLM服务器，兼容OpenAI API标准，快速集成到各类应用；高级Python API和CLI工具，方便模型测试与性能优化

via 黑洞资源笔记 - Telegram Channel