🤖 自托管 Llama-3：与 ChatGPT 成本比较

在 AWS EKS 上自托管 Llama-3 8B-Instruct 模型的成本明显高于使用 ChatGPT 3.5 Turbo。虽然 ChatGPT 每百万个 token 收费 1 美元，但在 EKS 上自托管的成本为每百万个 token 17 美元。

然而，自托管硬件本身可以大幅降低成本。使用 4 个 NVIDIA Tesla T4 GPU，每百万个 token 的成本降至 0.01 美元，远低于 ChatGPT。虽然初始硬件成本为 3800 美元，大约需要 5.5 年才能收回成本，但这种方法可以提供长期的成本节约。

需要注意的是，这些计算假设 100% 的利用率，这在实际中是不现实的。实际的成本节约将取决于 LLM 使用的频率。

(HackerNews)

via 老裕泰 - Telegram Channel