自托管 LLM 与 API 盈亏平衡计算器
121 个中 100 个与官方页面一致,96 个与 models.dev 一致2026-11-19 01:00 UTC 同步 · 核对方法
租用的 GPU 服务器无论忙闲每小时费用相同;API 只按发送的 Token 计费。输入服务器和负载,查看哪种更便宜,以及每天多少请求起自托管更划算。
API 模型与你的服务器
| 模型 | 提供商 | API | 自托管 | 盈亏平衡 请求/天 |
|---|
服务器费用 = GPU 每小时价格 × GPU 数 × 每天运行小时 × 30。一台服务器每月处理的 Token = 吞吐量 × 运行秒数 × 利用率(输入 + 输出)。盈亏平衡 = API 费用等于一台服务器费用时的每日请求数;— 表示即使服务器满载,API 的每 Token 价格也更低。
估算方法
结果主要取决于输入的吞吐量:请用你的模型、GPU 和推理框架(如 vLLM)在真实提示长度下实测。用利用率为高峰留出余量,并加上服务器价格中不含的运维人力成本。
常见问题
什么时候自托管 LLM 比 API 便宜?
当服务器持续繁忙时。GPU 按小时计费,利用率越高每 Token 成本越低;用量小时便宜的 API 模型几乎总是更划算,很多小型 API 模型的每 Token 价格比任何租用 GPU 都低。
吞吐量应该填多少?
整台服务器在多请求并发时持续达到的每秒总 Token 数(输入 + 输出),用你的模型和提示长度实测。输入 Token 的处理速度远快于输出,因此长提示短回答时数值更高。