自托管 LLM 与 API 盈亏平衡计算器

121 个中 100 个与官方页面一致,96 个与 models.dev 一致2026-11-19 01:00 UTC 同步 · 核对方法

租用的 GPU 服务器无论忙闲每小时费用相同;API 只按发送的 Token 计费。输入服务器和负载,查看哪种更便宜,以及每天多少请求起自托管更划算。

API 模型与你的服务器

API 模型与你的服务器
模型提供商 API自托管盈亏平衡 请求/天

服务器费用 = GPU 每小时价格 × GPU 数 × 每天运行小时 × 30。一台服务器每月处理的 Token = 吞吐量 × 运行秒数 × 利用率(输入 + 输出)。盈亏平衡 = API 费用等于一台服务器费用时的每日请求数;— 表示即使服务器满载,API 的每 Token 价格也更低。

估算方法

结果主要取决于输入的吞吐量:请用你的模型、GPU 和推理框架(如 vLLM)在真实提示长度下实测。用利用率为高峰留出余量,并加上服务器价格中不含的运维人力成本。

常见问题

什么时候自托管 LLM 比 API 便宜?

当服务器持续繁忙时。GPU 按小时计费,利用率越高每 Token 成本越低;用量小时便宜的 API 模型几乎总是更划算,很多小型 API 模型的每 Token 价格比任何租用 GPU 都低。

吞吐量应该填多少?

整台服务器在多请求并发时持续达到的每秒总 Token 数(输入 + 输出),用你的模型和提示长度实测。输入 Token 的处理速度远快于输出,因此长提示短回答时数值更高。