租 GPU 自建大模型还是按 token 调 API?盈亏平衡公式与实算(2026)
租 GPU 自建什么时候比按 token 调 API 划算?给出盈亏平衡公式、Qwen3 32B 在 32 GB 卡上的实算、利用率影响和可直接运行的脚本。
只有让 GPU 一直有活干,租 GPU 自建才比按 token 调 API 便宜:盈亏平衡点 = GPU 每小时价格 ÷ API 每 token 价格,也就是你每小时必须真正处理的 token 数。 低于这个吞吐,API 更划算;高于它,GPU 更划算。本文给出公式、一个开源 32B 模型在单张 32 GB 卡上的实算,以及一段可以填入自己实测数据的脚本。
公式
API 每小时成本 = (每小时输入 token × 输入单价 + 每小时输出 token × 输出单价) / 1,000,000
GPU 每小时成本 = GPU 小时价 # 不管忙闲都要付
盈亏平衡 token/小时 = GPU 小时价 / 混合每 token 单价
混合每 token 单价 = (r × 输入单价 + 输出单价) / ((r + 1) × 1,000,000) # r = 输入:输出 比例
再按利用率修正:如果你租的时间里 GPU 只有 40% 在干活,忙时所需吞吐 = 盈亏平衡值 ÷ 0.4。
实算:Qwen3 32B(4 位)跑在 RTX 5090 32G 上
Qwen3 32B 是开源权重模型(Apache-2.0),CloudGPU 的 API 上没有提供,所以在这里要用就得自建。我们用 4 位 AWQ 版本,因为它装得下 32 GB 显存。
模型体积(估算)。 Hugging Face 上 Qwen/Qwen3-32B 的元数据为 32,762,123,264 个参数。Qwen/Qwen3-32B-AWQ 中 312.1 亿个参数以 4 位存储,15.6 亿个保持 BF16:
312.1 亿 × 0.5 字节 ≈ 15.6 GB (4 位权重)
15.6 亿 × 2 字节 ≈ 3.1 GB (BF16:词嵌入、归一化层、输出层)
AWQ 缩放/零点,分组 128 ≈ 0.6 GB
合计 ≈ 19.3 GB (仓库文件合计 19.33 GB)
FP8 版本(Qwen/Qwen3-32B-FP8,文件约 34.3 GB)32 GB 显存装不下,需要 RTX 4090 48G 这类 48 GB 卡。以上数字读取自 Hugging Face API,2026-10-23 21:12(北京时间);另见 Qwen3 32B 显存。
上下文余量(估算)。 KV 缓存用 FP16 时,Qwen3 32B 每个 token 占 2 × 64 层 × 8 个 KV 头 × 128 × 2 字节 = 262,144 字节(约 0.26 MB):8k token 约 2.1 GB,32k 约 8.6 GB。权重占去约 19.3 GB 后,32 GB 卡还剩约 12.7 GB 给 KV 缓存和运行开销,也就是所有并发请求合计最多约 4.8 万个缓存 token,扣除运行开销后更少。
输入数据(2026-10-23 21:13 北京时间):
| 项目 | 数值 | 来源 |
|---|---|---|
| RTX 5090 32G 挂牌价 | 每小时 $0.59,按分钟计费 | /gpu-prices.json |
| 同一余额下的按 token 参考价 | glm-5.3-flash 输入 $0.16 / 输出 $0.55;gpt-oss-120b $0.135 / $0.54;deepseek-v4-flash $0.27 / $1.08(每百万 token) | /zh/api |
自建一个 token 要多少钱。 每小时固定 $0.59,每百万 token 的成本只取决于你能持续跑出的吞吐。下表的吞吐是代入公式的假设值,不是实测:
| 持续吞吐(所有请求合计,输入 + 输出) | 每小时 token | 每百万 token 成本 |
|---|---|---|
| 100 token/秒 | 36 万 | 约 $1.64 |
| 250 token/秒 | 90 万 | 约 $0.66 |
| 500 token/秒 | 180 万 | 约 $0.33 |
| 1,000 token/秒 | 360 万 | 约 $0.16 |
与按 token 价格的盈亏平衡(输入:输出 = 3:1):
| 按 token 参考 | 混合单价 | 每小时盈亏平衡 | 所需吞吐(利用率 100% / 50%) |
|---|---|---|---|
| glm-5.3-flash | 每百万 $0.2575 | 约 229 万 token/小时 | 约 636 / 1,273 token/秒 |
| gpt-oss-120b | 每百万 $0.236 | 约 250 万 token/小时 | 约 694 / 1,387 token/秒 |
| deepseek-v4-flash | 每百万 $0.4725 | 约 125 万 token/小时 | 约 347 / 694 token/秒 |
这些模型和 Qwen3 32B 不是同一个模型,表格只比成本:先按效果选模型,再用这笔账。怎么理解:在一张卡上,你需要在付费的每一个小时里,把所有并发请求加总后持续跑出每秒几百个 token。这需要批处理和稳定的流量,而且必须在租到的卡上用基准测试验证。如果流量起伏大或量不大,按 token 调 API 通常花得更少。
本文不提供这张卡的实测每秒 token 数,请用你自己的提示长度和并发去测。
即便如此,租 GPU 仍然合适的情况
单价不是租卡的唯一理由:
| 情况 | 为什么适合租 GPU |
|---|---|
| 模型没有 API 可调(如 CloudGPU 上的 Qwen3 32B、社区微调版、你自己的 LoRA) | 根本没有按 token 的选项可比 |
| 负载稳定的大批量任务(离线评测、合成数据、向量化、批量转写) | 利用率高、跑完即销毁 |
| 需要定制推理:挂 LoRA 适配器、约束解码、特定量化 | 整个推理栈由你掌控 |
| 需要带自定义节点的图像流水线(ComfyUI) | API 只提供固定模型 |
API 更合适的情况
| 情况 | 原因 |
|---|---|
| 流量起伏大或量小 | 你会为 GPU 空转的小时付费 |
| 模型大到单张租用卡放不下(如 DeepSeek V4、Kimi K3) | 自建所需显存远超单张卡 |
| 现在就要用,不想做运维 | 不用开机、下载、监控 |
| 需要闭源前沿模型 | 只能通过 API 使用 |
最后一种情况,同一个 CloudGPU 余额也能付 API:包括 Claude 在内,每个模型的每百万 token 价格都在 API 页。
一直开着的 GPU 要花多少
如果为了对外服务让卡 7×24 小时运行,账单与 token 数无关,是固定的(2026-10-23 21:13 北京时间挂牌价):
| 卡型 | 每天(24 小时) | 每 30 天 |
|---|---|---|
| RTX 4090 24G($0.33/h) | $7.92 | $237.60 |
| RTX 5090 32G($0.59/h) | $14.16 | $424.80 |
| RTX 4090 48G($0.65/h) | $15.60 | $468.00 |
| A800 80G($1.09/h) | $26.16 | $784.80 |
| A100 80G($1.49/h) | $35.76 | $1,072.80 |
「固定成本」不等于「无限输出」:卡的吞吐决定了你最多能服务多少 token。另外要为重启留预算——销毁实例会删除磁盘,重新部署要重新下载权重。价格一天内会变,以 /deploy 页面为准。
填入你自己数字的脚本
def break_even(gpu_price_h, in_price_m, out_price_m, in_out_ratio=3.0, utilisation=1.0):
blended = (in_out_ratio * in_price_m + out_price_m) / (in_out_ratio + 1) / 1e6 # 每 token 美元
tokens_per_hour = gpu_price_h / blended
return tokens_per_hour, tokens_per_hour / 3600 / utilisation # token/小时、忙时 token/秒
def monthly(gpu_price_h, hours_per_day=24, days=30):
return gpu_price_h * hours_per_day * days
def cost_per_million(gpu_price_h, tokens_per_second):
return gpu_price_h / (tokens_per_second * 3600 / 1e6) # 每百万 token 美元
# Qwen3 32B AWQ:RTX 5090 32G $0.59/h 对比按 token 参考价 输入 $0.16 / 输出 $0.55(2026-10-23 21:13)
tph, tps = break_even(0.59, 0.16, 0.55, in_out_ratio=3, utilisation=0.5)
print(f"盈亏平衡:{tph/1e6:.2f}M token/小时,忙时 {tps:.0f} token/秒")
print(f"500 token/秒 时自建成本:每百万 token ${cost_per_million(0.59, 500):.2f}")
print(f"RTX 5090 32G 连开 30 天:${monthly(0.59):.2f}")
决策当天,请把价格换成 /zh/pricing 和 /zh/api 上的实时值,把利用率和输入输出比例换成你日志里的真实数据。
常见问题
租 GPU 自建大模型比调 API 便宜吗? 只有 GPU 足够忙的时候才便宜。用 GPU 小时价除以 API 的混合每 token 单价,如果你实测的持续吞吐高于这个数,自建更便宜。
GPU 租用和 API 的盈亏平衡怎么算? 盈亏平衡 token/小时 = GPU 小时价 ÷ API 混合每 token 单价,混合单价按你的输入输出比例加权;再除以利用率,得到忙时需要的吞吐。
利用率要多高自建才划算? 取决于模型和卡型。先用公式算出盈亏平衡,再和你在真实并发下测到的吞吐对比。
API 单价更低,为什么还要租 GPU? 模型没有 API、要用微调版或 LoRA 适配器、要定制推理栈、要跑 ComfyUI 流水线,或者有能把卡跑满的稳定批量任务。
GPU 和 API 能用同一个余额吗? 可以。同一笔预付余额既付按分钟的 GPU 租用,也付按 token 的 API 调用。
盈亏平衡数字是基于挂牌价的算术结果,不是性能实测。价格读取于 2026-10-23 21:13(北京时间);模型体积为根据 Hugging Face 元数据(21:12 读取)的估算;实时价格以 /deploy 和 /zh/api 为准。