跑 32B 模型选 4090 还是 5090?Qwen3 32B / DeepSeek-R1 32B / QwQ 在 24、32、48 GB 卡上的显存与每小时成本(2026)

32B 模型 Q4_K_M 权重 19 到 20 GB:24 GB 的 RTX 4090 放得下但只剩 8k 上下文;32 GB 的 RTX 5090($0.59/h)能带 16k 到 32k,是推荐卡;48 GB 的 A6000 / 4090 48G 能上 Q8。附 Ollama 一条命令开机、每小时和每天的成本。价格 2026 年 9 月 15 日。

CloudGPU Team··Updated October 3, 2026·6 min read
跑 32B 模型选 4090 还是 5090?Qwen3 32B / DeepSeek-R1 32B / QwQ 在 24、32、48 GB 卡上的显存与每小时成本(2026)

32B 是现在单卡能跑的最大一档开源模型:Qwen3 32B、DeepSeek-R1-Distill-Qwen-32B、QwQ 32B 都在这一档,能力明显高于 14B,又不像 70B 那样必须上数据中心卡。问题只有一个:选 24 GB 的 4090 还是 32 GB 的 5090。这篇用显存数字和每小时价格把它算清楚。

显存数据 2026 年 9 月 8 日核对,价格 2026 年 9 月 15 日读自 cloudgpu.app 定价页,和账单扣的是同一个数。

32B 模型到底占多少显存

三个模型同一架构(Qwen2.5 / Qwen3 32B 的 64 层、GQA 8 组 KV 头),显存数字一样:

精度 权重大小 说明
FP16 约 64 GB 全精度,只有 80 GB 卡放得下
Q8_0 约 34 GB 几乎无损,48 GB 卡
Q4_K_M 19 到 20 GB 日常使用的默认量化,质量损失很小

权重之外还有 KV 缓存,随上下文长度线性增长。这一档模型 GQA 之后每 1k token 约 0.25 GB:

上下文 KV 缓存 Q4_K_M 合计
8k 约 2 GB 约 22 GB
16k 约 4 GB 约 24 GB
32k 约 8 GB 约 28 GB

再留 1 到 2 GB 给 CUDA 上下文和激活值。于是三档卡的结论一目了然。

24 GB:能跑,但显存紧张

RTX 4090 24 GB($0.33/h)、RTX 3090 24 GB($0.21/h):Q4_K_M 加 8k 上下文刚好塞满,没有余量。

  • 短问答、翻译、单轮代码补全:可以。
  • 代码助手接 Cursor / Continue(一次塞几个文件,上下文很快过 8k):会被截断,或 Ollama 把一部分层挪到内存,速度掉到个位数 token/s。
  • QwQ 32B:它一次推理链就能写几千 token,8k 上下文很快用完,不建议。

如果预算只有 4090 这个档,退一步跑 Qwen3 14B(Q4 约 9 GB,32k 上下文很宽裕)通常比硬塞 32B 体验好。

32 GB:推荐卡

RTX 5090 32 GB($0.59/h):Q4_K_M 带 16k 到 32k 上下文有余量,是这一档模型的甜点。Ollama 下 Qwen3 32B 生成约 30 到 40 token/s,比 4090 快,一是显存带宽高(1.8 TB/s 对 1 TB/s),二是不用把层挪到内存。

一天的账:工作 8 小时约 $4.72,24 小时不停约 $14。按分钟计费,停机时未用的分钟退回,只在用的时候开着是最省的用法;开机约 100 秒,模型权重供应商机房到镜像站 100 到 200 MB/s,20 GB 大约两三分钟。

48 GB 和 80 GB:什么时候值得

卡 每小时 适合
RTX A6000 48 GB $0.44 Q8 量化(约 34 GB)加 16k 上下文,或 Q4 带 64k 以上上下文
RTX 4090 48 GB $0.65 同上,速度更快
A800 80 GB $1.09 FP16 全精度,或 Q4 多人并发(vLLM 批处理)
A100 80 GB $1.49 同上;数据中心卡在 cloudgpu.app 上不便宜,比 RunPod 社区档贵

A6000 每小时 $0.44 比 5090 还便宜,值得注意:它显存大但带宽低(768 GB/s),生成速度约为 5090 的一半。要上下文长度选 A6000,要速度选 5090。

三个模型各选什么

模型 模板 推荐卡 说明
Qwen3 32B Ollama + Qwen3,ollama pull qwen3:32b RTX 5090 通用聊天、代码、多语言
DeepSeek-R1-Distill-Qwen-32B DeepSeek-R1 32B(预装) RTX 5090 思维链推理,输出长,上下文要留够
QwQ 32B Ollama,ollama pull qwq:32b RTX 5090 或 A6000 推理链最长,24 GB 基本不可用

每个模型在五个显存档上的完整判定(含 gpt-oss、Llama 3.3 70B、FLUX)在 /zh/run:Qwen3 32B、DeepSeek-R1-Distill-Qwen-32B、QwQ 32B。

开机:一条命令

  1. 部署页选 Ollama + Qwen3 模板(或 DeepSeek-R1 32B),选 RTX 5090,点 Deploy。约 100 秒后实例就绪,面板上有一个 https://<随机 id>-i.cloudgpu.app 的公网端点。
  2. 面板终端或 SSH 里:
ollama pull qwen3:32b
  1. 从任何地方调用:
curl https://<随机 id>-i.cloudgpu.app/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3:32b","messages":[{"role":"user","content":"用三句话解释 KV 缓存"}]}'

Cursor / Continue 里把 OpenAI base URL 填成 https://<随机 id>-i.cloudgpu.app/v1 即可。端点没有鉴权,地址本身就是密钥,不要提交到公开仓库;需要 API key 用 vLLM 自己起。

付款与开始

注册只要邮箱或 Google 账号。付款用支付宝、Google Pay、Apple Pay、银行卡(Visa / Mastercard,$5 起,同一个收银台)或 USDT(TRC-20)。首次充值满 $10 送 $5,充 $10 到账 $15,够 5090 跑 25 小时。服务不面向中国大陆居民。

价格随库存变,以 /zh/pricing 上带日期的数字为准;和 RunPod / Lambda 的当日对照在 /zh/compare。

Try cloudgpu.app — no credit card required

No credit card required. Per-minute billing, deploy in 60 seconds.