租 GPU 选 RTX 4090、RTX 5090 还是 A100:按任务选卡

一句话:先看显存,再看带宽,最后看价格。 24 GB 的 RTX 4090 适合 7B–14B 推理、SDXL / FLUX FP8 和 14B 以内的 QLoRA;32 GB 的 RTX 5090 适合 4 位量化的 32B 模型并留足上下文,也能跑 FP16 的 FLUX;48 GB 的 RTX 4090 48G 能单卡跑 4 位 70B(短上下文)和 32B QLoRA;80 GB 的 A100 / A800 用于长上下文 70B、gpt-oss-120b 和 70B QLoRA。这些卡在 CloudGPU 上都按分钟计费,启动约 2 分钟。

规格与价格对照

架构、显存、FP16 TFLOPS、显存带宽取自官网 /zh/pricing 页公布的数据;价格为 2026-10-23 23:58(北京时间)/gpu-prices.json 挂牌价。库存一天内会变,能否开出以 /deploy 页面实时库存为准。

卡型 架构 显存 FP16 TFLOPS 显存带宽 挂牌 $/h 每 GB·小时 $
RTX 3090 24G Ampere 24 GB 71 936 GB/s 0.21 0.0088
RTX 4090 24G Ada 24 GB 165 1,008 GB/s 0.33 0.0138
RTX 5090 32G Blackwell 32 GB 209 1,792 GB/s 0.59 0.0184
RTX 4090 48G Ada 48 GB 165 1,008 GB/s 0.65 0.0135
A800 80G Ampere 80 GB 312 2,039 GB/s 1.09 0.0136
A100 80G Ampere 80 GB 312 1,935 GB/s 1.49 0.0186
H20 96G Hopper 96 GB 148 4,000 GB/s 1.29 0.0134

「每 GB·小时」= 小时价 ÷ 显存,反映的是显存的单价,不代表速度。

每张卡适合干什么

RTX 4090(24 GB)

  • 放得下: Q4 量化的 7B–14B(长上下文)、FP16 的 8B(偏紧)、SDXL、FP8 的 FLUX.1、7B–14B 的 QLoRA。
  • 局限: 32B 的 Q4 能跑,但只剩约 8k 上下文;FLUX FP16 再加 LoRA 等就放不下。
  • 提示: RTX 4090D 是中国市场版本,同样 24 GB,CUDA 核心约少 10%。

RTX 5090(32 GB)

  • 放得下: Q4 的 32B 模型(Qwen3 32B、DeepSeek-R1-Distill-Qwen-32B、QwQ)并带 16k–32k 上下文,FP16 的 FLUX.1 dev,更快的 7B–14B 服务。
  • 意义: 从 24 GB 到 32 GB,把「32B 勉强塞下」变成「32B 用得舒服」;带宽 1,792 GB/s,接近 A100。
  • 局限: 单卡放不下 70B。Blackwell 需要较新的 CUDA / PyTorch 版本,装框架前先看 nvidia-smi。

RTX 4090 48G(48 GB)

  • 放得下: Q4 的 Llama 3.3 70B / Qwen2.5 72B(短上下文,约 8k)、Q8 的 32B、32B 的 QLoRA、8B 的 16 位 LoRA。
  • 取舍: 算力和带宽与 24 GB 版 4090 相同,多花的钱买的是容量,不是速度。

A100 80G / A800 80G(80 GB)

  • 放得下: Q4 的 70B 并带 32k 上下文、原生 MXFP4 的 gpt-oss-120b(约 63 GB)、70B 的 QLoRA、更大的批量服务。
  • 提示: A800 是 A100 的中国特供版,显存相同;两者在部署页上都看一下,任一时刻都可能缺货。

按任务选卡

你要做的事 够用的显存档位 部署页上可以看的卡
7B–14B Q4 聊天 / RAG 24 GB RTX 3090、RTX 4090、RTX 4090D
32B Q4 并要 16k 以上上下文 32 GB RTX 5090
FLUX.1 dev FP16,或 FLUX + LoRA + ControlNet 32–48 GB RTX 5090、RTX 4090 48G
32B QLoRA,或 70B Q4 短上下文 48 GB RTX 4090 48G、RTX A6000
70B 长上下文、gpt-oss-120b、70B QLoRA 80 GB A800 80G、A100 80G
70B–120B 需要更多 KV 余量或批量 96 GB H20 96G、RTX PRO 6000 96G

为什么大模型推理要看带宽

单路生成时,每生成一个 token 大致要把全部权重读一遍,所以显存带宽给出了一个理论上限:

单路最大 token/秒 ≈ 显存带宽(GB/s) / 权重大小(GB)

这是理论上限,不是实测;实际吞吐会更低,取决于推理引擎、KV 缓存、批大小和算子实现。以 Q4_K_M 的 Qwen3 32B 为例(权重约 19.5 GB,取自官网 /zh/run):

卡型 带宽 单路理论上限
RTX 4090 / 4090 48G 1,008 GB/s 约 52 token/s
RTX 5090 1,792 GB/s 约 92 token/s
A100 80G 1,935 GB/s 约 99 token/s

这个数字用于卡与卡之间的相对比较,实际请在租到的卡上自己测。训练速度更多取决于算力(TFLOPS),而不是带宽。

三种常见的选错

  1. 只看显存够不够权重,忘了上下文。 权重放下了,但 KV 缓存随上下文线性增长。以 Qwen3 32B 为例,FP16 的 KV 缓存每 1k token 约 0.25 GB,32k 上下文就要约 8 GB。24 GB 卡放 19–20 GB 的 Q4 权重之后,剩下的空间只够约 8k。详细公式见 KV 缓存与上下文显存。
  2. 以为大显存等于更快。 4090 48G 和 24 GB 版 4090 的带宽一样;模型本来就放得下的话,换 48G 不会让生成变快,只会让账单变高。
  3. 训练任务只看带宽。 推理吃带宽,训练更吃算力;做 LoRA / QLoRA 时,FP16 TFLOPS 和显存容量比带宽更值得先看。卡选好之后,先跑几十步测速度,再决定要不要换卡,见 LoRA 微调选卡与成本。

开卡前的检查清单

检查项 怎么做
模型权重多大 查 /zh/run 对应模型页,或看 Hugging Face 上量化文件的大小
需要多长上下文 按 KV 缓存公式算出 GB 数,加到权重上
留多少余量 再留 1–2 GB 给框架与 CUDA 开销(经验假设,按实际调整)
用什么框架 Ollama、vLLM、ComfyUI、LLaMA-Factory 都需要 NVIDIA CUDA 卡;Ascend 910B 只支持 CANN / MindSpore / PyTorch-NPU
预算 用「分钟数 × 小时价 / 60」估算,余额至少留够 1 小时预授权
库存 以 /deploy 页面实时库存为准;首选卡缺货时,选同显存档位或更大一档

一个工作日的成本

按上表挂牌价连续使用 8 小时:RTX 4090 $2.64、RTX 5090 $4.72、RTX 4090 48G $5.20、A800 80G $8.72、A100 80G $11.92。按分钟计费意味着从 GPU 就绪起计费、到销毁实例为止(约 2 分钟的开机过程不计费),两次使用之间请销毁实例。公式见 按分钟计费怎么算。

常见问题

跑大模型推理,RTX 5090 比 RTX 4090 强在哪? 两张卡都放得下的模型,5090 带宽更高(1,792 对 1,008 GB/s),理论上限更高;而且 32 GB 能让 Q4 的 32B 带 16k–32k 上下文,24 GB 的 4090 做不到这么宽裕。

什么时候该租 A100 而不是 RTX 5090? 模型或上下文 32 GB 放不下的时候:长上下文的 70B、gpt-oss-120b、70B QLoRA,或大批量服务。

RTX 4090 48G 比普通 4090 快吗? 不快。芯片和带宽相同,只是显存翻倍,能放下更大的模型和上下文。

现在哪些卡有货? 库存一天内会变,以 /deploy 页面实时库存为准;挂牌价见 /pricing 和 /gpu-prices.json。

这些卡怎么计费? 按分钟,向上取整、最少 1 分钟;运行中预授权 1 小时,销毁后退回未用分钟。

声明:CloudGPU(cloudgpu.app)是独立服务,与模型厂商没有合作、授权或背书关系;GPU 与模型名称归各自所有者。规格取自官网 /pricing;吞吐数字为理论上限,不是实测。价格为 2026-10-23 23:58(北京时间)读取的挂牌价,实时价格与库存以 /deploy 页面为准。

去部署页选卡先估算模型显存