RTX 5090 云 GPU 基准测试：做 AI 时与 RTX 4090 相比如何

简短回答： 在下面的独立测试中，RTX 5090 生成 LLM token 的速度约为 RTX 4090 的 1.3 到 1.6 倍。在相同精度下，它跑 SDXL 和 FLUX.1 的速度约为 1.3 到 1.6 倍。它读取提示词（prefill）的速度大致相同，在一项测试中还更慢。它有 32 GB 显存，4090 则是 24 GB。我们没有找到独立的、条件一致的视频生成对比，所以本页不对 5090 的视频速度下结论，而是给出我们自己在 RTX 4090 上实测的 Wan 2.2 耗时。

下面每个数字要么取自旁边注明的来源，要么是我们于 2026-11-04 在一台 CloudGPU RTX 4090 实例上实测所得。倍数一栏是我们根据这些公开数字算出来的。

规格

RTX 4090 RTX 5090
显存 24 GB GDDR6X 32 GB GDDR7
显存带宽 1,008 GB/s 1,792 GB/s
张量核心支持的精度下限 FP8 FP4

来源：NVIDIA 产品页面。显存带宽更高，主要帮助每一步都要读取全部权重的负载，例如 LLM token 生成。

图像生成（SDXL、SD 1.5、FLUX.1）

测试 设置 RTX 4090 RTX 5090 5090 对比 4090 来源
SDXL FP16，UL Procyon 1024×1024，100 步，batch 1 7.461 秒/张 5.223 秒/张 1.43× StorageReview，2025-01-23
SD 1.5 FP16，UL Procyon 512×512，100 步，batch 4 1.188 秒/张 0.763 秒/张 1.56× StorageReview，2025-01-23
SD 1.5 INT8，UL Procyon 512×512，100 步，batch 4 0.503 秒/张 0.394 秒/张 1.28× StorageReview，2025-01-23
SDXL Base 1.0，SD.Next 512×512，50 步，batch 16 67.19 it/s 85.75 it/s 1.28× Puget Systems，2025-02-21
SDXL Base 1.0，SD.Next 512×512，50 步，batch 1 16.78 it/s 16.16 it/s 0.96× Puget Systems，2025-02-21
FLUX.1-dev，TensorRT，两张卡均为 FP8 30 步（未注明分辨率） 10,620 ms 6,681 ms 1.59× NVIDIA Technical Blog，2025-05-14
FLUX.1-dev，TensorRT，5090 用 FP4，4090 用 FP8 30 步（未注明分辨率） 10,620 ms 3,853 ms 2.76× NVIDIA Technical Blog，2025-05-14

说明：

  • 小 batch 的 SDXL 结果中 5090 略慢，Puget Systems 将其归因于 CPU 瓶颈。单张小图不足以让任何一张卡满负荷运行。
  • FLUX.1 的 2.76× 是 5090 用 FP4 与 4090 用 FP8 相比。4090 没有 FP4 路径，所以这部分提升有一部分来自更低的精度，而不只是卡本身。在相同的 FP8 精度下，这个数字是 1.59×。

LLM 推理

测试 设置 RTX 4090 RTX 5090 5090 对比 4090 来源
Token 生成，llama.cpp b4493 Phi-3-mini-4k-instruct Q4_K_M 245 tok/s 316 tok/s 1.29× Puget Systems，2025-02-21
提示词处理，llama.cpp b4493 Phi-3-mini-4k-instruct Q4_K_M 13,697 tok/s 9,967 tok/s 0.73× Puget Systems，2025-02-21
UL Procyon AI Text Generation，Mistral TensorRT 183.3 tok/s 255.9 tok/s 1.40× StorageReview，2025-01-23
UL Procyon AI Text Generation，Llama 3 TensorRT 150.0 tok/s 214.3 tok/s 1.43× StorageReview，2025-01-23
UL Procyon AI Text Generation，Llama 2 TensorRT 92.9 tok/s 134.5 tok/s 1.45× StorageReview，2025-01-23
Token 生成（tg128，开启 flash attention），llama-bench Llama 2 7B Q4_0 188.96 tok/s 300.40 tok/s 1.59× llama.cpp CUDA 排行榜，社区结果*
提示词处理（pp512，开启 flash attention），llama-bench Llama 2 7B Q4_0 14,770.63 tok/s 14,970.15 tok/s 1.01× llama.cpp CUDA 排行榜，社区结果*

* 排行榜中的数据由不同用户在不同机器和不同 llama.cpp 版本上提交，只能作为参考，不是受控测试。

5090 的提升主要体现在 token 生成上，这与它更高的显存带宽相符。提示词处理的提升很小。在 Puget 2025 年初的 llama.cpp 测试中，5090 在这一项上还更慢，更新的版本可能会改变这个结果。我们没有找到这两张卡之间独立的 vLLM 对比。

视频生成：我们在 RTX 4090 上的实测

我们没有找到这两张卡之间独立的、条件一致的 Wan 或 HunyuanVideo 对比，所以不给出 5090 的视频提速倍数。我们能给出的，是自己在一台 RTX 4090 实例上测得的结果。

模型（ComfyUI） 输出 设置 每段耗时 显存峰值
Wan 2.2 TI2V-5B，FP16 权重 1280×704，121 帧（24 fps 下 5 秒） 文生视频，20 步，uni_pc，CFG 5 首次运行 175 秒，第二次运行 169 秒 21.7 GB
Wan 2.2 T2V-A14B，FP8 scaled 权重（高噪声和低噪声专家） 832×480，81 帧（16 fps 下 5 秒） 文生视频，20 步（每个专家 10 步），euler，CFG 3.5 首次运行 361 秒，第二次运行 354 秒 21.0 GB

测量方法：

  • CloudGPU 上的一张 RTX 4090 24 GB，驱动 580.105.08，PyTorch 2.14.1 配 CUDA 13.0，使用 ComfyUI 原生节点，测量日期 2026-11-04。
  • 文本编码器为 umt5_xxl_fp8_e4m3fn_scaled，使用 ComfyUI 默认的显存管理，没有加 TeaCache 或 Sage Attention 等额外的加速节点。
  • 每段耗时是从提交提示词到生成完 MP4 的实际耗时。
  • 首次运行是加载模型后的第一次生成。第二次运行换了新的 seed，模型已在显存中。
  • 不含模型下载和安装时间。

按当前价格，一段约 3 分钟的 5B 视频大约花费 $0.019 的 RTX 4090 时长。一段约 6 分钟的 14B 视频大约花费 $0.039。RTX 4090 的价格是 $0.39/小时，RTX 5090 的价格是 $0.69/小时（价格截至 2026-11-07 18:11 (UTC+8)，实时价格见 /pricing）。

两个工作流的显存峰值都在 21 GB 左右，接近 4090 的 24 GB。5090 多出的 8 GB 可以用来生成更长的视频、更高的分辨率，或者把更多模型留在卡上而不是卸载出去。

该租哪一张？

  • LLM 服务和对话，看重 token 生成速度： 在上面每一项 token 生成测试中，5090 都更快。它的 32 GB 也能放下更大的量化模型或更长的上下文。
  • 批量图像生成： 在上面的测试中，5090 的速度是 4090 的 1.3 到 1.6 倍。单张小图时两张卡大致相同。
  • 在 ComfyUI 中生成 Wan 2.2 视频： 在我们的测试中，4090 跑通了 5B 和 14B FP8 两个工作流，耗时见上文。如果你的视频需要超过 24 GB，就租 5090、48 GB 或 80 GB 的卡。
  • 以提示词为主的任务（长文档、RAG）： 两张卡的 prefill 速度相近，所以请比较 /pricing 上的价格。

按分钟计费，1 分钟起，所以你可以在两张卡上跑同一个任务，留下更快的那张。现在能开哪些卡，见 /deploy。

如果在 5090 上运行 PyTorch 时报错 “no kernel image is available”，请参阅如何修复 RTX 5090 上的 CUDA “no kernel image” 错误（英文）。5090 需要 CUDA 12.8 或更高版本。

常见问题

做 AI 时 RTX 5090 比 RTX 4090 快吗？

在 LLM token 生成和批量图像生成上，是的。公开测试显示速度约为 1.3 到 1.6 倍。在 LLM 提示词处理和单张小图上，公开结果大致相当，在部分测试中 5090 还更慢。

RTX 5090 生成 Wan 视频更快吗？

我们没有找到独立的、条件一致的测试，所以不给出数字。在 ComfyUI 中，我们在 RTX 4090 上测得：每段 5 秒 720p 的 Wan 2.2 TI2V-5B 视频耗时 169–175 秒，每段 5 秒 480p 的 Wan 2.2 14B FP8 视频耗时 354–361 秒。

Wan 2.2 14B 能在 24 GB 的 RTX 4090 上运行吗？

在我们的测试中，用 ComfyUI 加 FP8 scaled 权重，832×480、81 帧，可以运行，显存峰值 21.0 GB。官方 Wan2.2 脚本对 14B 模型要求 80 GB。

RTX 5090 有多少显存？

32 GB GDDR7，RTX 4090 则是 24 GB GDDR6X。

RTX 5090 需要特殊的 PyTorch 版本吗？

需要。你需要面向 CUDA 12.8 或更高版本构建的 PyTorch，因为更早的版本没有适用于 5090 架构的内核。

来源