RTX 5090 cloud GPU बेंचमार्क: AI के लिए RTX 4090 के मुकाबले यह कैसा है

संक्षेप में: नीचे दिए गए स्वतंत्र टेस्ट में RTX 5090, RTX 4090 के मुकाबले LLM tokens लगभग 1.3 से 1.6 गुना तेज़ी से जनरेट करता है। समान precision पर यह SDXL और FLUX.1 को लगभग 1.3 से 1.6 गुना तेज़ चलाता है। Prompts पढ़ने (prefill) में इसकी स्पीड लगभग बराबर है, और एक टेस्ट में यह धीमा रहा। इसमें 4090 के 24 GB के मुकाबले 32 GB VRAM भी है। हमें वीडियो जनरेशन की कोई स्वतंत्र, एक-जैसी शर्तों वाली तुलना नहीं मिली, इसलिए यह पेज 5090 की वीडियो स्पीड के बारे में कोई दावा नहीं करता। इसके बजाय यह RTX 4090 पर Wan 2.2 के वे समय देता है जो हमने खुद मापे।

नीचे हर आंकड़ा या तो उसके साथ लिखे स्रोत से लिया गया है, या हमने 2026-11-04 को CloudGPU के एक RTX 4090 इंस्टेंस पर खुद मापा है। Speedup वाला कॉलम उन प्रकाशित आंकड़ों पर हमारा अपना हिसाब है।

स्पेसिफ़िकेशन

RTX 4090 RTX 5090
VRAM 24 GB GDDR6X 32 GB GDDR7
मेमोरी bandwidth 1,008 GB/s 1,792 GB/s
Tensor-core सपोर्ट वाला न्यूनतम precision FP8 FP4

स्रोत: NVIDIA के product पेज। ज़्यादा मेमोरी bandwidth से मुख्य रूप से उन workloads को फ़ायदा होता है जो हर step में सारे weights पढ़ते हैं, जैसे LLM token generation।

इमेज जनरेशन (SDXL, SD 1.5, FLUX.1)

टेस्ट सेटिंग्स RTX 4090 RTX 5090 5090 बनाम 4090 स्रोत
SDXL FP16, UL Procyon 1024×1024, 100 steps, batch 1 7.461 s/image 5.223 s/image 1.43× StorageReview, 2025-01-23
SD 1.5 FP16, UL Procyon 512×512, 100 steps, batch 4 1.188 s/image 0.763 s/image 1.56× StorageReview, 2025-01-23
SD 1.5 INT8, UL Procyon 512×512, 100 steps, batch 4 0.503 s/image 0.394 s/image 1.28× StorageReview, 2025-01-23
SDXL Base 1.0, SD.Next 512×512, 50 steps, batch 16 67.19 it/s 85.75 it/s 1.28× Puget Systems, 2025-02-21
SDXL Base 1.0, SD.Next 512×512, 50 steps, batch 1 16.78 it/s 16.16 it/s 0.96× Puget Systems, 2025-02-21
FLUX.1-dev, TensorRT, दोनों कार्ड पर FP8 30 steps (resolution नहीं बताया गया) 10,620 ms 6,681 ms 1.59× NVIDIA Technical Blog, 2025-05-14
FLUX.1-dev, TensorRT, 5090 पर FP4 बनाम 4090 पर FP8 30 steps (resolution नहीं बताया गया) 10,620 ms 3,853 ms 2.76× NVIDIA Technical Blog, 2025-05-14

नोट:

  • Puget Systems छोटे batch वाले SDXL नतीजे को, जिसमें 5090 थोड़ा धीमा है, CPU bottleneck की वजह से मानता है। एक अकेली छोटी इमेज किसी भी कार्ड को पूरी तरह व्यस्त नहीं रखती।
  • FLUX.1 का 2.76× आंकड़ा FP4 पर 5090 की तुलना FP8 पर 4090 से करता है। 4090 में FP4 path नहीं है, इसलिए इस बढ़त का एक हिस्सा सिर्फ़ कार्ड से नहीं, बल्कि कम precision से आता है। समान FP8 precision पर यह आंकड़ा 1.59× है।

LLM inference

टेस्ट सेटिंग्स RTX 4090 RTX 5090 5090 बनाम 4090 स्रोत
Token generation, llama.cpp b4493 Phi-3-mini-4k-instruct Q4_K_M 245 tok/s 316 tok/s 1.29× Puget Systems, 2025-02-21
Prompt processing, llama.cpp b4493 Phi-3-mini-4k-instruct Q4_K_M 13,697 tok/s 9,967 tok/s 0.73× Puget Systems, 2025-02-21
UL Procyon AI Text Generation, Mistral TensorRT 183.3 tok/s 255.9 tok/s 1.40× StorageReview, 2025-01-23
UL Procyon AI Text Generation, Llama 3 TensorRT 150.0 tok/s 214.3 tok/s 1.43× StorageReview, 2025-01-23
UL Procyon AI Text Generation, Llama 2 TensorRT 92.9 tok/s 134.5 tok/s 1.45× StorageReview, 2025-01-23
Token generation (tg128, flash attention चालू), llama-bench Llama 2 7B Q4_0 188.96 tok/s 300.40 tok/s 1.59× llama.cpp CUDA scoreboard, community नतीजे*
Prompt processing (pp512, flash attention चालू), llama-bench Llama 2 7B Q4_0 14,770.63 tok/s 14,970.15 tok/s 1.01× llama.cpp CUDA scoreboard, community नतीजे*

* Scoreboard की पंक्तियाँ अलग-अलग यूज़र्स ने, अलग-अलग मशीनों और llama.cpp builds पर जमा की थीं। इन्हें नियंत्रित टेस्ट के बजाय सिर्फ़ एक संकेत मानें।

5090 की बढ़त token generation में ज़्यादा है, जो इसकी ज़्यादा मेमोरी bandwidth से मेल खाती है। Prompt processing में बढ़त कम है। Puget के 2025 की शुरुआत वाले llama.cpp रन में यह 5090 पर धीमा था, और नए builds से यह नतीजा बदल सकता है। हमें दोनों कार्ड के बीच vLLM की कोई स्वतंत्र तुलना नहीं मिली।

वीडियो जनरेशन: RTX 4090 पर हमारे माप

हमें दोनों कार्ड के बीच Wan या HunyuanVideo की कोई स्वतंत्र, एक-जैसी शर्तों वाली तुलना नहीं मिली, इसलिए हम वीडियो के लिए 5090 का कोई speedup नहीं बताते। हम वह दे सकते हैं जो हमने खुद एक RTX 4090 इंस्टेंस पर मापा।

मॉडल (ComfyUI) आउटपुट सेटिंग्स प्रति क्लिप समय Peak VRAM
Wan 2.2 TI2V-5B, FP16 weights 1280×704, 121 frames (24 fps पर 5 s) text to video, 20 steps, uni_pc, CFG 5 पहला रन 175 s, दूसरा रन 169 s 21.7 GB
Wan 2.2 T2V-A14B, FP8 scaled weights (high-noise और low-noise experts) 832×480, 81 frames (16 fps पर 5 s) text to video, 20 steps (हर expert के लिए 10), euler, CFG 3.5 पहला रन 361 s, दूसरा रन 354 s 21.0 GB

हमने कैसे मापा:

  • CloudGPU पर एक RTX 4090 24 GB, driver 580.105.08, CUDA 13.0 के साथ PyTorch 2.14.1, ComfyUI के native nodes; 2026-11-04 को मापा गया।
  • Text encoder umt5_xxl_fp8_e4m3fn_scaled था, और हमने ComfyUI का डिफ़ॉल्ट memory management इस्तेमाल किया, TeaCache या Sage Attention जैसे किसी अतिरिक्त speed-up node के बिना।
  • प्रति क्लिप समय prompt को queue करने से लेकर तैयार MP4 तक का wall-clock समय है।
  • पहला रन मॉडल लोड होने के बाद की पहली generation है। दूसरे रन में नया seed इस्तेमाल हुआ, और मॉडल पहले से मेमोरी में था।
  • मॉडल डाउनलोड और इंस्टॉल का समय इसमें शामिल नहीं है।

मौजूदा रेट पर, लगभग 3 मिनट में बनने वाली एक 5B क्लिप पर RTX 4090 का लगभग $0.019 का समय लगता है। लगभग 6 मिनट में बनने वाली एक 14B क्लिप की लागत लगभग $0.039 है। RTX 4090 का रेट $0.39/घंटा है और RTX 5090 का रेट $0.69/घंटा है (2026-11-07 18:12 (UTC+8) के अनुसार कीमतें, लाइव कीमतें /pricing पर)।

दोनों workflows का peak लगभग 21 GB रहा, जो 4090 के 24 GB के क़रीब है। 5090 के अतिरिक्त 8 GB से लंबी क्लिप, ऊँचे resolution, या मॉडल को offload करने के बजाय उसका ज़्यादा हिस्सा कार्ड पर रखने की गुंजाइश मिलती है।

कौन-सा कार्ड किराए पर लें?

  • LLM serving और चैट, जहाँ token generation की स्पीड मायने रखती है: ऊपर के हर token generation टेस्ट में 5090 ज़्यादा तेज़ कार्ड है। इसके 32 GB में बड़े quantised मॉडल या लंबे contexts भी फ़िट होते हैं।
  • Batches में image generation: ऊपर के टेस्ट में 5090 1.3 से 1.6 गुना तेज़ रहा। अकेली छोटी इमेज के लिए दोनों कार्ड लगभग बराबर रहे।
  • ComfyUI में Wan 2.2 वीडियो: हमारे टेस्ट में 4090 ने 5B और 14B FP8 दोनों workflows ऊपर दिए गए समय में चलाए। अगर आपकी क्लिप्स को 24 GB से ज़्यादा चाहिए, तो 5090, 48 GB कार्ड या 80 GB कार्ड किराए पर लें।
  • Prompt-heavy काम (लंबे documents, RAG): prefill स्पीड दोनों कार्ड पर मिलती-जुलती रही, इसलिए /pricing पर रेट की तुलना करें।

बिलिंग प्रति मिनट होती है, कम से कम 1 मिनट, इसलिए आप एक ही job दोनों कार्ड पर चलाकर जो कार्ड तेज़ निकले उसे रख सकते हैं। आप अभी कौन-से कार्ड शुरू कर सकते हैं, यह /deploy पर दिखता है।

अगर 5090 पर PyTorch build “no kernel image is available” के साथ फ़ेल हो जाए, तो RTX 5090 पर CUDA “no kernel image” कैसे ठीक करें (अंग्रेज़ी में) देखें। 5090 के लिए CUDA 12.8 या उससे नया वर्ज़न चाहिए।

अक्सर पूछे जाने वाले सवाल

क्या AI के लिए RTX 5090, RTX 4090 से तेज़ है?

LLM token generation और batched image generation के लिए, हाँ। प्रकाशित टेस्ट लगभग 1.3 से 1.6 गुना स्पीड दिखाते हैं। LLM prompt processing और अकेली छोटी इमेज के लिए प्रकाशित नतीजे लगभग बराबर हैं, और कुछ टेस्ट में 5090 धीमा है।

क्या Wan वीडियो जनरेशन के लिए RTX 5090 ज़्यादा तेज़ है?

हमें कोई स्वतंत्र, एक-जैसी शर्तों वाला टेस्ट नहीं मिला, इसलिए हम कोई आंकड़ा नहीं बताते। RTX 4090 पर हमने ComfyUI में 5 सेकंड की 720p Wan 2.2 TI2V-5B क्लिप के लिए 169–175 s और 5 सेकंड की 480p Wan 2.2 14B FP8 क्लिप के लिए 354–361 s मापे।

क्या Wan 2.2 14B, 24 GB वाले RTX 4090 में फ़िट होता है?

ComfyUI में FP8 scaled weights के साथ, 832×480 और 81 frames पर, हमारे टेस्ट में हाँ, और peak 21.0 GB रहा। ऑफ़िशियल Wan2.2 स्क्रिप्ट 14B मॉडलों के लिए 80 GB माँगती है।

RTX 5090 में कितना VRAM है?

32 GB GDDR7, जबकि RTX 4090 में 24 GB GDDR6X है।

क्या RTX 5090 के लिए ख़ास PyTorch build चाहिए?

हाँ। आपको CUDA 12.8 या उससे नए वर्ज़न के लिए बना build चाहिए, क्योंकि पुराने builds में 5090 के architecture के लिए kernels नहीं हैं।

स्रोत