LLM を動かすのに必要な VRAM はどれくらいですか？
結論： LLM の重みは FP16 で 1 パラメータあたり約 2 バイト（10 億パラメータあたり約 2 GB）、4-bit の Q4_K_M では推定で 10 億パラメータあたり約 0.6 GB です（llama.cpp quantize README、2026-10-23 閲覧）。公開されている Q4_K_M の重みサイズは、8B モデルで約 5 GB、32B モデルで約 19〜20 GB、70B モデルで約 40〜43 GB です（CloudGPU モデルページ、2026-10-23 閲覧）。これに加えて、コンテキストウィンドウ（KV キャッシュ）とランタイムのオーバーヘッドが必要です。
目安
- FP16 / BF16： 1 パラメータあたり約 2 バイト、つまり 10 億パラメータあたりおよそ 2 GB です（CloudGPU のモデルページの FP16 列の根拠、2026-10-23 閲覧）。
- 4-bit（Q4_K_M）： 10 億パラメータあたり約 0.6 GB（推定）。算出方法：llama.cpp quantize README（2026-10-23 閲覧）は Llama 3.1 8B の Q4_K_M を 1 重みあたり約 4.89 ビットとしており、4.89 / 8 で 1 パラメータあたり約 0.61 バイトになります。平均値なので、モデルによって変わります。
- コンテキスト（KV キャッシュ）： コンテキスト長と並列リクエスト数に応じて増え、重みとは別に必要です。
主なオープンモデルの公開数値
CloudGPU のモデルページより（VRAM 表は 2026-09-08 時点、ページは 2026-10-23 に再確認）：
| モデル | FP16 | 量子化 |
|---|---|---|
| Llama 3.1 8B | 16 GB | 約 4.9 GB（Q4_K_M） |
| Qwen3 14B | 28 GB | 約 9 GB（Q4_K_M） |
| Mistral Small 3 24B | 48 GB | 約 14 GB（Q4_K_M） |
| Gemma 3 27B | 54 GB | 約 17 GB（Q4_K_M） |
| Qwen3 32B | 64 GB | 約 19〜20 GB（Q4_K_M） |
| Llama 3.3 70B | 140 GB | 約 40〜43 GB（Q4_K_M） |
| gpt-oss-20b | 42 GB | 約 13 GB（ネイティブ MXFP4） |
| gpt-oss-120b | 234 GB | 約 63 GB（ネイティブ MXFP4。Hugging Face のファイルは合計約 65 GB、2026-10-23 閲覧） |
重みだけの数値です。コンテキストの分の余裕を足してください。FP16 列は公称のパラメータ数を使っています（Hugging Face のメタデータ、2026-10-23 閲覧では、一部のモデルでやや多い数値になっています。たとえば Qwen3 14B は約 14.8B で、FP16 では約 29.5 GB）。gpt-oss は MXFP4 で公開されているため、FP16 の数値は計算上の換算値です。
どの VRAM クラスを借りるか
CloudGPU のモデルページでは、カードを 24、32、48、80、96 GB のクラスで掲載しています。必要な VRAM はモデル、精度、ワークフローによって変わります。上の表の重みにコンテキストに必要なメモリを足し、最初の実行で nvidia-smi を使ってピーク VRAM を確認してください。
個々のカードの提供状況は変わります。起動できるカードは https://cloudgpu.app/deploy で、モデルごとのページは https://cloudgpu.app/run で確認できます。
学習にはさらに必要です
ファインチューニングでは、勾配とオプティマイザーの状態のために追加のメモリが必要です。LoRA/QLoRA のようなパラメータ効率の高い手法を使うと大きく減らせます。より詳しい表は https://cloudgpu.app/blog/how-much-vram-to-run-llm-2026 （英語）をご覧ください。
借りる前に
- インスタンスのストレージには限りがあるため、先にモデルファイルのサイズを確認してください。70B の Q4_K_M ファイルは約 40〜43 GB です（CloudGPU モデルページ、2026-10-23 閲覧）。
- 課金は 1 分単位、最低 1 分です。分単位課金の仕組みをご覧ください。
よくある質問
7B や 8B のモデルに必要な VRAM はどれくらいですか？
FP16 で約 16 GB、Q4_K_M で約 5 GB です（CloudGPU モデルページ、2026-10-23 閲覧）。これにコンテキスト用のメモリが加わります。
32B のモデルに必要な VRAM はどれくらいですか？
FP16 で約 64 GB、Q4_K_M で約 19〜20 GB です（CloudGPU モデルページ、2026-10-23 閲覧）。これにコンテキスト用のメモリが加わります。必要な VRAM はモデル、精度、ワークフローによって変わります。
70B のモデルに必要な VRAM はどれくらいですか？
FP16 で約 140 GB、Q4_K_M で約 40〜43 GB です（CloudGPU モデルページ、2026-10-23 閲覧）。これにコンテキスト用のメモリが加わります。必要な VRAM はモデル、精度、ワークフローによって変わります。
コンテキストが長いと VRAM は増えますか？
はい。KV キャッシュはコンテキスト長と並列リクエスト数に応じて大きくなり、重みとは別に必要です。
70B のモデルはインスタンスのストレージに収まりますか？
70B の Q4_K_M ファイルは約 40〜43 GB、FP16 の重みは約 140 GB です（CloudGPU モデルページ、2026-10-23 閲覧）。ダウンロード前にインスタンスのストレージ容量を確認し、容量を確認できていない場合は量子化ファイルを使ってください。
出典（2026-10-23 閲覧、Asia/Shanghai）
- llama.cpp quantize README（Llama 3.1 8B の Q4_K_M は 1 重みあたり約 4.89 ビット）：https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md
- Hugging Face のパラメータ数（safetensors メタデータ）。例：Qwen3-14B 14.77B、Qwen3-32B 32.76B、Gemma 3 27B 27.43B、Mistral-Small-24B 23.57B：https://huggingface.co/Qwen/Qwen3-14B 、https://huggingface.co/Qwen/Qwen3-32B 、https://huggingface.co/google/gemma-3-27b-it 、https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501
- コミュニティ版 Llama 3.3 70B の Q4_K_M GGUF（ファイル一覧、約 42.5 GB）：https://huggingface.co/bartowski/Llama-3.3-70B-Instruct-GGUF
- Hugging Face 上の gpt-oss のファイル（gpt-oss-20b 約 13.8 GB、gpt-oss-120b 合計約 65.2 GB）：https://huggingface.co/openai/gpt-oss-20b 、https://huggingface.co/openai/gpt-oss-120b
- CloudGPU モデルページ：https://cloudgpu.app/run 、https://cloudgpu.app/run/llama-3-3-70b
- 「推定」と記した数値は計算値で、実測ではありません。ランタイム、コンテキスト長、バッチサイズ、KV キャッシュの精度によって実際の使用量は変わります。
起動できるカードは Deploy ページに一覧があります。料金は https://cloudgpu.app/ja/pricing に掲載しており、ここでは繰り返しません。
最終更新：2026-10-23（Asia/Shanghai）。