租 GPU 做 LoRA / QLoRA 微调:显存怎么估、卡怎么选、一次训练花多少钱
用 LoRA 或 QLoRA 微调开源模型,关键是显存要装得下冻结的基座权重加上激活值;在 CloudGPU 上按分钟租这样一张卡,训练、保存适配器、销毁实例即可。 8B 模型做 QLoRA 用 24 GB 卡就够;32B 的 QLoRA 用 48 GB 卡;70B 的 QLoRA 需要 80 GB 卡。实例启动约 2 分钟,开机过程不计费;GPU 就绪后按分钟计费,直到你销毁实例。
本页帮你估显存、算成本。逐步操作请看 LLaMA-Factory 操作教程(英文)。
显存怎么估
训练显存分四块:基座权重、可训练参数及其梯度和优化器状态、激活值、框架开销。第一块可以直接算,后几块取决于序列长度、批大小和是否开梯度检查点。
基座权重(GB) ≈ 参数量(十亿) × 每参数字节数
全参微调,混合精度 + AdamW:约 16 字节/参数(权重 2 + 梯度 2 + FP32 主权重 4 + Adam 状态 8)
LoRA,16 位基座: 约 2 字节/参数(+ 很小的适配器 + 激活值)
QLoRA,4 位基座: 约 0.55 字节/参数(假设:4 位 NF4 加量化常数)
代入公开参数量(Hugging Face 模型元数据,2026-10-23 读取)。下表只是基座权重占用的估算,不是实测:
| 模型(参数量) | 全参微调 ~16 B/参数 | LoRA 基座 ~2 B/参数 | QLoRA 基座 ~0.55 B/参数 |
|---|---|---|---|
| Qwen3 8B(8.19B) | 约 131 GB | 约 16.4 GB | 约 4.5 GB |
| Qwen3 14B(14.77B) | 约 236 GB | 约 29.5 GB | 约 8.1 GB |
| Qwen3 32B(32.76B) | 约 524 GB | 约 65.5 GB | 约 18.0 GB |
| Llama 3.3 70B(70.55B) | 约 1,129 GB | 约 141 GB | 约 38.8 GB |
在此基础上再加激活值和开销。官网 LLaMA-Factory 教程给出的常见设置下的粗略总量如下(序列长度、批大小会让它上下浮动):
| 任务 | 粗略总显存 | 建议租的显存档位 |
|---|---|---|
| QLoRA,7B–8B | 6–10 GB | 24 GB |
| LoRA(16 位),7B–8B | 18–22 GB | 48 GB(24 GB 偏紧) |
| QLoRA,14B | 12–16 GB | 24 GB |
| QLoRA,32B | 24–30 GB | 48 GB |
| QLoRA,70B | 45–55 GB | 80 GB |
哪怕是 8B 模型,全参微调也需要不止一张 80 GB 卡;个人开发者建议从 QLoRA 或 LoRA 开始。
选卡与单次成本
价格为 2026-10-23 23:58(北京时间)/gpu-prices.json 挂牌价。库存一天内会变,能否开出以 /deploy 页面实时库存为准。
| 任务 | 可选卡型(挂牌 $/h) | 1 小时 | 3 小时 | 8 小时 |
|---|---|---|---|---|
| QLoRA 8B / 14B | RTX 4090 24G($0.33) | $0.33 | $0.99 | $2.64 |
| QLoRA 8B / 14B,预算型 | RTX 3090 24G($0.21) | $0.21 | $0.63 | $1.68 |
| LoRA 8B、QLoRA 32B | RTX 4090 48G($0.65) | $0.65 | $1.95 | $5.20 |
| LoRA 8B、QLoRA 32B | RTX A6000 48G($0.44) | $0.44 | $1.32 | $3.52 |
| QLoRA 70B | A800 80G($1.09) | $1.09 | $3.27 | $8.72 |
| QLoRA 70B | A100 80G($1.49) | $1.49 | $4.47 | $11.92 |
按分钟计费(向上取整、最少 1 分钟);运行中预授权 1 小时,销毁实例时没用完的分钟回到余额。
先测再跑:估算训练时长
训练速度没法从参数表上读出来,请在租到的卡上实测:
总步数 = 向上取整(样本数 × 轮数 / (单卡批大小 × 梯度累积 × GPU 数))
每步秒数 = 预热后前约 50 步耗时 / 50
训练分钟 = 总步数 × 每步秒数 / 60
任务分钟 = 下载 + 训练分钟 + 保存/上传
费用(美元) = 向上取整(任务分钟) × 小时价 / 60
先跑 50 步,从日志读出每步秒数,再决定继续用这张卡还是换卡。这次试跑只花几分钟的 GPU 时间。
一份最小可用的 QLoRA 配置(LLaMA-Factory)
# qwen3_8b_qlora.yaml
model_name_or_path: Qwen/Qwen3-8B
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
quantization_bit: 4 # QLoRA;做 16 位 LoRA 时删掉这一行
dataset: your_dataset # 在 data/dataset_info.json 中注册
template: qwen3
cutoff_len: 2048
per_device_train_batch_size: 2
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 2
bf16: true
logging_steps: 10
save_steps: 200 # 勤存检查点,见下文
output_dir: /workspace/out/qwen3-8b-qlora
llamafactory-cli train qwen3_8b_qlora.yaml
遇到显存不足(OOM),先调小 cutoff_len 或 per_device_train_batch_size,再调大 gradient_accumulation_steps 保持等效批大小。
保护训练任务的三条规则
- 检查点存到机器之外。 销毁实例会删除磁盘,目前也没有跨实例的持久化存储。训练过程中就把适配器推到 Hugging Face,或用
scp/rsync拷走,见 销毁前把检查点存出去。 - 余额留足。 余额耗尽实例会被销毁。跑 8 小时的任务,至少留这张卡 8 小时的费用再加缓冲。
- 按单卡规划。 本页估算都按单卡计算;当前能开哪些配置,以部署页为准。70B 请下载预先量化好的 4 位基座(约 38.8 GB),不要下 16 位权重(上表约 141 GB)。
付款
支持支付宝、Google Pay、Apple Pay、Visa/Mastercard 或 USDT(TRC-20),起充金额见 /zh/payments,不需要手机号或美国银行卡。同一余额也可以支付模型 API。
常见问题
70B 模型做 QLoRA 要多少显存? 常见设置下约 45–55 GB:4 位基座权重约 39 GB,再加激活值和开销。建议租 80 GB 卡。
24 GB 显卡能给 8B 模型做 LoRA 微调吗? QLoRA 可以,很宽裕(约 6–10 GB)。16 位 LoRA 约需 18–22 GB,24 GB 偏紧,48 GB 卡更有余量。
怎么估一次微调要花多少钱? 先跑约 50 步测出每步秒数,乘以总步数,加上下载和保存的分钟,再用分钟数乘以小时价的 1/60。
销毁实例后检查点还在吗? 不在,会随磁盘一起删除。销毁前请把适配器拷出机器或推到模型仓库。
GPU 怎么计费? 按分钟,向上取整、最少 1 分钟。预授权 1 小时,销毁实例时没用完的分钟回到余额。
显存数字为按上述假设得出的估算。价格为 2026-10-23 23:58(北京时间)读取的挂牌价,实时价格以 /deploy 页面为准。