销毁云 GPU 实例前怎么保存数据:检查点、rsync、Hugging Face 上传清单(2026)

在 CloudGPU 上,销毁实例会删除它的磁盘,而且目前还没有跨实例的持久化存储;所以检查点、LoRA 适配器、生成的图片、日志等任何想保留的东西,都必须在销毁前拷出机器。 余额耗尽时实例也会被自动销毁。本文是我们自己用的检查清单和命令。

文件什么时候会消失

事件	磁盘会怎样
你点了 Destroy	实例停止、结算费用、磁盘删除
余额撑不起下一个小时	实例被销毁,磁盘删除
想「暂停」明天接着用	暂不支持:停止即释放 GPU,下次要新开实例
关掉 JupyterLab 页面或断开 SSH	没有影响——实例继续运行(也继续计费),直到被销毁

因为按分钟计费,经济的做法是:干活、拷走产出、销毁。拷贝用掉的分钟同样计费,所以要规划好拷贝,而不是「以防万一」一直开着。

选个存放位置

去处	适合	用什么
你自己的电脑	中小体积、私密内容	SSH 上的 rsync / scp
Hugging Face Hub(私有仓库)	会复用的 LoRA 适配器、合并后的模型、数据集	huggingface-cli upload
S3 兼容对象存储(S3、R2、B2 等)	大检查点、成批图片、日志	rclone copy
JupyterLab 下载按钮	少量小文件	浏览器

不要通过实例的公网 API 端点传大文件:隧道限速 3 MB/s,是给 API 响应用的,不是用来传文件的。请走 SSH,或从机器上直接上传。

从供应商机房到不同目的地的出站速度差别很大。先用一个小文件试一下,再把拷贝时间算进预算。

命令

1. 在本机用 rsync 拉取(可断点续传)

# 在你的电脑上运行;用户、主机、端口见实例页
rsync -avP -e "ssh -p <ssh-port>" <ssh-user>@<ssh-host>:/workspace/out/ ./run-2026-10-23/

-P 会显示进度,断线后续传未完成的文件。结束时再跑一次同样的命令,rsync 只拷贝有变化的部分。

2. 长任务期间持续拉取

# 本机:训练期间每 10 分钟拉一次新的检查点
while true; do
  rsync -aP -e "ssh -p <ssh-port>" <ssh-user>@<ssh-host>:/workspace/out/ ./run/ && date
  sleep 600
done

同时让训练程序勤存检查点(LLaMA-Factory 在 YAML 里设 save_steps;Hugging Face Trainer 设 save_steps 和 save_total_limit)。

3. 把 LoRA 适配器推到 Hugging Face 私有仓库

pip install -U "huggingface_hub[cli]"
huggingface-cli login            # 粘贴细粒度写权限 token
huggingface-cli upload <your-user>/qwen3-8b-qlora-run1 /workspace/out/qwen3-8b-qlora . --private

建议用只对这一个仓库有权限的细粒度 token,训练结束后吊销。

4. 把大目录拷到对象存储

curl https://rclone.org/install.sh | bash          # 实例上是 root;也可 apt-get install -y rclone
rclone config                                       # 添加你的 S3 / R2 / B2 远端
rclone copy /workspace/out remote:my-bucket/run1 --progress --transfers 8

5. 小文件多时先打包

tar -C /workspace -czf /workspace/outputs.tgz out/

成千上万张小 PNG 或日志文件,打成一个包再传会快很多。

销毁前检查清单

#	检查项	原因
1	训练或批处理已结束(或已存检查点)	没跑完的部分销毁后就没了
2	产出已拷走并核对过(文件数、大小或 sha256sum)	拷贝失败在你需要它之前看起来和成功一样
3	配置、脚本和完整命令行已保存	换一台新实例也能复现
4	环境已记录(pip freeze > requirements.txt)	下一台实例是干净的
5	在机器上用过的 token 已吊销	虽然磁盘会删除,仍是好习惯
6	点 Destroy	预授权中未用的分钟退回余额

拷贝时间和余额都要算进去

两个数字能让长任务更安全:

• 余额缓冲。 余额耗尽实例会被销毁。在挂牌 $0.65/h 的卡(RTX 4090 48G,2026-10-23 23:58 北京时间)上跑 8 小时,任务本身是 $5.20,还要再留出环境准备和拷贝的余量。
• 拷贝时间。 按「体积 ÷ 实测上传速度」估算,加进任务时长。在挂牌 $0.59/h 的卡上,多拷 10 分钟约多花 $0.10。

价格一天内会变,以 /deploy 页面为准;计费规则见 按分钟计费怎么算。

关于数据去向

如果你的数据不能离开某个司法辖区,就不要在这里训练,也请以同样的标准选择拷贝目的地。

常见问题

在 CloudGPU 上销毁实例后,文件会怎样? 磁盘会被删除。需要的东西请在销毁前拷出机器。

实例之间有持久化存储吗? 暂时没有。停止会释放 GPU,下一次使用是新实例,检查点和产出请存到别处。

训练中途余额用完会怎样? 实例会被销毁,磁盘随之删除。请为整个任务留足余额并加缓冲,训练过程中就把检查点拷出去。

怎么从租来的 GPU 上下载检查点? 用 SSH 上的 rsync 或 scp,或从机器上传到模型仓库或对象存储。不要走公网 API 端点,它限速 3 MB/s。

拷文件的时间也收费吗? 收费。在你销毁实例之前一直按分钟计费,所以要规划好拷贝,拷完及时销毁。

价格为 2026-10-23 23:58(北京时间)读取的挂牌价,实时价格以 /deploy 页面为准。