クラウド GPU でモデルのダウンロードを速くするには?

結論: CloudGPU のインスタンスでは、ダウンロードするシェルで cloudgpu-net on を実行します。そのシェルで Hugging Face、GitHub などのサイトのダウンロード高速化がオンになります(オンの間は pip が遅くなることがあるので、pip でインストールする前に cloudgpu-net off を実行してください)。そのうえで、必要なファイルだけをダウンロードし(hf download --dry-run、--include)、HF_XET_HIGH_PERFORMANCE=1 を設定し、別々のダウンロードは並列で実行します。hf_transfer は不要です。Hugging Face のドキュメントでは、すべての転送が hf-xet を通るようになったため HF_HUB_ENABLE_HF_TRANSFER は非推奨とされています(環境変数、2026-11-03 閲覧)。

稼働中のインスタンスでのダウンロード時間も課金対象(1 分単位、切り上げ、最低 1 分)なので、ダウンロードが短ければ請求も小さくなります。

ステップ 1:cloudgpu-net でダウンロード高速化をオンにする

CloudGPU のすべてのインスタンスには cloudgpu-net コマンドがあります:

cloudgpu-net status   # is acceleration on in this shell?
cloudgpu-net on       # turn it on for the current shell
# ... run your hf download / git clone / wget commands here ...
cloudgpu-net off      # turn it off again, e.g. before pip install

知っておくこと:

  • 効果があるのは現在のシェルだけです。新しいターミナルタブ、新しい SSH セッション、新しい tmux ウィンドウではオフの状態から始まるので、そこでも cloudgpu-net on を実行してください。
  • 対象は Hugging Face、GitHub などのサイトです。
  • オンの間は pip が遅くなることがあります。 先にパッケージをインストールする(または cloudgpu-net off の後でインストールする)ようにし、モデルのダウンロードのときにオンにしてください。

ステップ 2:ダウンロードする量を減らす

取得しないファイルは時間がかかりません。多くのリポジトリには同じ重みが複数の形式で入っています(.safetensors と .bin、あるいは十数個の GGUF 量子化版など)。まず一覧を確認しましょう。Hugging Face のドキュメントによると、--dry-run は “lists all files to download on the repo and checks whether they are already downloaded or not”(リポジトリのダウンロード対象ファイルをすべて一覧にし、ダウンロード済みかどうかを確認します)(ダウンロードガイド、2026-11-03 閲覧):

pip install -U "huggingface_hub"            # do this before cloudgpu-net on
cloudgpu-net on
hf download Qwen/Qwen2.5-7B-Instruct --dry-run
hf download Qwen/Qwen2.5-7B-Instruct --include "*.safetensors" "*.json" "tokenizer*" \
  --local-dir ~/models/qwen2.5-7b-instruct

GGUF のリポジトリでは、リポジトリ全体ではなく必要な 1 ファイルを指定します:

hf download <org>/<model>-GGUF <file-name>-Q4_K_M.gguf --local-dir ~/models

ステップ 3:hf_transfer ではなく hf_xet の高性能モードを使う

古いチュートリアルには pip install hf_transfer と HF_HUB_ENABLE_HF_TRANSFER=1 が書かれています。現在の Hugging Face のドキュメントでは、この変数は非推奨です。“all file transfers go through the hf-xet binary package”(すべてのファイル転送は hf-xet バイナリパッケージを通ります)、“hf_transfer can’t be used anymore”(hf_transfer はもう使えません)と記載されています。hf_xet は huggingface_hub 0.32.0 以降と一緒にインストールされます。さらに速くしたい場合のために、ドキュメントは HF_XET_HIGH_PERFORMANCE を説明しており、これは “will try to saturate the network bandwidth of this machine and utilize all CPU cores for parallel upload/download activity”(このマシンのネットワーク帯域を使い切り、すべての CPU コアを並列のアップロード/ダウンロードに使おうとします):

export HF_XET_HIGH_PERFORMANCE=1
hf download black-forest-labs/FLUX.1-schnell flux1-schnell.safetensors --local-dir ~/models

同じページ(2026-11-03 閲覧)には関連する注意点が 2 つあります。HF_XET_NUM_CONCURRENT_RANGE_GETS は hf_xet 1.3.0 以降ダウンロードの並列度が自動調整になったため “is no longer used”(もう使われていません)こと、そして環境変数は “are read at import time”(インポート時に読み込まれる)ので、コマンドを始める前に export しておく必要があることです。多くのガイドに古いコマンド名 huggingface-cli が出てきますが、現在のドキュメントでは hf を使います。

ステップ 4:最初からやり直さずに再開する

長いダウンロードは tmux の中で実行し、SSH が切れても止まらないようにします(tmux のウィンドウ内でも cloudgpu-net on を実行してください):

tmux new -s dl
cloudgpu-net on
hf download <org>/<model> --local-dir ~/models/<model>
# detach: Ctrl-b then d   ·   come back: tmux attach -t dl

ダウンロードが止まったら、同じコマンドをもう一度実行します。完了済みのファイルは再取得されません。タイムアウトで失敗する場合、Hugging Face のドキュメントでは HF_HUB_DOWNLOAD_TIMEOUT の既定は 10 秒なので、値を上げて再実行します:

export HF_HUB_DOWNLOAD_TIMEOUT=60

キャッシュへのダウンロードが中断されると .incomplete ファイルが残ることがあります。CLI ガイドによると、hf cache prune で削除できます。

ステップ 5:並列でダウンロードする

別々のリポジトリ(たとえばモデル、そのテキストエンコーダー、LoRA)は、1 つのシェルから同時にダウンロードできます:

cloudgpu-net on
hf download <org>/<model-a> --local-dir ~/models/a > a.log 2>&1 &
hf download <org>/<model-b> --local-dir ~/models/b > b.log 2>&1 &
wait && echo "all downloads finished"

普通の HTTPS URL にある大きな 1 ファイル(GitHub のリリースアセットや直接リンク)なら、aria2c がファイルを複数の接続に分割して取得します。aria2 のマニュアル(2026-11-03 閲覧)によると、-x は “the maximum number of connections to one server for each download”(ダウンロードごとの 1 サーバーへの最大接続数、既定 1)、-s は “a file using N connections”(N 本の接続でファイルを取得、既定 5)、-c は途中まで取得したファイルの続きをダウンロードします:

apt-get install -y aria2        # if it is missing; you are root on the instance
aria2c -x 8 -s 8 -c -d ~/models -o model.safetensors "https://example.com/path/model.safetensors"

実行するだけの GitHub リポジトリなら、浅いクローンで履歴を省けます:

git clone --depth 1 https://github.com/<owner>/<repo>.git

ステップ 6:確認して片付ける

df -h ~                       # free space before and after
hf cache verify <org>/<model> --local-dir ~/models/<model>
cloudgpu-net off

ダウンロードしたモデルはインスタンスを破棄すると削除されるので、ダウンロードのコマンドはスクリプトにまとめ、次のインスタンスで実行しましょう。インスタンスの引き渡し後に自動で実行されるセットアップスクリプトから実行することもできます。トークンの設定、ゲート付きリポジトリ、キャッシュと --local-dir の違いはクラウド GPU で Hugging Face のモデルをダウンロードする方法で説明しています。

よくある質問

cloudgpu-net は何をするコマンドですか?

CloudGPU のすべてのインスタンスにあるコマンドです。cloudgpu-net on で現在のシェルの Hugging Face、GitHub などのサイトのダウンロード高速化がオンになり、cloudgpu-net off でオフになり、cloudgpu-net status で状態を確認できます。オンの間は pip が遅くなることがあるので、パッケージをインストールする前にオフにしてください。

hf_transfer はまだインストールすべきですか?

いいえ。Hugging Face のドキュメントでは HF_HUB_ENABLE_HF_TRANSFER は非推奨とされ、すべての転送が hf-xet を通るため hf_transfer はもう使えないと記載されています。代わりに HF_XET_HIGH_PERFORMANCE=1 を設定してください(2026-11-03 閲覧)。

止まった Hugging Face のダウンロードを再開するには?

同じ hf download コマンドをもう一度実行します。完了済みのファイルは再取得されません。長いダウンロードは tmux の中で実行し、タイムアウトで失敗する場合は HF_HUB_DOWNLOAD_TIMEOUT(既定 10 秒)を上げてください。

複数のモデルを同時にダウンロードできますか?

はい。別々の hf download コマンドを & でバックグラウンド実行して wait で待つか、直接 URL の大きな 1 ファイルなら aria2c の -x と -s を使います。

cloudgpu-net on の後で pip が遅いのはなぜですか?

ダウンロード高速化がオンの間は pip が遅くなることがあります。pip install の前に cloudgpu-net off を実行し、モデルをダウンロードするときに再びオンにしてください。

出典(2026-11-03 閲覧、Asia/Shanghai)


起動できるカードは Deploy ページに一覧があります。料金は https://cloudgpu.app/ja/pricing に掲載しており、ここでは繰り返しません。

最終更新:2026-11-03(Asia/Shanghai)。