大規模言語モデルの手動ダウンロード方法

概要

ローカルLLM推論ガイドでは、Hugging Faceから直接モデルを取得します。NASの接続が良好ならこれが最速です。このページではオフラインの方法を紹介します：PCでモデルをダウンロードし、USBまたはLANでNASへ移動します。

以下の手順はメインガイドと同じモデル——Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf（約12.3GB）——と同じ保存先フォルダを使用します。この「ダウンロード＋転送」パターンは、どのGGUFモデルにも使えます。

始める前に

• インターネットに接続できるPC
• PCとNASの両方に約13GBの空き容量
• USBドライブ、またはLAN経由でアクセスできるNAS

ステップ1：PCでモデルをダウンロード

Hugging Face CLIが最も簡単です。中断したダウンロードも再開できます：

pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-GGUF \
  Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf --local-dir models/llm

ブラウザでモデルページからダウンロードすることもできます。

ステップ2：モデルをNASへ移動

USBの場合：models/llmフォルダをUSBドライブにコピーしてNASに接続し、ZimaOS FilesでNASのmodels/llmディレクトリへ移動します（存在しない場合は作成してください）。

LANの場合：PCからscpでファイルを送ります。先にNAS側で保存先フォルダを作成します：

ssh <ユーザー名>@<NASのIP> mkdir -p models/llm
scp models/llm/Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf <ユーザー名>@<NASのIP>:models/llm/

ステップ3：ファイルを検証

大きなファイルのダウンロードは静かに破損することがあります。NAS上でサイズとチェックサムを確認します：

ls -lh models/llm
sha256sum models/llm/Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf

モデルページのファイル情報と照合してください。ファイルは約12.3GBのはずです。

ステップ4：セットアップを続ける

モデルはmodels/llmに配置されました。ローカルLLM推論ガイドが想定する場所とまったく同じです。そのガイドのダウンロード手順をスキップして、サーバーの起動に進んでください。

参考リンク

• Hugging Face – huggingface_hub CLIドキュメント
• unsloth – Qwen3.6-35B-A3B-GGUFモデルカード