NVIDIA RTX PRO 2000 ローカル LLM 推論性能テスト

概要

この記事は、ZimaCube Creator の公式 GPU オプションである NVIDIA RTX PRO 2000 Blackwell 16 GB が、ZimaOS 1.7.1 上でローカル LLM 推論を実行する実測ベンチマークを記録したものです。合成ベンチマーク、実会話の生成、長コンテキストの検証、消費電力をカバーし、最後に推奨モデルとデプロイ構成を示します。

5 ステップのデプロイ手順は ローカル LLM 推論をご覧ください。物理的な取り付けは GPU 拡張をご覧ください。

TL;DR

一言で言えば：RTX PRO 2000 はローカルエージェント推論に最適な 16 GB カードの 1 つです——70 W、Blackwell アーキテクチャ、そして MoE モデルなら同フットプリントの密モデルより数倍速くデコードします。

テスト環境

ハードウェア

これは GPU が強く CPU が弱いデバイスです。N100 は低電力の効率コアなので、すべてのモデルを VRAM に完全に収める必要があります。推論が CPU に溢れた瞬間、速度は崩壊します。

テストしたデバイスは第一世代のエントリー ZimaCube です。ZimaCube 2 では、より強力な CPU は結果を改善するだけです——カードが同一なので GPU 側の数値は変わりません。

ソフトウェア

RTX PRO 2000 は Blackwell カード（sm_120）です。新しい CUDA ランタイムと推論バックエンドが必要で——古いビルド済み llama.cpp リリースはこのカードを認識しないことがあります。

テスト方法

1. 合成ベンチマーク：llama-bench でフル GPU オフロード（-ngl 99）、プロンプト処理（512/2048 tokens）とトークン生成（128/512 tokens）をテスト。
2. 実生成：llama-cli、--temp 0.7、単一ターンモード、固定乱数シード、実際の中国語の質問応答。
3. マルチターンと長コンテキスト：OpenAI 互換の llama-server API を通じたマルチターン会話と干し草の山から針を探す検索。
4. コンテキスト容量：モデルを 64K / 128K コンテキストでロードし、VRAM 使用量を測定。

テスト対象モデル

Qwen3.6-35B-A3B はハイブリッドアーキテクチャです：フルアテンション層 10 層と SSM（Mamba）+ MoE 層 30 層、256 のエキスパートのうちトークンごとに 8 個がアクティブになります。エージェントとコーディングのシナリオを狙ったモデルです。

ベンチマーク結果

合成ベンチマーク（llama-bench、フル GPU オフロード、tokens/s）

実生成（llama-cli、–temp 0.7、中国語の質問応答）

マルチターンと長コンテキストの検証

エージェントワークロードへの適合性

Qwen3.6-35B-A3B のハイブリッドアーキテクチャはエージェントとコーディングのシナリオを狙っており、測定結果もそれを裏付けています：マルチターンのコンテキスト保持と干し草の山から針を探す検索はどちらも合格し、繰り返し呼び出しは約 63 t/s で安定します。DeepSeek Harness や Codex スタイルのコーディングエージェントにとって、これは流暢なインタラクティブ速度であり、35B の総パラメータが小さな密モデルにはない推論力とコーディング能力をもたらします。

この 16 GB カードでの制約はコンテキストです。エージェントの会話は成長し、64K は快適でも 128K はタイトです。エージェントワークロードがモデル本来の 256K ウィンドウを必要とするなら、20 GB の RTX 4000 SFF Adaが KV q4 量子化でそれを実現します。

MoE モデルが密な 27B より 3.5 倍速い理由

これは今回のテストで最も価値のある発見です。

• 密モデルは生成するトークンごとに 27B の重みをすべて読み込むため、デコード速度はメモリ帯域幅で頭打ちになります。実測の有効デコード帯域幅は約 224 GiB/s で、27B モデルは 18〜23 t/s に留まります。
• MoE モデルはトークンごとに 256 のエキスパートのうち 8 個（約 3B パラメータ）しかアクティブにしないため、読む重みが 1 桁少なく、帯域幅のボトルネックを回避します。これが 65〜70 t/s に到達できる理由です。

VRAM が限られたデバイスでは、MoE がパラメータ容量とデコード速度を同時に得る最善の方法です。

VRAM が唯一のハードリミット

• 35B-A3B の IQ3_XXS 量子化はわずか 12.3 GiB で、16 GB に約 2.4 GB の余裕が残ります。
• より高い量子化（Q4 は約 19〜20 GB）やより大きなモデルは 16 GB を超えます。CPU オフロードが始まると、N100 が速度を使い物にならない水準まで引きずり下ろします。
• 「16 GB に収まる最強の MoE」がこのデバイスの性能上限です。

消費電力

フル生成負荷で実測したところ、カードは約 55〜70 W（70 W 制限内で上限に張り付き）、アイドル時は 6〜12 W です。24/7 稼働の NAS としては優れた効率です。

コンテキスト容量

コンテキストのオーバーヘッドはごく小さく（1K トークンあたり約 22 MiB）、KV キャッシュが必要なのは 10 のアテンション層だけです。SSM 層は一定の状態を保ちます。

結論と推奨

最適なモデル

推奨：Qwen3.6-35B-A3B（IQ3_XXS 量子化、3.06 bpw）

1. 16 GB の VRAM に完全に収まる最大かつ最強のモデルです。
2. 約 65 t/s のデコード——27B 密モデルの 3.5 倍——は流暢なエージェント体験に十分です。
3. 35B の総パラメータは、同フットプリントのどの密モデルよりもはるかに多くの知識、推論力、コーディング能力をもたらします。
4. IQ3_XXS は品質と速度のスイートスポットです。Q2_K_XL は約 8% 速いですが、2 ビットの品質低下はより目立ちます。

16 GB カードでは、これがこのティアの上限です。本格的なコーディングやナレッジベースのワークロードには、122B / Flash ティアが次のステップです——16 GB には収まらず、より大きなカードが必要です。

使用上の注意

1. サンプリングは 0.6〜0.7 で、貪欲（temp=0）は決して使わない。 貪欲サンプリングではこの推論モデルが無限の繰り返しに退化します。
2. これは推論モデルです。 回答の前に思考の連鎖を出力し、思考トークンは上限にカウントされます。max_tokens は 2048 以上に保ってください。そうしないと思考の途中で回答が切れます。
3. レスポンスフィールド。 最終回答は content、推論のトレースは reasoning_content（DeepSeek と同じ拡張フィールド）に入ります。

ユースケース

• ローカルエージェント：コーディング、タスクオーケストレーション、ツール呼び出し
• NAS 上のプライベート AI アシスタントと RAG ナレッジベースの質問応答
• 低電力・常時稼働のローカル推論
• 不向き：128K を超えるコンテキスト、または高量子化の大型モデル

デプロイ（OpenAI 互換サーバー）

デプロイガイドと同じコンテナ化サーバーを使用します——コンパイル不要で、イメージには sm_120 までの CUDA カーネルが同梱されています：

docker run -d --name llm-server --gpus all -p 8080:8080 \
  -v "$PWD/models/llm:/models" \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  -m /models/Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf \
  --host 0.0.0.0 --port 8080 \
  -c 131072 --n-gpu-layers 99 -fa on --temp 0.7 --parallel 1

サーバーは OpenAI 互換 API を公開し、主要なエージェントフレームワーク（OpenAI SDK など）から直接呼び出せます：

from openai import OpenAI
client = OpenAI(base_url="http://<zima-cube-ip>:8080/v1", api_key="sk-none")
resp = client.chat.completions.create(
    model="/models/Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf",
    messages=[{"role": "user", "content": "Hello"}],
    temperature=0.7,
    max_tokens=2048,          # 大きめに保つこと。思考が上限を食いつぶします
)
print(resp.choices[0].message.content)             # 最終回答
print(resp.choices[0].message.reasoning_content)   # 推論トレース（任意）

付録：検証済み GPU プロファイル

NVIDIA RTX PRO 2000 Blackwell
Compute Capability: 12.0 (sm_120)
VRAM: 16311 MiB (15848 MiB usable by CUDA)
Driver: 580.105.08 / CUDA 13.0
Power limit: 70 W