3行要約

  • GLM 5.2クラスの巨大モデルを快適に動かすにはVRAM 200GB超が必要で、RTX 5090単体では到底足りません。
  • 業務用途ならVRAM 48GBのRTX 6000 Adaを複数枚、個人がコストを抑えて巨大モデルを動かすならMac Studio（192GB）が現実的な解です。
  • 「動く」と「実用的」は別物。推論速度（Token/s）とVRAM容量のバランスを間違えると、数十万円の投資がゴミになります。

📦 この記事に関連する商品（楽天メインで価格確認）

GeForce RTX 4090

現行最強の推論速度。24GBのVRAMで主要モデルを爆速化

楽天で価格を見る Amazonでも確認

※アフィリエイトリンクを含みます

結論: まず選ぶべき構成

結論から言えば、一般的なエンジニアが「仕事で使えるAI環境」を作るなら、現時点ではRTX 4090の1枚（または2枚）挿し、あるいはMac Studioのメモリ盛り構成の二択です。 Redditで話題になった「RTX 6000 Adaを5枚とRTX 5090を組み合わせる」という構成は、総額500万円を超える極めて特殊な事例ですが、ここから学べる教訓は一つ。 それは、最新のフラグシップモデルであるGLM 5.2のような巨大な知能をローカルで手なずけるには、もはやコンシューマー向けのGPU1枚では土俵にすら立てないという現実です。

趣味の「動かしてみた」レベルなら、RTX 4060 Ti 16GBモデルで量子化版を動かせば十分楽しめます。 しかし、CursorやAider、ClineといったAIコーディングツールと連携させ、実務レベルのレスポンス（秒間15トークン以上）を求めるなら、VRAMの容量こそが正義になります。 VRAMが不足してメインメモリ（RAM）にスワップが発生した瞬間、処理速度は100倍近く遅くなり、実用性は皆無になります。 予算が30万円以下ならRTX 4090の中古か新品、それ以上出せるならApple SiliconのMac Studio 192GBモデルを検討するのが、2024年以降の失敗しない投資判断です。

用途別おすすめ

用途推奨構成/商品カテゴリ理由注意点
入門・検証RTX 4060 Ti 16GB最安でVRAM 16GBを確保でき、多くのモデルが動作する帯域幅が狭いため、推論速度はそこまで出ない
AI開発・実務RTX 4090 24GB圧倒的な計算能力と24GBのVRAMで、量子化モデルが爆速で動く消費電力が大きく、電源ユニット（1200W以上）の交換が必須
巨大モデル運用Mac Studio M2/M3 Ultra192GBの統一メモリをVRAMとして活用でき、GLM 5クラスも動くGPUの純粋な計算速度（TFLOPS）はNVIDIAに劣る
プロ業務・研究RTX 6000 Ada 48GB1枚で48GB、複数枚挿しで200GB超のVRAM環境を構築可能1枚約100万円。個人で買うにはコストパフォーマンスが悪い

入門・個人開発者

まずはRTX 4060 Ti 16GBモデルを選んでください。 「8GBモデルの方が安い」という誘惑に負けてはいけません。 ローカルLLMの世界では、計算速度よりも「VRAMにモデルが収まるか」が全ての分岐点になります。 16GBあれば、現在主流のLlama 3 8BやQwen 2.5 7Bを4bit〜8bit量子化で余裕を持って動かせます。

本格的なAIコーディング・業務効率化

RTX 4090 24GB一択です。 私も自宅サーバーで4090を2枚挿して運用していますが、CursorやClineから自前のAPIサーバー（Ollamaなど）に繋ぐ際、このクラスでないと「思考の速度」にAIが追いつきません。 レスポンスが0.5秒遅れるだけで、開発体験は著しく損なわれます。

GLM 5.2 / Llama 3 405B級を動かしたい

この領域になると、Windows PCでの構築は茨の道です。 Redditの例のようにRTX 6000 Adaを複数枚用意できる予算があれば別ですが、現実的にはMac Studioのメモリ192GBモデルを推奨します。 Apple Siliconの統一メモリは、推論速度こそNVIDIAのハイエンドには及びませんが、「巨大なモデルを読み込める」という点において、コストパフォーマンスで圧倒しています。

買う前のチェックリスト

チェック1: VRAM容量と「モデルサイズ」の計算ができているか

ローカルLLMを動かす際、最も多い失敗が「メモリ不足で起動すらしない」ことです。 目安として、パラメータ数×0.7GB（4bit量子化の場合）のVRAMが必要です。 例えば、70Bクラスのモデルを動かすなら、最低でも48GB〜50GBのVRAMが必要になります。 RTX 4090（24GB）を1枚買ったところで、70Bモデルはまともに動きません。 自分が動かしたいモデルのサイズを事前に調べ、それに見合うVRAM容量を確保してください。

チェック2: 電源ユニットの容量とコネクタ形状

RTX 4090や5090（予想）を導入する場合、PC全体の消費電力は簡単に800Wを超えます。 1200W、できれば1500Wクラスの80PLUS GOLD以上の電源ユニットを準備してください。 また、最新の「12VHPWR」コネクタに対応している電源を選ばないと、変換アダプタによる発火リスクや、配線の取り回しに苦労することになります。

チェック3: PCケースのサイズと排熱対策

RTX 4090クラスは全長330mmを超えるカードがザラにあります。 今使っているケースに物理的に収まるか、ミリ単位で確認してください。 さらに、AI推論はGPUを長時間フル稼働させるため、排熱が追いつかないとサーマルスロットリングが発生し、性能がガタ落ちします。 特に複数枚挿しを検討しているなら、ブロワーファン（外排気）モデルを選ばないと、上のカードが下のカードの熱を吸って死にます。

チェック4: 商用利用とライセンスの確認

ハードウェアを買った後に気づいても遅いのがライセンスです。 QwenやLlama、GLMなどのモデル自体は無料でも、商用利用には月間アクティブユーザー数の制限がある場合があります。 業務で使うなら、どのモデルをどのGPUで動かすかだけでなく、そのモデルを仕事で使って法的に問題ないかまでセットで確認すべきです。

楽天/Amazonで見るべき検索キーワード

楽天で価格比較をする際は、単に「GPU」と調べるのではなく、以下の具体的なキーワードで絞り込んでください。

検索キーワード向いている人避けた方がいい人
RTX 4060 Ti 16GB予算10万円以下でLLMを始めたい入門者70B以上の巨大モデルを動かしたい人
RTX 4090 24GB最高の推論速度を求める個人開発者・エンジニア電源やケースの入れ替えが面倒な人
RTX 6000 Ada予算度外視で業務用の安定性を求めるプロコスパを重視する個人
Mac Studio M2 Ultra 192GB設定の楽さと大容量VRAMを両立したい人1msでも速いレスポンスを求めるゲーマー兼務者

代替案と妥協ライン

「いきなり30万円、50万円の投資は怖い」という方へ。 全ての工程をローカルでやる必要はありません。

クラウドGPUの活用（RunPod / Lambda Labs）

月額制ではなく「1時間100円〜200円」でRTX 4090やH100を借りられるサービスです。 GLM 5.2のような巨大モデルを1回試してみたいだけなら、数千円のデポジットで十分検証可能です。 ここで「本当にこのモデルを毎日使うか？」を判断してから、ハードウェアを購入しても遅くありません。

徹底した「量子化」での妥協

最近のllama.cppやExLlamaV2といったライブラリは優秀です。 1.5bitや2bitといった極限の量子化を行えば、VRAM 8GBの安価なGPUでも巨大モデルが「一応」動きます。 精度は落ちますが、RAG（外部知識参照）を組み合わせることで補完できるケースもあります。 まずは手持ちの機材でGGUF形式の軽量モデルを試し、限界を感じたタイミングが買い時です。

中古のRTX 3090 24GBという選択肢

実は、AIエンジニアの間で根強い人気なのが中古のRTX 3090です。 4090と同じ24GBのVRAMを持ちながら、価格は半額以下の10万円前後で取引されています。 計算速度は4090に劣りますが、VRAM容量が同じであれば「動かせるモデル」は同じです。 電源容量さえ確保できるなら、最も賢い「妥協ライン」と言えるでしょう。

私ならこう選ぶ

私が今、ゼロから環境を構築するなら、まずは楽天で「RTX 3090 中古」か「RTX 4090」の価格を確認します。 特に楽天の買いまわりイベント時はポイント還元が大きいため、実質価格で20万円を切る4090を狙うのがエンジニアとしての正解です。

しかし、もしあなたが「設定に時間をかけたくない」「GLM 5.2のような最新の巨大モデルをメインで使いたい」なら、迷わずMac Studio（M2 Ultra以上、メモリ192GB）をAmazonの整備済み品や楽天の正規店で探します。 NVIDIA構成はドライバのバージョン管理やCUDAのセットアップなど、本質的でない作業に時間を取られがちです。 一方、MacはMLX（Apple公式の機械学習フレームワーク）の登場により、大容量メモリを活かした推論が非常にスムーズになりました。

「速さのRTX 4090」か、「容量のMac Studio 192GB」か。 私は現在4090を2枚挿していますが、次に買い足すなら、間違いなく統一メモリの暴力（Mac Studio）を選びます。 ローカルLLMのトレンドは「巨大化」に向かっており、VRAM 24GBの壁は想像以上に早くやってくるからです。

よくある質問

Q1: RTX 5090を待つべきですか？

VRAMが32GBになるとの噂もありますが、発売直後は争奪戦で価格も30万円を大きく超えるでしょう。今すぐ開発を始めたいなら、現行の4090を買って「今すぐAIの恩恵を受ける」方が、数ヶ月待つよりも機会損失が少ないです。

Q2: メモリ（RAM）を128GB積めば、GPUは安物でも良いですか？

ダメです。LLMの推論にメインメモリを使うと、VRAMに比べて速度が1/10から1/100に低下します。1秒に1文字出るかどうかの速度では、仕事になりません。あくまで「VRAM」の容量を最優先してください。

Q3: 複数のGPUを挿すと、VRAMは合算されますか？

llama.cppなどの主要な推論ソフトを使えば、複数のGPUにモデルを分割してロードできるため、実質的に合算された容量として扱えます。24GBの4090を2枚挿せば、48GBまでのモデルを動かすことが可能です。

あわせて読みたい