3行要約
- 予算約45万円（3,000ドル）でVRAM 128GB環境を作るなら、中古ワークステーションにRTX 3090を複数枚刺すのが現実的な最適解
- 速度重視ならRTX 4090一択だが、Llama 3 70Bクラスを実用レベルで動かすならVRAM 48GB以上（2枚構成）が必須条件になる
- 構築の「手間」と「電気代」を無視できないならMac Studio 128GBモデルが最強の代替案。自作は「ハマる時間」を楽しめる人向け
結論: まず選ぶべき構成
結論から言うと、あなたが「AIモデルの研究・開発」をしたいのか、「AIをツールとして仕事に使いたいだけ」なのかで、選ぶべき道は真っ二つに分かれます。
もし「仕事で使いたいだけ」なら、悪いことは言いません。Mac Studioのメモリ128GB以上のモデルを、楽天のポイント還元率が高い日に買ってください。自作サーバーは、ドライバの衝突、電源不足、排熱問題、そしてLinuxのカーネルアップデートで半日潰れるようなトラブルが日常茶飯事です。
一方で、1円でも安く最大のVRAM（ビデオメモリ）を確保し、DeepSeek-V3やLlama-3-70Bの高性能な量子化版をローカルでブン回したいなら、中古のDell PrecisionやHP Zシリーズといったワークステーションをベースに、中古のRTX 3090（24GB）を2〜4枚積む構成がコスパ最強です。
RTX 4090は確かに速いですが、1枚25万円以上します。2枚でVRAM 48GB、50万円コースです。これに対し、中古のRTX 3090なら1枚10〜12万円程度。3枚積めば72GB、4枚積めば96GBという巨大なVRAM環境が、4090 2枚分より安く手に入ります。推論速度は4090に劣りますが、VRAM不足でモデルが動かない絶望を味わうよりは、多少遅くても「動く」ことの方が実務では重要だと思います。
用途別おすすめ
| 用途 | 推奨構成/商品カテゴリ | 理由 | 注意点 |
|---|---|---|---|
| 入門・AIコーディング | RTX 4060 Ti 16GB | VRAM 16GBが10万円以下。CursorやAiderでQwen2.5-Coderを動かすには十分。 | 推論速度はそこそこ。70Bクラスのモデルは動かない。 |
| 本格運用（実務・検証） | RTX 3090 24GB × 2枚 | VRAM 48GB確保。Llama-3-70Bの4bit量子化が快適に動作し、RAGの実装検証も可能。 | 電源容量1200W以上が必須。中古品の状態確認が重要。 |
| 最強コスパ（研究・変態） | 中古サーバー + RTX 3090 × 4枚 | VRAM 96GB。Redditの猛者が目指す領域。巨大なモデルをほぼ全てローカルで完結できる。 | 騒音と発熱が凄まじい。専用の200V電源工事を検討するレベル。 |
| クリエイティブ・安定性 | Mac Studio (M2/M3 Ultra) 128GB以上 | 統一メモリの恩恵。VRAM消費を気にせず巨大モデルが動く。OSの安定性が抜群。 | NVIDIA限定のライブラリが動かない場合がある。 |
1. 入門：RTX 4060 Ti 16GB構成
「まずはローカルでAIコーディングを試したい」という人は、迷わずRTX 4060 Tiの16GB版を選んでください。8GB版は絶対にダメです。AIにおいてVRAMは「正義」ではなく「生存条件」だからです。16GBあれば、話題のQwen2.5-Coder-32B（4bit）あたりが実用的な速度で動きます。
2. 本格運用：RTX 3090 24GB × 2枚
私が今からコスパ重視で組むならこれです。3090は4090と同じ24GBのVRAMを持っています。2枚で48GB。これが大きな壁で、48GBあれば「Llama-3-70B」をそれなりのクオリティで動かせます。仕事で使うなら、このクラスの知能がないと「指示が通らない」ストレスで結局API（Claude 3.5 Sonnet等）に戻ることになります。
3. クリエイティブ・安定性：Mac Studio
「サーバー構築に時間を使いたくない。でも機密情報を扱うからローカルで動かしたい」というエンジニアや経営者向けです。Apple Siliconの統一メモリは、GPUがシステムメモリ（RAM）をそのままVRAMとして使えるのが最大のメリットです。256GBメモリのMac Studioを買えば、理論上VRAM 200GB超えの環境が手に入ります。Windowsでこれを実現しようとすると、今回紹介したRedditの例のように3,000ドル以上の投資と、膨大な設定時間が必要です。
買う前のチェックリスト
1. VRAM容量：計算式を知っておく
「どのモデルを動かしたいか」から逆算してください。 モデルのパラメータ数（例: 70B） × 量子化ビット数（例: 4bitなら0.5バイト） × 1.2（オーバーヘッド分） = 必要なVRAM Llama-3-70Bを4bitで動かすなら、70 × 0.5 × 1.2 ＝ 42GB。 つまり、24GBのグラボ1枚（RTX 4090等）では足りず、2枚必要になることがわかります。
2. 電源ユニットの容量とコネクタ
ここが最も失敗しやすいポイントです。RTX 3090や4090を複数枚刺すなら、1200W、できれば1600Wの電源が必要です。 また、最新の「12VHPWR」コネクタが足りるか、変換ケーブルで発火するリスクはないかを確認してください。安物の電源ユニットを使うと、推論中に異臭がしてPCが落ちます。私は一度、安物でマザーボードを道連れにしました。
3. PCIeレーンの本数
マザーボードとCPUが、複数のGPUに十分な帯域（PCIe Gen4 x8以上推奨）を提供できるか確認してください。 一般向けのCore i9やRyzen 9では、2枚刺しまではいけますが、3枚以上になるとPCIeレーンが足りなくなります。Redditの例でLenovo P620（Threadripper Pro搭載）が使われているのは、PCIeレーンが豊富にあるからです。
4. 騒音と排熱
GPUを2枚以上密着させて刺すと、上のグラボが下のグラボの熱を吸って100度近くまで上がります。 ブロワーファン型のグラボを選ぶか、隙間を空けて刺せる巨大なケース、あるいは水冷化が必要です。普通のデスクトップPCの感覚で組むと、部屋がサウナになり、ファンの轟音でオンライン会議ができなくなります。
楽天/Amazonで見るべき検索キーワード
楽天でポイントを貯めつつ、実用的なパーツを揃えるための検索ワードをまとめました。
| 検索キーワード | 向いている人 | 避けた方がいい人 |
|---|---|---|
| RTX 4060 Ti 16GB | 予算10万円以下でローカルLLMを始めたい人 | 70Bクラスの大型モデルを動かしたい人 |
| RTX 3090 中古 | 24GB VRAMを安く手に入れて複数枚刺ししたい人 | 保証がないと不安な人、中古のリスクを許容できない人 |
| Mac Studio M2 Ultra 128GB | 設定不要で大容量VRAM環境を安定して使いたい人 | 予算を極限まで削りたい人、NVIDIA環境が必須な人 |
| 1600W 電源 80PLUS GOLD | GPU 2〜3枚構成で安定稼働させたい人 | 省エネを重視する人（アイドル消費電力も高い） |
| Precision 7920 中古 | 安価に多段GPUサーバーのベース筐体が欲しい人 | 最新のCPU性能を求める人、静音性を求める人 |
代替案と妥協ライン
「いきなり45万円は出せない」という方への妥協ラインを提示します。
1. クラウド（Lambda Labs / RunPod）
初期費用0円で、1時間あたり100円〜300円でRTX A6000やA100を借りられます。 週に数時間しか触らないなら、自作サーバーを作るよりクラウドの方が圧倒的に安いです。自作サーバーの元を取るには、毎日4〜5時間はフル稼働させる必要があります。
2. 量子化の限界まで攻める
「GGUF形式」を使い、VRAMが足りない分をCPUのメインメモリ（RAM）で補う方法です。 llama.cppを使えば、MacBook Air（16GBメモリ）でもLlama-3-70Bを動かすこと自体は可能です。ただし、速度は「1秒に1文字」レベル。これを「使える」と判断するかは人によりますが、プロンプトの調整程度ならこれでも十分かもしれません。
3. 小さなモデルの特化利用
最近は「Qwen2.5-7B」や「Llama-3.1-8B」など、小型でも極めて優秀なモデルが増えています。 これらなら、中古で4万円程度のRTX 3060 12GBでも爆速で動きます。「巨大なモデルを動かす」というロマンを捨て、「実務で使える小規模モデルを使い倒す」方向に舵を切るのも賢い選択です。
私ならこう選ぶ
私が今、ゼロから「仕事で使えるローカルLLM環境」を作るなら、「Mac Studio M2 Ultra（メモリ128GB）」を中古か新古品で探します。
理由はシンプルで、「OSとハードウェアの親和性」です。 LinuxでマルチGPUサーバーを組むと、ドライバのバージョン管理、CUDAの不整合、電源ユニットの劣化など、保守に奪われる時間が多すぎます。SIer時代、サーバーの保守で休日を潰した経験から言えば、開発者がマシンの管理に時間を使うのは本末転倒です。
楽天の「中古パソコン販売店」などを探すと、時々Mac Studioの特盛スペックが相場より安く出ていることがあります。また、楽天カードの「5と0のつく日」を狙えば、ポイントだけで数万円分返ってくるため、実質価格はAmazonより安くなることが多いですね。
もしどうしてもWindows/Linuxが良ければ、**「RTX 3090を2枚」**を中古で拾って、既存のPCの電源を1200W以上に載せ替えます。これが現時点で最も「VRAM単価」が安く、かつ実用的な性能を出せるラインだからです。
よくある質問
Q1: VRAM 24GBのRTX 4090を1枚買うのと、12GBのグラボを2枚買うのはどっちが良い？
断然「RTX 4090 1枚」です。ローカルLLMにおいて、モデルを分割して複数GPUに載せる（Tensor Parallel）のはオーバーヘッドが発生し、速度が低下します。まずは「1枚あたりのVRAM最大容量」を優先し、足りなければ同じカードを買い足すのが基本です。
Q2: メモリ（RAM）は256GBも必要ですか？
GPU（VRAM）で完結させるなら16〜32GBで十分です。しかし、VRAMに収まりきらない巨大モデルをCPUで動かす（Offloading）場合は、RAMの量がそのまま「動かせるモデルの限界」になります。ただし、DDR4/DDR5のメモリ速度はVRAMに比べて圧倒的に遅いため、推論速度は10倍以上遅くなる覚悟が必要です。
Q3: 今後の新型グラボ（RTX 5090等）を待つべき？
「今すぐ仕事で使いたい」なら待つ必要はありません。新型が出てもVRAMが32GB以上に劇的に増えるという確証はなく、価格も30万円を超えてくるでしょう。むしろ、新型発売で型落ちになるRTX 3090/4090の中古相場が下がるタイミングが、ローカルLLM勢にとっての「真の買い時」だと思います。
