3行要約

  • 大規模モデル（31B〜122B）を実用レベルで動かすなら、VRAM 48GB以上（RTX 4090 2枚）またはMacの統一メモリ64GB以上が必須構成。
  • 16GB以下のGPUでは9B〜12Bクラスのモデルが限界であり、31B以上のモデルを無理に動かしてもレスポンスが1トークン/秒以下になり実務では使えない。
  • コスパ重視なら中古のRTX 3090（VRAM 24GB）を2枚差す構成が、現時点で最も安価に「仕事で使える」ローカルLLM環境を構築できる。

📦 この記事に関連する商品（楽天メインで価格確認）

GeForce RTX 4090

24GBのVRAMと圧倒的な帯域幅で、AI開発のデファクトスタンダード

楽天で価格を見る Amazonでも確認

※アフィリエイトリンクを含みます

結論: まず選ぶべき構成

結論から言えば、あなたが「何B（パラメータ数）」のモデルを動かしたいかで、投資すべき金額は10万円から100万円まで変わります。Redditの有志が熱望している31Bや122Bというクラスは、一般的なゲーミングPCではまず太刀打ちできません。

現状、エンジニアが業務効率化やAIコーディング（Claude CodeやAiderとの連携）を視野に入れるなら、以下の2つのルートのどちらかを選ぶべきです。

  1. NVIDIAルート（速度重視）: RTX 4090（24GB）を1枚、もしくは2枚。 Llama 3.1 8BやQwen 2.5 7Bクラスを爆速（100トークン/秒以上）で回しつつ、4-bit量子化した70Bモデルを2枚差しで実用速度で動かす構成です。レスポンス0.3秒を求めるならこれ以外の選択肢はありません。

  2. Apple Siliconルート（容量・省電力重視）: Mac Studio（M2/M3 Ultra）のメモリ128GB以上。 推論速度はRTX 4090に劣りますが、122BクラスやLlama 3.1 405Bといった「巨大なモデル」を、量子化の劣化を最小限に抑えてロードできる唯一の現実的な選択肢です。自宅のブレーカーを気にせず24時間稼働させるならこちらです。

入門者が「とりあえず動かしてみたい」程度ならRTX 4060 Ti 16GBモデルが妥協点ですが、31B以上のモデルをロードした瞬間にVRAM不足（OOM）でクラッシュするか、メインメモリに溢れて紙芝居のような速度になることを覚悟してください。

用途別おすすめ

用途推奨構成/商品カテゴリ理由注意点
入門・学習RTX 4060 Ti 16GB最安で16GBのVRAMを確保できる。Gemma 2 9Bが快適に動く。31B以上のモデルは実用的な速度で動かない。
AIコーディング実務RTX 4090 24GBCursorやClineとの連携で、レスポンス速度が開発体験に直結するため。1枚では70Bモデルを4-bitで動かすのが限界。
研究・大規模モデル検証Mac Studio (128GB〜)統一メモリにより、VRAM容量という物理的限界を突破しやすい。推論速度は4090より遅い。ゲーム性能は期待できない。
コスパ最強・本格運用中古 RTX 3090 2枚差し24GB×2枚＝48GBを約20万円強で構築可能。70Bが余裕で動く。消費電力が極めて高く、1200W以上の電源と巨大なケースが必要。

今のローカルLLM界隈は、モデルのサイズが「31B（310億パラメータ）」を超えると一気に要求スペックが跳ね上がります。31Bクラス（Qwen2.5 32BやCommand Rなど）を4-bit量子化して動かすには、OSの消費分を含めて約20GB〜24GBのVRAMが必要です。つまり、RTX 4090の24GBが「最低ラインの入り口」になるわけです。

もし122Bモデルがリリースされた場合、4-bit量子化でも約70GB〜80GBのVRAMが必要になります。これを動かせるのは、RTX 4090を4枚積んだワークステーションか、128GB以上のメモリを積んだMac Studioだけです。「動かしてみた」という趣味の領域を超えるなら、この「VRAMの壁」をどう突破するかを最初に決める必要があります。

買う前のチェックリスト

  • チェック1: VRAM（ビデオメモリ）は16GB以上あるか？ 8GBや12GBのGPUは、今すぐ選択肢から外してください。2024年以降のモデル（Gemma 2, Llama 3.1, Qwen 2.5）を仕事で使うなら、16GBが「最低限のスタートライン」です。VRAMが不足すると、推論は極端に遅くなるか、エラーで停止します。

  • チェック2: PCケースのサイズと電源容量は足りているか？ RTX 4090や3090は、厚みが3〜4スロット分あります。2枚差しをするなら、マザーボードのPCIeスロット間隔と、PCケースのエアフロー、そして1200W〜1500Wクラスの電源ユニットが必要です。適当なBTOパソコンに後から刺そうとしても、物理的に入らないケースが大半です。

  • チェック3: 統一メモリ（Mac）かVRAM（NVIDIA）か？ LLMの推論速度は「メモリ帯域幅」に依存します。RTX 4090は1000GB/s超えで爆速ですが、Mac Studio M2 Ultraも800GB/sと健闘しています。一方、安価なMacBook Airなどはメモリ帯域が100GB/s程度しかないため、巨大なモデルをロードできても、返答が返ってくるまでに数十秒待たされることになります。

  • チェック4: 商用利用可能なモデルを動かす予定があるか？ 仕事で使う場合、モデルのライセンス（Llama 3.1は商用可だが条件あり、Qwen 2.5はApache 2.0など）を確認する必要があります。ローカル環境ならデータ流出のリスクはありませんが、生成物の権利関係については、使用するモデルのドキュメントを必ず一読しておくべきです。

  • チェック5: 接続端子とマルチディスプレイ環境 GPUを2枚刺すと、1枚目の端子が塞がったり、熱の問題でディスプレイ出力が不安定になることがあります。開発時にマルチディスプレイを常用するなら、オンボード出力（IntelのUHD Graphics等）を併用できる構成にしておくと、GPUのメモリをすべてLLMに割り当てられるのでお得です。

楽天/Amazonで見るべき検索キーワード

検索キーワード向いている人避けた方がいい人
RTX 4060 Ti 16GB予算10万円以下でローカルLLMを始めたい、9Bクラスのモデルで十分な人。31Bや70Bの大規模モデルを仕事でガッツリ使いたい人。
RTX 4090 24GB最高の推論速度を求めるエンジニア。Cursor等のAIコーディングツールを快適に使いたい人。予算を抑えたい人、電気代を気にする人、PCの騒音が気になる人。
Mac Studio M2 Ultra 128GB405Bや122Bなどの超巨大モデルを安定してロードしたい、静音性を重視する人。ゲームも遊びたい人、コストパフォーマンスを最優先する人。
RTX 3090 中古 24GB10万円台で24GBのVRAMを手に入れたい「わかっている」中級者。保証がないと不安な人、中古PCパーツの目利きができない人。

代替案と妥協ライン

「いきなり50万円のPCを買うのは無理」という方への妥協案は2つあります。

  1. クラウドGPU（RunPod / Lambda Labs）の併用 初期投資を抑えたいなら、RTX 4090を1時間$0.7〜$0.8程度でレンタルできるクラウドサービスを利用しましょう。31Bや70Bモデルが自分の業務に本当に役立つか、まずは1,000円分だけ課金して試してみるのが賢い選択です。ここで「やはりローカルに専用機が欲しい」と確信してからハードウェアを買っても遅くありません。

  2. 小型モデル（7B〜9B）の徹底活用 最近のQwen 2.5 7BやGemma 2 9Bは非常に優秀です。これらを「RAG（外部知識参照）」や「Few-shotプロンプティング」で最適化すれば、31Bクラスのモデルを素の状態で使うよりも高い精度を出せる場合があります。この場合、10万円以下のRTX 4060 Ti 16GB環境でも十分に「仕事」になります。

  3. 中古ワークステーションの改造 楽天や中古ショップで出回っている型落ちのワークステーション（HP ZシリーズやDell Precision）に、中古のRTX 3090を指す手法です。これなら総額20万円以下でVRAM 24GB環境が手に入ります。ただし、電源コネクタの変換や排熱対策など、SIer的なハードウェア知識が必要になります。

私ならこう選ぶ

私が今、ゼロから「仕事で使える」環境を楽天で揃えるなら、迷わず**「RTX 4090搭載のBTOパソコン」**をベースに検討します。

具体的には、ZOTACやMSIのRTX 4090（24GBモデル）が載っているモデルを検索します。なぜ4090なのか。それは、llama.cppやOllamaでの推論において、メモリ帯域幅が性能に直結するからです。31Bクラスのモデルを4-bit量子化して動かす際、RTX 4090ならストレスなく会話が成立しますが、それ以下のグレードだと「思考の待ち時間」が発生し、結果としてエンジニアの集中力が削がれるからです。

もし予算が許すなら、将来的に4090を「もう1枚追加」できるだけの余裕（1200W以上の電源と、巨大なフルタワーケース）がある構成を最初から選びます。楽天なら「RTX 4090 搭載 PC フルタワー」といったキーワードで、内部の拡張性が高いモデルを探しますね。

逆に、Macを選ぶならMac Studio一択です。MacBook Proは画面を閉じると排熱効率が落ちるため、長時間の推論には向きません。128GB以上のメモリを積んだMac Studioを「AI推論サーバー」として自宅に鎮座させるのが、エンジニアとしての最適解だと考えています。

よくある質問

Q1: メモリ32GBのMacBookで31Bモデルは動きますか？

動きますが、非常に遅いです。macOS自体が数GB消費するため、31Bモデル（4-bitで約18GB）をロードすると、スワップが発生しやすくなります。快適さを求めるなら、メモリは最低でも64GB、理想は128GBです。

Q2: ゲーミングノートPCでローカルLLMはおすすめですか？

おすすめしません。ノート用のRTX 4090はデスクトップ版より大幅に性能が低く、VRAMも16GBしかありません。熱暴走でクロックダウンも発生しやすいため、同じ予算を出すならデスクトップを買うべきです。

Q3: 122Bモデルなどの巨大モデルは将来的に軽くなりますか？

「量子化」の技術（GGUF/EXL2等）が進んでいるため、精度を維持したまま容量を減らすことは可能になっています。しかし、モデル自体の「知能」はパラメータ数に依存するため、根本的な解決にはVRAM（メモリ）への投資が不可欠です。

あわせて読みたい