所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの この記事を読むと、NVIDIA RTX 4090を2枚使ってVRAM計48GBの計算環境を構築し、Llama-3-70Bクラスの巨大なLLMをローカル環境で高速に推論できるようになります。 2枚のGPUを認識させるUbuntuの環境構築 llama.cppを用いたマルチGPU推論の設定 VRAMを最大限に使い切るためのレイヤー分割の最適化 先に確認するスペック・料金 RTX 5090の発売中止や、GB202チップがプロ向け（RTX PROシリーズ）に限定されるという不穏なニュースが流れています。 仮に5090が出たとしても、VRAM 32GBで30万円を超えるなら、現行のRTX 4090（24GB）を2枚並べて48GBを確保するほうが、LLMの実務においては圧倒的にコスパが良いです。 ...
3行要約 Mistral Largeクラスの119BモデルがApache-2.0ライセンスで登場。Active 6B（MoE）構成により、巨大モデルとは思えないレスポンス速度を実現。 ロードには最低でも60GB〜80GB超のVRAMが必要。RTX 4090の2枚挿し（48GB）では容量が足りず、Mac Studio（128GB以上）かGPU 3枚構成が現実的なライン。 業務で機密情報を扱うRAGやAIコーディングを「完全オフライン・高速」で運用したいエンジニアにとって、今最も投資価値のあるモデル。 📦 この記事に関連する商品（楽天メインで価格確認） ...
3行要約 結論、実務で70Bクラスのモデルを快適に動かすなら「VRAM 48GB（RTX 4090 2枚）」か「Apple Silicon 128GB以上」の二択です。 10B以下の軽量モデルやAIコーディング補助が目的なら、RTX 4060 Ti 16GB搭載機が最もコストパフォーマンスに優れています。 電源容量の不足とVRAM容量の誤解が最大の失敗要因。中古のRTX 3090も選択肢に入れつつ、電力効率と騒音を許容できるかで判断すべきです。 📦 この記事に関連する商品（楽天メインで価格確認） ...