RTX 4090を2枚挿しでVRAM 48GB環境を構築する方法
所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの この記事を読むと、NVIDIA RTX 4090を2枚使ってVRAM計48GBの計算環境を構築し、Llama-3-70Bクラスの巨大なLLMをローカル環境で高速に推論できるようになります。 2枚のGPUを認識させるUbuntuの環境構築 llama.cppを用いたマルチGPU推論の設定 VRAMを最大限に使い切るためのレイヤー分割の最適化 先に確認するスペック・料金 RTX 5090の発売中止や、GB202チップがプロ向け（RTX PROシリーズ）に限定されるという不穏なニュースが流れています。 仮に5090が出たとしても、VRAM 32GBで30万円を超えるなら、現行のRTX 4090（24GB）を2枚並べて48GBを確保するほうが、LLMの実務においては圧倒的にコスパが良いです。 ...