ローカルLLMが爆速に。llama.cppの新機能をフル活用するRTX・Macの選び方と比較
3行要約 llama.cppの「Prompt Lookup Drafting（PLD）」により、コード生成やRAGなど特定の用途で推論速度が最大42倍（実効2〜5倍）に向上する。 高価な「2枚挿し」をせずとも、VRAM 16GB以上のシングルGPU構成で最新の7B〜14Bクラスを実用レベルの速度で回せるようになった。 失敗しないコツは、推論速度（t/s）に惑わされず「VRAM容量」と「メモリ帯域」のバランスでハードウェアを選ぶこと。 📦 この記事に関連する商品（楽天メインで価格確認） ...