https://ai.negi-lab.com/tags/gemma-2-31b/Recent content in Gemma 2 31B on Negi AI Labhttps://ai.negi-lab.com/images/og-default.pnghttps://ai.negi-lab.com/images/og-default.pngHugo -- 0.154.5jaMon, 22 Jun 2026 23:41:37 +0900https://ai.negi-lab.com/posts/gemma-2-31b-qat-kv-cache-quantization-guide/Mon, 22 Jun 2026 00:00:00 +0900https://ai.negi-lab.com/posts/gemma-2-31b-qat-kv-cache-quantization-guide/<p><strong>所要時間:</strong> 約45分 | <strong>難易度:</strong> ★★★★☆</p> <h2 id="この記事で作るもの">この記事で作るもの</h2> <ul> <li>24GBのVRAM（RTX 3090/4090等）1枚で、Gemma 2 31B QATモデルを32k以上の長いコンテキストで高速動作させる環境</li> <li>量子化による精度劣化を最小限に抑えつつ、推論速度を最適化するllama.cpp実行スクリプト</li> <li>KVキャッシュの量子化（4-bit/8-bit）が実際に業務で使えるレベルか判定するベンチマーク手順</li> </ul> <div style="border:1px solid #e0e0e0;border-radius:8px;padding:16px;margin:20px 0;background:#fafafa"> <p style="margin:0 0 4px;font-size:13px;color:#888">📦 この記事に関連する商品（楽天メインで価格確認）</p>