https://ai.negi-lab.com/tags/%E6%8E%A8%E8%AB%96%E9%80%9F%E5%BA%A6-%E8%A8%88%E6%B8%AC/Recent content in 推論速度 計測 on Negi AI Labhttps://ai.negi-lab.com/images/og-default.pnghttps://ai.negi-lab.com/images/og-default.pngHugo -- 0.154.5jaTue, 09 Jun 2026 15:56:46 +0900https://ai.negi-lab.com/posts/local-llm-benchmark-python-llama-cpp/Tue, 09 Jun 2026 00:00:00 +0900https://ai.negi-lab.com/posts/local-llm-benchmark-python-llama-cpp/<p><strong>所要時間:</strong> 約40分 | <strong>難易度:</strong> ★★★☆☆</p> <h2 id="この記事で作るもの">この記事で作るもの</h2> <ul> <li>自分のPC上でローカルLLMの推論速度（Tokens Per Second）と応答遅延（TTFT）を正確に計測するPythonスクリプト</li> <li>特定のモデル（Llama 3やQwen 2など）が自分の業務で使い物になるかを「数字」で判断する基準</li> <li>前提知識：Pythonの基本的な構文（変数、関数）がわかり、ターミナルでコマンド操作ができること</li> <li>必要なもの：NVIDIA製GPU（VRAM 8GB以上推奨）またはApple Silicon搭載Mac、Python 3.10以降</li> </ul> <div style="border:1px solid #e0e0e0;border-radius:8px;padding:16px;margin:20px 0;background:#fafafa"> <p style="margin:0 0 4px;font-size:13px;color:#888">📦 この記事に関連する商品（楽天メインで価格確認）</p>