所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの 自分の業務ドキュメントやコードを元に、ローカルLLMの「実務正解率」を算出する評価ハーネス（検証用スクリプト） Qwen2.5-CoderやLlama 3.1などのモデルを同一条件で比較し、token/secと精度を自動集計する仕組み 前提知識: Pythonの基本的な読み書き、ターミナルでのコマンド操作 必要なもの: Dockerが動く環境、またはPython 3.10以上、NVIDIA製GPU（VRAM 12GB以上推奨） 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの 自分のPC上でローカルLLMの推論速度（Tokens Per Second）と応答遅延（TTFT）を正確に計測するPythonスクリプト 特定のモデル（Llama 3やQwen 2など）が自分の業務で使い物になるかを「数字」で判断する基準 前提知識：Pythonの基本的な構文（変数、関数）がわかり、ターミナルでコマンド操作ができること 必要なもの：NVIDIA製GPU（VRAM 8GB以上推奨）またはApple Silicon搭載Mac、Python 3.10以降 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの vLLM（推論最適化エンジン）を用いて、Qwen2.5 27BをGPUの限界まで回す推論環境 数十から数百のリクエストを並列処理し、スループット（tps）を最大化するPythonスクリプト 自身の環境で「秒間何トークン出ているか」を正確に測定するベンチマークコード 📦 この記事に関連する商品（楽天メインで価格確認） ...