ローカルLLM ベンチマーク

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの vLLM（推論最適化エンジン）を用いて、Qwen2.5 27BをGPUの限界まで回す推論環境 数十から数百のリクエストを並列処理し、スループット（tps）を最大化するPythonスクリプト 自身の環境で「秒間何トークン出ているか」を正確に測定するベンチマークコード 📦 この記事に関連する商品（楽天メインで価格確認） ...