LocalLLMハードウェア選定ツールの作り方と最適な環境構築
所要時間: 約40分 | 難易度: ★★☆☆☆ この記事で作るもの 入力したモデル規模（Llama-3-70B等）に対し、M5、Strix Halo、RTX 6000 Adaなどの次世代・現行ハードウェアで「動くのか」「速度（Token/s）はどの程度か」を算出するシミュレーターを作成します 前提知識: Pythonの基本的な文法、ローカルLLMにおける「量子化（4bit/8bit）」の意味がわかること 必要なもの: Python 3.10以降が動作するPC 📦 この記事に関連する商品（楽天メインで価格確認） ...