蒸留モデル

所要時間: 約20分 | 難易度: ★★☆☆☆ この記事で作るもの 26M（2600万）という驚異的な小ささのモデル「Needle」を使い、ユーザーの入力から「どのツールを、どの引数で使うべきか」を瞬時に判断するPythonスクリプトを作成します。 Gemini 1.5 Proのツール呼び出し能力を蒸留したこのモデルを、ローカル環境で爆速（1200 tok/s以上）で動かす体験を提供します。 ...

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Llama-3.1-8B-Instruct（蒸留モデル）を使用し、1秒間に100トークン以上の速度で構造化データ（JSON）を抽出するPythonスクリプト 前提知識: Pythonの基本的な文法、ターミナル操作 必要なもの: NVIDIA製GPU（VRAM 8GB以上推奨）、Python 3.10以降 📦 この記事に関連する商品 ...