Mlx-Lm チュートリアル

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの Apple Silicon（M1/M2/M3/M4チップ）の性能をフルに引き出し、日本語対応の最新LLM「Gemma 2 9B」とリアルタイムに対話できるチャット用Pythonスクリプトを作ります。 クラウドのAPIを一切使わず、手元のMac内のGPU（Metal）を叩いて秒間数十トークンの速度でテキストを生成する環境を構築します。 ...