所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの この記事を読み進めることで、Llama 3やQwenといった最新のLLM（大規模言語モデル）を、Pythonから呼び出して高速に動作させる「チャット用バックエンド」が完成します。 単に動かすだけでなく、モデルを量子化してメモリ消費を抑え、GPUの性能を限界まで引き出す設定を自力で行えるようになります。 Pythonの基礎（pipインストールや関数の作成）ができる方を対象としています。 ...
所要時間: 約30分 | 難易度: ★★★☆☆ この記事で作るもの この記事を読むと、自身のPC（Windows/Mac）でLlama 3などの最新LLMを、VRAMを節約しながら高速に動作させるPythonスクリプトが完成します。 前提知識: Pythonの基本的な読み書きができる、ターミナル（コマンドプロンプト）の操作に抵抗がない 必要なもの: 8GB以上のメモリを搭載したPC（GPU搭載推奨）、Python 3.10以降 先に確認するスペック・料金 ローカルLLMを動かす上で、最も重要なのは「VRAM（ビデオメモリ）」の容量です。 結論から言うと、NVIDIA製のGPU（RTX 3060 12GB以上）か、Apple Silicon（M1/M2/M3）を搭載した16GB以上のメモリを持つMacがあれば、実用的な速度で動作します。 ...