llama.cppとGGUFを使って手元のPCで高性能なLLMを高速動作させる環境を構築します。
クラウドに課金せず、VRAM 12GB程度のコンシューマーGPUやApple Silicon Macで、7B〜14Bクラスのモデルを「実用速度」で動かす手法を解説します。 この記事の手順を終える頃には、自分のPC内にプライベートなAIチャット環境が完成しています。 ...
Python AI 推論
クラウドに課金せず、VRAM 12GB程度のコンシューマーGPUやApple Silicon Macで、7B〜14Bクラスのモデルを「実用速度」で動かす手法を解説します。 この記事の手順を終える頃には、自分のPC内にプライベートなAIチャット環境が完成しています。 ...