llama.cpp 使い方 入門！GGUF量子化モデルをローカルPCで動かす実践ガイド
所要時間: 約40分 | 難易度: ★★☆☆☆ この記事で作るもの 自分のPC（Windows/Mac/Linux）上で、オープンソースのLLMを「API料金ゼロ」で動かす推論サーバーを構築します。 具体的には、llama.cppをビルドし、Llama 3やMistralなどのGGUF形式モデルを読み込んで、ブラウザやPythonからチャットができる状態まで進めます。 Pythonの基礎知識と、ターミナルでコマンドを数行打つ覚悟があれば十分です。 ...