llama.cpp 使い方 入門 GGUF 量子化でローカルLLMを動かす方法
所要時間: 約30分 | 難易度: ★★★☆☆ この記事で作るもの llama.cppを使用して、Llama 3.1などの最新LLMを自分のPC上で動かし、OpenAI互換のAPIサーバーとしてPythonから呼び出す環境を構築します。 クラウドAPIを使わずに、機密情報を一切外に出さない完全オフラインのチャットボットや要約システムが作れるようになります。 Pythonの基礎（pipインストールや関数の実行）ができる方を対象に、環境構築から実用的なスクリプト作成までを網羅します。 ...
