llama.cpp 使い方 入門 (GGUF量子化でローカルLLMを動かす方法)

所要時間: 約45分 | 難易度: ★★★☆☆

この記事で作るもの

結論から言うと、この記事を読むだけで「自分のPC内でChatGPTと同等の性能を持つAIを、一切の通信なし・完全無料で動かす環境」が手に入ります。 具体的には、llama.cppをソースからビルドし、Llama 3.1などの最新モデルをGGUF形式で動かすPython連携サーバーを構築します。 「AIを動かすには最強のGPUが必要」という固定観念を捨て、手元のPCの性能を限界まで引き出す実践的な手法を伝えます。

• ローカルLLMをAPIサーバー化し、Pythonから操作するシステム
• 前提知識：ターミナルの基本操作（cd, git程度）とPythonの基礎
• 必要なもの：Windows/Mac/Linux PC（GPUなしでも動作可能ですが、あると快適です）

先に確認するスペック・料金

ローカルLLMの世界では、VRAM（ビデオメモリ）の量がすべてを決めます。 私が仕事で使うなら、最低でも「VRAM 12GB以上のNVIDIA GPU」か「メモリ16GB以上のApple Silicon Mac」を推奨します。 RTX 3060 12GBモデルなら中古で3万円台から狙えますし、MacBook Air M2/M3のメモリ16GB以上があれば、Llama 3.1 8Bクラスは爆速で動きます。

逆に、VRAM 8GB以下のGPUやメモリ8GBのMacだと、モデルを「量子化（圧縮）」しても動作が重く、実務で使うにはストレスが溜まります。 もしハードウェアを買う予算がないなら、無理にローカルで動かさず、GroqやOpenRouterなどの高速APIを使ったほうが幸せになれるかもしれません。 それでも「自分の手元で動かす」という自由とプライバシーには、投資する価値があると私は確信しています。

なぜこの方法を選ぶのか

ローカルLLMを動かす手段は、LM Studio、Ollama、Python（Transformers）など多岐にわたります。 しかし、私は実務において「llama.cpp」を第一に選択します。 理由は単純で、これが最も「軽量で、カスタマイズ性が高く、更新が速い」からです。

LM StudioやOllamaも内部ではllama.cppを使っていますが、GUIや抽象化層が挟まるため、詳細なメモリ管理や最新パラメータの調整がしにくい。 llama.cppを直接叩くことができれば、VRAMの1MB単位での節約や、コンテキストウィンドウの微調整が可能になります。 また、GGUFというファイル形式は、CPUとGPUに処理を分散させる「オフロード」機能に優れており、スペックが低いPCでも「とりあえず動く」状態まで追い込める唯一の選択肢です。

Step 1: 環境を整える

まずは、llama.cppをあなたのPCで使える状態にします。 バイナリ配布もありますが、自分のPCのCPU（AVX512など）やGPU（CUDA）に最適化させるため、ソースコードからのビルドを推奨します。

Windows (WSL2 / Ubuntu) または Linux の場合

# リポジトリのクローン
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# ビルドに必要なツールのインストール（Ubuntu例）
sudo apt update && sudo apt install -y build-essential cmake git

# NVIDIA GPUを使いたい場合（CUDAがインストールされている前提）
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

Mac (Apple Silicon) の場合

# Macは標準でMetal（GPU）をサポートしているため、ビルドが非常に楽です
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON
cmake --build build --config Release -j

cmakeの-jオプションは、CPUの全コアを使って並列ビルドを行う指示です。 これにより、ビルド時間が数分から数十秒に短縮されます。

⚠️ 落とし穴: Windowsで「CUDA環境を入れたはずなのにGPUが認識されない」という相談をよく受けます。 それはnvcc --versionが通らない、あるいはCMake実行時にCUDAのパスが見えていないことが原因です。 必ず環境変数（PATH）にCUDAのbinディレクトリが含まれているか確認してください。 ここを怠ると、せっかくのGPUが使われず、激重のCPU推論で絶望することになります。

Step 2: モデルのダウンロードと量子化の選択

次に、頭脳となるモデル（重みファイル）をHugging Faceから取得します。 最近は「Bartowski」氏や「MaziyarPanahi」氏が、主要モデルをGGUF形式に変換して公開してくれているので、それを利用するのが最も手っ取り早いです。

ここでは、日本語能力と推論性能のバランスが良い「Llama-3.1-8B-Instruct-GGUF」を例にします。

# huggingface-cliを使うとダウンロードが速くて確実です
pip install huggingface_hub

# 特定の量子化ファイルをダウンロード（Q4_K_Mがバランス最高）
huggingface-cli download lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

ここで「どの量子化を選べばいいか」という問題に直面します。 私の経験則に基づく基準は以下の通りです。

• Q4_K_M (4-bit): 迷ったらこれ。精度低下はわずか1%程度で、ファイルサイズは元の半分以下。
• Q8_0 (8-bit): ほぼ劣化なし。VRAMに余裕があるならこれ。
• IQ2_M (2-bit): 動作はするが、支離滅裂な回答が増える。実用外。

「仕事で使えるか」という視点なら、Q4_K_M以上を使いましょう。 それ以下の圧縮率は、もはや「動いた」という自己満足に近いものになってしまいます。

Step 3: 動かしてみる

まずはコマンドラインから、モデルが正しく動作するか確認します。 llama.cppのビルドが終わると、build/bin/の中に実行ファイルが生成されています。

./build/bin/llama-cli \
  -m Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
  -p "あなたは優秀なエンジニアです。Pythonで素数を判定する関数を書いてください。" \
  -n 512 \
  -ngl 99

各パラメータの意味を説明します。

• -m: モデルファイルのパス。
• -p: プロンプト（入力文）。
• -n: 生成する最大トークン数。
• -ngl: 「n-gpu-layers」の略。GPUに丸投げするレイヤー数です。
  • 8Bモデルなら33〜40程度ですが、99と指定しておけば「全部GPUに乗せる」という意味になります。
  • VRAMが足りない場合は、この数字を徐々に下げて、CPUとメモリ（RAM）に処理を逃がします。

期待される出力

def is_prime(n):
    if n <= 1: return False
    for i in range(2, int(n**0.5) + 1):
        if n % i == 0: return False
    return True

このように、一瞬（秒間30〜50トークン程度）でコードが出力されれば成功です。 もし出力が1文字ずつ「……ポ……ツ……ポ……ツ……」と出る場合は、GPUオフロード（-ngl）が効いていないか、VRAM不足でスワップが発生しています。

Step 4: 実用レベルにする（APIサーバー化）

単発のコマンド実行では不便なので、llama.cppを「OpenAI互換のAPIサーバー」として立ち上げます。 これにより、既存のPythonライブラリやCursorなどのエディタから、ChatGPTと同じ感覚で自前のLLMを叩けるようになります。

サーバーの起動

./build/bin/llama-server \
  -m Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 8192

-c 8192はコンテキストサイズ（一度に扱えるトークン量）です。 ここを大きくしすぎるとVRAMを劇的に消費するので、最初は8192（8k）程度で様子を見るのが賢明です。

Pythonから呼び出すスクリプト

次に、別のターミナルを開いてPythonで連携コードを書きます。 openaiライブラリがそのまま使えるのが、llama.cppの素晴らしいところです。

import os
from openai import OpenAI

# ローカルサーバーのアドレスを指定
# base_urlがローカルを向いているのがポイント
client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="sk-no-key-required"  # ローカルなのでキーは不要
)

def ask_local_ai(prompt):
    try:
        response = client.chat.completions.create(
            model="gpt-3.5-turbo",  # llama.cpp側で無視されるので何でもOK
            messages=[
                {"role": "system", "content": "あなたは技術に詳しいアシスタントです。"},
                {"role": "user", "content": prompt}
            ],
            temperature=0.7
        )
        return response.choices[0].message.content
    except Exception as e:
        return f"Error: {str(e)}"

if __name__ == "__main__":
    query = "llama.cppとGGUFを使うメリットを3行で教えて"
    print(f"質問: {query}\n")
    result = ask_local_ai(query)
    print(f"回答:\n{result}")

このコードの肝は base_url="http://localhost:8080/v1" です。 アプリ側は「OpenAIにリクエストを送っている」つもりですが、実際にはあなたの足元にあるRTX 4090やMacBookが計算を行っています。 これこそが、実務で機密情報を扱う際に「絶対に情報が漏れないAI環境」を作るための鉄板構成です。

よくあるトラブルと解決法

次のステップ

ここまでできれば、あなたは「ローカルLLMを制御する基礎」をマスターしたと言えます。 次に挑戦すべきは、以下の3つです。

1. RAG（検索拡張生成）の構築: 自分のPDFやメモを読み込ませ、ローカルLLMに回答させるシステムを作ってみてください。LangChainやLlamaIndexを使えば、今回のAPIサーバーと簡単に繋がります。

2. マルチモーダルモデルの試行: Llama-3.2-Visionなどの画像認識ができるモデルもGGUF形式で出ています。カメラ画像から何が写っているかをローカルで判定させるのは、セキュリティ用途などで非常に強力です。

3. コンテキストウィンドウの拡張: -c 32768など、より大きな文脈を読み込ませる設定に挑戦してください。ただし、KVキャッシュという仕組みにより、コンテキストを増やすと加速度的にVRAMを消費します。この「性能とリソースのせめぎ合い」を管理できるようになれば、一人前のAIエンジニアです。

ローカルLLMは、一度構築してしまえば「誰にも課金せず、誰にも監視されず、無限に思考を試行錯誤できる」最高の遊び場であり、武器になります。

よくある質問

Q1: NVIDIAのGPUがない普通のノートPCでも動きますか？

動きます。llama.cppの強みはCPUでの推論性能です。AVX2などの命令セットをフル活用するため、最近のCore i5以上なら、小型モデルであれば「チャット」として成立する速度で動作します。ただし、快適さを求めるならメモリは16GB以上積んでおくべきです。

Q2: 量子化したモデル（GGUF）は、元のモデルよりバカになりますか？

厳密には、わずかに精度は落ちます。しかし、Q4_K_M（4bit）以上の量子化であれば、人間が体感で「バカになった」と感じることはほぼありません。むしろ、量子化によって動作が軽快になり、より大きなモデル（7Bではなく14Bなど）を動かせるようになるメリットの方が圧倒的に大きいです。

Q3: 商用利用は可能ですか？

モデルのライセンス（Llama 3ならLlama 3ライセンス、Apache 2.0など）に依存します。llama.cppというツール自体はMITライセンスなので自由に使えます。仕事で使う場合は、各モデルのライセンス条項を必ず確認してください。多くの場合、ユーザー数が数億人規模でない限り、無料で商用利用可能です。

あわせて読みたい

• llama.cpp 使い方 入門：GGUF量子化でローカルLLMを爆速にする方法
• llama.cpp 使い方 入門：GGUF量子化モデルをローカルPCで爆速動作させる方法
• llama.cpp 使い方 入門：GGUF量子化モデルをローカルPCで爆速動作させる全手順