llama.cppとGGUF量子化の使い方：低スペックPCでLLMを動かす完全ガイド

所要時間: 約40分 | 難易度: ★★★☆☆

この記事で作るもの

• クラウドを使わず、自分のPC（Mac/Windows）でLlama-3などの最新AIを高速に動かす環境
• Hugging Faceから量子化モデルを探し、PythonからAPI形式で呼び出すスクリプト
• CPUとGPUをハイブリッドで活用し、限られたリソースで推論速度を最大化する設定

前提知識として、ターミナル（黒い画面）でのコマンド操作と、簡単なPythonの読み書きができることを想定しています。

先に確認するスペック・料金

ローカルLLMを動かす上で、最も重要なのは「VRAM（ビデオメモリ）」の容量です。 クラウド料金はかかりませんが、ハードウェアへの初期投資が満足度に直結します。

目安として、7B〜8Bクラスのモデルを快適に動かすなら、最低でも8GBのVRAM、または16GB以上の統合メモリを持つMacが必要です。 私はRTX 4090（VRAM 24GB）を2枚挿していますが、これは70Bクラスの巨大なモデルを動かすための特殊な構成です。 一般的な業務利用や検証であれば、NVIDIAのRTX 4060 Ti (16GB版) が最もコストパフォーマンスに優れています。

Macユーザーの場合、M2/M3チップを搭載したメモリ24GB以上のモデルを選んでください。 16GBメモリだと、モデルをロードしただけでOSの動作が重くなり、実用的な開発が困難になります。 ストレージは、1モデルあたり5GB〜10GB程度消費するため、外付けSSDなどを用意しておくと安心です。

なぜこの方法を選ぶのか

ローカルでAIを動かす手法は、以前はPythonライブラリの「Transformers」を使うのが主流でした。 しかし、Transformersはメモリ消費が激しく、VRAMが足りないとエラーで止まるか、極端に遅くなる欠点があります。

llama.cppとGGUF（GPT-Generated Unified Format）の組み合わせを選ぶ最大の理由は、メモリ管理の柔軟性です。 GGUF形式は「量子化（モデルの重みを軽量化する技術）」に特化しており、16bitの精度を4bitなどに圧縮して、メモリ消費を4分の1に抑えられます。 また、llama.cppはC++で書かれているため、GPUだけでなくCPUも効率的に使い、VRAMを使い果たしてもメインメモリを代用して「とにかく動かす」ことが可能です。

Step 1: 環境を整える

まずはllama.cppをビルドするためのツールをインストールします。 各プラットフォームに合わせて、以下の準備を行ってください。

Macの場合（Homebrewを使用）:

brew install cmake

Windowsの場合: Visual Studio 2022をインストールし、「C++によるデスクトップ開発」にチェックを入れてください。 また、NVIDIA製GPUを使うなら、CUDA Toolkit（12.x推奨）を必ず入れておきましょう。

次に、リポジトリをクローンしてビルドします。

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# Mac (Apple Silicon) の場合
make -j

# Windows (NVIDIA GPU) の場合
mkdir build
cd build
cmake .. -DGGML_CUDA=ON
cmake --build . --config Release

make -j は、CPUの全コアを使って並列ビルドを行うコマンドです。 -DGGML_CUDA=ON を指定する理由は、これがないとGPUを一切使わず、計算がすべてCPUに回ってしまうからです。 ビルドが終わると、フォルダ内に llama-cli や llama-server という実行ファイルが生成されます。

⚠️ 落とし穴: ビルド時に「cmakeが見つからない」や「compiler not found」といったエラーが出る場合は、パスが通っていない可能性が高いです。 特にWindowsでは、インストール後に一度再起動しないと環境変数が反映されないことが多いため、詰まったらまずは再起動を試してください。

Step 2: モデルのダウンロード（GGUF形式）

llama.cppで動かすには、モデルがGGUFという形式である必要があります。 Hugging Faceで「モデル名 GGUF」と検索すると、有志が変換したファイルがたくさん出てきます。

最も信頼できるのは「Bartowski」氏や「MaziyarPanahi」氏が公開しているリポジトリです。 今回は、日本語性能が高い「Llama-3-8B-Instruct」の量子化版を使ってみましょう。

ダウンロードには huggingface-cli を使うと失敗が少なくて済みます。

pip install huggingface_hub
huggingface-cli download lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF Meta-Llama-3-8B-Instruct-Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

ここで「Q4_K_M」というファイルを選んだのには理由があります。 これは「4ビット量子化」を意味しており、モデルの精度をほぼ落とさずに、ファイルサイズを大幅に削減できる「実務上のスイートスポット」だからです。 Q2（2ビット）だと賢さが目に見えて落ち、Q8（8ビット）だとメモリ消費が激しくなります。

Step 3: 基本の動作確認

まずはCLI（コマンドライン）から直接対話してみましょう。 以下のコマンドを入力してください。

./llama-cli -m Meta-Llama-3-8B-Instruct-Q4_K_M.gguf -n 512 -p "AIが人間に代わって仕事をする未来について、日本語で短く意見を述べてください。" --ngl 33

期待される出力

AIが人間に代わって仕事をする未来は、単なる代替ではなく「共進化」の過程だと考えています。
定型業務やデータ処理はAIが担い、人間はより創造的で感情的な価値創造に集中するようになるでしょう。
ただし、急激な変化に伴う社会保障や再教育の整備が、私たちが直面する最大の課題となります。

結果の読み方で最も重要なのは、実行後に表示される「eval time」と「t/s」という数字です。 「t/s（tokens per second）」が10を超えていれば、人間が読むスピードよりも速いため、実用的と言えます。 --ngl 33 というオプションは「モデルの全33レイヤーをGPUに転送する」という意味です。 VRAMが足りない場合は、この数字を徐々に下げて、エラーが出ないギリギリのラインを探るのがローカルLLM運用のコツです。

Step 4: PythonからAPIとして利用する

実務で使う場合、コマンドラインではなく、自身のアプリケーションから呼び出したいはずです。 そのために llama-cpp-python というライブラリを使います。 これはllama.cppをPythonから操作できるようにしたもので、OpenAI互換のサーバーを立てることもできます。

# GPUサポートを有効にしてインストール
CMAKE_ARGS="-DGGML_CUDA=ON" pip install llama-cpp-python

次に、以下のスクリプトを作成して実行してください。

import os
from llama_cpp import Llama

# モデルのパスを指定
# ここではカレントディレクトリにあるGGUFファイルを読み込みます
model_path = "Meta-Llama-3-8B-Instruct-Q4_K_M.gguf"

# 初期化
# n_gpu_layers: GPUにオフロードするレイヤー数。-1は全レイヤー。
# n_ctx: コンテキストサイズ（記憶できる長さ）。Llama-3は8192まで対応。
llm = Llama(
    model_path=model_path,
    n_gpu_layers=-1,
    n_ctx=2048,
    verbose=False
)

# 推論実行
response = llm.create_chat_completion(
    messages=[
        {"role": "system", "content": "あなたは優秀なエンジニアです。"},
        {"role": "user", "content": "Pythonで高速なAPIサーバーを作るならどのフレームワークがおすすめですか？"}
    ],
    temperature=0.7,
)

# 結果の表示
print(response["choices"][0]["message"]["content"])

このコードのポイントは n_gpu_layers=-1 です。 これを入れることで、環境に合わせて自動的に最大数のレイヤーをGPUに割り当ててくれます。 また、n_ctx（コンテキストサイズ）を大きくしすぎると、急激にVRAMを消費するため、最初は2048程度から始めるのが無難です。

よくあるトラブルと解決法

次のステップ

llama.cppをマスターしたら、次は「RAG（検索拡張生成）」に挑戦してみてください。 自分の持っているPDFやテキストファイルを読み込ませ、その内容に基づいてAIに回答させる仕組みです。 ローカルLLMなら、機密情報をクラウドに送信することなく、安全に社内文書の解析が行えます。

また、llama-server バイナリを使って、ローカルネットワーク内で使えるAPIサーバーを立てるのも面白いでしょう。 ./llama-server -m モデル名 --port 8080 と実行するだけで、CursorやDifyといった外部ツールから、あなたのPCのAIを呼び出せるようになります。 これにより、高額なAPI料金を気にすることなく、24時間365日AIを使い倒す環境が手に入ります。

よくある質問

Q1: 量子化モデルを使うと、回答の精度はどのくらい落ちますか？

4bit量子化（Q4_K_M）であれば、体感できるほどの精度低下はほとんどありません。 ベンチマーク上でも数パーセントの低下に留まります。 逆に、それ以下の2bitなどに下げると、論理的な破綻が目立つようになります。

Q2: NVIDIA以外のGPU（AMDやIntel）でも動かせますか？

はい、動かせます。 AMDならROCm、IntelならSYCLというバックエンドをビルド時に指定することで、GPU加速が可能です。 ただし、最も情報が多く、トラブルが少ないのは依然としてNVIDIA環境です。

Q3: Pythonライブラリのインストールがうまくいきません。

多くの場合、コンパイル環境（cmakeやgcc）が整っていないことが原因です。 特にWindowsでは、公式のインストールガイドにある「Build Tools for Visual Studio」が正しく入っているか再確認してください。

あわせて読みたい

• llama.cpp 使い方 入門：GGUF量子化モデルをローカルPCで爆速動作させる全手順
• llama.cppとGGUFを使って手元のPCで高性能なLLMを高速動作させる環境を構築します。
• llama.cppとGGUF量子化でローカルLLM構築入門