MLX入門：Apple SiliconでローカルLLMを爆速かつ実務レベルで動かす方法

所要時間: 約30分 | 難易度: ★★☆☆☆

この記事で作るもの

• Apple Silicon（M1/M2/M3/M4）のGPU性能をフルに引き出し、Llama 3やGemma 2といった最新のLLMを高速に推論させるPython環境
• コマンドラインから日本語で対話し、ストリーミング形式（文字が流れるように表示される形式）で回答を得る実践的なスクリプト
• Hugging Faceから任意のモデルをダウンロードし、Mac専用のMLX形式に変換して実行するワークフロー

前提知識として、ターミナルの基本操作とPythonの基礎的な文法を理解している必要があります。

先に確認するスペック・料金

Apple Siliconを搭載したMacが必須です。IntelチップのMacでは動作しません。 メモリ（ユニファイドメモリ）は最低でも16GBを推奨します。 8GBモデルでも動作自体は可能ですが、OSやブラウザが使用する領域を差し引くと、7B（70億パラメータ）クラスのモデルを動かした際にスワップが発生し、レスポンスが極端に低下します。

実務でストレスなく動かすなら、メモリ32GB以上のMacBook ProやMac Studioが理想的です。 私はM2 Ultra（128GBメモリ）とRTX 4090搭載機を併用していますが、MLXを使った推論速度は、最適化のおかげでハイエンドGPUに肉薄するケースも珍しくありません。 また、APIを利用しないため、月額費用や従量課金は一切かかりません。電気代だけで最新AIを使い倒せます。

なぜこの方法を選ぶのか

MacでローカルLLMを動かす手段として、llama.cppやOllamaが有名です。 それらと比較して、私がMLX（Apple公式の機械学習フレームワーク）を推す理由は「Pythonとの親和性」と「Unified Memoryの活用効率」にあります。

llama.cppはC++ベースで非常に高速ですが、独自のツール開発や既存のPythonエコシステム（LangChainやFlaskなど）と連携させる際、バインディングのオーバーヘッドや設定の複雑さがネックになります。 MLXはNumPyに近い操作感で記述できるため、エンジニアがカスタマイズする際の学習コストが極めて低いです。 また、Apple公式が開発しているため、Metal（MacのGPU API）への最適化が最も早く、新しいチップが登場した際のリソース活用能力も他を圧倒しています。

Step 1: 環境を整える

まずはMLX専用の仮想環境を作成します。 システム全体のPython環境を汚さないために、venvを使用するのが鉄則です。

# プロジェクト用ディレクトリを作成して移動
mkdir mlx-test && cd mlx-test

# Python 3.11以上を推奨。3.12でも動作しますが、一部の依存ライブラリで3.11の方が安定します
python3 -m venv .venv

# 仮想環境を有効化
source .venv/bin/activate

# mlx-lmのインストール
# mlx本体だけでなく、LLMを扱うための高レベルAPI「mlx-lm」を入れます
pip install -U mlx-lm huggingface_hub

mlx-lmは、Hugging FaceにあるモデルをMLX用に最適化してロードしたり、量子化（軽量化）したりする機能をパッケージ化したライブラリです。 これを入れるだけで、複雑なビルド作業なしにMacのGPUを叩けます。

⚠️ 落とし穴: Xcode Command Line Toolsがインストールされていないと、インストール中にエラーが出ることがあります。 その場合は xcode-select --install を実行してから再度試してください。 また、Pythonのバージョンが古すぎるとMLXの最新機能が使えないため、必ず3.10以降を使用してください。

Step 2: 基本の設定

モデルの読み込みと生成設定を行います。 今回は、日本語能力が高く軽量な「Llama-3-8B-Instruct」をMLX用に変換したモデルを使用します。

import os
from mlx_lm import load, generate

# 使用するモデルの指定
# Hugging Face上にあるMLX形式に変換済みのリポジトリを指定します
model_path = "mlx-community/Meta-Llama-3-8B-Instruct-4bit"

# モデルとトークナイザーのロード
# load関数はキャッシュを確認し、なければ自動でダウンロードします
# 4bit量子化版を選ぶことで、メモリ消費量を大幅に抑えつつ高速に動かします
model, tokenizer = load(model_path)

# プロンプトのテンプレート設定
# Llama 3には特定のフォーマットが必要です。これを間違えると性能が著しく落ちます
def build_prompt(user_input):
    return f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n{user_input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

なぜ「4bit量子化版」を選ぶのか。 それは、8Bモデルをフル精度（FP16）で動かすと約16GBのVRAMを占有してしまいますが、4bitなら約5GB程度で済むからです。 私の検証では、4bit量子化による回答精度の劣化は実務上ほぼ無視できるレベルであり、それ以上に推論速度が3倍以上向上するメリットの方が大きいです。

Step 3: 動かしてみる

最小限の構成で、モデルから回答を引き出してみましょう。

# ユーザーからの入力
prompt_text = build_prompt("Apple Siliconのすごさを、エンジニア目線で3行で教えて。")

# 生成の実行
# max_tokens: 出力される最大文字数。最初は短めにしてテストします
# temp: 自由度。0に近いほど確実な回答、1に近いほど創造的になります
response = generate(
    model,
    tokenizer,
    prompt=prompt_text,
    max_tokens=200,
    temp=0.7
)

print(response)

期待される出力

1. ユニファイドメモリ構造により、VRAM不足を気にせず巨大なモデルをCPU/GPU間で高速共有できる。
2. ワットパフォーマンスが圧倒的で、ファンが回らない静寂な環境でローカルLLMをフル回転させられる。
3. MLXフレームワークによるMetal最適化が強力で、Pythonからネイティブに近い速度で推論できる。

結果が出ない、あるいは文字化けする場合は、model_pathが正しく設定されているか確認してください。 初回実行時はモデルのダウンロード（数GB）が発生するため、ネットワーク環境によっては数分かかります。

Step 4: 実用レベルにする

実際の業務で使う場合、回答が返ってくるまで数十秒待たされるのは苦痛です。 そこで、回答が生成されるそばから逐次表示する「ストリーミング出力」を実装します。 また、複数の質問を連続で行えるようにループ化します。

import sys
from mlx_lm import load, stream

model_path = "mlx-community/Meta-Llama-3-8B-Instruct-4bit"
model, tokenizer = load(model_path)

def chat():
    print("--- MLX Local Chat (Type 'quit' to exit) ---")
    while True:
        query = input("\nUser: ")
        if query.lower() in ["quit", "exit"]:
            break

        prompt = build_prompt(query)

        print("Assistant: ", end="", flush=True)

        # stream関数を使用することで、1トークンずつ取得可能
        # これにより、ユーザーの体感待機時間をほぼゼロにできます
        tokens = []
        for response in stream(model, tokenizer, prompt=prompt, max_tokens=1000, temp=0.7):
            print(response, end="", flush=True)
            tokens.append(response)
        print()

if __name__ == "__main__":
    chat()

このコードでは、streamジェネレータを使用しています。 generate関数との最大の違いは、すべての計算が終わるのを待たずに、生成されたトークンを即座に標準出力（sys.stdout）へ流せる点です。 M2 Pro以上のチップであれば、まるで人間がタイピングしているかのような速度で文字が出力されるはずです。

よくあるトラブルと解決法

次のステップ

ここまでで、Mac上でローカルLLMを自在に操る基礎が整いました。 次に取り組むべきは、自分の持っているドキュメント（PDFやテキスト）をLLMに参照させる「RAG（検索拡張生成）」の構築です。

MLXはデータのベクトル化（Embedding）も高速に行えるため、外部ライブラリのFAISSやChromaと組み合わせれば、完全にオフラインで動作する「社内ドキュメント回答AI」が作れます。 また、mlx-lmコマンドラインツールを使えば、自前のデータセットでモデルを微調整（Fine-tuning）することも可能です。 LoRA（Low-Rank Adaptation）という手法を使えば、Mac 1台でも数時間で自分好みの口調や知識を持ったAIを育てることができます。 まずは Hugging Face で mlx-community が公開している他のモデル（Phi-3やMistralなど）を入れ替えて、速度と精度のバランスを体感してみてください。

よくある質問

Q1: M1 MacBook Airのメモリ8GBモデルでも動きますか？

動きますが、かなり厳しいです。4bit量子化された3B（30億パラメータ）クラスのモデル（例: Phi-3-mini）なら実用圏内ですが、8Bクラスになるとメモリ不足でシステム全体が重くなります。16GBへの買い替えを強くお勧めします。

Q2: 独自のモデルをMLX形式に変換するにはどうすればいいですか？

python -m mlx_lm.convert --hf-path [モデル名] -q コマンドで簡単に変換できます。Hugging Faceにある標準的なモデルなら、このコマンド一つで4bit量子化まで一括で行い、MLXで即座に使えるようになります。

Q3: GPUの使用率を上げる設定はありますか？

MLXはデフォルトで利用可能なGPUリソースを最大限使うように設計されています。特別なフラグ設定は不要ですが、OSの「システム設定」でメモリの割り当て制限を緩和する（高度な設定）ことで、より大規模なモデルをロードできる場合があります。

あわせて読みたい

• MLX入門 Apple SiliconでローカルLLMを爆速化する方法
• MLX 使い方 Apple SiliconでローカルLLMを爆速動作させる方法
• M5 MaxでLLMを動かす環境構築ガイド！128GBメモリをフル活用する手順