UnslothでQwen2.5-32Bを17GB VRAMで動かす環境構築ガイド

所要時間: 約45分 | 難易度: ★★★☆☆

この記事で作るもの

• Qwen2.5-32B（または次世代27Bクラス）をVRAM 17GB以下でロードし、高速に推論・学習させるPython環境
• ローカルLLM特有の「メモリ不足（OOM）」を回避しながら、商用モデル級の回答精度を引き出すスクリプト
• Google Colabや手元のRTX 3060/4060 Ti（16GB）でも動作を狙える最適化設定

先に確認するスペック・料金

ローカルLLMを動かす上で、最も残酷な現実は「VRAM容量がすべて」という点です。 今回扱うQwen2.5-32Bは、本来であればVRAM 64GB以上のA100などが推奨されるクラスですが、Unslothの最適化技術により、17GB前後まで要求スペックを落とせます。

最低限必要なのはVRAM 16GBを搭載したGPUですが、推論時のコンテキスト（文脈）を長く取るなら、RTX 3090や4090の24GBがあると理想的です。 もしこれからハードウェアを揃えるなら、中古のRTX 3090（約10〜12万円）が最もコストパフォーマンスに優れています。 RTX 4060 Ti 16GBモデル（約7〜8万円）でも動作は可能ですが、メモリ帯域の関係で生成速度は1秒間に数トークン程度に落ちることを覚悟してください。

Macユーザーの場合、メモリ32GB以上のM2/M3/M4チップであれば、MLX経由でより快適に動作しますが、本ガイドではDaniel Han氏の検証に基づき、CUDA環境（NVIDIA GPU）での構築に特化します。 クラウドで試すなら、Lambda GPUやRunPodでRTX 3090を借りれば、1時間あたり0.4ドル（約60円）程度で済みます。

なぜこの方法を選ぶのか

通常、Hugging FaceのTransformersライブラリでモデルをロードすると、メモリ消費が激しく、生成速度も最適化されていません。 そこで登場するのが「Unsloth」です。 Unslothは、Llama 3.1やQwen2.5といった主要なモデルの計算カーネルを書き換えることで、学習速度を2倍以上に高め、メモリ消費を最大70%削減します。

他にもvLLMやllama.cppを使う選択肢がありますが、Pythonコードから直接制御しやすく、かつ「学習（Fine-tuning）」まで同じインターフェースでこなせるのはUnslothだけの強みです。 Daniel Han氏がRedditで示した「27Bクラスが17GBで動く」という検証結果は、このUnsloth独自の4bit量子化技術とメモリ断片化の抑制によって実現されています。 「動くだけ」の量子化ではなく、精度を維持しながらVRAMの限界を攻めるなら、現時点ではこのアプローチがベストです。

Step 1: 環境を整える

まずは、依存ライブラリをインストールします。 UnslothはCUDAのバージョンに非常に敏感なため、適当にpip installすると必ずと言っていいほど壊れます。

# 仮想環境の作成を推奨
python -m venv unsloth_env
source unsloth_env/bin/activate  # Windowsなら .\unsloth_env\Scripts\activate

# CUDA 12.1を想定したUnslothのインストール
pip install --downloads https://github.com/unslothai/unsloth/archive/main.zip
pip install --no-deps xformers trl peft accelerate bitsandbytes

Unslothは内部で「Triton」や「xformers」を利用しています。 これらはGPU上での行列演算を高速化するためのライブラリで、これらを正しく導入することで、標準的なロード方法よりもVRAM消費を数GB単位で節約できます。

⚠️ 落とし穴: Windows環境では、Tritonのインストールでエラーが出ることが多々あります。 その場合は、Unslothが公式に提供しているWindows用wheelファイルを探すか、WSL2（Ubuntu）を利用してください。 ネイティブWindowsでのAI開発は、パスの長さ制限やライブラリの互換性で時間を溶かすだけなので、私はWSL2を強く推奨します。

Step 2: 基本の設定

次に、モデルをロードするためのスクリプトを作成します。 ここで「4bit量子化」を有効にすることが、17GB VRAMで動かすための絶対条件です。

import os
from unsloth import FastLanguageModel
import torch

# モデルの設定
model_name = "unsloth/Qwen2.5-32B-Instruct-bnb-4bit" # 4bit量子化済みのリポジトリを指定
max_seq_length = 2048 # 文脈の長さ。長くするほどVRAMを消費する
dtype = None # GPUに合わせて自動選択（Float16やBfloat16）
load_in_4bit = True # ここが最重要。16bitだと60GB以上のVRAMが必要になる

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = model_name,
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)

# 推論モードへの切り替え
FastLanguageModel.for_inference(model)

load_in_4bit=True を指定することで、モデルの重みを4ビットに圧縮してロードします。 「精度が落ちるのでは？」と心配するかもしれませんが、32Bクラスのモデルであれば、4bit化しても8Bモデルの16bit版より遥かに賢いです。 また、unslothのリポジトリにある「bnb-4bit」と名前がついたモデルを使うことで、ロード時間を劇的に短縮できます。

Step 3: 動かしてみる

実際にプロンプトを投げて、日本語のレスポンスが返ってくるか確認します。 Qwen2.5は中国のAlibabaが開発したモデルですが、日本語能力が極めて高く、GPT-4oに匹敵する場面も多いです。

# プロンプトの構築
inputs = tokenizer(
    [
        "Qwen2.5-32Bの凄さを、プロのエンジニア向けに3行で解説してください。"
    ],
    return_tensors = "pt"
).to("cuda")

# 生成実行
outputs = model.generate(**inputs, max_new_tokens = 128, use_cache = True)
result = tokenizer.batch_decode(outputs)

print(result[0])

期待される出力

1. 32Bのパラメータを持ちながら、Unslothの4bit量子化によりVRAM 17GB以下の民生用GPUで動作可能。
2. 日本語を含む多言語対応が強化され、特にコーディングと数学的推論においてGPT-4oに迫るベンチマークを記録。
3. 高いコンテキスト処理能力を維持しつつ、推論スループットが従来のTransformers実装より大幅に向上している。

この時点で、nvidia-smi コマンドを叩いてVRAM消費量を確認してください。 おそらく16GB〜18GBの間に収まっているはずです。 もし16GBのGPUでメモリが溢れる（OOM）場合は、max_seq_length を 1024 や 512 に下げてみてください。

Step 4: 実用レベルにする

単に動かすだけでなく、特定の業務タスクをこなす「専門家」に仕立て上げるためのコードを追加します。 ここでは、日本語の指示に特化させるためのシステムプロンプトの注入と、ストリーミング出力（文字が1文字ずつ出る形式）を実装します。

from transformers import TextStreamer

# ストリーミングプロセッサの設定
text_streamer = TextStreamer(tokenizer)

def ask_ai(question):
    # 日本語特化のシステムプロンプトを設定
    prompt = f"""<|im_start|>system
あなたは優秀なAIエンジニアです。専門用語を適切に使い、簡潔に回答してください。<|im_end|>
<|im_start|>user
{question}<|im_end|>
<|im_start|>assistant
"""

    inputs = tokenizer([prompt], return_tensors = "pt").to("cuda")

    _ = model.generate(
        **inputs,
        streamer = text_streamer,
        max_new_tokens = 1024,
        # 低VRAM環境での安定性を高める設定
        use_cache = True,
        temperature = 0.7,
        top_p = 0.9
    )

# 実行
ask_ai("Pythonで株価を予測するスクリプトの骨子を書いて。")

実務で使う場合、temperature（温度感）の調整が重要です。 0.7程度に設定すると、教科書通りの回答だけでなく、少しひねりのある実用的なコードを提案してくれるようになります。 また、Qwen2.5は <|im_start|> などの特殊トークン（ChatMLフォーマット）を正しく扱うことで、指示待ちの精度が劇的に変わります。

よくあるトラブルと解決法

次のステップ

ここまでで、あなたは世界最高峰のオープンモデルを、個人所有のGPUで手なずけることに成功しました。 次にやるべきは「RAG（検索拡張生成）」の構築、または「LoRAによる追加学習」です。

特にUnslothの真価は学習にあります。 自分の過去のメールデータや、社内のドキュメントを読み込ませるファインチューニングを試してみてください。 32Bクラスのモデルがあなたの専門知識を学習すれば、それはもはや汎用AIではなく、あなた専用の「分身」になります。 17GBというメモリ枠に収まったことで、これまで企業サーバーでしかできなかったことが、自宅の机の上で完結するようになったのです。

この自由をどう使うか。まずは、これまでGPT-4に投げられなかった秘密のコードを、ローカルのQwenに読み込ませることから始めてみてください。

よくある質問

Q1: RTX 3060 12GBしか持っていませんが、動かす方法はありますか？

32Bモデルは厳しいですが、UnslothならQwen2.5-14Bや7Bであれば余裕で動きます。14Bでも4bit量子化ならVRAM 9GB程度で収まるため、十分実用的な速度と精度を両立できます。

Q2: 量子化すると回答の精度はどのくらい落ちますか？

4bit（bitsandbytes）の場合、複雑な推論において数パーセントの精度低下が報告されていますが、人間がチャットで使う分にはほとんど体感できません。むしろ、モデルサイズを一段階上げられるメリットの方が遥かに大きいです。

Q3: 商業利用は可能ですか？

Qwen2.5のライセンス（Apache 2.0等、バージョンにより確認が必要）に基づきます。基本的にはオープンなライセンスですが、非常に大規模な商用利用（月間アクティブユーザー数が多い場合）は別途申請が必要なケースがあるため、最新の公式リポジトリを確認してください。

あわせて読みたい

• Qwen2.5-Coder 使い方 | ローカルでGPT-4o級の開発環境をPythonで構築する
• Qwen3.5 35B A3B 使い方と環境構築ガイド
• Qwen2.5-Coder 使い方 | ローカルでコード生成AIを動かす