Gemma 4 使い方 ローカル環境で8GB VRAMでのFine-tuning入門

# 仮想環境の作成を推奨します
python -m venv venv
source venv/bin/activate  # Windowsの場合は venv\Scripts\activate

# CUDAバージョンに合わせたUnslothのインストール
# ここでは多くの環境で動作する最新の構成を指定します
pip install --no-deps "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
pip install --no-deps "xformers<0.0.27" "trl<0.9.0" peft accelerate bitsandbytes

import os
import torch
from unsloth import FastLanguageModel

# 1. 設定値の定義
max_seq_length = 2048 # 8GB VRAMなら2048が安全圏。4096にするとOOMのリスクが高まります
dtype = None # GPUが対応していれば自動でbfloat16を選択します
load_in_4bit = True # 8GB環境では必須の設定です

# 2. モデルとトークナイザーのロード
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-4-2b-it-bnb-4bit", # 最新のGemmaを指定
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)

# 3. LoRA設定（重みの更新範囲を限定してメモリを節約する）
model = FastLanguageModel.get_peft_model(
    model,
    r = 16, # ランク。高いほど表現力が増すがメモリを食う。16がコスパ最強です
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # 学習速度向上のため0を推奨
    bias = "none",    # 同上
    use_gradient_checkpointing = "unsloth", # メモリ消費を極限まで抑える
    random_state = 3407,
)

from datasets import Load_dataset
from trl import SFTTrainer
from transformers import TrainingArguments

# プロンプトフォーマットの定義
prompt_style = """Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{}

### Response:
{}"""

def formatting_prompts_func(examples):
    instructions = examples["instruction"]
    outputs      = examples["output"]
    texts = []
    for instruction, output in zip(instructions, outputs):
        text = prompt_style.format(instruction, output)
        texts.append(text)
    return { "text" : texts, }

# ここでは例として小規模な自作データを想定
from datasets import Dataset
data = {
    "instruction": ["このプロジェクトの進捗はどうですか？", "バグが見つかりました"],
    "output": ["エビデンスは取れているのか？リスケの調整が必要だな。", "まずは切り戻しを検討しろ。原因分析はその後だ。"]
}
dataset = Dataset.from_dict(data)
dataset = dataset.map(formatting_prompts_func, batched = True)

# トレーナーの設定
trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    dataset_text_field = "text",
    max_seq_length = max_seq_length,
    args = TrainingArguments(
        per_device_train_batch_size = 2, # 8GBなら2が限界
        gradient_accumulation_steps = 4, # 擬似的にバッチサイズを稼ぐ
        warmup_steps = 5,
        max_steps = 60, # 試行のため少なめに設定
        learning_rate = 2e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit", # メモリ節約のため8bit Adamを使用
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
    ),
)

trainer.train()

{'loss': 2.456, 'learning_rate': 4e-05, 'epoch': 0.1}
...
{'loss': 0.842, 'learning_rate': 0.0, 'epoch': 1.0}

# 推論用に高速化
FastLanguageModel.for_inference(model)

inputs = tokenizer(
[
    prompt_style.format(
        "本番環境でエラーが出ました。どうすればいいですか？", # 指示
        "", # 回答欄は空
    )
], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 64)
print(tokenizer.batch_decode(outputs))

# GGUF形式で保存してLM Studio等で使えるようにする
model.save_pretrained_gguf("model_gguf", tokenizer, quantization_method = "q4_k_m")