LLMを最小リソースで最適化する：LoRAファインチューニング完全ガイド

# 仮想環境の作成（推奨）
python -m venv venv
source venv/bin/activate

# 必須ライブラリのインストール
pip install -U torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -U transformers peft accelerate bitsandbytes datasets

python -c "import torch; print(torch.cuda.is_available())"

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
import torch

model_id = "meta-llama/Meta-Llama-3-8B" # またはローカルパス

# 1. メモリ節約のための4-bit量子化設定
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

# 2. ベースモデルのロード
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=bnb_config,
    device_map="auto"
)

# 3. LoRA設定
lora_config = LoraConfig(
    r=16,                         # ランク数。8〜32が一般的。上げすぎるとメモリを食う
    lora_alpha=32,                # スケーリング係数。通常 r の2倍に設定
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"], # どの層を学習させるか
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

# 4. モデルにLoRAを適用
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset

# データセットの準備（jsonl形式を想定）
# dataset = load_dataset("json", data_files="train_data.jsonl", split="train")

training_args = TrainingArguments(
    output_dir="./lora-llama3-results",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    logging_steps=10,
    num_train_epochs=3,
    save_strategy="epoch",
    bf16=True, # GPUが対応していれば必ずTrueに
    optim="paged_adamw_32bit"
)

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=1024,
    args=training_args,
)

trainer.train()

# アダプターのみ保存
model.save_pretrained("./final_lora_adapter")

torch.cuda.OutOfMemoryError: CUDA out of memory.
Tried to allocate 256.00 MiB (GPU 0; 12.00 GiB total capacity; ...)

ValueError: Target modules {'q_proj'} not found in the base model.