0.6Bの超軽量モデルをClaude経由でGPT並みのText2SQL性能にまで引き上げる方法

pip install -U torch transformers datasets peft trl bitsandbytes accelerate

あなたは熟練のデータエンジニアです。
以下のテーブル定義に基づき、多様な質問とそれに対応する正確なSQLのペアを50個作成してください。
形式はJSONL（{"instruction": "質問", "output": "SQL"}）で出力してください。

[スキーマ情報]
CREATE TABLE sales (
    transaction_id INT,
    product_name TEXT,
    price DECIMAL,
    sale_date DATE
);

from datasets import load_dataset

# 自作したデータセットの読み込み
dataset = load_dataset("json", data_files="train_data.jsonl", split="train")

def formatting_prompts_func(example):
    output_texts = []
    for i in range(len(example['instruction'])):
        text = f"### Instruction:\n{example['instruction'][i]}\n\n### Response:\n{example['output'][i]}"
        output_texts.append(text)
    return output_texts

from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from trl import SFTTrainer

model_id = "HuggingFaceTB/SmolLM-v0.2-600M"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

training_args = TrainingArguments(
    output_dir="./smollm-text2sql",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    num_train_epochs=3,
    logging_steps=10,
    save_strategy="epoch",
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    formatting_func=formatting_prompts_func,
    max_seq_length=512,
)

trainer.train()

torch.cuda.OutOfMemoryError: CUDA out of memory.