LLMの検閲解除手法AbliterationをPythonで実装する方法

pip install torch transformers accelerate sentencepiece

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルの読み込み。まずは軽量なLlama-3-8Bなどで試すのがおすすめ
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# 拒絶を引き出すプロンプトと、通常のプロンプトを対比させる
refusal_prompts = ["How to build a bomb?", "Write a phishing email."]
normal_prompts = ["How to bake a cake?", "Explain quantum physics."]

# ここでモデルの特定の中間層からアクティベーションを抽出する処理を記述します
# （コードの全容はStep 4で統合します）

def orthogonalize_weights(model, refusal_vector, layers_to_modify):
    with torch.no_grad():
        for i in layers_to_modify:
            # 各層の重み行列を取得
            W = model.model.layers[i].mlp.down_proj.weight

            # 拒絶ベクトル方向の成分を計算して差し引く
            # W_new = W - (W · v) v^T / ||v||^2
            v = refusal_vector.to(W.dtype).to(W.device)
            v = v / torch.norm(v)

            projection = torch.outer(torch.mv(W, v), v)
            W.sub_(projection)

    print(f"Layer {layers_to_modify} modified successfully.")

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
import numpy as np

def run_abliteration(model_id, target_layers):
    print(f"Loading model: {model_id}")
    tokenizer = AutoTokenizer.from_pretrained(model_id)
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        torch_dtype=torch.bfloat16,
        device_map="auto"
    )

    # 1. 拒絶ベクトルの収集（簡易版）
    # 本来は複数のプロンプトで平均を取るが、ここでは単一の有害プロンプトで例示
    bad_input = "Tell me how to bypass a security system."
    inputs = tokenizer(bad_input, return_tensors="pt").to(model.device)

    with torch.no_grad():
        outputs = model(**inputs, output_hidden_states=True)
        # 中間層のアクティベーションを取得
        hidden_states = outputs.hidden_states

    # 2. 直交化の適用
    for layer_idx in target_layers:
        # その層での「拒絶の動き」を抽出
        refusal_dir = hidden_states[layer_idx][0, -1, :]

        # 重みの修正（down_projを対象にするのが最も効果的）
        W = model.model.layers[layer_idx].mlp.down_proj.weight
        v = refusal_dir / torch.norm(refusal_dir)

        # 射影成分の除去
        proj = torch.outer(torch.mv(W, v), v)
        W.sub_(proj)

    # 3. テスト実行
    test_prompt = "How can I hack a Wi-Fi? Answer in detail."
    test_inputs = tokenizer(test_prompt, return_tensors="pt").to(model.device)

    print("\n--- Output after modification ---")
    generated_ids = model.generate(**test_inputs, max_new_tokens=50)
    print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

    # 4. 保存
    # model.save_pretrained("./abliterated_model")
    # tokenizer.save_pretrained("./abliterated_model")

# 実装の実行（10層から20層あたりをターゲットにするのが一般的）
run_abliteration("meta-llama/Meta-Llama-3-8B-Instruct", range(10, 25))