Llama 3.1 8B蒸留モデルをローカルで爆速動作させる方法

# NVIDIA GPUを利用する場合（CUDA環境がある前提）
# CMAKE_ARGSを指定することで、GPUアクセラレーションを有効にしてビルドします
export CMAKE_ARGS="-DGGML_CUDA=on"
pip install llama-cpp-python

# 構造化データ抽出を簡単にするためのライブラリ
pip install pydantic huggingface_hub

import os
from huggingface_hub import hf_hub_download
from llama_cpp import Llama

# モデルの保存先を指定
model_dir = "./models"
os.makedirs(model_dir, exist_ok=True)

# Llama-3.1-8B-InstructのGGUFファイルをダウンロード
# 実務では精度重視ならQ6_K、速度重視ならQ4_K_Mを選びます
model_path = hf_hub_download(
    repo_id="bartowski/Meta-Llama-3.1-8B-Instruct-GGUF",
    filename="Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf",
    local_dir=model_dir
)

# モデルの読み込み
# n_gpu_layers=-1 は全レイヤーをGPUに載せる設定です
# n_ctx=4096 はコンテキスト長。業務文書ならこれくらいは必要です
llm = Llama(
    model_path=model_path,
    n_gpu_layers=-1,
    n_ctx=4096,
    verbose=False
)

# Llama 3.1のプロンプトフォーマットに従って入力を作成
prompt = """<|begin_of_text|><|start_header_id|>system<|end_header_id|>
あなたは優秀なAIアシスタントです。<|eot_id|><|start_header_id|>user<|end_header_id|>
AIモデルの「蒸留」について、3行で説明してください。<|eot_id|><|start_header_id|>assistant<|end_header_id|>"""

output = llm(
    prompt,
    max_tokens=256,
    stop=["<|eot_id|>"],
    echo=False
)

print(output["choices"][0]["text"])

1. 巨大なモデル（教師）の知識を、より小さなモデル（生徒）に継承させる手法です。
2. 予測の確率分布を学習することで、単純なラベル学習よりも深い理解を転移させます。
3. 精度を維持したままモデルを軽量化でき、高速な推論と低コストな運用が可能になります。

import json
from pydantic import BaseModel, Field
from typing import List

# 抽出したいデータの構造を定義
class BusinessAction(BaseModel):
    task: str = Field(description="やるべきタスク")
    assignee: str = Field(description="担当者")
    deadline: str = Field(description="期限（不明な場合は'不明'）")

class MeetingSummary(BaseModel):
    topic: str = Field(description="会議の主題")
    actions: List[BusinessAction] = Field(description="アクションアイテムのリスト")

def extract_structured_data(text: str):
    # Llama 3.1にJSON出力を強制するプロンプト
    prompt = f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|>
あなたは情報をJSON形式で抽出する専門家です。必ず指定されたJSONフォーマットのみを出力してください。
JSON形式: {json.dumps(MeetingSummary.model_json_schema(), ensure_ascii=False)}<|eot_id|>
<|start_header_id|>user<|end_header_id|>
以下の議事録から情報を抽出してください：
{text}<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>"""

    response = llm(
        prompt,
        max_tokens=1024,
        stop=["<|eot_id|>"],
        temperature=0.0  # 抽出時はランダム性を排除するため0にする
    )

    # 出力からJSON部分を取り出してパース
    try:
        raw_text = response["choices"][0]["text"]
        return json.loads(raw_text)
    except Exception as e:
        print(f"パースエラー: {e}")
        return None

# テスト用の議事録データ
meeting_note = """
昨日の打ち合わせで、新機能のUIデザインを田中さんが来週月曜日までに作成することになりました。
また、佐藤さんはサーバーの負荷テストを今月末までに行う予定です。
今回のプロジェクトのメインテーマは「UXの向上」です。
"""

result = extract_structured_data(meeting_note)
print(json.dumps(result, indent=2, ensure_ascii=False))