オープンソース最強候補「Kimi K2.5」をローカル環境で導入し、マルチモーダルAIエージェントを構築する方法

# 仮想環境の作成
python -m venv kimi-env
source kimi-env/bin/activate  # Windowsの場合は kimi-env\Scripts\activate

# 必要なパッケージのインストール
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate diffusers sentencepiece
pip install flash-attn --no-build-isolation

import torch
from transformers import AutoProcessor, AutoModelForCausalLM

# モデルのパス（Hugging Face上の名称）
MODEL_ID = "moonshotai/Kimi-K2.5"

def load_kimi_model():
    print("モデルをロードしています... 少々お待ちください。")

    # 精度を保ちつつメモリを節約するために bfloat16 を使用
    processor = AutoProcessor.from_pretrained(MODEL_ID, trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(
        MODEL_ID,
        device_map="auto",
        torch_dtype=torch.bfloat16,
        trust_remote_code=True
    )

    return processor, model

from PIL import Image
import torch
from config import load_kimi_model

def generate_web_code(image_path, prompt):
    processor, model = load_kimi_model()

    # 画像の読み込み
    image = Image.open(image_path).convert("RGB")

    # プロンプトの組み立て
    messages = [
        {
            "role": "user",
            "content": [
                {"type": "image"},
                {"type": "text", "text": prompt}
            ]
        }
    ]

    inputs = processor(images=image, text=prompt, return_tensors="pt").to("cuda")

    # 生成実行
    with torch.no_grad():
        output = model.generate(**inputs, max_new_tokens=1024)

    response = processor.decode(output[0], skip_special_tokens=True)
    print("--- 生成されたコード ---")
    print(response)

if __name__ == "__main__":
    # 手元にある適当なスクリーンショット画像を指定してください
    generate_web_code("sample_design.png", "この画像のデザインを再現する、モダンでアニメーションの効いたHTML/CSSを書いてください。")

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate ...