DeepSeek Thinking-with-Visual-Primitives 使い方：視覚的思考でVLMの精度を極限まで高める実装ガイド

# 画像処理とHTTPクライアントをインストール
pip install pillow openai python-dotenv

import os
import base64
from io import BytesIO
from PIL import Image
from openai import OpenAI
from dotenv import load_dotenv

# .envファイルからAPIキーを読み込む
load_dotenv()
api_key = os.getenv("DEEPSEEK_API_KEY")

# DeepSeekはOpenAI互換のSDKで動作します
client = OpenAI(
    api_key=api_key,
    base_url="https://api.deepseek.com/v1"
)

def encode_image(image_path):
    """画像をBase64形式に変換する"""
    with Image.open(image_path) as img:
        # モデルの座標認識を安定させるため、1024x1024にパディング
        width, height = img.size
        max_side = max(width, height)
        new_img = Image.new("RGB", (max_side, max_side), (0, 0, 0))
        new_img.paste(img, ((max_side - width) // 2, (max_side - height) // 2))

        buffered = BytesIO()
        new_img.save(buffered, format="JPEG")
        return base64.b64encode(buffered.getvalue()).decode('utf-8')

def run_twvp_task(image_path, prompt):
    base64_image = encode_image(image_path)

    # TwVPの肝：思考プロセスの中で座標（Primitives）を出力するよう指示
    system_prompt = """
    あなたは視覚的思考を行うAIです。
    回答の前に、必ず以下の「Visual Primitives」を特定してください：
    1. 関連する物体の中心座標 [x, y] (0-1000)
    2. 物体の境界ボックス [x1, y1, x2, y2]
    3. それらの空間的な位置関係の記述

    これらを出力した後に、最終的な回答を導き出してください。
    """

    response = client.chat.completions.create(
        model="deepseek-vl-7b-chat", # TwVPに対応した最新モデルを指定
        messages=[
            {"role": "system", "content": system_prompt},
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": prompt},
                    {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"}}
                ]
            }
        ],
        temperature=0.1 # 座標の精度を出すため、低めの値を設定
    )

    return response.choices[0].message.content

# 実行
result = run_twvp_task("apples.jpg", "リンゴはいくつありますか？それぞれの位置も教えてください。")
print(result)

<thought>
1. リンゴA: [x: 250, y: 300], Box: [200, 250, 300, 350]
2. リンゴB: [x: 600, y: 450], Box: [550, 400, 650, 500]
3. リンゴC: [x: 400, y: 800], Box: [350, 750, 450, 850]
これらのリンゴは互いに重なっておらず、テーブルの上に分散しています。
</thought>
画像には3つのリンゴがあります。左上に1つ、中央右寄りに1つ、そして手前中央に1つ配置されています。

import re
from PIL import ImageDraw

def visualize_primitives(image_path, response_text):
    # [x1, y1, x2, y2] の形式を抽出
    boxes = re.findall(r'\[(\d+),\s*(\d+),\s*(\d+),\s*(\d+)\]', response_text)

    with Image.open(image_path) as img:
        # パディング処理を再現して座標を元の画像サイズに戻す（簡略化のためリサイズのみ記述）
        width, height = img.size
        draw = ImageDraw.Draw(img)

        for box in boxes:
            # 0-1000の座標をピクセルに変換
            x1, y1, x2, y2 = [int(v) * max(width, height) / 1000 for v in box]
            # 描画（赤枠）
            draw.rectangle([x1, y1, x2, y2], outline="red", width=5)

        img.save("result_visualized.jpg")
        print("可視化結果を保存しました：result_visualized.jpg")

# 抽出と可視化
visualize_primitives("apples.jpg", result)