Qwen 2.5 32B 使い方｜エージェント開発でQ4量子化を避けるべき理由と安定化手順

# プロジェクト用ディレクトリの作成
mkdir qwen-agent-lab && cd qwen-agent-lab

# llama.cppのサーバー版コンテナを起動
# RTX 4090等のNVIDIA GPUを使用する場合
docker run -d --gpus all -v $(pwd)/models:/models -p 8080:8080 ghcr.io/ggerganov/llama.cpp:server \
  -m /models/qwen2.5-coder-32b-instruct-q6_k.gguf \
  --port 8080 --host 0.0.0.0 -ngl 99

import os
import json
from openai import OpenAI
from pydantic import BaseModel, Field
from typing import List, Optional

# ローカルサーバーへの接続設定
# APIキーは不要だが、SDKの仕様上空文字以外を入れる必要がある
client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="sk-local-testing"
)

# エージェントが呼び出すツールの定義
class SearchResult(BaseModel):
    title: str
    url: str
    snippet: str

class WebSearchTool(BaseModel):
    query: str = Field(description="検索キーワード。日本語で入力。")

    def run(self):
        # 実際にはここで検索APIを叩く。今回はダミーを返す
        print(f"DEBUG: 検索実行中 -> {self.query}")
        return [{"title": "Qwen 2.5 活用法", "url": "https://example.com", "snippet": "Qwenはエージェント向きです。"}]

def simple_test():
    messages = [
        {"role": "system", "content": "あなたは有能なアシスタントです。必要に応じてWebSearchToolを使用してください。"},
        {"role": "user", "content": "最新のAIニュースについて検索して教えて"}
    ]

    response = client.chat.completions.create(
        model="qwen2.5-coder-32b",
        messages=messages,
        # llama.cppのTool Use機能を利用
        tools=[{
            "type": "function",
            "function": {
                "name": "WebSearchTool",
                "parameters": WebSearchTool.model_json_schema()
            }
        }]
    )

    tool_call = response.choices[0].message.tool_calls[0]
    print(f"呼び出された関数: {tool_call.function.name}")
    print(f"引数: {tool_call.function.arguments}")

simple_test()

呼び出された関数: WebSearchTool
引数: {"query": "最新 AI ニュース"}

def agent_executor(user_input: str, max_retries: int = 3):
    messages = [
        {"role": "system", "content": "あなたはWeb検索ツールを使いこなすエージェントです。"},
        {"role": "user", "content": user_input}
    ]

    for attempt in range(max_retries):
        try:
            response = client.chat.completions.create(
                model="qwen2.5-coder-32b",
                messages=messages,
                tools=[{
                    "type": "function",
                    "function": {
                        "name": "WebSearchTool",
                        "parameters": WebSearchTool.model_json_schema()
                    }
                }],
                temperature=0.1 # エージェント業務では再現性のために低めにする
            )

            msg = response.choices[0].message
            if not msg.tool_calls:
                return msg.content

            # ツール実行のシミュレーション
            for tool_call in msg.tool_calls:
                args = json.loads(tool_call.function.arguments)
                tool_instance = WebSearchTool(**args)
                result = tool_instance.run()

                # 実行結果をメッセージ履歴に追加して、最終回答を生成させる
                messages.append(msg)
                messages.append({
                    "role": "tool",
                    "tool_call_id": tool_call.id,
                    "content": json.dumps(result)
                })

            # 最終的な回答を得るための再呼び出し
            final_response = client.chat.completions.create(
                model="qwen2.5-coder-32b",
                messages=messages
            )
            return final_response.choices[0].message.content

        except Exception as e:
            print(f"エラー発生 (試行 {attempt + 1}/{max_retries}): {e}")
            if attempt == max_retries - 1:
                raise
            # エラー内容をコンテキストに含めてリトライする（セルフコレクション）
            messages.append({"role": "assistant", "content": f"Error in tool calling: {str(e)}. I will fix the format."})

print(agent_executor("AIエージェントのトレンドについて調べて要約して"))