Qwen3.5-9Bをローカル環境のPythonで動かし自分専用の超高速AIアシスタントを作る方法

# 仮想環境の作成
python -m venv venv
source venv/bin/activate  # Windowsの場合は venv\Scripts\activate

# CUDAを使用するためのビルドフラグを設定してインストール
# これを忘れるとCPU推論になり、1文字出すのに数秒待たされることになります
export CMAKE_ARGS="-DLLAMA_CUDA=on"
pip install llama-cpp-python

# モデルをダウンロードするためのツール
pip install huggingface_hub

import os
from huggingface_hub import hf_hub_download

# モデルの保存先
model_name = "unsloth/Qwen3.5-9B-GGUF"
model_file = "Qwen3.5-9B-Q4_K_M.gguf"
model_path = "./models"

if not os.path.exists(model_path):
    os.makedirs(model_path)

# モデルのダウンロード（約5.5GBあります）
path = hf_hub_download(
    repo_id=model_name,
    filename=model_file,
    local_dir=model_path
)

print(f"モデルの準備が完了しました: {path}")

from llama_cpp import Llama

# モデルの初期化
llm = Llama(
    model_path="./models/Qwen3.5-9B-Q4_K_M.gguf",
    n_gpu_layers=-1, # 全ての層をGPUにロードする設定（これが最速）
    n_ctx=4096,      # コンテキストウィンドウ（記憶できる長さ）
    verbose=False    # ログ出力を抑制
)

# プロンプトの実行
response = llm.create_chat_completion(
    messages=[
        {"role": "system", "content": "あなたは優秀なアシスタントです。"},
        {"role": "user", "content": "Qwen3.5-9Bの特徴を短く教えてください。"}
    ]
)

print(response["choices"][0]["message"]["content"])

Qwen3.5-9Bは、Alibaba Cloudが開発した最新の言語モデルです。
1. 前世代より多言語対応、特に日本語の理解力が大幅に向上。
2. 9Bという軽量サイズながら、推論速度と精度のバランスが優れている。
3. 数学やコーディング能力も強化されています。

import sys
from llama_cpp import Llama

class QwenChat:
    def __init__(self, model_path):
        self.llm = Llama(
            model_path=model_path,
            n_gpu_layers=-1,
            n_ctx=8192, # 開発ドキュメント等の長い文章を読ませるために拡張
            flash_attn=True # 高速化のためのFlash Attentionを有効化
        )
        self.history = [{"role": "system", "content": "あなたは技術に詳しいAI専門ブロガーです。"}]

    def chat(self):
        print("--- Qwen3.5-9B Chat Start (Ctrl+Cで終了) ---")
        while True:
            try:
                user_input = input("\nあなた: ")
                if not user_input: continue

                self.history.append({"role": "user", "content": user_input})
                print("AI: ", end="", flush=True)

                stream = self.llm.create_chat_completion(
                    messages=self.history,
                    stream=True # ここをTrueにすることで、生成された文字から順次出力される
                )

                full_response = ""
                for chunk in stream:
                    delta = chunk["choices"][0]["delta"]
                    if "content" in delta:
                        content = delta["content"]
                        print(content, end="", flush=True)
                        full_response += content

                self.history.append({"role": "assistant", "content": full_response})
                print()

            except KeyboardInterrupt:
                break

if __name__ == "__main__":
    chat_app = QwenChat("./models/Qwen3.5-9B-Q4_K_M.gguf")
    chat_app.chat()