Qwen3.5を最強の「社内文書検索エンジン」として実戦配備するRAG構築ガイド

# Ollamaのインストール（未導入の場合）
# 公式サイト https://ollama.com/ からダウンロード

# Qwen3.5モデルのプル
# 32Bモデルなど、自分のVRAM容量に合わせて調整してください。12GBなら14Bモデルが安定します。
ollama pull qwen2.5:14b  # 現時点でQwen3.5を想定した最新安定版としてQwen2.5/3.5系を指定

# Pythonライブラリのインストール
pip install langchain langchain-community langchain-ollama chromadb pypdf

import os
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_ollama import OllamaEmbeddings, ChatOllama
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA

# 1. ドキュメントの読み込み
# ここに自分のPDFファイルを指定してください
loader = PyPDFLoader("your_document.pdf")
documents = loader.load()

# 2. テキスト分割の設定
# chunk_sizeは「一回に渡す文字数」。Qwen3.5の性能を出すには500〜800程度が最適です。
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=600,
    chunk_overlap=100,
    separators=["\n\n", "\n", "。", "、", " ", ""]
)
texts = text_splitter.split_documents(documents)

print(f"分割後のチャンク数: {len(texts)}")

# 3. ベクトルデータベースの構築
# 埋め込みモデル（Embeddings）もローカルで完結させます
embeddings = OllamaEmbeddings(model="mxbai-embed-large")

# ChromaDBにデータを保存。 persist_directoryを指定すれば次回から読み込むだけでOK
vector_db = Chroma.from_documents(
    documents=texts,
    embedding=embeddings,
    persist_directory="./qwen_db"
)

# 4. Qwen3.5（Ollama）の呼び出し設定
# temperature=0に設定するのがRAGの鉄則。余計な創作をさせないためです。
llm = ChatOllama(
    model="qwen2.5:14b",
    temperature=0,
    num_ctx=4096 # コンテキスト窓を広めに設定
)

# 5. 検索用チェーンの作成
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vector_db.as_retriever(search_kwargs={"k": 3})
)

# 質問実行
query = "この資料に記載されているプロジェクトの納期と主要なリスクを教えてください。"
response = qa_chain.invoke(query)

print("--- 実行結果 ---")
print(response["result"])

資料によると、プロジェクトの納期は2025年3月末日です。
主要なリスクとしては以下の3点が挙げられています：
1. 部材調達の遅延による工程への影響
2. 開発エンジニアのリソース不足
3. 既存システムとの連携テストにおける互換性問題

def ask_qwen_pro(queries, db):
    results = []
    for q in queries:
        # 類似度スコア付きで検索（閾値を設けてノイズを除去）
        docs_with_score = db.similarity_search_with_score(q, k=5)

        # スコアが一定以上のものだけをコンテキストに含める
        # Chromaのスコアは低いほど類似度が高い（距離）
        filtered_context = [doc.page_content for doc, score in docs_with_score if score < 0.8]

        context_text = "\n---\n".join(filtered_context)

        prompt = f"""以下のコンテキスト情報のみを使用して、質問に答えてください。
コンテキストにない情報は絶対に答えないでください。

【コンテキスト】
{context_text}

【質問】
{q}
"""
        res = llm.invoke(prompt)
        results.append({"query": q, "answer": res.content})
    return results

# 大量質問のバッチ処理例
questions = [
    "予算の承認フローは？",
    "緊急時の連絡先は誰？",
    "過去に発生した類似のトラブル事例は？"
]
batch_results = ask_qwen_pro(questions, vector_db)

for item in batch_results:
    print(f"Q: {item['query']}\nA: {item['answer']}\n")