DeepSeek V4 Flash 使い方！llama.cppで最新モデルをローカル構築する手順

所要時間: 約45分 | 難易度: ★★★★☆

この記事で作るもの

DeepSeek V4 Flashをllama.cppの最新プルリクエスト（PR #24162）を適用してビルドし、自分のPCローカル環境で対話ができる「専用CLIチャット環境」を作ります。 公式リリース前の開発途上版を動かすため、最新技術の内部構造を理解しながら、誰よりも早く次世代モデルの挙動を確認できる状態を目指します。

前提知識として、ターミナルでのコマンド操作と、基本的なC++のビルド環境（CMake等）が整っていることを想定しています。 必要なものは、LinuxまたはMac、あるいはWSL2が動くWindows PCと、Hugging Faceからモデルをダウンロードするためのストレージ容量です。

先に確認するスペック・料金

DeepSeek V4 Flashは、従来のモデルよりも効率化されていますが、今回の検証には最低でも16GB以上のシステムメモリが必要です。 現時点でのllama.cpp PR #24162は、GPU支援（CUDA/Metal）やFlash Attentionのサポートが完全ではないため、主にCPUのパワーに依存して動作します。 CPUは可能な限りマルチコア性能が高いもの、具体的にはAMD Ryzen 9やIntel Core i9、Apple M2/M3 Maxクラスが理想的です。

グラボを積んでいる場合でも、現状はVRAMに載せて高速化する恩恵をフルに受けられません。 むしろ、モデルデータ（GGUF形式で数GB〜数十GB）を高速に読み込むための、NVMe Gen4以上のSSDを準備することにコストをかけるべきです。 API経由ではないため、一度モデルを落としてしまえばランニングコストは電気代のみで、月額料金やトークン課金は一切発生しません。 将来的にGPUサポートが安定した際は、VRAM 16GB以上のRTX 4060 Ti 16GBや、4090 24GBがあれば、この「Flash」モデルの真価である爆速レスポンスを体感できるはずです。

なぜこの方法を選ぶのか

DeepSeek V4を試す方法は、公式のAPIを叩くのが最も手軽ですが、あえて手間のかかる「llama.cppのPRビルド」を選ぶ理由は2つあります。

1つ目は、モデルの内部挙動を完全に制御できる点です。 公式APIではフィルタリングやパラメータの制限がありますが、ローカルのllama.cppであれば、サンプリング設定（TemperatureやTop-P）や、コンテキストウィンドウの長さを自分のマシンスペックが許す限り自由に調整できます。

2つ目は、技術の「最前線」を触る実務経験を得るためです。 DeepSeek V4は、アーキテクチャが非常に特殊で、既存のローカルLLM推論エンジンがすぐに対応できるものではありません。 今回のように、開発者が現在進行形で進めているPR（Pull Request）を自分でコンパイルして動かす経験は、将来的に新しいモデルが登場した際に「自力で対応させるスキル」に直結します。 安定版を待つのではなく、開発の鼓動を感じながら手を動かすのが、AIエンジニアとしての本質的な成長につながると私は確信しています。

Step 1: 環境を整える

まずは、llama.cppのソースコードを取得し、DeepSeek V4対応が進められている特定のブランチをチェックアウトします。

# 作業ディレクトリの作成
mkdir -p ~/ai-work/deepseek-v4
cd ~/ai-work/deepseek-v4

# リポジトリのクローン
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

# 特定のPR（#24162）の内容を取り込む
# これにより、DeepSeek V4の特殊なテンソル計算が実装されたコードに書き換わります
git fetch origin pull/24162/head:ds-v4-test
git checkout ds-v4-test

次に、ビルドを行います。現時点ではCPU推論がメインになるため、一般的なビルド設定を行います。

# ビルドディレクトリの作成
mkdir build
cd build

# CMakeによる構成（CPU最適化を有効にする）
cmake .. -DLLAMA_NATIVE=ON

# ビルド実行（-jはコア数に合わせて調整。私の環境では16コア指定）
make -j16

落とし穴として、古いGCC（10以下）やClangを使っていると、最新のC++規格に準拠したこのPRのコンパイルに失敗することがあります。 必ず gcc --version でバージョンを確認し、必要であれば brew install gcc や sudo apt install g++-12 などで更新してください。 また、git fetchでエラーが出る場合は、GitHubのCLIツール（gh）を使うか、手動で該当するパッチを当てる必要がありますが、上記コマンドが最も確実です。

Step 2: 基本の設定

DeepSeek V4 Flashの重み（Weights）をHugging Faceから取得し、llama.cppで扱えるGGUF形式に変換します。 通常、この変換作業は convert-hf-to-gguf.py を使いますが、V4のような新しいアーキテクチャの場合、変換スクリプト自体もPRに含まれる最新版を使う必要があります。

# 依存ライブラリのインストール
pip install -r requirements.txt

# Hugging Faceからモデルをダウンロード（例：モデル名が deepseek-ai/DeepSeek-V4-Flash の場合）
# ※まだ公式からGGUFが出ていない場合は、HFのページからsafetensorsを落とします
# ここでは、既に変換されたGGUFを誰かが公開しているケースを想定した配置を行います
mkdir -p ../models/deepseek-v4
# (ここにモデルファイルを配置)

設定において最も重要なのは、コンテキストサイズ（-c）の設定です。 DeepSeek V4は広大なコンテキストを扱えますが、ローカルのRAM容量を超えると一気にスワップが発生し、推論速度が「1文字/10秒」のような絶望的なレベルまで落ちます。 最初は -c 2048 程度に絞ってテストし、動作が安定してから徐々に増やすのがセオリーです。

Step 3: 動かしてみる

いよいよ、ビルドしたバイナリを叩いて推論を開始します。 Redditの報告通り、現在はGPU支援が弱いため、推論速度（tps）には期待せず、正しく日本語が生成されるかを確認します。

# bin/llama-cli を使用して実行
./bin/llama-cli -m ../models/deepseek-v4/model-q4_k_m.gguf \
    -p "You are a professional AI engineer. Answer the following question in Japanese:
         DeepSeek V4のアーキテクチャの特徴を3つ教えてください。" \
    -n 512 \
    -t 8 \
    --repeat_penalty 1.1

期待される出力

DeepSeek V4の主な特徴は以下の通りです：
1. Multi-head Latent Attention (MLA) の高度な最適化による推論効率の向上。
2. Mixture-of-Experts (MoE) 構造による、パラメータ数に対する高い学習効率。
3. FP8精度のネイティブサポートによる、メモリ節約と精度のバランス。

結果を読み解くポイントは、出力の最後の方に表示される eval time = XXX ms / token という数字です。 Redditでは 5-6 tps（1秒間に5-6文字）程度という報告がありますが、私のRTX 4090環境（CPU推論）でも現状は似たような数値でした。 これは、まだソフトウェア側で命令セットの最適化が完了していないことを示しています。

Step 4: 実用レベルにする

このままCLIで動かすだけでは不便なので、HTTPサーバーとして立ち上げ、Pythonなどの外部アプリケーションからAPIとして叩けるようにします。 これにより、自作のツールやCursor、VSCodeのプラグインと連携させることが可能になります。

# サーバーモードで起動
./bin/llama-server -m ../models/deepseek-v4/model-q4_k_m.gguf \
    --host 0.0.0.0 --port 8080 \
    -c 4096 --n-gpu-layers 0

次に、Pythonからこのサーバーを利用するスクリプトを書きます。 エラーハンドリングを入れ、ストリーミング再生（1文字ずつ表示）に対応させることで、遅い推論速度でも体感の待ち時間を減らします。

import requests
import json

def chat_with_deepseek_v4(prompt):
    url = "http://localhost:8080/completion"
    headers = {"Content-Type": "application/json"}

    data = {
        "prompt": f"\n\n### Instruction:\n{prompt}\n\n### Response:\n",
        "n_predict": 1024,
        "stream": True,
        "temperature": 0.7
    }

    try:
        response = requests.post(url, headers=headers, json=data, stream=True)
        response.raise_for_status()

        print("DeepSeek V4: ", end="", flush=True)
        for line in response.iter_lines():
            if line:
                chunk = json.loads(line.decode("utf-8").replace("data: ", ""))
                content = chunk.get("content", "")
                print(content, end="", flush=True)
                if chunk.get("stop"):
                    break
        print("\n")
    except Exception as e:
        print(f"エラーが発生しました: {e}")

if __name__ == "__main__":
    chat_with_deepseek_v4("Pythonで高速な行列演算を行うコードを書いて。")

この構成のメリットは、モデルをメモリに常駐させられる点です。 毎回 llama-cli を立ち上げ直すと、モデルのロード時間（数秒〜十数秒）が無駄になりますが、サーバーモードなら即座に応答が始まります。 また、将来的にllama.cpp側でGPU対応が進んだ際も、サーバーの起動オプション（--n-gpu-layers）を変更するだけで、Python側のコードを一切変えずに高速化の恩恵を受けられます。

よくあるトラブルと解決法

次のステップ

無事にDeepSeek V4 Flashが動いたなら、次に取り組むべきは「モデルの量子化（Quantization）の比較」です。 llama.cppには、llama-quantize というツールが同梱されています。 Q4_K_M（4ビット）とQ8_0（8ビット）で、出力される日本語の論理性やコードの正確性がどれくらい変わるのか、自分の目で確かめてみてください。

また、DeepSeek V4の真骨頂は数学やコーディングの推論能力にあります。 今回作ったAPIサーバーを、オープンソースのコーディング支援ツール「Continue」や「Aider」に接続してみるのも面白いでしょう。 公式APIが混雑している時間帯でも、手元の計算リソースだけで思考を止めずに開発を続けられる環境は、一度構築すると手放せなくなります。 この「泥臭いビルド作業」の先に、誰にも依存しない自分だけのAI環境が待っています。

よくある質問

Q1: RTX 3060などのミドルレンジGPUでも動きますか？

動きますが、現時点のPRではGPUの全性能を引き出せません。CPUとVRAMに分割してロード（オフロード）することは可能ですが、速度の劇的な向上は今後のアップデート待ちです。むしろメインメモリ（RAM）を32GB以上に増設する方が、この段階では安定に寄与します。

Q2: 変換済みGGUFファイルはどこで手に入りますか？

Hugging Faceで「DeepSeek-V4 GGUF」と検索すると、Bartowski氏やMaziyarPanahi氏といった著名な職人が作成したファイルが見つかることが多いです。公式リリースの直後は、これらを利用するのが最も確実で手間がかかりません。

Q3: DeepSeek V3とV4で設定に違いはありますか？

あります。V4はアーキテクチャがさらに複雑化しており、特にRoPE（Rotary Positional Embedding）のスケーリング設定などが異なる場合があります。llama.cppはモデルファイルを読み込む際にメタデータを自動判別しますが、手動でパラメータを指定する場合は公式の技術レポートを読み込む必要があります。

あわせて読みたい

• llama-swap 使い方：Ollama超えのローカルLLM切り替え環境を構築
• Qwen3.5 35B A3B 使い方と環境構築ガイド
• Qwen2.5-Coder 使い方 | ローカルでコード生成AIを動かす