NVIDIA DGX Sparkを手に入れたら最初にやるべきローカルLLM環境構築ガイド

# パッケージの更新
sudo apt update && sudo apt upgrade -y

# ビルドツールのインストール
sudo apt install -y build-essential git cmake libcurl4-openssl-dev

# スワップファイルの作成（8GB分）
# メモリ不足でビルドが落ちるのを防ぎます
sudo fallocate -l 8G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

# 再起動後も有効にする設定
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

# llama.cppのリポジトリをクローン
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# CUDAを有効にしてビルド
# DGX SparkのGPU性能を引き出すために必須の設定です
mkdir build
cd build
cmake .. -DGGML_CUDA=ON
cmake --build . --config Release -j$(nproc)

# 必要なライブラリのインストール
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip3 install numpy sentencepiece

import subprocess

def run_llm(prompt):
    # 量子化されたモデルファイルを指定（あらかじめダウンロードしておく必要があります）
    model_path = "./models/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf"

    cmd = [
        "./bin/llama-cli",
        "-m", model_path,
        "-p", prompt,
        "-n", "128",          # 生成するトークン数
        "--n-gpu-layers", "99" # すべてのレイヤーをGPUに乗せる
    ]

    try:
        result = subprocess.run(cmd, capture_output=True, text=True)
        print("回答:", result.stdout)
    except Exception as e:
        print(f"エラーが発生しました: {e}")

if __name__ == "__main__":
    my_prompt = "AIエンジニアとして成功する秘訣を教えてください。"
    run_llm(my_prompt)

CMake Error: CUDA_TOOLKIT_ROOT_DIR not found

export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
source ~/.bashrc

Killed (core dumped)