AMD GPUでローカルLLMを動かすROCm環境構築の手順

# パッケージリストの更新
sudo apt update && sudo apt upgrade -y

# カーネルドライバのインストールに必要な依存関係
sudo apt install -y python3-pip php-bz2 libstdc++-12-dev

# AMD公式のリポジトリを追加（ROCm 6.0を指定）
# 2024年現在、安定してLLMが動くのは6.0系です
sudo mkdir -p /etc/apt/keyrings
wget -qO - https://repo.radeon.com/rocm/rocm.gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/rocm.gpg > /dev/null
echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] https://repo.radeon.com/rocm/apt/6.0 jammy main" | sudo tee /etc/apt/keyrings/rocm.list

# ROCmのインストール
sudo apt update
sudo apt install -y rocm-hip-sdk

/opt/rocm/bin/rocminfo

# Ollamaのインストールスクリプト実行
curl -fsSL https://ollama.com/install.sh | sh

# .bashrc または .zshrc に追記
# 以下の値は RX 6000系なら gfx1030、RX 7000系なら gfx1100 に設定
export HSA_OVERRIDE_GFX_VERSION=10.3.0

pip install ollama

import ollama
import time

def run_test():
    # 使用するモデル名
    model_name = "llama3"

    # モデルのダウンロード（初回のみ時間がかかる）
    print(f"Checking for model: {model_name}...")
    ollama.pull(model_name)

    start_time = time.time()

    # 推論の実行
    response = ollama.chat(model=model_name, messages=[
        {
            'role': 'user',
            'content': 'なぜNVIDIA以外のGPUはAI開発で苦戦しているのですか？3行で答えてください。',
        },
    ])

    end_time = time.time()

    print("\n--- 回答 ---")
    print(response['message']['content'])
    print(f"\n推論時間: {end_time - start_time:.2f}秒")

if __name__ == "__main__":
    run_test()

--- 回答 ---
1. NVIDIAのCUDAが長年の先行投資により、AI開発に必要なライブラリやエコシステムの標準を独占しているから。
2. AMDやIntelのソフトウェア基盤（ROCm/oneAPI）の互換性や安定性が、NVIDIAに比べてまだ発展途上であるから。
3. 多くのAI研究者や開発者がNVIDIA環境を前提にコードを公開しており、他社製ハードウェアへの移行コストが高いから。

推論時間: 1.24秒

pip install streamlit

import streamlit as st
import ollama
import sys

st.set_page_config(page_title="AMD Local LLM Chat", layout="centered")

st.title("🚀 ROCm Optimized Chat")

# セッション状態の初期化（チャット履歴の保存）
if "messages" not in st.session_state:
    st.session_state.messages = []

# サイドバーに設定項目を追加
with st.sidebar:
    st.header("Settings")
    model_option = st.selectbox("Select Model", ["llama3", "phi3", "mistral"])
    if st.button("Clear Cache"):
        st.session_state.messages = []

# 履歴の表示
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.markdown(message["content"])

# ユーザー入力
if prompt := st.chat_input("質問を入力してください"):
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user"):
        st.markdown(prompt)

    with st.chat_message("assistant"):
        response_placeholder = st.empty()
        full_response = ""

        try:
            # ストリーミング再生でレスポンスを表示
            # 1文字ずつ表示されることで、体感速度を向上させる
            for chunk in ollama.chat(
                model=model_option,
                messages=st.session_state.messages,
                stream=True,
            ):
                token = chunk['message']['content']
                full_response += token
                response_placeholder.markdown(full_response + "▌")

            response_placeholder.markdown(full_response)
            st.session_state.messages.append({"role": "assistant", "content": full_response})

        except Exception as e:
            st.error(f"エラーが発生しました: {str(e)}")
            if "memory" in str(e).lower():
                st.warning("GPU VRAMが不足している可能性があります。モデルのサイズを下げてください。")

streamlit run app.py