
RadeonでローカルLLMを動かすROCm環境構築とAPIサーバー作成
所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの AMD製GPU(Radeon)の性能を最大限に引き出し、Llama 3やGemma 2などの最新AIモデルを爆速で動かすローカルAPIサーバーを構築します。 Pythonからこのサーバーを呼び出し、RadeonのVRAMをフル活用して推論処理を行うスクリプトまでを完成させます。 ...

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの AMD製GPU(Radeon)の性能を最大限に引き出し、Llama 3やGemma 2などの最新AIモデルを爆速で動かすローカルAPIサーバーを構築します。 Pythonからこのサーバーを呼び出し、RadeonのVRAMをフル活用して推論処理を行うスクリプトまでを完成させます。 ...