自宅LLM 環境構築

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの この記事では、世界標準のLLM実行エンジン「llama.cpp」をコンパイルし、量子化されたLlama-3-8BをローカルPCで爆速動作させる環境を構築します。 Pythonの重いライブラリに頼らず、C++ベースの軽量なバイナリで1秒間に40トークンを超える推論速度（RTX 3060クラス以上想定）を実現するスクリプトまで完成させます。 ...