llama.cppとGGUFで自分専用の高速ローカルLLM環境を構築する方法
所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの この記事を読むと、手元のPC（Windows/Mac）で日本語LLMをストリーミング形式で動かし、チャットができるPythonスクリプトが完成します。 クラウドAPIを使わず、VRAMが少ない環境でもLlama 3やGemma 2といった最新モデルを実用的な速度で動かす技術が身に付きます。 ...
GGUF 量子化 入門
所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの この記事を読むと、手元のPC（Windows/Mac）で日本語LLMをストリーミング形式で動かし、チャットができるPythonスクリプトが完成します。 クラウドAPIを使わず、VRAMが少ない環境でもLlama 3やGemma 2といった最新モデルを実用的な速度で動かす技術が身に付きます。 ...