llama.cpp 使い方 入門 | GGUF量子化モデルをローカルPCで高速に動かす方法
所要時間: 約40分 | 難易度: ★★☆☆☆ この記事で作るもの 最新のLlama 3などの大規模言語モデル（LLM）を、手元のPCで高速に動作させる環境を構築します。 具体的には、llama.cppをビルドし、量子化されたGGUFモデルを使ってPythonからチャットAIを呼び出すスクリプトを完成させます。 ...
Python AI 構築
ローカルLLM構築入門 OllamaとPythonでAIを自前運用する方法
所要時間: 約40分 | 難易度: ★★☆☆☆ この記事で作るもの Ollamaを使用して、自分のPC上にLlama 3やGemma 2などの最新LLMをAPIサーバーとして立ち上げます。 PythonからそのAPIを呼び出し、ストリーミング形式（逐次出力）で回答を表示する実用的なチャットスクリプトを完成させます。 前提知識として、Pythonの基本的な文法（変数、関数、pipでのライブラリインストール）を理解している必要があります。 Windows、Mac、LinuxのいずれかのPCが必要です。 📦 この記事に関連する商品（楽天メインで価格確認） ...