
llama.cpp 使い方 入門!GGUF量子化でローカルLLMを動かす全手順
所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの この記事では、ローカル環境でLlama 3.1やMistralといった最新のLLM(大規模言語モデル)を高速に動作させる「llama.cpp」の環境を構築します。 最終的には、自分のPC内でOpenAI互換のAPIサーバーを立ち上げ、PythonスクリプトからAIを呼び出して自由自在に操作できる状態を目指します。 ...

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの この記事では、ローカル環境でLlama 3.1やMistralといった最新のLLM(大規模言語モデル)を高速に動作させる「llama.cpp」の環境を構築します。 最終的には、自分のPC内でOpenAI互換のAPIサーバーを立ち上げ、PythonスクリプトからAIを呼び出して自由自在に操作できる状態を目指します。 ...

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの この記事を読むと、Llama 3 8Bなどの最新モデルを自分のPCで高速に動かし、Pythonから制御する環境が完成します。 単に「動いた」で終わらせず、量子化による精度と速度のトレードオフを理解し、業務アプリに組み込める構成を目指します。 ...

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの 自分の業務ドキュメントやコードを元に、ローカルLLMの「実務正解率」を算出する評価ハーネス(検証用スクリプト) Qwen2.5-CoderやLlama 3.1などのモデルを同一条件で比較し、token/secと精度を自動集計する仕組み 前提知識: Pythonの基本的な読み書き、ターミナルでのコマンド操作 必要なもの: Dockerが動く環境、またはPython 3.10以上、NVIDIA製GPU(VRAM 12GB以上推奨) 📦 この記事に関連する商品(楽天メインで価格確認) ...

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Claude CodeとCursorを組み合わせ、FastAPIを用いた「AIエージェント管理API」を構築します。 単純なコード生成ではなく、CursorでUIやロジックを設計し、Claude Codeでプロジェクト全体のテストとリファクタリングを自律的に実行させる「次世代のワークフロー」を体験していただきます。 Pythonの基礎(venv環境構築やpip操作)がわかれば、記事を読み進めるだけで「AIに指示してコードを書かせる」本当の感覚が掴めるはずです。 ...

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの 外部APIを一切使わず、手元のPCだけでChatGPTと同等のUIを備えた生成AI環境を構築します PDFやテキストファイルを読み込ませて回答させる「RAG(検索拡張生成)」がブラウザから即座に利用可能になります 前提知識:ターミナル(コマンドプロンプト)でコマンドをコピペして実行できること、Dockerの概念をなんとなく知っていること 📦 この記事に関連する商品(楽天メインで価格確認) ...

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの クラウドを使わず、自分のPC(Mac/Windows)でLlama-3などの最新AIを高速に動かす環境 Hugging Faceから量子化モデルを探し、PythonからAPI形式で呼び出すスクリプト CPUとGPUをハイブリッドで活用し、限られたリソースで推論速度を最大化する設定 📦 この記事に関連する商品(楽天メインで価格確認) ...

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの Apple公式の機械学習フレームワーク「MLX」を使い、Llama 3などの最新LLMをMac上で爆速で動かすPythonスクリプトを作成します。 一般的なPyTorch環境よりも数倍速く、かつメモリ消費を抑えた状態で、ターミナルからAIと対話できる環境を構築するのがゴールです。 Pythonの基礎(仮想環境の構築やpip操作)ができる方を対象に、実務で耐えうる速度を出す設定を解説します。 ...

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの インターネット不要でChatGPT並みの操作感を持つ、プライバシー重視のAIチャット環境をPC内に構築します。 前提知識: 基本的なコマンド操作(ターミナルやコマンドプロンプト)ができること。 必要なもの: ネット回線、一定スペックのPC(詳細は後述)、Dockerが動く環境。 📦 この記事に関連する商品(楽天メインで価格確認) ...

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの 手持ちのPDFやテキストファイルを読み込み、その内容に基づいてAIが回答する「ローカルデータ検索RAGスクリプト」を作成します。 外部にデータを漏らさないためのローカルLLM(Ollama)への切り替え方法まで網羅します。 前提知識として、Pythonの基本的な文法(変数、関数、pipでのライブラリインストール)を理解している必要があります。 📦 この記事に関連する商品(楽天メインで価格確認) ...

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの MLXフレームワークを用いて、Apple Siliconに最適化されたローカルLLMをPythonから高速に実行する環境。 Googleの「Gemma 2 9B」やMetaの「Llama 3.1」といった高性能な日本語対応モデルを、ストリーミング形式でチャットできるスクリプトを作成します。 前提知識として、基本的なPythonの文法(関数の定義やライブラリのインポート)がわかる方を対象にしています。 📦 この記事に関連する商品(楽天メインで価格確認) ...