所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの 自分のPC上でローカルLLMの推論速度（Tokens Per Second）と応答遅延（TTFT）を正確に計測するPythonスクリプト 特定のモデル（Llama 3やQwen 2など）が自分の業務で使い物になるかを「数字」で判断する基準 前提知識：Pythonの基本的な構文（変数、関数）がわかり、ターミナルでコマンド操作ができること 必要なもの：NVIDIA製GPU（VRAM 8GB以上推奨）またはApple Silicon搭載Mac、Python 3.10以降 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの 自分のPCスペック（VRAM容量や帯域幅）を自動認識し、最適な量子化モデル（GGUF）をメモリ限界までVRAMにオフロードして高速推論させるPythonスクリプト 前提知識: Pythonの基本的な読み書きができ、ターミナルでコマンド操作ができること 必要なもの: NVIDIA製GPU（VRAM 8GB以上推奨）またはApple Silicon搭載Mac、Python 3.10以降 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの Intelの次世代GPU「Crescent Island」のリーク情報で話題となった「VRAM 160GB」という異次元のスペックを想定し、現行環境で巨大なLLM（Llama-3-70B等）を効率的に動かすためのPython実行基盤を作ります。 具体的には、llama.cppのPythonバインディングを使い、メインメモリとVRAMを動的に管理しながら、推論速度を最大化するスクリプトを完成させます。 Pythonの基本構文が分かり、ターミナルでコマンド操作ができることを前提としています。 ...
所要時間: 約45分（ハードウェア準備を除く） | 難易度: ★★★★☆ この記事で作るもの 中国で流通する「RTX 4090 48GB」等の改造GPU、あるいは多段GPU環境で、Llama-3-70Bクラスの巨大モデルを高速に動かすための推論サーバー。 Pythonとllama-cpp-pythonを使用し、VRAMを1MB単位で使い切るための最適化設定。 外部アプリケーションから呼び出し可能なOpenAI互換APIエンドポイント。 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約35分 | 難易度: ★★★☆☆ この記事で作るもの Gemma 4 31B (GGUF版) をローカル環境で動かし、対話精度を最大化させるPythonスクリプト 前提知識：Pythonの基本的な文法、ターミナルでのコマンド操作 必要なもの：16GB以上のVRAMを持つGPU（RTX 3090/4090推奨）、または大容量RAMを積んだMac/PC 📦 この記事に関連する商品 ...
所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの Qwen 3.5 0.8BをローカルPCのCPUのみで動作させ、1秒間に100トークン以上の超高速レスポンスを返すPythonスクリプト 外部APIに1円も払わず、オフラインで機密情報を処理できる「自分専用の超軽量推論エンジン」 前提知識：Pythonの基本的な文法（pipインストールや関数の作成）がわかること 必要なもの：Python 3.10以降がインストールされたPC（Mac/Windows/Linux問わず。メモリ4GBでも動きます） 📦 この記事に関連する商品 ...