所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの RTX 3090/4090（VRAM 24GB）1枚で、Qwen 3.6 27Bを秒間70トークン以上の速度で動かす推論環境 15万トークン超えのロングコンテキストを処理できる実用的なAPIサーバー ik_llama.cppとMTP（Multi-Token Prediction）を組み合わせた、2024年末時点での最強構成 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの RTX 5090の圧倒的な演算性能をフルに活用し、llama.cppの最新機能であるMTP（Multi-Token Prediction）を有効化することで、Qwen 3.6モデルから1秒間に150トークンを超える超高速なレスポンスを引き出すローカル推論環境を構築します。 ...
所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Qwen 2.5 Coder 32Bをローカル環境で動かし、物理演算を含むHTML Canvasアニメーションを1発で生成します ブラウザだけで動作し、パーティクルの衝突や重力シミュレーションを実装したシングルファイルHTMLを完成させます 前提知識：ターミナルでのコマンド入力に抵抗がなく、HTML/JavaScriptの基礎（タグや変数の意味）がわかること 必要なもの：VRAM 12GB以上のNVIDIA製GPU、またはメモリ24GB以上のApple Silicon搭載Mac 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約60分 | 難易度: ★★★★☆ この記事で作るもの Jetson Orin NX 16GB上で、Googleの軽量LLM「Gemma」を完全オフライン動作させる制御システム。 センサー入力を模したデータに対し、LLMがリアルタイム（TTFT約200ms）で判断を下し、行動プロンプトを生成するPythonスクリプト。 前提知識：Pythonの基本的な読み書きができ、Linuxコマンド（Ubuntu）の操作に抵抗がないこと。 必要なもの：Jetson Orin NX 16GB開発者キット、NVMe SSD（128GB以上推奨）、DC電源。 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの ユーザーが投げた曖昧な指示に対し、自らPythonコードを生成・実行・修正し、最終的な結果を出す自律型AIエージェント。 OpenCodeInterpreter（DS-6.7Bまたは33B）を「頭脳（オーケストレーター）」として活用し、ローカル環境（Ollama）で完結するシステム。 Pythonの基礎知識と、Dockerを少し触ったことがあれば完遂できるレベルの構成。 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約45分（ハードウェア準備を除く） | 難易度: ★★★★☆ この記事で作るもの 中国で流通する「RTX 4090 48GB」等の改造GPU、あるいは多段GPU環境で、Llama-3-70Bクラスの巨大モデルを高速に動かすための推論サーバー。 Pythonとllama-cpp-pythonを使用し、VRAMを1MB単位で使い切るための最適化設定。 外部アプリケーションから呼び出し可能なOpenAI互換APIエンドポイント。 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの RTX 5090の32GB VRAM（予定）や現行のRTX 4090を最大限に活用し、大規模言語モデル（Llama-3-70B等）を高速に動かすPythonスクリプトを作ります。 お使いのGPUメモリ量に合わせて、モデルのロード範囲（GPUレイヤー数）を自動最適化する仕組みを構築します。 実行環境はUbuntu 22.04またはWindows 11（WSL2）を想定しています。 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約60分 | 難易度: ★★★★☆ この記事で作るもの 中古で3〜4万円台で投げ売りされているAMD MI50（32GB）を使い、Qwen 2.5 27Bを秒間50トークン超えで動かす推論サーバーを構築します。 PythonからOpenAI互換APIとして呼び出し、RAGやエージェントとして実務投入できる状態を目指します。 動作環境はUbuntu 22.04、推論エンジンにはAMD ROCmに最適化されたvLLMを使用します。 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの Qwen2.5-Coder-32Bなどの強力なローカルLLMに対し、Multi-Token Prediction（MTP）を適用して推論速度を劇的に向上させた環境を構築します。 具体的には、llama.cppの最新機能を活用し、MTPアダプターを読み込ませることで、従来の1トークンずつの生成ではなく、一度に複数のトークンを予測・出力する爆速のチャット・コード生成環境を手に入れます。 ...
所要時間: 約20分 | 難易度: ★★☆☆☆ この記事で作るもの 26M（2600万）という驚異的な小ささのモデル「Needle」を使い、ユーザーの入力から「どのツールを、どの引数で使うべきか」を瞬時に判断するPythonスクリプトを作成します。 Gemini 1.5 Proのツール呼び出し能力を蒸留したこのモデルを、ローカル環境で爆速（1200 tok/s以上）で動かす体験を提供します。 ...