AI generated thumbnail

ゲームボーイカラーでTransformer自作!GBDK-2020とC言語による超小型LLM実装入門

所要時間: 約60分 | 難易度: ★★★★☆ この記事で作るもの 1998年発売のハードウェア「ゲームボーイカラー(GBC)」上で、本物のTransformerモデルを動作させるROMファイル Pythonで学習させたモデルの重みをC言語のヘッダファイルに変換し、実機で推論させる一連のワークフロー 前提知識: C言語の基礎(ポインタと配列)、Python環境でのスクリプト実行、コマンドライン操作 必要なもの: PC(Windows/Mac/Linux)、GBDK-2020(コンパイラ)、ゲームボーイエミュレータ(BGBやSameBoy) 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月13日 · 8 分 · 3654 文字 · Negi AI Lab
AI generated thumbnail

Qwen2.5-122Bクラスの巨大なローカルLLMを、サーマルスロットリング(熱による速度低下)を起こさずに安定稼働させるための推論環境を構築します。

この記事の手順を完了すると、GPU温度を監視しながら最適なパフォーマンスで巨大モデルを回し続ける「温度管理機能付き推論サーバー」が手に入ります。 Redditで話題になった「DGXを水道水で冷やす」という極端な事例をヒントに、実務で100GB超のモデルを扱う際の現実的な冷却戦略と設定を解説します。 ...

2026年5月12日 · 8 分 · 3736 文字 · Negi AI Lab
AI generated thumbnail

UnslothのMTP対応モデルでローカルLLMの推論速度を2倍にする方法

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの Unslothが公開したMTP(Multi-Token Prediction)対応のGGUFモデルを使い、従来の1.5倍から2倍の速度でテキスト生成を行うローカル推論環境を構築します。 実行には、llama.cppの最新ビルドと、Pythonによる制御スクリプトを使用します。 前提知識として、基本的なLinuxコマンド操作とPython環境(VenvやConda)の構築ができることを想定しています。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月12日 · 8 分 · 4000 文字 · Negi AI Lab
AI generated thumbnail

Qwen 3.6 35B A3B 使い方 | ローカルLLMでプロ級のコード解析環境を作る方法

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの ローカル環境(Ollama)で「Qwen 3.6 35B A3B」を立ち上げ、自作プロジェクトのソースコードを読み込ませて、バグ修正とリファクタリング案を自動生成するPythonスクリプト。 特定のドメイン(学術、金融、製造など)で書かれた「他人が書いた難解なコード」を、文脈を維持したまま数秒で解説させる環境。 必要なもの:Python 3.10以降、VRAM 16GB以上のGPU(推奨24GB以上)、またはメモリ32GB以上のApple Silicon Mac。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月11日 · 11 分 · 5090 文字 · Negi AI Lab
AI generated thumbnail

ローカルLLMの推論速度を体感するシミュレーター自作ガイド

所要時間: 約20分 | 難易度: ★☆☆☆☆ この記事で作るもの 指定した「tokens/second」の速度でテキストを流し、LLMのレスポンス速度を擬似的に再現するPythonスクリプト Pythonの基礎(標準ライブラリの使用)があれば動作可能 自分のPC環境や検討中のGPUで、どれくらいの「待ち心地」になるかを数値ではなく視覚的に確認できる環境 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月11日 · 9 分 · 4236 文字 · Negi AI Lab
AI generated thumbnail

BeeLlama.cppでQwenを高速化して200kコンテキストを動かす方法

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの RTX 3090/4090クラスのコンシューマーGPU1枚で、Qwen 3.6 27B(および最新のQwen 2.5等)を135 tpsという爆速で推論し、かつ200kトークンの超ロングコンテキストを実用レベルで動かす環境を構築します。 PythonからBeeLlama.cppの高速なAPIを叩き、長大なドキュメントを読み込ませてもレスポンスが破綻しないRAG(検索拡張生成)の代替となる基盤を作ります。 ...

2026年5月10日 · 9 分 · 4151 文字 · Negi AI Lab
AI generated thumbnail

Qwen 35B A3Bを12GB VRAMで高速化!llama.cpp MTP 使い方

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの 12GB VRAMのミドルクラスGPUで、Qwen3.6 35B A3B(MoEモデル)を毎秒80トークン以上の爆速で動作させる環境 128Kの長大なコンテキストを維持しつつ、推論速度を犠牲にしないllama.cppのMTP設定 Pythonからこの高速推論環境を呼び出し、実際の業務で活用するための推論スクリプト 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月10日 · 9 分 · 4293 文字 · Negi AI Lab
AI generated thumbnail

Qwen2.5をローカル環境で動かし、API料金を気にせずコード生成を自動化するPythonスクリプトを作る方法

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Qwen2.5-Coderをローカルで動かし、Pythonのデバッグを自動で行うスクリプト 前提知識:Pythonの基本的な文法(関数の定義、ライブラリのインポート)がわかること 必要なもの:8GB以上のVRAMを搭載したGPU(NVIDIA製推奨)またはApple Silicon搭載Mac 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月9日 · 8 分 · 3526 文字 · Negi AI Lab
AI generated thumbnail

Qwen3.6 35B Uncensored 使い方:MTPを維持した最強の検閲なしローカルLLM環境構築

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの 35Bという「家庭用ハイエンドGPU1枚」で動く最大級のモデルを使い、論理性能と創造性を両立した検閲なし対話環境を構築します。 量子化されたGGUF版をLlama.cppまたはLM Studioで動作させ、MTP(Multi-Token Prediction)の恩恵を最大限に受ける設定を完了させます。 前提知識として、基本的なコマンドライン操作とPython環境の理解があることを想定しています。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月9日 · 8 分 · 3849 文字 · Negi AI Lab
AI generated thumbnail

llama.cppでMulti-Token Predictionを導入してGemma 2の推論速度を40%向上させる方法

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの llama.cppの最新機能「Multi-Token Prediction(MTP)」を有効化し、ローカル環境のGemma 2(9B/27B)のトークン生成速度を劇的に向上させた推論環境を構築します。 単純にモデルを動かすだけでなく、MTP対応のGGUFファイルを適切に指定し、理論値に近い40%前後の高速化を実機で確認するまでの手順を解説します。 ...

2026年5月8日 · 8 分 · 3904 文字 · Negi AI Lab