AI generated thumbnail

VRAM 16GBでQwen2.5-27Bを40 tok/s動作させる方法:Pure Quant活用入門

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの RTX 4070 Tiや4080などのVRAM 16GB環境で、Qwen2.5-27B-Instructを秒間40トークン(40 tok/s)で推論させるPython実行環境 量子化モデル(EXL2形式)を効率よく読み込み、長文のコンテキストでもメモリ溢れ(OOM)を起こさない設定 外部ツールから利用可能なOpenAI互換のAPIサーバー構築 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月23日 · 9 分 · 4317 文字 · Negi AI Lab
AI generated thumbnail

OllamaとPythonでGPUリソースをフル活用するLLM最適化ガイド

所要時間: 約35分 | 難易度: ★★★☆☆ この記事で作るもの ローカルマシンのGPUリソース(VRAM使用量やモデル名)を自動取得し、LLMに「自分の限界性能」を認識させた上でタスクを解かせるPythonスクリプト Pythonの基礎(pip操作と関数定義)がわかること、およびNVIDIA製GPUを搭載したPCを所有していること 必要なもの: Python 3.10以降、NVIDIA Driver、Ollama(ローカルLLM実行環境) 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月22日 · 8 分 · 3678 文字 · Negi AI Lab
AI generated thumbnail

Qwen 2.5をローカルAPI化してPythonで動かす手順

所要時間: 約30分 | 難易度: ★★★☆☆ この記事で作るもの 自分のPC上で「Qwen 2.5」をAPIサーバーとして起動し、PythonからOpenAI SDK経由で呼び出してコードレビューを自動化するスクリプトを作ります。 前提知識:Pythonの基本的な文法(関数、リスト、辞書)がわかり、ターミナルでコマンド操作ができること。 必要なもの:NVIDIA製GPU(VRAM 12GB以上推奨)またはApple Silicon搭載Mac、Python 3.10以上の環境。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月22日 · 8 分 · 3701 文字 · Negi AI Lab
AI generated thumbnail

Hugging Face APIでVRAMに最適なモデルを自動選定する方法

所要時間: 約35分 | 難易度: ★★★☆☆ この記事で作るもの 自分のPCのVRAM(ビデオメモリ)容量を入力するだけで、Hugging Faceのベンチマークデータから「自分の環境で動く、今最も性能が高いモデル」を自動でリストアップするPythonスクリプトを作ります。 ...

2026年5月21日 · 9 分 · 4180 文字 · Negi AI Lab
AI generated thumbnail

Qwen 27Bクラスをローカル環境で爆速動作させる方法

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Qwen-2.5シリーズ(噂の27Bを含む)をローカルPCで動かし、フォルダ内の全ドキュメントを自動解析・構造化するPythonスクリプトを作ります。 前提知識:Pythonの基本的な文法(pipインストールや関数の実行)がわかること。 必要なもの:NVIDIA製GPU(VRAM 12GB以上推奨)またはApple Silicon搭載Mac(メモリ24GB以上推奨)、Ollama。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月21日 · 8 分 · 4006 文字 · Negi AI Lab
AI generated thumbnail

Intelの160GBメモリ搭載GPUを見据えた巨大LLMローカル実行環境の構築方法

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの Intelの次世代GPU「Crescent Island」のリーク情報で話題となった「VRAM 160GB」という異次元のスペックを想定し、現行環境で巨大なLLM(Llama-3-70B等)を効率的に動かすためのPython実行基盤を作ります。 具体的には、llama.cppのPythonバインディングを使い、メインメモリとVRAMを動的に管理しながら、推論速度を最大化するスクリプトを完成させます。 Pythonの基本構文が分かり、ターミナルでコマンド操作ができることを前提としています。 ...

2026年5月20日 · 9 分 · 4465 文字 · Negi AI Lab
AI generated thumbnail

Qwen3.7 Max APIとローカルLLMを連携させたハイブリッドAIエージェントの構築方法

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの Qwen3.7 Maxの圧倒的な推論性能と、ローカルLLM(Ollama)の機密性を使い分ける「コスト最適化型AIエージェント」を構築します。 具体的には、入力されたタスクの難易度をローカル側で判定し、高度な思考が必要な場合のみQwen3.7 Maxにリクエストを飛ばすPythonスクリプトを完成させます。 ...

2026年5月20日 · 7 分 · 3467 文字 · Negi AI Lab
AI generated thumbnail

Qwen 3.7 使い方と最強ローカルLLM環境の作り方

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの 次世代モデル「Qwen 3.7」をリリース当日に最高速で動かすための、DockerベースのローカルLLM実行基盤 前提知識:Linuxコマンドの基本操作、Dockerの概念を理解していること 必要なもの:NVIDIA GPU(VRAM 12GB以上推奨)、Docker環境、Python 3.10以降 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月19日 · 8 分 · 3747 文字 · Negi AI Lab
AI generated thumbnail

Qwen2.5-Coder 使い方 | ローカルでコード生成AIを動かす

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Qwen2.5-Coder 32Bをローカル環境に構築し、指定したディレクトリ内の全Pythonコードに対して「型ヒントの追加」と「バグチェック」を自動で行うリファクタリングツールを作成します。 既存のコードベースを読み込ませ、AIが修正案を提示し、必要に応じてファイルを上書きする実用的なスクリプトを完成させます。 ...

2026年5月19日 · 9 分 · 4379 文字 · Negi AI Lab
AI generated thumbnail

LocalLLMハードウェア選定ツールの作り方と最適な環境構築

所要時間: 約40分 | 難易度: ★★☆☆☆ この記事で作るもの 入力したモデル規模(Llama-3-70B等)に対し、M5、Strix Halo、RTX 6000 Adaなどの次世代・現行ハードウェアで「動くのか」「速度(Token/s)はどの程度か」を算出するシミュレーターを作成します 前提知識: Pythonの基本的な文法、ローカルLLMにおける「量子化(4bit/8bit)」の意味がわかること 必要なもの: Python 3.10以降が動作するPC 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月18日 · 8 分 · 3581 文字 · Negi AI Lab