AI generated thumbnail

llama.cpp 使い方 入門!GGUF量子化モデルをローカルPCで動かす実践ガイド

所要時間: 約40分 | 難易度: ★★☆☆☆ この記事で作るもの 自分のPC(Windows/Mac/Linux)上で、オープンソースのLLMを「API料金ゼロ」で動かす推論サーバーを構築します。 具体的には、llama.cppをビルドし、Llama 3やMistralなどのGGUF形式モデルを読み込んで、ブラウザやPythonからチャットができる状態まで進めます。 Pythonの基礎知識と、ターミナルでコマンドを数行打つ覚悟があれば十分です。 ...

2026年8月14日 · 10 分 · 4789 文字 · Negi AI Lab
AI generated thumbnail

ローカルLLMを実務で使い倒す環境構築とPython連携の手順

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの 2026年最新のオープンウェイトモデル(Llama 4 70B級)をローカル環境で起動し、Pythonから構造化データ(JSON)を確実に抽出するシステムを構築します。 単なるチャットUIではなく、自社システムや自動化スクリプトに組み込める「APIサーバー」としての運用を実現します。 業務でそのまま使えるレベルのエラーハンドリングと、VRAM消費を最適化するパラメータ設定を網羅します。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月14日 · 9 分 · 4268 文字 · Negi AI Lab
AI generated thumbnail

llama.cppとGGUFでローカルLLMを爆速APIサーバーとして構築する方法

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの 自分のPC内にllama.cppを用いたLLM推論環境を構築し、OpenAI互換のAPIサーバーを立ち上げます。 Pythonの基礎知識があれば、外部の有料APIに1円も払うことなく、プライバシーが完全に守られた状態のAIチャットや自動化スクリプトを動かせるようになります。 ハードウェアの制約で諦めていた巨大なモデル(70Bクラス)を、量子化技術によって家庭用PCで動かす具体的な手順を網羅しました。 ...

2026年8月13日 · 10 分 · 4759 文字 · Negi AI Lab
AI generated thumbnail

高騰するBlackwellを横目に中古GPU2枚でLlama-3-70Bを動かす環境構築術

所要時間: 約60分 | 難易度: ★★★★☆ この記事で作るもの RTX 3090や4060 TiなどのコンシューマーGPUを複数枚組み合わせ、VRAM 48GB超の環境を構築します。 1枚250万円超と噂されるBlackwell世代のプロ向けカード(RTX PRO 6000)を買わずに、Llama-3-70Bクラスの巨大モデルをローカルで高速推論させるPythonスクリプトを完成させます。 前提知識として、基本的なLinuxコマンド操作とPythonの環境構築(venv/pip)ができることを想定しています。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月13日 · 7 分 · 3446 文字 · Negi AI Lab
AI generated thumbnail

OllamaとOpen WebUIで自分専用のChatGPTを構築する方法

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの 外部APIを一切使わず、完全にローカル環境で動作する「RAG(書類読み込み)対応のAIチャットUI」を構築します。 必要なもの:Dockerが動作するPC(Windows/Mac/Linux)、インターネット環境、および相応のGPU。 前提知識:ターミナル(コマンドプロンプト)の基本的な操作、Dockerの基本概念。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月12日 · 9 分 · 4187 文字 · Negi AI Lab
AI generated thumbnail

Unsloth Desktop 使い方:ローカルLLMのファインチューニングをGUIで完結させる方法

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの プログラミング不要でLlama 3やGemma 2を自分のデータで学習させ、特定の口調や知識を持ったカスタムモデルを作成します。 Pythonのコードを一行も書かずに、GUI上でデータセットの読み込みからLoRA学習、GGUF形式での書き出しまでを完結させます。 学習したモデルをLM StudioやOllamaで即座に動かせる状態にします。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月12日 · 9 分 · 4132 文字 · Negi AI Lab
AI generated thumbnail

DockerでAIエージェント用セキュア実行環境を構築する方法

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの AIエージェントが生成したPythonコードを、ホストOSから隔離された環境で安全に実行・結果取得するサンドボックスシステム Pythonの基礎(関数、例外処理)とDockerの基本的な概念がわかること Docker Desktop(またはEngine)がインストールされたPC、OpenAIかAnthropicのAPIキー 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月11日 · 9 分 · 4419 文字 · Negi AI Lab
AI generated thumbnail

Qwen 2.5 27B 使い方 | 16GB以上のVRAMを使い切るローカルLLM構築ガイド

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Qwen 2.5(あるいは発表が待たれる最新3.8世代)の27Bモデルをローカル環境で爆速起動し、Pythonから指示を飛ばして「構造化されたデータ(JSON形式)」を抽出するスクリプトを作成します。 前提知識: Pythonの基本的な読み書きができること。 必要なもの: NVIDIA製GPU(VRAM 16GB以上推奨)または Apple Silicon搭載Mac(メモリ24GB以上推奨)。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月11日 · 9 分 · 4228 文字 · Negi AI Lab
AI generated thumbnail

MLX 使い方 入門 Apple Silicon MacでローカルLLMを動かす方法

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの Apple Silicon(M1/M2/M3/M4)に最適化されたフレームワーク「MLX」を使い、Llama 3などの最新LLMを高速に動作させるPythonスクリプト Hugging Faceからモデルを自動ダウンロードし、量子化(軽量化)されたモデルでチャットUIを構築する手順 Pythonの基礎知識(仮想環境の作成とライブラリ導入)があれば、1行もコードを書かずに実行できるレベルの具体手順 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月10日 · 9 分 · 4046 文字 · Negi AI Lab
AI generated thumbnail

OllamaとOpen WebUIで自分専用の機密情報漏洩ゼロなChatGPT環境を構築する方法

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの 外部APIを一切使わず、手元のPCだけで動作する「自分専用のChatGPT風チャット画面」を構築します ネット環境がなくても、PDFやテキストファイルを読み込ませて回答させる(RAG)環境が完成します 必要なもの:Windows(WSL2導入済み)またはMac、およびミドルエンド以上のGPU(またはApple Silicon) 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年8月10日 · 9 分 · 4009 文字 · Negi AI Lab