AI generated thumbnail

ローカルLLM用GPUの選び方2025|RTX 5090を待つべきか3090を中古で買うべきか

3行要約 結論:Llama 3 70Bクラスを業務で使うなら、VRAM 48GB(RTX 3090/4090の2枚挿し)が最低ラインです。 判断軸:推論速度(token/sec)を重視するならRTX 4090、コスト優先なら中古のRTX 3090、開発の安定性ならMac Studio 128GB以上を選んでください。 注意:電源容量(1200W以上必須)と排熱対策を無視すると、1枚20万円以上のGPUが熱暴走で即座に文鎮化します。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年7月10日 · 7 分 · 3057 文字 · Negi AI Lab
AI generated thumbnail

MLX 使い方 入門:Apple SiliconでローカルLLMを動かす方法

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの Apple Silicon(M1/M2/M3/M4)のGPU性能を最大限に引き出し、Llama 3などの最新LLMと高速に対話できるPythonスクリプト 外部APIに一切頼らず、完全にオフラインで動作するプライバシー重視のチャットインターフェース 前提知識:Pythonの基本的な構文(変数、関数、pip操作)がわかること 必要なもの:Apple Silicon搭載のMac、Python 3.10以降 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年6月26日 · 9 分 · 4138 文字 · Negi AI Lab
AI generated thumbnail

llama.cpp 使い方 入門:GGUF量子化モデルをローカルPCで爆速動作させる全手順

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの llama.cppを使用して、Llama 3やMistralなどの最新大規模言語モデル(LLM)を、一般的なPC(Windows/Mac)でサクサク動作させる環境を構築します。 最終的には、ローカル環境でOpenAI互換のAPIサーバーを立ち上げ、自作アプリからAPI経由でLLMを呼び出せる状態にします。 ...

2026年6月20日 · 9 分 · 4029 文字 · Negi AI Lab
AI generated thumbnail

Apple Siliconの性能を限界まで引き出すMLXでローカルLLMを動かす方法

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの Apple公式の機械学習フレームワーク「MLX」を利用して、Mac上でLlama 3などの最新LLMと対話できるPythonスクリプト 外部APIに依存せず、オフラインかつ高速(毎秒15〜20トークン以上)に動作する推論環境 前提知識: Pythonの基本的な読み書きができること、ターミナルでコマンド操作ができること 必要なもの: Apple Silicon(M1/M2/M3チップ)搭載のMac 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年6月16日 · 8 分 · 3945 文字 · Negi AI Lab
AI generated thumbnail

DeepSeek V4 Flash 使い方!llama.cppで最新モデルをローカル構築する手順

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの DeepSeek V4 Flashをllama.cppの最新プルリクエスト(PR #24162)を適用してビルドし、自分のPCローカル環境で対話ができる「専用CLIチャット環境」を作ります。 公式リリース前の開発途上版を動かすため、最新技術の内部構造を理解しながら、誰よりも早く次世代モデルの挙動を確認できる状態を目指します。 ...

2026年6月6日 · 9 分 · 4508 文字 · Negi AI Lab
AI generated thumbnail

Qwen3.5 35B A3B 使い方と環境構築ガイド

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの Qwen3.5 35B A3B(MTP保持版)をローカル環境で立ち上げ、PythonからAPI経由で高速に推論を行うシステム。 35Bという中規模モデルながら、MTP(Multi-Token Prediction)の恩恵で40B〜70Bクラスに匹敵する論理性能を体感できる環境を構築します。 PythonからOpenAI互換APIサーバーとして呼び出し、実際の業務(コードレビューや長文要約)に即投入できる状態を目指します。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月27日 · 9 分 · 4251 文字 · Negi AI Lab
AI generated thumbnail

OllamaとPythonでGPUリソースをフル活用するLLM最適化ガイド

所要時間: 約35分 | 難易度: ★★★☆☆ この記事で作るもの ローカルマシンのGPUリソース(VRAM使用量やモデル名)を自動取得し、LLMに「自分の限界性能」を認識させた上でタスクを解かせるPythonスクリプト Pythonの基礎(pip操作と関数定義)がわかること、およびNVIDIA製GPUを搭載したPCを所有していること 必要なもの: Python 3.10以降、NVIDIA Driver、Ollama(ローカルLLM実行環境) 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月22日 · 8 分 · 3678 文字 · Negi AI Lab
AI generated thumbnail

Qwen 27Bクラスをローカル環境で爆速動作させる方法

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Qwen-2.5シリーズ(噂の27Bを含む)をローカルPCで動かし、フォルダ内の全ドキュメントを自動解析・構造化するPythonスクリプトを作ります。 前提知識:Pythonの基本的な文法(pipインストールや関数の実行)がわかること。 必要なもの:NVIDIA製GPU(VRAM 12GB以上推奨)またはApple Silicon搭載Mac(メモリ24GB以上推奨)、Ollama。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月21日 · 8 分 · 4006 文字 · Negi AI Lab
AI generated thumbnail

Qwen2.5-Coder 使い方 | ローカルでコード生成AIを動かす

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Qwen2.5-Coder 32Bをローカル環境に構築し、指定したディレクトリ内の全Pythonコードに対して「型ヒントの追加」と「バグチェック」を自動で行うリファクタリングツールを作成します。 既存のコードベースを読み込ませ、AIが修正案を提示し、必要に応じてファイルを上書きする実用的なスクリプトを完成させます。 ...

2026年5月19日 · 9 分 · 4379 文字 · Negi AI Lab
AI generated thumbnail

Qwen3.6 35B Uncensored 使い方:MTPを維持した最強の検閲なしローカルLLM環境構築

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの 35Bという「家庭用ハイエンドGPU1枚」で動く最大級のモデルを使い、論理性能と創造性を両立した検閲なし対話環境を構築します。 量子化されたGGUF版をLlama.cppまたはLM Studioで動作させ、MTP(Multi-Token Prediction)の恩恵を最大限に受ける設定を完了させます。 前提知識として、基本的なコマンドライン操作とPython環境の理解があることを想定しています。 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年5月9日 · 8 分 · 3849 文字 · Negi AI Lab