AI generated thumbnail

Qwen-Scope 使い方 | 公式SAEでQwen2.5の思考を解釈する方法

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの Qwen 2.5モデルの内部で「どの概念が反応しているか」を数値化し、特定の思考を強化・抑制するPythonスクリプト モデルが「数学的思考」や「特定の感情」を司るニューロンをどう使っているかを可視化する環境 前提知識: Pythonの基本操作、PyTorchの基礎、LLMのトランスフォーマー構造への大まかな理解 必要なもの: VRAM 24GB以上のGPU(RTX 3090/4090推奨)、Python 3.10以上、Hugging Faceのアカウント 📦 この記事に関連する商品 ...

2026年4月30日 · 8 分 · 3806 文字 · Negi AI Lab
AI generated thumbnail

Qwen 2.5やGemma 2をローカル環境で高速に動かす方法

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの PythonからローカルLLM(Qwen 2.5やGemma 2など)を呼び出し、ストリーミング形式で回答を表示する汎用スクリプト 前提知識: Pythonの基本的な読み書きができる、コマンドライン操作に抵抗がない 必要なもの: Dockerが動く環境、または直接インストール可能なPC(Mac/Windows/Linux)、VRAM 8GB以上のGPU推奨(CPUでも動作は可能) 📦 この記事に関連する商品 ...

2026年4月29日 · 7 分 · 3284 文字 · Negi AI Lab
AI generated thumbnail

Qwen 3.6 27B 使い方 | ローカルLLM環境構築と量子化モデル比較ガイド

所要時間: 約40分 | 難易度: ★★★☆☆ Qwen 3.6 27BのQ4_K_M量子化モデルをllama.cppで動作させ、VRAM 24GB以下のシングルGPU環境で高速な推論サーバーを構築します。 BF16(元モデル)とQ4/Q8量子化の性能差を実測データに基づき比較し、業務利用において「精度を落とさずコストを抑える」最適な設定を導き出します。 この記事の手順を終える頃には、あなたのPC上でChatGPT 4o miniクラスの推論能力を持つAPIサーバーが稼働しているはずです。 ...

2026年4月28日 · 8 分 · 3677 文字 · Negi AI Lab
AI generated thumbnail

LLMの検閲解除手法AbliterationをPythonで実装する方法

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの Llama-3やQwenなどのベースモデルから「拒絶反応(Refusal)」を引き起こす特定の重み成分を特定し、数学的に除去するPythonスクリプト 特定のプロンプトに対して「申し訳ありませんが、その質問には答えられません」と回答するモデルを、正直に回答するように改造する手順 前提知識:Pythonの基礎、PyTorchの基本的な操作、HuggingFace Transformersの使用経験 必要なもの:VRAM 16GB以上のGPU(RTX 3060 12GBでも小規模モデルなら可)、Python 3.10以上 📦 この記事に関連する商品 ...

2026年4月27日 · 7 分 · 3264 文字 · Negi AI Lab
AI generated thumbnail

Open InterpreterでManus級の自律型AIエージェントを自作する方法

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Metaが買収に失敗したManusのような、OS上の操作を自律的にこなすPythonスクリプト ブラウザを立ち上げ、情報を収集し、ローカルファイルにまとめる一連の自動化フロー 前提知識:Pythonの基本的な構文(pipインストールや環境変数の設定)ができること 必要なもの:OpenAI APIキー、またはローカルLLM(Llama 3等)を動かせるPC環境 📦 この記事に関連する商品 ...

2026年4月27日 · 8 分 · 3645 文字 · Negi AI Lab
AI generated thumbnail

r/LocalLLaMA 活用術!最新AI情報を自動収集するフィルター実装ガイド

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの 巨大化したコミュニティ「r/LocalLLaMA」から、仕事で使える技術情報だけをLLMで自動抽出するPythonスクリプトを作ります。 100万人規模のトラフィックを誇るこのフォーラムは、ルール改定によって「質の高い投稿」を求めています。 そのフィルタリングを自分で行い、DiscordやSlackに流すところまでを自動化します。 ...

2026年4月26日 · 7 分 · 3155 文字 · Negi AI Lab
AI generated thumbnail

RTX 5090とvLLMでQwen3.6-27Bを爆速動作させる方法

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの 25万トークンを超える超長文コンテキストを維持しながら、秒間100トークンという驚異的な速度で回答を生成するQwen3.6-27Bの推論サーバーを構築します。 具体的には、vLLM v0.19(以降)とINT4量子化モデルを組み合わせ、単一のハイエンドGPUで大規模なドキュメント解析が可能な環境をローカルに作成します。 ...

2026年4月26日 · 9 分 · 4383 文字 · Negi AI Lab
AI generated thumbnail

Nous Hermes 2とOllamaで自律型エージェントの基礎を構築する方法

所要時間: 約30分 | 難易度: ★★★☆☆ この記事で作るもの Nous Researchが開発した最強クラスのオープンソースモデル「Nous Hermes 2」をローカル環境で動かし、外部関数を呼び出してタスクを完結させるPythonスクリプトを作ります。 前提知識: Pythonの基本的な文法(関数定義やリスト操作)がわかること。 必要なもの: Python 3.10以上、RAM 16GB以上のPC(GPU推奨)、Ollamaのインストール。 📦 この記事に関連する商品 ...

2026年4月25日 · 8 分 · 3516 文字 · Negi AI Lab
AI generated thumbnail

Qwen 2.5 27B 使い方 入門:24GB VRAMでGPT-4級のコード生成環境を構築する方法

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの RTX 3090/4090などの24GB VRAM環境をフル活用し、ローカルで爆速動作する「データ分析・コーディング特化型AIアシスタント」を構築します。 Redditで「Qwen 3.6」と誤記されるほどの衝撃を与えたQwen 2.5 27Bモデルを使い、PySparkやPandasの複雑なコード変換を自動化するPythonスクリプトを作成します。 クラウドへの課金を停止し、プライバシーを保ったまま機密性の高い業務データを扱えるローカル推論環境が完成します。 📦 この記事に関連する商品 ...

2026年4月24日 · 9 分 · 4207 文字 · Negi AI Lab
AI generated thumbnail

DeepSeek-V3の爆速通信を支えるDeepEP V2とTileKernelsの使い方

所要時間: 約45分 | 難易度: ★★★★☆ この記事で作るもの DeepSeekが公開した最新の通信ライブラリ「DeepEP V2」をビルドし、GPU間のAll-to-All通信速度を計測するベンチマーク環境を構築します。 前提知識: Pythonの基本操作、Linux(Ubuntu)のコマンド操作、DockerまたはCUDA環境の構築経験があること。 必要なもの: NVIDIA GPU(2枚以上推奨)、CUDA Toolkit 12.1以上、C++コンパイラ。 📦 この記事に関連する商品 ...

2026年4月23日 · 7 分 · 3504 文字 · Negi AI Lab