AI generated thumbnail

llama.cppとGGUF量子化の使い方入門:自作PCやMacでLLMを動かす全手順

所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの この記事では、自分のPCのリソースを最大限に活用して、最新のLLM(Llama 3.1やMistralなど)と超高速にチャットできるOpenAI互換のAPIサーバーを構築します。 Pythonの重いライブラリを入れず、C++ベースの軽量な「llama.cpp」を使うことで、古いGPUやメモリの少ないMacでも実用レベルの速度を出せるようになります。 ...

2026年10月7日 · 9 分 · 4031 文字 · Negi AI Lab
AI generated thumbnail

MLX入門 Apple SiliconでローカルLLMを爆速で動かす方法

所要時間: 約20分 | 難易度: ★★☆☆☆ この記事で作るもの Apple Silicon(M1/M2/M3/M4チップ)の性能をフルに引き出し、Llama 3.1 8BクラスのLLMと超高速にチャットができるPythonスクリプトを作成します。 Apple純正の機械学習フレームワーク「MLX」を利用 Hugging Faceからモデルを自動取得して実行 ストリーミング出力(文字がパラパラ出てくる表示)への対応 知識ゼロから「自分のMacでAIが動く」状態までをカバー 前提知識:Pythonの基本的な構文(pipでのライブラリ導入など)がわかること。 ...

2026年9月10日 · 8 分 · 3975 文字 · Negi AI Lab
AI generated thumbnail

BaseRT レビュー llama.cppより6倍速い推論エンジンの実力

注意: 本記事はドキュメント・公開情報をもとにした評価記事です。コード例はシミュレーションです。 3行要約 llama.cppやMLXといった既存の推論エンジンをスループットで圧倒する超高速ランタイム 独自カーネルの最適化により、RTX 4090環境でllama.cpp比最大6.4倍の推論速度を記録 リアルタイム性が求められるAIエージェント開発には必須だが、対応モデルの少なさが現状の課題 📦 この記事に関連する商品(楽天メインで価格確認) ...

2026年7月19日 · 9 分 · 4155 文字 · Negi AI Lab
AI generated thumbnail

Apple SiliconでローカルLLMを最速動作させるMLX入門

所要時間: 約30分 | 難易度: ★★☆☆☆ この記事で作るもの Apple純正の機械学習フレームワーク「MLX」を利用して、MacのGPU性能を限界まで引き出し、Llama 3などの最新LLMと高速にチャットできるPythonスクリプトを作成します。 Apple Silicon(M1/M2/M3チップ)を搭載したMacであること Python 3.10以上の基礎知識(仮想環境の構築ができる程度) Hugging Faceのアカウント(モデルのダウンロードに使用) 先に確認するスペック・料金 ローカルLLMを動かす上で、Macのスペック選びは「メモリ(Unified Memory)」がすべてです。 MLXはGPUとCPUがメモリを共有する仕組みを最大限に活かすため、VRAMという概念ではなく、搭載されている物理メモリの量がそのまま扱えるモデルのサイズに直結します。 ...

2026年7月9日 · 9 分 · 4188 文字 · Negi AI Lab
AI generated thumbnail

Qwen3.7 Max APIとローカルLLMを連携させたハイブリッドAIエージェントの構築方法

所要時間: 約40分 | 難易度: ★★★★☆ この記事で作るもの Qwen3.7 Maxの圧倒的な推論性能と、ローカルLLM(Ollama)の機密性を使い分ける「コスト最適化型AIエージェント」を構築します。 具体的には、入力されたタスクの難易度をローカル側で判定し、高度な思考が必要な場合のみQwen3.7 Maxにリクエストを飛ばすPythonスクリプトを完成させます。 ...

2026年5月20日 · 7 分 · 3467 文字 · Negi AI Lab
AI generated thumbnail

Qwen 3.6 27B と Gemma 4 31B 使い方比較!Pythonでパックマンを作る方法

所要時間: 約45分 | 難易度: ★★★☆☆ この記事で作るもの PythonとPygameライブラリを使用し、LLMにコードを全生成させて動く「パックマン風ゲーム」 Qwen 3.6 27B と Gemma 4 31B のコーディング能力を比較したベンチマーク結果 前提知識: Pythonの基本的な実行環境(VS Code等)が整っていること 必要なもの: VRAM 24GB以上のGPU(RTX 3090/4090推奨)、または十分なシステムメモリ(32GB以上) 📦 この記事に関連する商品 ...

2026年5月2日 · 8 分 · 3809 文字 · Negi AI Lab
AI generated thumbnail

Tiny Aya 使い方:101言語対応の超軽量モデルをローカルで動かす

注意: 本記事はドキュメント・公開情報をもとにした評価記事です。コード例はシミュレーションです。 3行要約 101言語に対応し、特に日本語を含む「英語以外」の精度を極限まで高めたローカルLLM 従来の小型モデルが苦手とした非英語圏の文化やニュアンスを、Cohere独自のデータセットで克服 低スペックなPCやエッジデバイスで多言語翻訳・要約タスクを回したい開発者は必携 📦 この記事に関連する商品 ...

2026年4月5日 · 8 分 · 3603 文字 · Negi AI Lab