所要時間: 約40分 | 難易度: ★★☆☆☆ この記事で作るもの 自分のPC（Windows/Mac/Linux）上で、オープンソースのLLMを「API料金ゼロ」で動かす推論サーバーを構築します。 具体的には、llama.cppをビルドし、Llama 3やMistralなどのGGUF形式モデルを読み込んで、ブラウザやPythonからチャットができる状態まで進めます。 Pythonの基礎知識と、ターミナルでコマンドを数行打つ覚悟があれば十分です。 ...
所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの Llama 3 70Bをローカル環境で動かし、契約書の「隠れたリスク」を自動抽出するPythonスクリプト 大規模な法務文書を分割せずに処理するためのコンテキスト設定と構造化出力の実装 API経由では不可能な「完全オフライン・機密保持」を前提とした法務AIワークフロー 📦 この記事に関連する商品（楽天メインで価格確認） ...
所要時間: 約40分 | 難易度: ★★★☆☆ この記事で作るもの M5 Maxの強力なGPUと128GBの統一メモリを最大限に活用し、Llama 3 70Bクラスの巨大モデルを高速に動かすローカル推論サーバーを構築します。 PythonからAPI形式でモデルを呼び出し、自身の業務ツールやチャットUIと連携させるための基盤を作ります。 前提知識：ターミナルでのコマンド操作、Pythonの基本的なライブラリ導入経験があること。 必要なもの：M5 Max搭載のMac（メモリ64GB以上推奨、128GBあれば最高）、Python 3.10以降。 📦 この記事に関連する商品 ...