この記事で学べること 長大なコンテキストを読み込ませた際に発生する「Lost in the Middle（中だるみ）」問題の回避策 LLMLinguaを活用した、情報の密度を維持しつつトークン数を削減する「コンテキスト圧縮」の実装 無意味なトークンへの支払いを減らし、推論コストを最適化する具体的コード 前提条件 Python 3.9以上がインストールされていること OpenAI API または Anthropic API の有効なキー（長大なコンテキストを試すなら Claude 3.5 Sonnet 等を推奨） ローカル環境で圧縮モデルを動かすための最低限のVRAM（8GB程度あれば十分） Step 1: 環境準備 まず、コンテキスト圧縮のデファクトスタンダードである「LLMLingua」と、検証用のライブラリをインストールする。最近のLLMは128kや1Mといったコンテキスト長を誇っているが、そのまま流し込むのは素人のやることだ。プロなら「情報の選別」から入る。 ...
この記事で学べること LangChainにおける「Agent」の最新の構造と設計思想 外部ツール（検索API）とLLMを連携させる具体的な実装手順 ツール呼び出し（Tool Calling）におけるエラー制御とデバッグ手法 前提条件 Python 3.10以上（型ヒントの恩恵を受けるため、古いバージョンは推奨しない） OpenAI APIキー（GPT-4o推奨。安価なモデルでは推論能力不足でエージェントが迷走する） Tavily APIキー（検索ツール用。Google検索よりAPI連携が容易で使い物になる） Step 1: 環境準備 まずは環境を汚さないよう仮想環境を作り、必要なライブラリをインストールする。LangChainは更新が激しいため、バージョンを固定するか最新を追う覚悟を持つこと。 ...
この記事で学べること 巨大なモデルを一般家庭用GPU（VRAM 12GB〜）で再学習させるLoRAの仕組み Hugging Face peft ライブラリを用いた実践的な実装コード 学習を失敗させないためのハイパーパラメータ選定とメモリ節約術 前提条件 GPU環境: NVIDIA製GPU（VRAM 12GB以上推奨。RTX 3060/4060 Ti 16GB等） OS: Linux (Ubuntu推奨) または WSL2 Python: 3.10以上 ライブラリ: transformers, peft, bitsandbytes, accelerate 「とりあえず動けばいい」という考えは捨ててください。なぜそのパラメータを設定するのか、技術者なら裏側を意識しましょう。 ...
この記事で学べること セキュアかつ再利用性の高いAPI実行環境の構築 「JSONモード」や「Structured Outputs」を用いた精度の高いデータ取得 商用利用で必須となるリトライ処理とコスト管理の勘所 前提条件 OpenAI APIアカウント（支払い設定済みであること） Python 3.9以上がインストールされた開発環境 基礎的なPythonの文法知識（async/awaitを理解していると尚良い） Step 1: 環境準備 APIキーをコードにハードコードするのは素人のすることだ。まずは環境変数を管理するためのライブラリを導入し、セキュアな開発環境を整える。 ...
この記事で学べること APIコストを最小化しつつ、回答精度を最大化するパラメータ設計 セキュアかつメンテナンス性の高い環境構築手順 response_formatを利用した構造化データの確実な抽出方法 前提条件 OpenAI APIアカウント（支払い設定済みであること） Python 3.9以上がインストールされた環境 基本的なJSON形式の理解 Step 1: 環境準備 素人がやりがちな「ソースコードへのAPIキー直書き」は論外だ。セキュリティ事故を起こす前に、環境変数で管理する癖をつけろ。まずは必要なライブラリをインストールし、設定ファイルを用意する。 ...
この記事で学べること LangChainにおける「エージェント」の基本構造とツールの持たせ方 最新の create_tool_calling_agent を使用した実装手順 外部検索ツール（Tavily）と連携し、最新情報を取得するエージェントの作成 前提条件 Python 3.9以上がインストールされていること OpenAI APIキー（gpt-4o などのモデルが利用可能なもの） Tavily APIキー（Web検索用。無料枠あり） Step 1: 環境準備 まずは必要なライブラリをインストールする。中途半端なバージョンだと依存関係で死ぬから、一気に最新版を入れておけ。 ...
この記事で学べること 巨大なモデルを一般家庭用GPU（VRAM 16GB〜）で学習させるための具体的な技術構成 Hugging Faceのpeftライブラリを用いた、LoRAパラメータの最適な設定値 学習を失敗させないためのデータ準備と、エラー回避のトラブルシューティング いいか、いまだに「フルファインチューニングにA100が数枚必要だ」なんて嘆いているのは情弱だけだ。LoRA（Low-Rank Adaptation）を使えば、モデルの大部分をフリーズさせたまま、重みの差分だけを効率よく学習できる。この記事では、現場で即戦力になる「QLoRA（4-bit量子化LoRA）」をベースに解説する。 ...
Negi Labの諸君、遊びは終わりだ。 「ChatGPTを使えば十分」という甘い考えは捨てろ。特定のドメインや社内データに特化した「自分たちのモデル」を持ってこそ、エンジニアとしての価値がある。 今日は、計算リソースを最小限に抑えつつ、モデルの性能を劇的に変化させる「LoRA（Low-Rank Adaptation）」の構築手順を叩き込む。リソースをドブに捨てるような非効率な学習は、今日限りで卒業してもらおう。 ...
この記事で学べること SDXL固有の「Dual Text Encoder」を意識したプロンプト構築術 Diffusersライブラリを用いたPython環境での実行コード VRAM消費を抑えつつ高品質な出力を得るための最適化設定 前提条件 Python 3.10以上がインストールされていること NVIDIA製GPU（VRAM 12GB以上推奨、最低8GB）を搭載していること Hugging Faceのアカウント作成およびアクセストークンの取得が完了していること Step 1: 環境準備 まず、SDXLを動かすためのライブラリをインストールする。標準的な diffusers をベースに、メモリ効率を上げるための accelerate と、高速化のための invisible-watermark を導入する。これすら面倒だと言うなら、この先の画像生成AIの進化にはついていけないだろう。 ...
この記事で学べること プロンプトインジェクションの仕組みと、なぜ従来のバリデーションでは不十分なのかという現実 デリミタ（区切り文字）とXMLタグを用いた入力分離の具体的手法 プロンプトレベルとコードレベルの二段構えによる防御実装 前提条件 Python 3.10以上がインストールされていること OpenAI APIキー（またはそれに準ずるLLM実行環境）があること 「LLMは常に騙される可能性がある」という健全な不信感を持っていること Step 1: 環境準備 まず、検証用の環境を構築する。LLMを直接叩くためのライブラリをインストールし、セキュアなコードを書くためのディレクトリ構造を作成する。 ...