この記事で学べること

  • SDXL固有の「Dual Text Encoder」を意識したプロンプト構築術
  • Diffusersライブラリを用いたPython環境での実行コード
  • VRAM消費を抑えつつ高品質な出力を得るための最適化設定

前提条件

  • Python 3.10以上がインストールされていること
  • NVIDIA製GPU（VRAM 12GB以上推奨、最低8GB）を搭載していること
  • Hugging Faceのアカウント作成およびアクセストークンの取得が完了していること

Step 1: 環境準備

まず、SDXLを動かすためのライブラリをインストールする。標準的な diffusers をベースに、メモリ効率を上げるための accelerate と、高速化のための invisible-watermark を導入する。これすら面倒だと言うなら、この先の画像生成AIの進化にはついていけないだろう。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install diffusers transformers accelerate safetensors invisible-watermark

Step 2: 基本設定

SDXLは1.5系と異なり、BaseモデルとRefinerモデルの2段階構成が基本だが、現在はBaseモデルのみでも十分な品質が出せる。ここでは実用性を重視し、Baseモデルを効率的に呼び出すスクリプトを作成する。

import torch
from diffusers import StableDiffusionXLPipeline

# モデルのロード
# device_map="auto" は初心者がやりがちなミスだが、VRAMがカツカツなら明示的に指定しろ
pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
    variant="fp16",
    use_safetensors=True
).to("cuda")

# メモリ節約のためのアテンション最適化
pipe.enable_attention_slicing()
# xformersがインストールされているなら pipe.enable_xformers_memory_efficient_attention() を推奨

Step 3: 実行と確認

SDXLのプロンプトエンジニアリングにおいて重要なのは、「1024x1024」以上の解像度で生成すること、そして「スタイルの指定」を明確にすることだ。 以下のコードでは、プロンプトを「Subject（主題）」「Style（画風）」「Lighting/Environment（環境）」の3層で構成している。

prompt = "A high-tech laboratory in 2050, cyberpunk aesthetic, cinematic lighting, ultra-detailed, 8k resolution, photorealistic"
negative_prompt = "deformed, ugly, lowres, blurry, worst quality, low quality"

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=30,
    guidance_scale=7.5,
    width=1024,
    height=1024,
).images[0]

image.save("result.png")

成功させるための「Negi Lab」式アドバイス

SDXLは長い文章を理解する能力が高いが、単語を詰め込みすぎると概念が混ざる「プロンプト汚染」が発生する。カンマ区切りで重要度の高い順に並べろ。また、SDXLは1024x1024で学習されている。512x512で生成して「画質が悪い」と嘆くのは時間の無駄だ。

よくあるエラーと対処法

エラー1: CUDA Out of Memory (OOM)

torch.cuda.OutOfMemoryError: CUDA out of memory.
Tried to allocate 20.00 MiB (GPU 0; 8.00 GiB total capacity; ...)

解決策: VRAMが8GBしかないなら、pipe.enable_model_cpu_offload() を使え。速度は落ちるが、クラッシュは防げる。また、vae だけを軽量なものに差し替えるのも手だ。

エラー2: Hugging Face 認証エラー

OSError: You are trying to access a gated repo.

解決策: Hugging Faceでモデルの利用規約に同意した後、端末で huggingface-cli login を実行し、トークンを入力しろ。自動化したいならコード内で token="your_token_here" を渡せ。

まとめと次のステップ

SDXLは単に「綺麗な絵が出る魔法」ではない。内部のDual Text Encoder（CLIP ViT-LとOpenCLIP-ViT-bigG）がどうプロンプトを解釈しているかを想像しろ。

次は、生成した画像の特定部位を修正する「Inpainting」か、既存の構図を維持する「ControlNet for SDXL」を学ぶべきだ。基礎ができていないうちにLoRA（追加学習）に手を出すな。まずはプロンプトだけで理想の1枚を出せるようになるまで追い込め。

関連商品をチェック

Amazonで「NVIDIA RTX 4060 Ti 16GB」を検索 楽天で「NVIDIA RTX 4060 Ti 16GB」を検索

※上記リンクはアフィリエイトリンクです。購入により当サイトに収益が発生する場合があります。