YuE 使い方と実力レビュー：ローカルでフル楽曲生成を試す

注意: 本記事はドキュメント・公開情報をもとにした評価記事です。コード例はシミュレーションです。

3行要約

• 歌詞からボーカル入りのフル楽曲（数分間）を、一貫性を保ったまま生成できるオープンソースの音楽生成LLM。
• 従来の分割生成ではなく、LLMによるトークン予測とシンボリック・プランニングにより、楽曲構成（イントロ、サビ、アウトロ）を構造的に制御可能。
• RTX 4090（VRAM 24GB）以上の環境を持つエンジニアや、独自の音楽生成パイプラインを構築したい開発者には唯一無二の選択肢。

結論から: このツールは「買い」か

結論から言えば、ローカル環境でSunoやUdioに近いクオリティを再現したいエンジニアにとって、YuEは「現時点での最適解」です。 ただし、単なる「面白いおもちゃ」として触るには、要求スペックと環境構築のハードルが非常に高い点は覚悟してください。

従来の音楽生成AIは、30秒程度の断片を繋ぎ合わせる際にメロディや声質が変わってしまう「一貫性の欠如」が課題でした。 YuEはこの問題をLLM（Large Language Model）の手法で解決しており、数分にわたる楽曲を一つのコンテキストとして扱えます。 クラウドサービスの制限（利用料や著作権ポリシー）に縛られず、自分のマシンで納得いくまでガチャを回したい人には、これ以上のツールはありません。

一方で、VRAMが16GB以下のGPUしか持っていない場合や、Pythonの環境構築（特にCUDA周り）に不慣れな人にはおすすめしません。 また、推論速度も決して速くはないため、リアルタイム性を求める用途には不向きです。 「じっくりと高品質な楽曲をローカルで錬成する」という用途に特化した、プロ仕様のツールだと言えます。

このツールが解決する問題

これまでのオープンソース音楽生成（MusicGenなど）は、主に「BGM作成」の域を出ませんでした。 メロディは作れても、歌詞に合わせた「感情の乗ったボーカル」を数分間維持することは、技術的に極めて困難だったからです。

具体的には、以下の3つの大きな壁がありました。 1つ目は、音声波形を直接生成しようとすると計算量が膨大になり、長時間の生成が破綻すること。 2つ目は、歌詞の文脈を理解して、Aメロ、Bメロ、サビといった「楽曲の構造」に反映させる仕組みが弱かったこと。 3つ目は、既存の歌声をベースにした「ゼロショットでのカバー（歌い直し）」が不自然だったことです。

YuEは、音声を離散的な「コードブック（トークン）」として扱い、LlamaなどのLLMと同様のデコーダーオンリー・アーキテクチャを採用することでこれを解決しました。 これにより、テキスト生成と同じように「次に続くべき音」を数千トークン先まで予測できるようになっています。 さらに、最新のYuE2では「Symbolic Planning（シンボリック・プランニング）」を導入し、楽曲の構成案を先に作成してから音を生成するエージェント的なアプローチを取っています。 これにより、ユーザーは「ここで転調してほしい」「サビで盛り上げてほしい」といった、より音楽的な指示をAIに理解させることが可能になりました。

実際の使い方

インストール

YuEは重量級のモデルであるため、依存関係の整理が重要です。Python 3.10以降と、最新のCUDA環境が必須となります。

# リポジトリのクローン
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE

# 仮想環境の作成と依存関係のインストール
python -m venv venv
source venv/bin/activate  # Windowsの場合は venv\Scripts\activate
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt

# 重みのダウンロード（HuggingFaceからモデルをダウンロードする必要があります）
# 合計で数十GBのストレージ空き容量を確保してください

基本的な使用例

YuEの推論は、歌詞（Text）とジャンル/スタイルの指示（Prompt）を組み合わせて行います。

import torch
from yue.models import YueGenerator

# モデルの初期化（VRAM 24GB環境を想定）
# デバイス指定や精度設定が実用上の肝になります
model = YueGenerator(
    model_path="multimodal-art-projection/YuE-s1-7B-anneal-en-cot",
    device="cuda",
    precision="bf16" # 4090ならbfloat16を強く推奨
)

# 歌詞とスタイルの定義
lyrics = """
[Verse 1]
Deep in the code, where the shadows play
Lines of logic lead the way
[Chorus]
Oh, YuE is singing in the night
Bringing the data to the light
"""

style_prompt = "Modern J-Pop, High Energy, Female Vocal, 128BPM"

# 楽曲生成の実行
# ステップ1: セクションごとの構造を生成（Symbolic Planning）
# ステップ2: 音声トークンの生成
audio_result = model.generate(
    lyrics=lyrics,
    style=style_prompt,
    duration_goal=180,  # 3分間の生成を目指す
    guidance_scale=5.0
)

# ファイル保存
audio_result.save("output_song.wav")

応用: 実務で使うなら

実務で活用する場合、一発で完璧な曲が出ることは稀です。 YuEの真価は「Agentic Music Editing」にあります。 例えば、生成された曲の「2分30秒目からのサビだけを別のパターンに変えたい」という場合、その部分のシード値やプロンプトだけを書き換えて再生成するインペインティング的なアプローチが可能です。

また、既存のボーカル素材がある場合は、それを参照（Reference Audio）として入力することで、その声質を維持したまま新しい歌詞を歌わせる「ゼロショット・カバー」機能が強力です。 これは、ゲーム制作において「特定のキャラクターの声で、状況に応じた歌を歌わせる」といったパイプラインに組み込む際に非常に役立ちます。

APIサーバーとして立てる場合は、推論時間が長いため、Celeryなどのタスクキューを利用した非同期処理の実装が必須となります。 私の検証環境（RTX 4090 x2）では、1分の楽曲生成に約3〜5分程度の時間を要しました。

強みと弱み

強み:

• 圧倒的な一貫性: 5分を超えるような長い曲でも、途中でボーカルや楽器の構成が崩れにくい。
• 構造的な制御: Symbolic Planningにより、歌詞のセクション（Verse/Chorus）を明確に意識した生成ができる。
• ゼロショット性能: 参照音声の再現度が高く、数秒のサンプルからその人の特徴を捉えた歌唱が可能。
• 完全にローカル実行可能: 著作権的な懸念があるデータを扱う際や、検閲を避けたい場合に有利。

弱み:

• 要求スペックの高さ: 快適に動かすにはVRAM 24GBが最低ライン。16GB以下では量子化（Quantization）を駆使しても厳しい。
• 推論速度の遅さ: Diffusionモデル系と比較しても、トークンを逐次生成するLLMベースのため時間がかかる。
• 日本語対応の甘さ: 英語の歌唱は非常に流暢だが、日本語は発音やイントロネーションに違和感が出ることがあり、プロンプトでの調整が必要。

代替ツールとの比較

YuEを選ぶべきは「生成プロセスを自社のワークフローに組み込みたいエンジニア」です。 手軽に高品質な曲が欲しいだけのクリエイターなら、素直にSuno AIに課金したほうが幸せになれます。

料金・必要スペック・導入前の注意点

YuE自体はオープンソースであり、GitHubから無料で利用可能です。 しかし、「隠れたコスト」としてハードウェア代がかさみます。

最低でも NVIDIA RTX 3090 / 4090 (VRAM 24GB) が必要です。 もしこれから環境を整えるのであれば、迷わず RTX 4090 を選んでください。 16GBのRTX 4080等では、モデルのロードすらままならない、あるいは極端に遅くなる可能性があります。 また、モデルの重みファイルで50GB〜100GB、生成中の中間ファイルでもストレージを消費するため、高速なNVMe SSD（2TB以上推奨）を用意するのが賢明です。

Macユーザーの場合、Apple Silicon（M2/M3 Ultraなど）の共有メモリを活かせば動く可能性はありますが、現状のYuEのコードベースはCUDAに最適化されており、Metal環境（mlx）への移植が進むまではWindows/Linuxでの運用が現実的です。

商用利用については、モデルの重み（Weight）に適用されているライセンスを必ず確認してください。 リサーチ目的のライセンスであることが多く、生成した楽曲をそのまま販売するには法務的な確認が必要です。

私の評価

個人的な評価は ★4.0 です。

技術的な到達点は素晴らしいの一言に尽きます。 特に、LLMを音楽生成の司令塔として使う「Symbolic Planning」の導入は、今後の音楽生成AIのスタンダードになる予感がします。 これまで「なんとなく良い感じの音が鳴る」だけだったAIが、「楽曲の構造を理解して演奏する」フェーズに移ったことを実感させられました。

マイナス1点の理由は、やはり「一般層へのハードルの高さ」です。 推論の重さと環境構築の難易度は、Stable Diffusionの初期を彷彿とさせます。 しかし、この「扱いにくさ」こそがエンジニアとしての腕の見せ所でもあります。 モデルを量子化したり、APIとしてラップして社内ツール化したりと、弄りがいのある最高級の素材であることは間違いありません。

汎用的なBGM作りならMusicGenで十分、高品質な一発録りならSunoで十分。 しかし、「自分の管理下にあるサーバーで、長尺のボーカル曲を、構造的に制御して作りたい」というニッチかつ熱狂的な需要に対して、YuEは100点満点の回答を出しています。

よくある質問

Q1: VRAM 12GBのGPUでも動きますか？

結論から言うと、標準設定では動きません。 bitsandbytesなどのライブラリを使用して4-bit量子化を行えばロードできる可能性はありますが、生成速度が極端に低下し、楽曲の品質（音質や音程の安定性）も著しく損なわれるため、あまり現実的ではありません。

Q2: 著作権はどうなっていますか？

YuE自体はツールですが、学習データに著作権保護された楽曲が含まれている可能性は否定できません（多くの大規模モデルと同様です）。 そのため、生成した楽曲をそのまま配信プラットフォームで販売したり、JASRAC登録したりすることは、現時点では法的リスクを伴います。あくまで個人利用や、加工前提の素材制作として捉えるのが無難です。

Q3: 日本語の歌を歌わせるコツは？

英語モデルとして訓練されている側面が強いため、歌詞を「ひらがな」で書くよりも、ローマ字や、場合によっては「カタカナ英語」のように発音を補正して入力すると上手くいくことがあります。 また、スタイルプロンプトに “Japanese Female Vocal” などのキーワードを強調して入れるのが効果的です。

あわせて読みたい

• ローカルLLM環境の選び方比較｜RTX 4090かMac Studioか？後悔しないGPU・VRAMの基準
• Intent (Augment Code) 使い方と実力レビュー：AIが機能をビルドからデプロイまで完結させる
• browser-use/video-use 使い方と実力レビュー