注意: 本記事はドキュメント・公開情報をもとにした評価記事です。コード例はシミュレーションです。

3行要約

  • Claude CodeやCodexなどのAIエージェントへの指示を、Webカメラを通じた「手流し」のジェスチャーで実行可能にする
  • キーボードショートカットの限界を超え、思考を止めずに「リファクタリング」「コミット」などの定型業務を物理アクションに紐付けられる
  • Claude CodeをCLIで常用し、ターミナルとエディタを頻繁に行き来する効率化ジャンキーなエンジニアにのみ推奨

📦 この記事に関連する商品（楽天メインで価格確認）

Logicool C922n

ジェスチャー認識の精度を上げ、低照度でも安定した動作を確保するために必須

楽天で価格を見る Amazonでも確認

※アフィリエイトリンクを含みます

結論から: このツールは「買い」か

評価：★★★★☆（特定の人には神ツール、それ以外には不要）

結論から言うと、毎日3時間以上Claude CodeやAiderなどのCLIベースのAIエージェントと対話しているエンジニアなら、試す価値が十分にあります。 一方で、CursorなどのIDE一体型ツールで満足している人や、GUIポチポチ派の人には、環境構築の手間が勝ってしまうでしょう。

私がRTX 4090を2枚挿した自作サーバーとMacBook Proを行き来しながら検証した結果、最も輝いたのは「コードの動作確認中に、画面から目を離さず手の一振りでテストを走らせる」瞬間でした。 月額課金ではなくOSSベース、あるいは買い切りのモデルに近い立ち位置（現時点のProduct Hunt情報に基づく）なのも、我々のようなツール好きには嬉しいポイントです。 ただし、Webカメラを常時起動するため、MacBookのバッテリー消費は確実に増えます。

このツールが解決する問題

従来のAIエージェント運用には、致命的な「コンテキストスイッチのコスト」がありました。 例えば、Claude Codeに「今の変更をテストして」と頼む際、まずブラウザやエディタからターミナルにフォーカスを移し、コマンドを打ち込むか、あらかじめ設定した複雑なショートカットキーを叩く必要があります。 これら一連の動作は、わずか数秒ですが確実に開発者の集中力（フロー状態）を削ぎます。

Agent Clanは、この「入力のラストワンマイル」をジェスチャーで解決しようとしています。 「右手を上げる＝LGTMでコミット」「左に振る＝リファクタリング実行」といった具合に、言語化するまでもない「いつもの動作」をAIへのトリガーに変換します。 これにより、キーボードを叩くという物理的な制約から解放され、思考の速度でエージェントを動かせるようになるのが最大のメリットです。 特に、複数モニターを展開していて、どのウィンドウにフォーカスがあるか迷うような複雑な開発環境において、ジェスチャーによる「OSレベルの割り込み」は極めて強力な武器になります。

実際の使い方

インストール

基本的にはPython環境で動作しますが、カメラ制御のためにシステム権限が必要です。 Macユーザーなら、あらかじめ Homebrew で依存ライブラリを入れておくのがスムーズでした。

# 依存ライブラリのインストール（macOSの場合）
brew install opencv

# Agent Clanの本体インストール
pip install agent-clan

# 初期セットアップとカメラのキャリブレーション
agent-clan init

agent-clan init を実行すると、カメラのプレビューが立ち上がり、ジェスチャーの認識精度を高めるためのキャリブレーションが始まります。 この時、照明環境が暗いと認識精度がガクッと落ちるので、デスクライトは必須だと感じました。

基本的な使用例

設定は clan_config.yaml というファイルで管理します。 ここで「どのジェスチャー」が「どのエージェントコマンド」を叩くかを定義します。

# clan_config.yaml の例
gestures:
  - name: "swipe_left"
    action: "claude-code 'explain this file'"
    description: "現在のファイル構造を解説させる"

  - name: "thumbs_up"
    action: "claude-code 'commit my changes with a short message'"
    description: "変更を自動コミットする"

  - name: "victory_sign"
    action: "pytest && claude-code 'fix failing tests'"
    description: "テストを実行し、失敗したら自動修正を依頼する"

settings:
  camera_index: 0
  confidence_threshold: 0.85 # 0.8以下にすると誤作動が増える
  cooldown_seconds: 2.0      # 連続発火を防ぐための待機時間

設定が完了したら、バックグラウンドでデーモンを起動します。

agent-clan start --daemon

これで、コードを書きながら「親指を立てる」だけで、AIが背後でGitコミットを生成してくれる環境が整います。

応用: 実務で使うなら

私の場合、これを「長時間のリファクタリング作業」に投入しています。 例えば、レガシーな巨大関数の分割をClaude Codeに依頼する際、一つ一つの修正を確認して「次に行って」と指示するのは面倒です。 そこで、Agent Clanで「OK（右手を振る）」なら次のチャンクへ、「NG（左手を振る）」なら修正のやり直しを指示するようにマッピングしました。

# 内部的にはこのようなプロセスでエージェントに命令を送っている
import agent_clan_sdk as clan

def on_gesture_detected(gesture_name):
    if gesture_name == "swipe_right":
        # Claude Codeのセッションに継続指示を送る
        clan.send_to_session("claude-code", "proceed to the next part")
    elif gesture_name == "swipe_left":
        clan.send_to_session("claude-code", "revert and try another approach")

clan.listen(callback=on_gesture_detected)

この「ハンズフリー対話」がハマると、画面内のコードに100%意識を向けたまま、エージェントを文字通り「手足」として扱えるようになります。 特に、モニターアームで27インチ以上の4Kディスプレイを2枚並べているような環境では、マウス移動の距離が長くなるため、ジェスチャーの恩恵は数字以上に大きいです。

強みと弱み

強み:

  • 入力障壁の撤廃: キーボードを打つ、マウスを動かすという「物理的ノイズ」が消える。
  • Claude Codeとの親和性: CLIベースのエージェントと組み合わせた際の瞬発力が、Cursor等のGUIツールを凌駕する。
  • カスタマイズ性: 設定ファイルがシンプルで、任意のシェルスクリプトを実行できるため、AI以外の自動化にも流用できる。

弱み:

  • 腕が疲れる: 1時間連続でジェスチャーを使い続けると、肩にキます。ショートカットとの併用が現実的。
  • 環境光に依存: 夜間の暗い部屋では、認識エラー（False Positive）が30回に1回程度発生し、意図しないコミットが走ることがあった。
  • カメラ占有: ZoomやGoogle Meetでカメラを使っている間は動作しません（ここは仮想カメラデバイスを噛ませるなどの工夫が必要）。

代替ツールとの比較

項目Agent ClanCursor (Built-in)Raycast AI
操作方法ジェスチャーキーボード / GUIキーボード (Command+Space)
導入コスト中（環境構築が必要）低（エディタを換えるだけ）低（アプリ入れるだけ）
自由度高（自作スクリプトOK）中（IDE内に制限）中（ワークフローによる）
疲労度腕が疲れる指が疲れる最小
向いている人CLIエージェント派IDE完結派汎用タスク派

個人的には、VSCodeから離れたくないならCursor一択ですが、「ターミナルこそがホームグラウンド」という硬派なエンジニアにはAgent Clanの方が圧倒的に面白い体験を提供してくれます。

料金・必要スペック・導入前の注意点

現時点でAgent Clanは、コア機能はローカル実行がベースとなっており、特に高額なサブスクリプションを要求されるタイプではありません。 ただし、快適に動かすには「AIによる画像認識（MediaPipe等）」を常時裏で回すためのスペックが必要です。

最低でもApple Silicon（M1以降）のMacBook、あるいはWindowsであればRTX 3060以上のGPUを積んだ環境を推奨します。 古いIntel Macで動かしたところ、CPU使用率が常に20%を超え、ファンが回りっぱなしになりました。 また、認識精度を安定させるためには、内蔵カメラよりも解像度の高いWebカメラ（Logicool C922n以上など）があると、0.5秒以下のレスポンスが安定して出せます。

私の評価

★評価：4.0 / 5.0

「AIとの対話」をソフトウェアの中から物理空間に引き出した点は、非常に高く評価できます。 正直、最初は「ネタツールかな？」と思いましたが、実際にClaude Codeと組み合わせて1日コーディングしてみると、キーボードから手を離して背もたれに寄りかかりながら「手振りだけでコードが修正されていく」様子には、未来のエンジニアリングを感じました。

ただし、万人向けではありません。 オープンオフィスやカフェで使うには勇気がいりますし、ジェスチャーの誤認識はストレスに直結します。 「自宅で一人、全集中で開発する環境」を整えている中級以上のエンジニアが、自分のワークフローを極限までチューニングするための「最後のピース」として導入するのが正解です。

よくある質問

Q1: どんなジェスチャーが使えますか？

標準で「スワイプ（上下左右）」「グー・チョキ・パー」「親指アップ/ダウン」などが定義されています。これらを組み合わせることも可能ですが、誤作動を防ぐならシンプルな3〜4種類に絞るのが実用的です。

Q2: セキュリティは大丈夫ですか？映像がサーバーに送られませんか？

Agent Clanの画像処理は、基本的にローカルのPythonランタイム上で完結します。映像データが外部に送信されることはありませんが、常時カメラが「ON」の状態になるため、物理的なプライバシーシャッター付きのカメラを使うことをおすすめします。

Q3: 日本語のプロンプトも送れますか？

はい。clan_config.yaml 内の action セクションに日本語を記述すれば、そのままClaude Code等の引数として渡されます。文字コードの問題も現在のバージョンでは解消されており、安定して動作します。

あわせて読みたい