Gemma 4をスマホで直接動かしてAndroidを操作する最強のローカルAI自動化ツール「PokeClaw」の使い方を解説します。

# Android Debug Bridgeのインストール（Macならbrew、Windowsなら公式からバイナリを取得）
brew install android-platform-tools

# 必要なライブラリのインストール
pip install opencv-python pillow adbutils
pip install llama-cpp-python # Gemma 4の推論に使用

import os
import time
import subprocess
from PIL import Image
import adbutils

class AndroidController:
    def __init__(self):
        # 接続されているデバイスを自動認識
        self.adb = adbutils.adb.device()
        self.temp_img = "screen.png"

    def get_screenshot(self):
        # 高速にスクリーンショットを取得するためにADBコマンドを直接叩く
        subprocess.run(["adb", "shell", "screencap", "-p", "/sdcard/screen.png"])
        subprocess.run(["adb", "pull", "/sdcard/screen.png", self.temp_img])

        # モデルの入力サイズに合わせてリサイズ（Gemma 4の視覚プロンプトに最適化）
        with Image.open(self.temp_img) as img:
            img = img.resize((448, 448)) # モデルが期待する解像度
            img.save("processed.png")
        return "processed.png"

    def click(self, x, y):
        # パーセント指定された座標を実際のピクセル座標に変換
        # モデルは0-1000の範囲で座標を返してくることが多い
        info = self.adb.window_size()
        real_x = int(x * info.width / 1000)
        real_y = int(y * info.height / 1000)
        self.adb.click(real_x, real_y)

from llama_cpp import Llama
from llama_cpp.llama_chat_format import Llava15ChatHandler

# Gemma 4のマルチモーダルモデルをロード
# モデルファイル（GGUF形式）は別途HuggingFace等からダウンロードしておく必要があります
chat_handler = Llava15ChatHandler(clip_model_path="mmproj-model-f16.gguf")
llm = Llama(
    model_path="gemma-4-vlm-q4_k_m.gguf",
    chat_format="llava-1-5",
    chat_handler=chat_handler,
    n_ctx=2048,
    n_gpu_layers=-1 # 全レイヤーをGPUに載せる
)

def ask_ai(image_path, task):
    with open(image_path, "rb") as f:
        import base64
        base64_image = base64.b64encode(f.read()).decode('utf-8')

    response = llm.create_chat_completion(
        messages=[
            {"role": "system", "content": "You are an Android assistant. Output clicks as [click, x, y]."},
            {"role": "user", "content": [
                {"type": "text", "text": f"Goal: {task}"},
                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{base64_image}"}}
            ]}
        ]
    )
    return response["choices"][0]["message"]["content"]

# 実行
controller = AndroidController()
img = controller.get_screenshot()
action = ask_ai(img, "設定アプリをタップして")
print(f"AIの判断: {action}")

[click, 250, 480]

def autonomous_loop(goal):
    history = []
    for i in range(10): # 最大10ステップ
        img_path = controller.get_screenshot()
        # 過去の履歴もプロンプトに含めることで、同じ場所を叩き続けるミスを防ぐ
        prompt = f"Goal: {goal}. History: {history}. What is the next step?"

        raw_res = ask_ai(img_path, prompt)

        # 正規表現などで[click, x, y]を抽出して実行
        import re
        match = re.search(r"\[click,\s*(\d+),\s*(\d+)\]", raw_res)
        if match:
            x, y = map(int, match.groups())
            controller.click(x, y)
            history.append(f"Clicked at {x}, {y}")
            print(f"Step {i+1}: Clicking {x}, {y}")
            time.sleep(2) # 画面遷移待ち
        else:
            print("完了、または解析不能")
            break

autonomous_loop("Wi-Fiをオフにして")