vps-management-bot/skills/pixel6-screen/SKILL.md

Pixel 6 Screen Reader Skill

功能

Pixel 6 上的 OpenClaw 可以读取自己的屏幕内容（截图 + 界面文字）。

前提条件

• Mac mini 上已通过 ADB 无线连接到 Pixel 6
• 连接命令：adb connect 192.168.1.138:36327（端口可能变化）

使用方法

1. 截图

在 Mac mini 上执行（Pixel 6 的 OpenClaw 通过 SSH 调用）：

adb shell screencap -p /sdcard/screen.png
adb pull /sdcard/screen.png ~/pixel6-screen.png

2. 读取界面文字

adb shell uiautomator dump /sdcard/ui.xml
adb pull /sdcard/ui.xml ~/pixel6-ui.xml
cat ~/pixel6-ui.xml

3. 模拟操作

# 唤醒屏幕
adb shell input keyevent KEYCODE_WAKEUP

# 滑动解锁
adb shell input swipe 500 1500 500 500

# 点击坐标
adb shell input tap 540 1200

# 输入文字
adb shell input text "Hello"

# 打开 App
adb shell am start -n org.telegram.messenger/org.telegram.ui.LaunchActivity

Pixel 6 自己读取屏幕的流程

1. Pixel 6 的 OpenClaw 通过 SSH 连接到 Mac mini
2. 在 Mac mini 上执行 ADB 命令
3. 拉取截图/UI 数据到 Mac mini
4. 通过 SSH 读取文件内容

示例：Pixel 6 查询自己的屏幕内容

# 在 Pixel 6 的 OpenClaw 里执行
ssh user@192.168.1.x "adb shell screencap -p /sdcard/screen.png && adb pull /sdcard/screen.png /tmp/pixel6.png" && scp user@192.168.1.x:/tmp/pixel6.png ~/.openclaw/workspace/data/

注意事项

• ADB 无线调试端口会变化，需要在 Pixel 6 的"开发者选项 → 无线调试"里查看
• 截图需要屏幕唤醒状态
• uiautomator dump 可以读取所有界面文字和按钮位置