60 lines
1.6 KiB
Markdown
60 lines
1.6 KiB
Markdown
# Pixel 6 Screen Reader Skill
|
||
|
||
## 功能
|
||
Pixel 6 上的 OpenClaw 可以读取自己的屏幕内容（截图 + 界面文字）。
|
||
|
||
## 前提条件
|
||
- Mac mini 上已通过 ADB 无线连接到 Pixel 6
|
||
- 连接命令：`adb connect 192.168.1.138:36327`（端口可能变化）
|
||
|
||
## 使用方法
|
||
|
||
### 1. 截图
|
||
在 Mac mini 上执行（Pixel 6 的 OpenClaw 通过 SSH 调用）：
|
||
```bash
|
||
adb shell screencap -p /sdcard/screen.png
|
||
adb pull /sdcard/screen.png ~/pixel6-screen.png
|
||
```
|
||
|
||
### 2. 读取界面文字
|
||
```bash
|
||
adb shell uiautomator dump /sdcard/ui.xml
|
||
adb pull /sdcard/ui.xml ~/pixel6-ui.xml
|
||
cat ~/pixel6-ui.xml
|
||
```
|
||
|
||
### 3. 模拟操作
|
||
```bash
|
||
# 唤醒屏幕
|
||
adb shell input keyevent KEYCODE_WAKEUP
|
||
|
||
# 滑动解锁
|
||
adb shell input swipe 500 1500 500 500
|
||
|
||
# 点击坐标
|
||
adb shell input tap 540 1200
|
||
|
||
# 输入文字
|
||
adb shell input text "Hello"
|
||
|
||
# 打开 App
|
||
adb shell am start -n org.telegram.messenger/org.telegram.ui.LaunchActivity
|
||
```
|
||
|
||
## Pixel 6 自己读取屏幕的流程
|
||
1. Pixel 6 的 OpenClaw 通过 SSH 连接到 Mac mini
|
||
2. 在 Mac mini 上执行 ADB 命令
|
||
3. 拉取截图/UI 数据到 Mac mini
|
||
4. 通过 SSH 读取文件内容
|
||
|
||
## 示例：Pixel 6 查询自己的屏幕内容
|
||
```bash
|
||
# 在 Pixel 6 的 OpenClaw 里执行
|
||
ssh user@192.168.1.x "adb shell screencap -p /sdcard/screen.png && adb pull /sdcard/screen.png /tmp/pixel6.png" && scp user@192.168.1.x:/tmp/pixel6.png ~/.openclaw/workspace/data/
|
||
```
|
||
|
||
## 注意事项
|
||
- ADB 无线调试端口会变化，需要在 Pixel 6 的"开发者选项 → 无线调试"里查看
|
||
- 截图需要屏幕唤醒状态
|
||
- `uiautomator dump` 可以读取所有界面文字和按钮位置
|