agent-device — скилл для Claude Code: управление приложениями
Скилл помогает агенту управлять приложениями на Apple-платформах и Android, включая телевизионные устройства. Пригодится для навигации по интерфейсу, ввода текста и сбора скриншотов.
npx skills add callstack/agent-device --skill agent-device -a claude-codeЧто делает agent-device
Скилл запускает приложение командой agent-device open <app> --foreground и получает начальный снимок интерфейса с интерактивными ссылками @refs. Затем агент нажимает, вводит текст, прокручивает экран или возвращается назад, проверяет ожидаемый результат и закрывает приложение. Это работает с приложениями для iOS, tvOS, macOS, Android, Android TV, Fire TV на Fire OS и Amazon Vega OS TV в Vega Virtual Devices.
Для элементов вне экрана можно прокрутить до селектора через scroll down --until <selector> или до конца содержимого командой scroll bottom. Если снимок сообщает, что данные доступности недоступны или неполны, ссылки и селекторы использовать нельзя: нужно открыть скриншот и перейти к координатам. Это повод проверить доступность интерфейса до автоматизации. Для специальных задач и неясного формата команды есть справка agent-device help <topic>.
Какие задачи решает
- перейти к нужному экрану приложения
- нажать элемент и заполнить поле
- прокрутить экран до элемента по селектору
- проверить текст или состояние элемента
- снять скриншот и собрать сведения об интерфейсе
Примеры запросов агенту
- Открой приложение `<app>` на переднем плане и перейди к экрану входа.
- Найди кнопку с меткой `Continue`, нажми её и проверь, что появился текст `Welcome`.
- Если снимок интерфейса недоступен, открой скриншот и определи координаты кнопки `Play`.
Как установить agent-device
1Через Skills CLI (Vercel)
npx skills add callstack/agent-device --skill agent-device -a claude-code2Вручную: положить файлы
~/.claude/skills/agent-device/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/agent-device/
1Через Skills CLI (Vercel)
npx skills add callstack/agent-device --skill agent-device -a codex2Вручную: положить файлы
.agents/skills/agent-device/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add callstack/agent-device --skill agent-device -a cursor2Вручную: положить файлы
.cursor/skills/agent-device/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install callstack/agent-device agent-device2Вручную: положить файлы
.github/skills/agent-device/SKILL.md1Через Skills CLI (Vercel)
npx skills add callstack/agent-device --skill agent-device -a gemini-cli2Командой платформы
gemini skills install https://github.com/callstack/agent-device --path skills/agent-deviceВручную: положить файлы
.devin/skills/agent-device/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add callstack/agent-device --skill agent-device -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
Из того же набора2
Весь набор →Похожие
Вопросы о agent-device
Как установить agent-device в Claude Code?
Выполните npx skills add callstack/agent-device --skill agent-device -a claude-code. Файл скилла находится по пути ~/.claude/skills/agent-device/SKILL.md.
Что делает agent-device?
Он позволяет агенту управлять приложениями на Apple-платформах и Android-устройствах, включая телевизоры. Агент может нажимать элементы, вводить текст, прокручивать интерфейс и проверять состояние приложения.
Что делать, если снимок сообщает о недоступности accessibility-данных?
Ссылки и селекторы из такого снимка недействительны. Откройте agent-device screenshot, изучите изображение и используйте координаты; после навигации можно повторить snapshot -i.
Исходный текст
SKILL.md · MIT
--- name: agent-device description: Automates Apple-platform apps (iOS, tvOS, macOS), Android devices (including Android TV and Fire TV on Fire OS), and Amazon Vega OS TV apps in Vega Virtual Devices. Use when navigating apps, taking snapshots/screenshots where supported, driving TV remotes, tapping, typing, scrolling, extracting UI info, collecting evidence, or planning agent-device CLI commands. --- # agent-device For a normal app-driving task, start immediately. Do not probe first with `--help`, `--version`, `devices`, `appstate`, `snapshot`, or `screenshot`: ```bash agent-device open <app> --foreground ``` That starts the session and returns the initial interactive snapshot with `@refs`. Loop: act with `press|click|fill|longpress <target> ... --settle`, `scroll <direction> --settle`, or `back --settle`; continue from the printed diff, verify the named expectation (`wait text "..."`, `is`, `get`, or `find`), then run `agent-device close`. Reaching an off-screen target is one command, not a scroll-and-check loop: `scroll down --until <selector>` scrolls until that element is on screen, and `scroll bottom` runs to the end of the content. Repeated bare `scroll down` calls are the slow way to find something. Copy refs byte-for-byte: `@e12`, `@e12~s4` — keep the `@` and any `~sN`. Prefer current refs, then `id`/`label`/`role` selectors; coordinates are a last resort. If snapshot reports sparse/AX-unavailable, its refs and selectors are invalid: run `agent-device screenshot`, inspect the image, use coordinates, then retry `snapshot -i` after navigating. Otherwise run `snapshot -i` only when the diff lacks the next target. Error output includes corrective hints; follow them instead of re-planning. Only when the task is specialized (for example gestures, scripting, TV, macOS, remote, or debugging) or a command shape is unclear, run `agent-device help <topic>`. `agent-device --help` lists topics, but is not a startup step.
© callstack · MIT · callstack/agent-device
