К основному содержанию
скилл Claude Code CX Codex Cursor GitHub Copilot

computer-use скилл для Claude Code: управление окнами

Скилл ведёт видимое окно приложения через orca computer: читает дерево доступности, кликает, печатает и снимает скриншоты. Нужен, когда задача упирается в интерфейс.

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add stablyai/orca --skill computer-use -a claude-code
Открыть на GitHub

Что делает computer-use

Скилл ведёт видимое окно приложения через orca computer: читает дерево доступности, кликает, печатает, работает с меню и диалогами, снимает скриншоты. Нативные программы, окна Chrome, Edge и Safari, webview. Внутри короткая заглушка, которая подгружает руководство под версию Orca из файла запущенной сессии.

Сначала выбери исполняемый файл и используй его дальше. Если задан ORCA_CLI_COMMAND, бери значение оттуда. В dev-чекауте с ORCA_DEV_REPO_ROOT нужен orca-dev. На Linux вне терминала Orca бери orca-ide, потому что голый orca там поднимает GNOME Orca, экранный диктор, и тот начинает говорить на машине пользователя. Дальше ORCA skills get computer-use, лучше с --json. Orca не запущена? ORCA open --json и повтор. Ответ runtime_access_denied значит, что подключение срезала песочница: перезапускай с расширенными правами, саму Orca не трогай.

Ставь, если задача упирается в интерфейс: установщик без консольных флагов, чужое десктопное приложение. Файлы, git и HTTP закрываются обычными путями, и скилл сам просит их предпочесть. Для встроенного браузера Orca он не годится — там orca-cli.

Какие задачи решает

  • Провести установщик, у которого нет флагов командной строки
  • Заполнить диалог экспорта в десктопном приложении и приложить скриншот
  • Переключить пункт в нативном меню, до которого не достаёт скрипт
  • Дотянуться до окна Chrome, куда не пробивается HTTP-вызов

Примеры запросов агенту

  • Открой настройки в этом приложении и включи автосохранение, скриншот покажи
  • Сначала выполни `ORCA skills get computer-use --json`, потом делай
  • Заполни диалог экспорта в Safari и сохрани файл на рабочий стол

Как установить computer-use

1Через Skills CLI (Vercel)

npx skills add stablyai/orca --skill computer-use -a claude-code

2Вручную: положить файлы

~/.claude/skills/computer-use/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/computer-use/

Из того же набора8

Весь набор →
orca-cli stablyai Скилл даёт агенту доступ к worktree, терминалам, артефактам и встроенному браузеру Orca через CLI. Пригодится, когда работа идёт в окружении Orca. Claude Code CX Codex Cursor +1 353 000установок orchestration stablyai Координирует воркеров Orca через DAG задач, циклы супервизора и цепочки сообщений. Пригодится для распределения сложной работы между агентами. Claude Code CX Codex Cursor +1 349 200установок orca-linear stablyai Управляет задачами Linear через утилиту Orca прямо из сессии агента. Пригодится, чтобы закрывать тикеты со ссылкой на PR, менять их статусы и искать задачи. Claude Code CX Codex Cursor +1 29 000установок orca-per-workspace-env stablyai Настраивает и проверяет рецепты изолированных окружений Orca под каждый воркспейс. Помогает при отладке cloud sandbox, VM или контейнеров в orca.yaml. Claude Code CX Codex Cursor +1 12 100установок orca-emulator stablyai Управляет iOS Simulator внутри Orca с живым экраном устройства. Пригодится для тапов, жестов, поворота экрана и сбора доказательств работы iOS-приложения. Claude Code CX Codex Cursor +1 5 800установок orca-emulator-android stablyai Скилл ведёт Android-эмулятор или телефон по adb прямо из Orca: тапы, свайпы, установка APK, логи. Пригодится, когда надо прогнать сценарий на устройстве. Claude Code CX Codex Cursor +1 5 600установок linear-tickets stablyai Скилл ведёт задачи Linear через CLI Orca: берёт тикет, двигает его по статусам, закрывает ссылкой на PR и комментарием. Claude Code CX Codex Cursor +1 4 500установок

Похожие

agent-browser vercel-labs Скилл управляет браузером через CLI: открывает страницы, заполняет формы, нажимает кнопки и проверяет веб-приложения. Подходит для задач, где агенту нужно действовать в интерфейсе. Claude Code CX Codex Cursor +1 1 200 000установок webapp-testing официальный anthropics Скилл запускает проверки локальных веб-приложений через Playwright: помогает отлаживать UI, делать скриншоты и смотреть логи браузера. Claude Code Claude.ai 186 758установок browser-use browser-use Даёт агенту живой Chrome через CDP: клики, ввод, скриншоты и страницы, которым нужен JS или ваша логин-сессия. Claude Code CX Codex Cursor +1 98 100установок last30days mvanhorn Собирает посты и реакции по любой теме за последние 30 дней из Reddit, X, YouTube, TikTok, Hacker News, Polymarket, GitHub и веба. Пригодится, когда нужно понять, что реально говорят люди, а не что пишут в обзорах. Claude Code CX Codex Cursor +1 52 400установок summarize openclaw Скилл запускает CLI для создания выжимок и расшифровок из веб-страниц, YouTube-роликов, подкастов и локальных PDF-файлов. Claude Code CX Codex Cursor +1 26 900установок browser-testing-with-devtools addyosmani Скилл подключает агента к браузеру через Chrome DevTools MCP. Помогает проверять верстку, ошибки в консоли и сетевые запросы прямо во время отладки фронтенда. Claude Code CX Codex Cursor +1 57 900установок

Вопросы о computer-use

Как установить computer-use в Claude Code?

Командой npx skills add stablyai/orca --skill computer-use -a claude-code. Файл окажется по пути ~/.claude/skills/computer-use/SKILL.md. В Codex и Cursor путь другой: .agents/skills/computer-use/SKILL.md и .cursor/skills/computer-use/SKILL.md, флаг меняется на -a codex или -a cursor.

Что делает computer-use?

Даёт агенту управление видимым окном локального приложения: клики, ввод текста, меню, диалоги, скриншоты. Заодно читает дерево доступности, чтобы не тыкать вслепую по координатам.

Почему на Linux нельзя запускать просто `orca`?

Вне терминалов Orca это имя принадлежит GNOME Orca, экранному диктору, и он заговорит на машине пользователя. В такой среде скилл требует orca-ide. Если сессия задала ORCA_CLI_COMMAND, бери значение из переменной.

Исходный текст

SKILL.md · MIT
---
name: computer-use
description: >-
  Drives the GUI of a visible local app window through `orca computer`: accessibility
  tree, clicks, typing, menus, dialogs, and screenshots in native apps and external
  browser windows (Chrome, Edge, Safari) or webviews. Prefer a programmatic path
  (shell, filesystem, git, HTTP, existing CLIs) whenever it can complete the task.
  Use only when a visible window needs GUI control those cannot reach. Do not use
  for Orca's embedded browser (`orca-cli`).
---

# Computer Use

This discovery stub loads the version-matched guide from the Orca executable used for this session.

## Resolve the CLI for this session

Choose the executable once and reuse it for every later command:

- If the `ORCA_CLI_COMMAND` environment variable is set, use its value. Orca exports this
  for managed WSL sessions.
- Otherwise, in a dev checkout whose session exposes `ORCA_DEV_REPO_ROOT`, use `orca-dev`.
- Otherwise, on Linux outside an Orca-managed terminal, use `orca-ide`. Never run bare
  `orca` there — outside Orca's terminals it normally resolves to the
  GNOME Orca screen reader (`/usr/bin/orca`) and starts speech on the user's machine.
- Otherwise, use `orca`.

Below, `ORCA` is a placeholder for the executable you resolved. Substitute it before
running anything; do not create a shell variable or run `ORCA` literally. This works the
same way in POSIX shells, PowerShell, and cmd.exe.

If the selected executable cannot run, report its exact error and stop. Do not fall through
to another executable, which could silently target a different Orca build.

## Load the version-matched guide before running Orca commands

```text
ORCA skills get computer-use
```

Prefer `--json`. Use the selected executable's `--help` for commands or flags the guide does
not cover. If a command reports that Orca is not running, start it with `ORCA open --json`
and retry. If it fails with `runtime_access_denied`, your sandbox blocked the connection:
re-run it with escalated permissions, and do not run `ORCA open` or restart Orca. If
`skills get` is unknown, explain that updating Orca restores the guide; use `--help` for
read-only discovery and do not guess unsupported commands.

© stablyai · MIT · stablyai/orca

Смотрите также

Спонсоры проекта

Компании, которые помогают держать аналитику открытой