К основному содержанию
скилл CX Codex

hand-gestures — скилл для Claude Code: управление жестами

Скилл hand-gestures для Claude Code помогает добавлять в браузерные игры и приложения управление жестами через веб-камеру. Агент подключает его для распознавания движений рук на веб-странице.

MIT ★ 220 обновлён 2026-11-03

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a claude-code
Открыть на GitHub

Что делает hand-gestures

Скилл помогает создать браузерную игру с управлением жестами или добавить распознавание рук в существующее приложение. Для отслеживания используется hand-gesture-kit поверх MediaPipe: он распознаёт позы, движения и жесты двумя руками. Варианты включают сжатый кулак, свайп, щипок, хлопок и масштабирование.

Для камеры нужны HTTPS или localhost и клик пользователя. При интеграции в приложение требуется @mediapipe/[email protected], модель hand_landmarker.task и файлы WASM; версию библиотеки нужно закрепить на 1.1.0, чтобы она совпадала с WASM. Скилл также описывает запасное управление мышью и проверку жестов без веб-камеры с синтетическими данными.

Какие задачи решает

  • добавить управление браузерной игрой жестами рук
  • распознавать свайпы и щипки в веб-приложении
  • назначить хлопок или жест двумя руками на действие
  • проверить обработку жестов без веб-камеры

Примеры запросов агенту

  • Добавь в браузерную игру управление движениями рук через веб-камеру.
  • Подключи распознавание жестов к моему веб-приложению.
  • Проверь обработчики свайпов и щипков без веб-камеры.

Как установить hand-gestures

1Через Skills CLI (Vercel)

npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a claude-code

2Вручную: положить файлы

~/.claude/skills/hand-gestures/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/hand-gestures/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о hand-gestures

Как установить hand-gestures в Claude Code?

Выполни npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a claude-code. Файл скилла устанавливается по пути ~/.claude/skills/hand-gestures/SKILL.md.

Что делает hand-gestures?

Помогает создавать браузерные игры и приложения с управлением через веб-камеру. Для распознавания использует hand-gesture-kit поверх MediaPipe.

Что нужно для работы hand-gestures?

Для доступа к камере нужны HTTPS или localhost и клик пользователя. Для интеграции в приложение нужны @mediapipe/[email protected], модель hand_landmarker.task и файлы WASM.

Исходный текст

SKILL.md · MIT
---
name: hand-gestures
description: Build webcam hand games and hand-gesture controls for browser apps (poses like fist, point, peace sign, thumbs up; motions like swipes, circles, pinch taps; two-hand clap/zoom) with hand-gesture-kit on top of MediaPipe. Use when the user wants something controlled by their hands through a webcam, hand tracking in the browser, or gesture recognition in a web page.
---

# Hand gestures with hand-gesture-kit

Repo: https://github.com/abouchedidxcode/open-source-hands (MIT). Its `AGENTS.md` is the full guide.
Read it before you design anything:
https://raw.githubusercontent.com/abouchedidxcode/open-source-hands/main/AGENTS.md

## Making a game

Start from the starter game. It already has the camera flow, a mouse and touch fallback, a `?bot=1` player, tests,
and screenshot, fps and loudness tools:

```bash
npx degit abouchedidxcode/open-source-hands/templates/game my-game
cd my-game && npm install && npm run dev
```

Then follow the playbook:
https://raw.githubusercontent.com/abouchedidxcode/open-source-hands/main/docs/MAKING-A-GAME.md

## Adding hand gestures to an existing app

1. **Add the kit** (TypeScript source, no dependencies besides MediaPipe):
   ```bash
   npx degit abouchedidxcode/open-source-hands/src/kit src/hand-gesture-kit
   npm install @mediapipe/[email protected]
   mkdir -p public/models public/wasm
   curl -L -o public/models/hand_landmarker.task https://storage.googleapis.com/mediapipe-models/hand_landmarker/hand_landmarker/float16/1/hand_landmarker.task
   cp node_modules/@mediapipe/tasks-vision/wasm/* public/wasm/
   ```
   Add the wasm copy to the build script so it survives reinstalls.
2. **Wire it up.** Start the camera from a click (browsers require one) and offer a mouse fallback:
   ```ts
   import { createHands, toScreen } from './hand-gesture-kit';
   const hands = createHands({ config: { pose: { experimental: false } }, onFrame: (f) => draw(f) });
   hands.engine.on('fist', (e) => (e.phase === 'start' ? grab(e.hand!) : release(e.hand!)));
   hands.engine.on('swipe-left', () => back());
   startButton.onclick = () => hands.startCamera().catch(showCameraError);
   ```
   Map positions with `toScreen(hand.features.center)` (0..1). Show the `<video>` mirrored with
   `transform: scaleX(-1)`. The landmarks are already mirrored.
3. **Pick the gestures** from the events: poses `open fist claw point middle victory three four
   thumbs-up thumbs-down rock shaka gun pinch ok pinch-middle` (phase start/end); motions
   `swipe-left/right/up/down push pull circle-cw/ccw wave shake twist-cw/ccw tap double-tap throw
   hold`; two hands `clap zoom-in zoom-out steer-left steer-right`. Give each action one distinct
   gesture.
4. **Verify without a webcam.** Use synthetic hands:
   `hands.inject([syntheticHand(0.5, 0.5, SYNTHETIC_POSES.fist)])` or `hands.feed(clip)`. Unit-test
   with `new GestureEngine()` and expose a `window.__app` hook to drive the app from Playwright.
   Don't claim it works until a scripted run shows the gestures firing the right actions.

## Pitfalls

- The camera needs https or localhost, and a click.
- Don't add extra smoothing. The engine already smooths.
- `tap` fires when the fingers part. Record where the pinch happened while `hand.pinch > 0.75`.
- Back-of-hand poses are unreliable. Prefer palm-facing gestures.
- Keep `@mediapipe/tasks-vision` pinned to 1.1.0 so the JS matches the copied wasm.

© abouchedidxcode · MIT · abouchedidxcode/open-source-hands

Похожие скиллы

Все скиллы по теме «Фронтенд и UI» →
game-analytics-platform-computer-vision reason-machines Скилл game-analytics-platform-computer-vision помогает развернуть локальную фитнес-платформу: объединяет компьютерное зрение на YOLO и MediaPipe с бэкендом на Spring Boot и веб-интерфейсом. CX Codex +1 1 600установок swiftui-gestures dpearson2699 Скилл swiftui-gestures помогает настраивать жесты в SwiftUI: объединяет нажатия, смахивания и зум, а также устраняет конфликты в иерархии представлений. CX Codex +1 4 300установок framer-motion-gestures C-Jeril Скилл framer-motion-gestures для Claude Code с готовыми паттернами жестовых анимаций в Framer Motion. Добавляет в агента знания о drag, pan, tap, hover, focus и touch-взаимодействиях. CX Codex +1 870установок interview-simulator curiositech Скилл interview-simulator проектирует платформу пробных собеседований с голосом, доской и адаптивной сложностью. Подходит для настройки тренировочных сессий и разбора прогресса. CX Codex +1 169установок gestures emilkowalski Скилл gestures для Claude Code помогает создавать и чинить перетаскивание, свайпы и шторки. Подключается к задачам, где элемент должен двигаться за пальцем и реагировать на отпускание жеста. CX Codex +1 24 200установок camsnap openclaw Скилл camsnap для Claude Code управляет RTSP/ONVIF-камерами и локальными веб-камерами: делает снимки и клипы, следит за движением. Управляет камерой из CLI. CX Codex +1 5 100установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой