hand-gestures — скилл для Claude Code: управление жестами
Скилл hand-gestures для Claude Code помогает добавлять в браузерные игры и приложения управление жестами через веб-камеру. Агент подключает его для распознавания движений рук на веб-странице.
MIT ★ 220 обновлён 2026-11-03
npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a claude-codeЧто делает hand-gestures
Скилл помогает создать браузерную игру с управлением жестами или добавить распознавание рук в существующее приложение. Для отслеживания используется hand-gesture-kit поверх MediaPipe: он распознаёт позы, движения и жесты двумя руками. Варианты включают сжатый кулак, свайп, щипок, хлопок и масштабирование.
Для камеры нужны HTTPS или localhost и клик пользователя. При интеграции в приложение требуется @mediapipe/[email protected], модель hand_landmarker.task и файлы WASM; версию библиотеки нужно закрепить на 1.1.0, чтобы она совпадала с WASM. Скилл также описывает запасное управление мышью и проверку жестов без веб-камеры с синтетическими данными.
Какие задачи решает
- добавить управление браузерной игрой жестами рук
- распознавать свайпы и щипки в веб-приложении
- назначить хлопок или жест двумя руками на действие
- проверить обработку жестов без веб-камеры
Примеры запросов агенту
- Добавь в браузерную игру управление движениями рук через веб-камеру.
- Подключи распознавание жестов к моему веб-приложению.
- Проверь обработчики свайпов и щипков без веб-камеры.
Как установить hand-gestures
1Через Skills CLI (Vercel)
npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a claude-code2Вручную: положить файлы
~/.claude/skills/hand-gestures/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/hand-gestures/
1Через Skills CLI (Vercel)
npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a codex2Вручную: положить файлы
.agents/skills/hand-gestures/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a cursor2Вручную: положить файлы
.cursor/skills/hand-gestures/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install abouchedidxcode/open-source-hands skills/hand-gestures2Вручную: положить файлы
.github/skills/hand-gestures/SKILL.md1Через Skills CLI (Vercel)
npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a gemini-cli2Командой платформы
gemini skills install https://github.com/abouchedidxcode/open-source-hands --path skills/hand-gesturesВручную: положить файлы
.devin/skills/hand-gestures/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о hand-gestures
Как установить hand-gestures в Claude Code?
Выполни npx skills add abouchedidxcode/open-source-hands --skill hand-gestures -a claude-code. Файл скилла устанавливается по пути ~/.claude/skills/hand-gestures/SKILL.md.
Что делает hand-gestures?
Помогает создавать браузерные игры и приложения с управлением через веб-камеру. Для распознавания использует hand-gesture-kit поверх MediaPipe.
Что нужно для работы hand-gestures?
Для доступа к камере нужны HTTPS или localhost и клик пользователя. Для интеграции в приложение нужны @mediapipe/[email protected], модель hand_landmarker.task и файлы WASM.
Исходный текст
SKILL.md · MIT
--- name: hand-gestures description: Build webcam hand games and hand-gesture controls for browser apps (poses like fist, point, peace sign, thumbs up; motions like swipes, circles, pinch taps; two-hand clap/zoom) with hand-gesture-kit on top of MediaPipe. Use when the user wants something controlled by their hands through a webcam, hand tracking in the browser, or gesture recognition in a web page. --- # Hand gestures with hand-gesture-kit Repo: https://github.com/abouchedidxcode/open-source-hands (MIT). Its `AGENTS.md` is the full guide. Read it before you design anything: https://raw.githubusercontent.com/abouchedidxcode/open-source-hands/main/AGENTS.md ## Making a game Start from the starter game. It already has the camera flow, a mouse and touch fallback, a `?bot=1` player, tests, and screenshot, fps and loudness tools: ```bash npx degit abouchedidxcode/open-source-hands/templates/game my-game cd my-game && npm install && npm run dev ``` Then follow the playbook: https://raw.githubusercontent.com/abouchedidxcode/open-source-hands/main/docs/MAKING-A-GAME.md ## Adding hand gestures to an existing app 1. **Add the kit** (TypeScript source, no dependencies besides MediaPipe): ```bash npx degit abouchedidxcode/open-source-hands/src/kit src/hand-gesture-kit npm install @mediapipe/[email protected] mkdir -p public/models public/wasm curl -L -o public/models/hand_landmarker.task https://storage.googleapis.com/mediapipe-models/hand_landmarker/hand_landmarker/float16/1/hand_landmarker.task cp node_modules/@mediapipe/tasks-vision/wasm/* public/wasm/ ``` Add the wasm copy to the build script so it survives reinstalls. 2. **Wire it up.** Start the camera from a click (browsers require one) and offer a mouse fallback: ```ts import { createHands, toScreen } from './hand-gesture-kit'; const hands = createHands({ config: { pose: { experimental: false } }, onFrame: (f) => draw(f) }); hands.engine.on('fist', (e) => (e.phase === 'start' ? grab(e.hand!) : release(e.hand!))); hands.engine.on('swipe-left', () => back()); startButton.onclick = () => hands.startCamera().catch(showCameraError); ``` Map positions with `toScreen(hand.features.center)` (0..1). Show the `<video>` mirrored with `transform: scaleX(-1)`. The landmarks are already mirrored. 3. **Pick the gestures** from the events: poses `open fist claw point middle victory three four thumbs-up thumbs-down rock shaka gun pinch ok pinch-middle` (phase start/end); motions `swipe-left/right/up/down push pull circle-cw/ccw wave shake twist-cw/ccw tap double-tap throw hold`; two hands `clap zoom-in zoom-out steer-left steer-right`. Give each action one distinct gesture. 4. **Verify without a webcam.** Use synthetic hands: `hands.inject([syntheticHand(0.5, 0.5, SYNTHETIC_POSES.fist)])` or `hands.feed(clip)`. Unit-test with `new GestureEngine()` and expose a `window.__app` hook to drive the app from Playwright. Don't claim it works until a scripted run shows the gestures firing the right actions. ## Pitfalls - The camera needs https or localhost, and a click. - Don't add extra smoothing. The engine already smooths. - `tap` fires when the fingers part. Record where the pinch happened while `hand.pinch > 0.75`. - Back-of-hand poses are unreliable. Prefer palm-facing gestures. - Keep `@mediapipe/tasks-vision` pinned to 1.1.0 so the JS matches the copied wasm.
© abouchedidxcode · MIT · abouchedidxcode/open-source-hands