web-crawler — скилл для Claude Code: что делает и как установить
Извлекает данные из соцсетей, расшифровки видео и веб-страниц с защитой от ботов. Помогает при сбоях базовой загрузки страниц и аудите неработающих ссылок.
npx skills add Starchild-ai-agent/official-skills --skill web-crawler -a claude-codeЧто делает web-crawler
Скилл автоматизирует сбор данных со страниц, блокирующих базовые запросы через защиту Cloudflare или сложный JavaScript. Внутри задействованы готовые сценарии из файла exports.py, где уже настроены прокси. Искать ключи API вручную не придётся. Для запуска окружению обязательно требуется установленный python.
Инструмент строго разграничивает метаданные и тяжёлые файлы. Сначала он опрашивает открытые субтитры, RSS и метаданные плееров. Скачивание аудио и запуск моделей распознавания речи откладываются до прямого подтверждения, потому что это экономит трафик и вычислительные ресурсы.
Для аудита сайтов скилл запускает Chromium через инструмент browse, параллельно проверяет ссылки методом HEAD и разбирает карту сайта. Он не выносит оценок по готовым шаблонам. Агент фиксирует реальный статус ответов, ошибки в консоли браузера и поведение кнопок при клике.
Какие задачи решает
- извлечь субтитры и расшифровки роликов без скачивания тяжёлого медиафайла
- обойти блокировки Cloudflare и 403 при получении содержимого страниц
- провести аудит неработающих кнопок и битых ссылок через Chromium
- собрать публичные посты и профили из соцсетей через готовые функции
Примеры запросов агенту
- Собери расшифровку для этого видео и сохрани текст
- Проверь на сайте все ссылки и найди кнопки, которые не нажимаются
- Выгрузи содержимое статьи, на которой обычный запрос отдаёт ошибку 403
Как установить web-crawler
1Через Skills CLI (Vercel)
npx skills add Starchild-ai-agent/official-skills --skill web-crawler -a claude-code2Вручную: положить файлы
~/.claude/skills/web-crawler/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/web-crawler/
1Через Skills CLI (Vercel)
npx skills add Starchild-ai-agent/official-skills --skill web-crawler -a codex2Вручную: положить файлы
.agents/skills/web-crawler/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add Starchild-ai-agent/official-skills --skill web-crawler -a cursor2Вручную: положить файлы
.cursor/skills/web-crawler/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install Starchild-ai-agent/official-skills web-crawler2Вручную: положить файлы
.github/skills/web-crawler/SKILL.md1Через Skills CLI (Vercel)
npx skills add Starchild-ai-agent/official-skills --skill web-crawler -a gemini-cli2Командой платформы
gemini skills install https://github.com/Starchild-ai-agent/official-skills --path web-crawlerВручную: положить файлы
.devin/skills/web-crawler/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add Starchild-ai-agent/official-skills --skill web-crawler -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Из того же набора15
Похожие
Рядом в теме «Браузер и парсинг»
Все скиллы по теме «Браузер и парсинг» →Вопросы о web-crawler
Как установить web-crawler в Claude Code?
Выполните команду npx skills add Starchild-ai-agent/official-skills --skill web-crawler -a claude-code. Для работы потребуется установленный интерпретатор python.
Что делает скилл web-crawler?
Он извлекает данные со сложных веб-страниц и соцсетей, находит текстовые расшифровки видео и проводит технический аудит ссылок с помощью браузера Chromium.
Нужно ли настраивать ключи API для скрапинга?
Нет, готовые функции из модуля exports.py уже содержат необходимые данные для прокси. Искать ключи в переменных окружения или запрашивать их у пользователя не требуется.
