web-scraper — скилл для Claude Code: что делает и как установить
Скилл web-scraper для Claude Code скачивает веб-страницы в HTML или Markdown вместе с картинками через HTTP без браузера. Архивирует сайты и документацию локально.
лицензия не указана 232 установок ★ 51 обновлён 2026-02-12
npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a claude-codeЧто делает web-scraper
Скилл запускает скрипт scripts/scrape.py, извлекая текст и складывая найденные изображения в папку images/. Он умеет работать с одиночной ссылкой или рекурсивно обходить сайт по внутренним ссылкам с ограничением глубины (--max-depth) и лимитом страниц (--max-pages). По умолчанию скрипт проверяет robots.txt и выдерживает паузу в 0.5 секунды между обращениями.
Для работы нужен интерпретатор Python версии от 3.8 и две библиотеки: requests и beautifulsoup4. Браузерные драйверы вроде Selenium или Chromium не требуются, поэтому страницы с рендерингом через JavaScript скилл не отрендерит.
Какие задачи решает
- сохранить страницу в Markdown с локальными иллюстрациями
- выкачать документацию рекурсивно в единую директорию
- архивировать веб-ресурс в чистый HTML без запуска браузера
Примеры запросов агенту
- Сохрани страницу
https://example.comв Markdown вместе с картинками - Скачай документацию с
https://docs.example.comрекурсивно с глубиной 2 в папку~/Downloads/docs - Выгрузи
https://example.comв формате HTML без скачивания изображений
Как установить web-scraper
1Через Skills CLI (Vercel)
npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a claude-code2Вручную: положить файлы
~/.claude/skills/web-scraper/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/web-scraper/
1Через Skills CLI (Vercel)
npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a codex2Вручную: положить файлы
.agents/skills/web-scraper/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a cursor2Вручную: положить файлы
.cursor/skills/web-scraper/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install agentbay-ai/agentbay-skills web-scraper2Вручную: положить файлы
.github/skills/web-scraper/SKILL.md1Через Skills CLI (Vercel)
npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a gemini-cli2Командой платформы
gemini skills install https://github.com/agentbay-ai/agentbay-skills --path web-scraperВручную: положить файлы
.devin/skills/web-scraper/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о web-scraper
Как установить web-scraper в Claude Code?
Выполните в терминале команду npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a claude-code. Файл навыка появится по пути ~/.claude/skills/web-scraper/SKILL.md.
Что делает скилл web-scraper?
Он забирает веб-страницы по HTTP и сохраняет их локально в виде чистого HTML или Markdown-разметки, автоматически выгружая графику в отдельный каталог.
Нужен ли браузер вроде Chrome для работы?
Браузер не нужен. Скрипт использует стандартные библиотеки Python requests и beautifulsoup4 для отправки сетевых запросов и парсинга разметки.