К основному содержанию
скилл CX Codex

web-scraper — скилл для Claude Code: что делает и как установить

Скилл web-scraper для Claude Code скачивает веб-страницы в HTML или Markdown вместе с картинками через HTTP без браузера. Архивирует сайты и документацию локально.

лицензия не указана 232 установок ★ 51 обновлён 2026-02-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a claude-code
Открыть на GitHub

Что делает web-scraper

Скилл запускает скрипт scripts/scrape.py, извлекая текст и складывая найденные изображения в папку images/. Он умеет работать с одиночной ссылкой или рекурсивно обходить сайт по внутренним ссылкам с ограничением глубины (--max-depth) и лимитом страниц (--max-pages). По умолчанию скрипт проверяет robots.txt и выдерживает паузу в 0.5 секунды между обращениями.

Для работы нужен интерпретатор Python версии от 3.8 и две библиотеки: requests и beautifulsoup4. Браузерные драйверы вроде Selenium или Chromium не требуются, поэтому страницы с рендерингом через JavaScript скилл не отрендерит.

Какие задачи решает

  • сохранить страницу в Markdown с локальными иллюстрациями
  • выкачать документацию рекурсивно в единую директорию
  • архивировать веб-ресурс в чистый HTML без запуска браузера

Примеры запросов агенту

  • Сохрани страницу https://example.com в Markdown вместе с картинками
  • Скачай документацию с https://docs.example.com рекурсивно с глубиной 2 в папку ~/Downloads/docs
  • Выгрузи https://example.com в формате HTML без скачивания изображений

Как установить web-scraper

1Через Skills CLI (Vercel)

npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a claude-code

2Вручную: положить файлы

~/.claude/skills/web-scraper/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/web-scraper/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о web-scraper

Как установить web-scraper в Claude Code?

Выполните в терминале команду npx skills add agentbay-ai/agentbay-skills --skill web-scraper -a claude-code. Файл навыка появится по пути ~/.claude/skills/web-scraper/SKILL.md.

Что делает скилл web-scraper?

Он забирает веб-страницы по HTTP и сохраняет их локально в виде чистого HTML или Markdown-разметки, автоматически выгружая графику в отдельный каталог.

Нужен ли браузер вроде Chrome для работы?

Браузер не нужен. Скрипт использует стандартные библиотеки Python requests и beautifulsoup4 для отправки сетевых запросов и парсинга разметки.

Похожие скиллы

Все скиллы по теме «Браузер и парсинг» →
web-scraping jamditis Скилл web-scraping для Claude Code собирает данные с сайтов с запасными способами извлечения. Он включается для соцсетей, yt-dlp и разбора ошибок доступа, включая CAPTCHA и 403. CX Codex +1 6 300установок Atlas Web Compiler & Scraper Atlas-Compiler MCP-сервер Atlas Web Compiler & Scraper для детерминированного разбора веб-страниц в чистый markdown, обхода сайтов и пакетной компиляции без участия LLM. CX Codex +1 ★ 1звёзд репо feishu-doc-scraper daymade Скилл feishu-doc-scraper для Claude Code извлекает документы Feishu/Lark в локальный Markdown. Запускается, когда нужно сохранить содержимое по ссылке или преобразовать экспортированный .docx. CX Codex +1 683установок wps-doc-scraper daymade Скилл wps-doc-scraper для Claude Code сохраняет публичные документы WPS/KDocs и карты ProcessOn как исходные данные, SVG, PNG и Markdown. Забирает ссылку без входа в аккаунт. CX Codex +1 398установок page-monitoring jamditis Скилл page-monitoring отслеживает изменения на веб-страницах, фиксирует удаление контента и помогает настроить мониторинг через Python или сторонние сервисы. CX Codex +1 620установок docs-scraper disler Субагент docs-scraper для Claude Code получает страницу документации по URL и сохраняет её отдельным Markdown-файлом в ai_docs/. CX Codex ★ 1 573звёзд репо

Из того же набора2

Спонсоры проекта

Компании, которые помогают держать аналитику открытой