К основному содержанию
скилл CX Codex

web-scraping · makushingu — скилл для Claude Code: что делает и как установить

Скилл web-scraping для Claude Code собирает данные с сайтов в Markdown, CSV или JSON. Используется при запросах на извлечение информации и отслеживание изменений на страницах.

лицензия не указана ★ 285 обновлён 2026-11-17

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add makushingu/harness-maxxing --skill web-scraping -a claude-code
Открыть на GitHub

Что делает web-scraping

Инструмент выгружает контент со статических и JavaScript-страниц, работая через три уровня глубины извлечения. Простые страницы обрабатываются стандартным Fetcher, динамический контент — через DynamicFetcher на базе Chromium, а защищённые ресурсы — с помощью StealthyFetcher. Для работы требуется установленный на сервере пакет scrapling.

При написании скриптов используйте css-селекторы или xpath. Рекомендуется сначала анализировать структуру страницы, выгрузив HTML через scrapling extract get URL page.html. Собранные файлы сохраняйте в папку data/. При автоматизации мониторинга через maxxing-cron скрипт сравнивает текущие данные с последним сохранённым состоянием.

Какие задачи решает

  • Извлечь прайс-лист из каталога товаров в CSV
  • Преобразовать контент статьи в читаемый Markdown
  • Настроить мониторинг изменений цен на странице

Примеры запросов агенту

  • Собери данные со страницы example.com и сохрани в data/items.csv
  • Вытащи заголовки и цены с сайта, используя DynamicFetcher
  • Настрой проверку обновлений на example.com и оповести об изменениях

Как установить web-scraping

1Через Skills CLI (Vercel)

npx skills add makushingu/harness-maxxing --skill web-scraping -a claude-code

2Вручную: положить файлы

~/.claude/skills/web-scraping/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/web-scraping/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о web-scraping

Как установить web-scraping в Claude Code?

Выполните команду npx skills add makushingu/harness-maxxing --skill web-scraping -a claude-code в терминале.

Что делает web-scraping?

Скилл позволяет извлекать информацию с веб-страниц, сохранять её в структурированные форматы и следить за изменениями контента по расписанию.

Что нужно для работы web-scraping?

Необходима предустановленная библиотека scrapling и scrapling-python на сервере.

Похожие скиллы

Все скиллы по теме «Настройка агента: память, контекст, субагенты» →

Сначала — web-scraping от других авторов.

web-scraping jamditis Скилл web-scraping для Claude Code собирает данные с сайтов с запасными способами извлечения. Он включается для соцсетей, yt-dlp и разбора ошибок доступа, включая CAPTCHA и 403. CX Codex +1 6 300установок web-scraping Mindrally Скилл web-scraping задаёт агенту правила парсинга: какие библиотеки брать для статики, динамики и больших обходов, как обходить блокировки и ошибки. CX Codex +1 4 500установок universal-scraping-architect Mehansh Barthwal Плагин universal-scraping-architect для Claude Code направляет веб-скрейпинг через Firecrawl или локальный Python. Отслеживает расход токенов и остаток квот. ★ 30 251звёзд репо scrapy-web-scraping Mindrally Скилл scrapy-web-scraping для Claude Code учит агентов писать пауков на Scrapy, настраивать пайплайны и обход защит — от структуры проекта до распределённого краулинга через Scrapy-Redis. CX Codex +1 2 100установок brightdata-web-mcp patchy631 Скилл brightdata-web-mcp для поиска в интернете, парсинга сайтов и извлечения данных через Bright Data. Обходит блокировки и CAPTCHA, работает с Amazon, eBay, LinkedIn, Instagram. CX Codex +1 ★ 42 059звёзд репо scraping-twitter-profiles apidojo Скилл scraping-twitter-profiles выгружает метаданные профилей Twitter/X через платформу Apify. Помогает собирать статистику подписчиков, биографии и статусы верификации списком. CX Codex +1 930установок web-crawler Starchild-ai-agent Скилл web-crawler собирает данные из соцсетей, извлекает субтитры и скачивает страницы в обход блокировок. CX Codex +1 4 000установок Atlas Web Compiler & Scraper Atlas-Compiler MCP-сервер Atlas Web Compiler & Scraper для детерминированного разбора веб-страниц в чистый markdown, обхода сайтов и пакетной компиляции без участия LLM. CX Codex +1 ★ 1звёзд репо

Из того же набора21

Весь набор →
pdf-document Скилл pdf-document для Claude Code генерирует PDF-документы через вёрстку HTML и CSS с печатью во встроенном браузере. Агент активирует скилл по запросу пользователя на создание резюме, коммерческого предложения, отчёта или счёта. CX Codex +1 ★ 285звёзд репо image-edit Скилл image-edit для Claude Code меняет размер и формат изображений, обрезает и сжимает их. Он подключается к запросам на правку одной картинки или пакетную обработку папки. CX Codex +1 ★ 285звёзд репо seo-audit Скилл seo-audit для Claude Code выполняет технический SEO-аудит сайта и формирует отчёт с приоритетными задачами. Агент проверяет индексацию, метатеги, скорость страниц и внутренние ссылки. CX Codex +1 ★ 285звёзд репо maxxing-mcp maxxing-mcp — скилл для Claude Code, который добавляет и проверяет MCP-серверы в Harness Maxxing. Он подключается, когда нужно настроить сервер, пройти авторизацию или найти причину ошибки. CX Codex +1 ★ 285звёзд репо memory Скилл memory для Claude Code записывает долговечные факты в подходящий файл памяти после содержательного обмена. Он срабатывает на решения, предпочтения и изменения проекта, но пропускает разовые вопросы. CX Codex +1 ★ 285звёзд репо memory-compaction Скилл memory-compaction для Claude Code сокращает и структурирует файлы memory.md, когда они переполняются данными. Запускается при избыточном объёме или по прямому запросу. CX Codex +1 ★ 285звёзд репо maxxing-tasks Скилл maxxing-tasks для Claude Code читает и меняет список задач Harness Maxxing. Он включается, когда нужно добавить задачу, закрыть её или узнать, что пора сделать сегодня. CX Codex +1 ★ 285звёзд репо maxxing-backup Скилл maxxing-backup для Claude Code сохраняет рабочее состояние памяти агента в приватный репозиторий GitHub. Он запускается по расписанию раз в сутки или при вызове команд. CX Codex +1 ★ 285звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой