К основному содержанию
affpapa.org
RU EN
скилл CX Codex

web-scraping · mindrally — скилл для Claude Code: парсинг сайтов на Python

Скилл задаёт агенту правила парсинга: какие библиотеки брать для статики, динамики и больших обходов, как обходить блокировки и ошибки.

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓ 
npx skills add Mindrally/skills --skill web-scraping -a claude-code
Открыть на GitHub

Что делает web-scraping

Скилл превращает агента в помощника по сбору данных с сайтов на Python. Он подсказывает, что взять под конкретную задачу: requests и BeautifulSoup для статических страниц, lxml когда нужна скорость разбора, Selenium или Playwright для страниц, которые рисует JavaScript, Scrapy для обхода по структуре. Для крупных выгрузок названы firecrawl и jina, для сложных сценариев — agentQL и multion.

Внутри не только список библиотек. Есть раздел про поведение: ограничивать частоту запросов и ставить задержки, уважать robots.txt, подставлять нормальный user agent, повторять запрос при сбое. Отдельно разобраны типовые поломки — таймауты сети, заблокированные запросы, работа с cookies сессии, постраничная навигация.

Про данные тоже есть: чистить и проверять выгруженное, разбираться с кодировками, убирать дубли, складывать результат без лишних затрат. Ничего доустанавливать скилл не требует — он опирается на те библиотеки, которые вы и так ставите в проект. А вот если в проекте уже есть свой парсер с другой логикой повторов, агент будет тянуть его к описанным здесь правилам, и это повод сверить подходы заранее.

Какие задачи решает

  • выбрать библиотеку под страницу с JavaScript
  • настроить задержки между запросами, чтобы не долбить сервер
  • разобрать выдачу по страницам без потери записей
  • починить кодировку в собранном тексте
  • убрать дубли из выгрузки перед загрузкой в базу

Примеры запросов агенту

  • Собери названия и цены с этого каталога, страницы листаются по ?page=
  • Сайт рисует карточки через JavaScript — чем его спарсить?
  • Добавь в парсер повтор запроса при таймауте и задержку между страницами

Как установить web-scraping

1Через Skills CLI (Vercel)

npx skills add Mindrally/skills --skill web-scraping -a claude-code

2Вручную: положить файлы

~/.claude/skills/web-scraping/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/web-scraping/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Из того же набора168

fastapi-python Задаёт агенту стиль разработки на FastAPI: async, Pydantic v2, обработка ошибок и структура роутеров. Пригодится, когда пишете API на Python. CX Codex +1 13 900установок computer-vision-opencv Скилл задаёт агенту рамки работы с изображениями и видео: OpenCV, PyTorch, аугментации, трекинг. Пригодится, когда в проекте есть пайплайны обработки кадров. CX Codex +1 3 800установок framer-motion Задаёт агенту правила анимаций на Motion: что анимировать, а что ломает раскладку. Пригодится, когда в проекте уже есть React и TypeScript. CX Codex +1 3 000установок chrome-extension-development Ведёт агента по сборке расширений Chrome на Manifest V3: манифест, service worker, content scripts, попап, публикация в Chrome Web Store. CX Codex +1 2 800установок mysql-best-practices Скилл задаёт агенту правила проектирования схем MySQL, индексов и оптимизации запросов. Пригодится, когда агент пишет миграции или разбирает медленный запрос. CX Codex +1 2 700установок odoo-development Скилл для ИИ-агента, который подсказывает, как писать модули Odoo: модели на Python ORM, XML-представления, права доступа. CX Codex +1 2 300установок expo-react-native-typescript Скилл задаёт агенту правила разработки мобильных приложений на Expo, React Native и TypeScript: структура файлов, навигация, состояние, тесты. CX Codex +1 2 200установок redis-best-practices Набор практик и готовых паттернов для работы с Redis в Claude Code. Помогает настроить структуры данных, инвалидацию кэша и блокировки без ошибок. CX Codex +1 2 200установок

Другие версии web-scraping

web-scraping jamditis Задаёт правила этичного сбора данных со страниц, обработку кодов 403 и каскадный парсинг с перебором библиотек. CX Codex +1 6 100установок

Похожие

universal-scraping-architect Mehansh Barthwal Проектирует пайплайны сбора данных через Firecrawl или локальный Python, проверяя структуру JSON перед сохранением. Помогает настроить парсинг без ломких селекторов. 35установок browser-automation Alireza Rezvani Скилл даёт агенту готовые схемы работы с браузером через Playwright: вытащить данные со страницы, заполнить форму, снять скриншот, сохранить сессию. 636установок extract actionbook Извлекает структурированные данные с веб-страниц, сохраняет результат в JSON или CSV и создаёт готовый скрипт Playwright. CX Codex +1 2 300установок playwright-stealth-verify liarjsdev Проверяет согласованность отпечатка браузера под автоматизацией. Нужен, чтобы измерить эффект настроек headless-режима или скрывающих плагинов в тестах. CX Codex +1 102 500установок adspower-antidetect-browser reason-machines Скилл учит агента создавать профили AdsPower, запускать их и подключать Selenium, Puppeteer или Playwright через локальный API. CX Codex +1 821установок e2e-testing-automation aj-geddes Скилл помогает писать end-to-end тесты: браузерные сценарии, проверка пользовательских путей и связки фронтенда с бэкендом. CX Codex +1 689установок

Рядом в теме «Браузер и парсинг»

Все скиллы по теме «Браузер и парсинг» →

Вопросы о web-scraping

Как установить web-scraping в Claude?

Выполните npx skills add Mindrally/skills --skill web-scraping -a claude-code. После этого файл скилла лежит в ~/.claude/skills/web-scraping/SKILL.md.

Что делает web-scraping?

Даёт агенту набор правил по сбору данных с сайтов на Python: какие библиотеки брать для статики, динамики и обходов, как обрабатывать ошибки и что делать с собранными данными.

Какие библиотеки он советует?

Для статики — requests, BeautifulSoup, lxml; для страниц с JavaScript — Selenium, Playwright, pyppeteer; для больших обходов — Scrapy, firecrawl, jina; для сложных сценариев — agentQL и multion.

Исходный текст

SKILL.md · Apache-2.0 
---
name: web-scraping
description: Expert in web scraping and data extraction with Python tools
metadata:
  maintainer: Mindrally
  source: https://github.com/Mindrally/skills
---

# Web Scraping

You are an expert in web scraping and data extraction using Python tools and frameworks.

## Core Tools

### Static Sites
- Use requests for HTTP requests
- Use BeautifulSoup for HTML parsing
- Use lxml for fast XML/HTML processing

### Dynamic Content
- Use Selenium for JavaScript-rendered pages
- Use Playwright for modern web automation
- Use Puppeteer (via pyppeteer) for headless browsing

### Large-Scale Extraction
- Use Scrapy for structured crawling
- Use jina for AI-powered extraction
- Use firecrawl for large-scale scraping

### Complex Workflows
- Use agentQL for structured queries
- Use multion for complex automation

## Best Practices

- Implement rate limiting and delays
- Respect robots.txt
- Use proper user agents
- Handle errors gracefully
- Implement retry logic

## Error Handling

- Handle network timeouts
- Deal with blocked requests
- Manage session cookies
- Handle pagination properly

## Ethical Considerations

- Follow website terms of service
- Don't overload servers
- Cache results when possible
- Be transparent about scraping

## Data Processing

- Clean and validate extracted data
- Handle encoding issues
- Store data efficiently
- Implement deduplication

© Mindrally · Apache-2.0 · Mindrally/skills

Смотрите также

Спонсоры проекта

Компании, которые помогают держать аналитику открытой
Золотой спонсор AI-аналитика спроса на iGaming — индекс, тренды, конкуренты
Nutra.Club Закрытое сообщество Nutra-вертикали от команды M1

Показы, клики и копирования кода — открытая статистика. Мы держим цифры публичными по той же логике, что и сам NeBlask. Стать спонсором