# beautifulsoup4

Задаёт стандарты парсинга HTML на Python: выбор lxml, работа с CSS-селекторами и валидация структур через Pydantic.

- правило · `type=rule` · Cursor · ★ 3580
- Автор: sanjeed5
- Лицензия: CC0-1.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/sanjeed5/awesome-cursor-rules-mdc/tree/HEAD/rules-mdc/beautifulsoup4.mdc
- Обновлён: 2026-05-19
- HTML: https://affpapa.org/nevibecode/rules/beautifulsoup4

## Что делает

Правило инструктирует ИИ писать чистый код скрейпинга в файлах `**/*.py`. Оно требует передавать `lxml` парсером в конструктор `BeautifulSoup` ради скорости, а не полагаться на медленный стандартный `html.parser`. Вместо устаревшего метода `find_all` ассистент переходит на CSS-селекторы через `.select()` и `.select_one()`.

Логика сбора данных делится на функции с тайп-хинтами, а извлечённые поля упаковываются в модели `pydantic` или датаклассы. Также правило предписывает очищать текст методом `.get_text(strip=True)` и удалять ненужные блоки вызовом `.decompose()`. Beautiful Soup не выполняет JavaScript. Поэтому для динамических страниц правило требует сначала отрендерить разметку через Playwright или Selenium.

## Установка

### Cursor (родная платформа)

**Вручную: положить файлы**
- Файл: `.cursor/rules/beautifulsoup4.mdc` — Во frontmatter: description, globs, alwaysApply

### Claude Code

**Вручную: положить файлы**
- Файл: `.claude/rules/beautifulsoup4.md` — Поле paths во frontmatter ограничивает файлы: globs из источника → paths

### Codex

**AGENTS.md**
- Codex читает AGENTS.md: вставьте текст правила туда

### GitHub Copilot

**Вручную: положить файлы**
- Файл: `.github/instructions/beautifulsoup4.instructions.md` — Поле applyTo задаёт, к каким файлам применять: globs из источника → applyTo

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/rules/beautifulsoup4.md`

### Cline

**Вручную: положить файлы**
- Файл: `.clinerules/beautifulsoup4.md`

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/sanjeed5/awesome-cursor-rules-mdc/tree/HEAD/rules-mdc/beautifulsoup4.mdc

## Когда брать
- Ускорить парсинг страниц через принудительное указание lxml
- Структурировать извлечённые сущности в модели Pydantic
- Заменить цепочки find_all на точные CSS-селекторы
- Настроить этичный скрейпинг с User-Agent и паузами между запросами

## Примеры запросов агенту
- Напиши функцию парсинга каталога товаров с пагинацией через requests и BeautifulSoup.
- Спарси таблицу цен со страницы и сохрани результат в модель Pydantic.
- Очисти HTML-разметку статьи от рекламы и извлеки заголовок с текстом.

## Похожие
- [beautifulsoup-parsing](https://affpapa.org/nevibecode/skills/beautifulsoup-parsing.md) — скилл · 877 установок
- [scrapy-web-scraping](https://affpapa.org/nevibecode/skills/scrapy-web-scraping.md) — скилл · 2000 установок
- [apify-integration-expert](https://affpapa.org/nevibecode/agents/apify-integration-expert.md) — субагент · 222 установки
- [universal-scraping-architect](https://affpapa.org/nevibecode/plugins/universal-scraping-architect.md) — плагин · ★ 28854
- [llm-public-opinion-analytics](https://affpapa.org/nevibecode/skills/llm-public-opinion-analytics.md) — скилл · 2300 установок
- [crawl4ai](https://affpapa.org/nevibecode/skills/crawl4ai.md) — скилл · 1100 установок

Из того же набора: [sanjeed5/awesome-cursor-rules-mdc](https://affpapa.org/nevibecode/by/sanjeed5/awesome-cursor-rules-mdc.md) — 240 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md