# scrapy

Правило с набором практик для Scrapy: структура проекта, items, pipelines, middlewares. Пригодится, когда агент пишет парсеры на Python.

- правило · `type=rule` · Cursor · ★ 3579
- Автор: sanjeed5
- Лицензия: CC0-1.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/sanjeed5/awesome-cursor-rules-mdc/tree/HEAD/rules-mdc/scrapy.mdc
- Обновлён: 2026-05-19
- HTML: https://affpapa.org/nevibecode/rules/scrapy

## Что делает

Правило подключается к Cursor и подсказывает агенту, как вести проект на Scrapy. Оно требует начинать с `scrapy startproject`, а не собирать файлы руками, и держать логику по местам: пауки краулят и вытаскивают сырые данные, pipelines чистят, валидируют, отсеивают дубли и пишут в хранилище, middlewares крутят user-agent и прокси.

Ещё правило настаивает на типизации. Поля `scrapy.Item` объявляются через `Field` с подсказками типов вроде `Optional[str]` и `List[str]`, а в пауках обязательно задаётся `allowed_domains`. Обработку и запись в базу из пауков оно выносит в отдельные шаги, чтобы код можно было тестировать по частям.

Правило ловит типичную ошибку: захардкоженный user-agent или прокси прямо в `scrapy.Request`. Такие вещи оно уводит в middleware, иначе при смене прокси придётся править каждого паука. Файл кладётся в `.cursor/rules/scrapy.mdc` и подхватывается для `**/*.py`.

## Установка

### Cursor (родная платформа)

**Вручную: положить файлы**
- Файл: `.cursor/rules/scrapy.mdc` — Во frontmatter: description, globs, alwaysApply

### Claude Code

**Вручную: положить файлы**
- Файл: `.claude/rules/scrapy.md` — Поле paths во frontmatter ограничивает файлы: globs из источника → paths

### Codex

**AGENTS.md**
- Codex читает AGENTS.md: вставьте текст правила туда

### GitHub Copilot

**Вручную: положить файлы**
- Файл: `.github/instructions/scrapy.instructions.md` — Поле applyTo задаёт, к каким файлам применять: globs из источника → applyTo

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/rules/scrapy.md`

### Cline

**Вручную: положить файлы**
- Файл: `.clinerules/scrapy.md`

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/sanjeed5/awesome-cursor-rules-mdc/tree/HEAD/rules-mdc/scrapy.mdc

## Когда брать
- разложить паука, pipelines и middlewares по своим файлам
- проставить типы полям `scrapy.Item`
- вынести очистку и валидацию данных из паука в pipeline
- отсеивать дубликаты по URL до записи в базу
- убрать прокси и user-agent из кода пауков в middleware

## Примеры запросов агенту
- Создай нового паука для каталога товаров по образцу из правила scrapy
- Опиши `ProductItem` с типами полей, как советует правило
- Перенеси установку user-agent из паука в middleware

## Похожие
- [scrapy-web-scraping](https://affpapa.org/nevibecode/skills/scrapy-web-scraping.md) — скилл · 2000 установок
- [web-scraping](https://affpapa.org/nevibecode/skills/mindrally-web-scraping.md) — скилл · 4500 установок
- [llm-public-opinion-analytics-assistant](https://affpapa.org/nevibecode/skills/llm-public-opinion-analytics-assistant.md) — скилл · 2400 установок
- [Crawlberg](https://affpapa.org/nevibecode/mcp/crawlberg.md) — MCP-сервер · ★ 192
- [PyreCrawl](https://affpapa.org/nevibecode/mcp/pyrecrawl.md) — MCP-сервер · ★ 22
- [Wick](https://affpapa.org/nevibecode/mcp/wick.md) — MCP-сервер · ★ 9

Из того же набора: [sanjeed5/awesome-cursor-rules-mdc](https://affpapa.org/nevibecode/by/sanjeed5/awesome-cursor-rules-mdc.md) — 87 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md