# PyreCrawl

Self-hosted MCP-сервер для веб-скрапинга: забирает страницы в markdown, обходит Cloudflare, ищет статьи и следит за изменениями. Ключи API не нужны.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 22
- Автор: SanggonBoy
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/SanggonBoy/PyreCrawl
- Обновлён: 2026-09-21
- HTML: https://affpapa.org/nevibecode/mcp/pyrecrawl

## Что делает

PyreCrawl даёт агенту тринадцать инструментов: `scrape` тянет одну страницу в markdown, `crawl` обходит сайт по фильтрам путей и глубине, `map_site` собирает внутренние ссылки. Для исследований есть `search` через DuckDuckGo и `search_papers` по arXiv и Crossref, а `deep_research` складывает выдачу с пометками-цитатами в пакет доказательств. `document` вытаскивает текст из PDF, DOCX и PPTX без запуска браузера.

Под капотом лестница с автопереходом: сначала быстрый HTTP, при 403, вызове Cloudflare или пустом теле — stealth-браузер на Chromium, дальше глубокая обработка до markdown. Для страниц за логином работает `session` с сохранением cookie, для отслеживания правок — `monitor` со снапшотами и diff. Кэш ответов включается переменной `PYRECRAWL_CACHE`, TTL задаёт `PYRECRAWL_CACHE_TTL`.

Перед первым запуском нужен UV: он сам подтянет Python, отдельно ставить интерпретатор не придётся. Браузерные движки ставятся разово командой `pyrecrawl setup`, это занимает около двух минут. Без неё stealth-режим не заработает, и сайты за Cloudflare останутся недоступны. Телеметрию отключает `PYRECRAWL_NO_TELEMETRY=1`.

## Требования
- Нужно: Python и uv (команды через uvx)

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add pyrecrawl -- uvx pyrecrawl
```
uvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>

### Codex

**Командой платформы**
```bash
codex mcp add pyrecrawl -- uvx pyrecrawl
```
uvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "pyrecrawl": {
            "command": "uvx",
            "args": [
                "pyrecrawl"
            ]
        }
    }
}
```
uvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "pyrecrawl": {
            "type": "stdio",
            "command": "uvx",
            "args": [
                "pyrecrawl"
            ]
        }
    }
}
```
uvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add pyrecrawl uvx pyrecrawl
```
uvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>

## Когда брать
- собрать markdown из одной страницы для контекста агента
- обойти Cloudflare при скрапинге закрытого сайта
- найти научные статьи по теме и вытащить из них PDF
- отследить изменение цены на странице товара
- пройти логин и продолжить многошаговый сценарий в браузере

## Примеры запросов агенту
- Скрапни https://example.com и перескажи главное
- Найди статьи про безопасность памяти в Rust и собери по ним выжимку с цитатами
- Следи за этой страницей и покажи, что изменилось с прошлого раза

## Похожие
- [Scrapling MCP Server](https://affpapa.org/nevibecode/mcp/scrapling-mcp-server.md) — MCP-сервер · ★ 89433
- [browser-use](https://affpapa.org/nevibecode/mcp/browser-use.md) — MCP-сервер · ★ 119160
- [AIHawk](https://affpapa.org/nevibecode/mcp/aihawk.md) — MCP-сервер · ★ 32221
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23263
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13169
- [apify-mcp-server](https://affpapa.org/nevibecode/mcp/apify-mcp-server.md) — MCP-сервер · ★ 12927

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md