PyreCrawl — MCP-сервер для Claude Code: скрапинг и краулинг сайтов
Self-hosted MCP-сервер для веб-скрапинга: забирает страницы в markdown, обходит Cloudflare, ищет статьи и следит за изменениями. Ключи API не нужны.
claude mcp add pyrecrawl -- uvx pyrecrawlЧто делает PyreCrawl
PyreCrawl даёт агенту тринадцать инструментов: scrape тянет одну страницу в markdown, crawl обходит сайт по фильтрам путей и глубине, map_site собирает внутренние ссылки. Для исследований есть search через DuckDuckGo и search_papers по arXiv и Crossref, а deep_research складывает выдачу с пометками-цитатами в пакет доказательств. document вытаскивает текст из PDF, DOCX и PPTX без запуска браузера.
Под капотом лестница с автопереходом: сначала быстрый HTTP, при 403, вызове Cloudflare или пустом теле — stealth-браузер на Chromium, дальше глубокая обработка до markdown. Для страниц за логином работает session с сохранением cookie, для отслеживания правок — monitor со снапшотами и diff. Кэш ответов включается переменной PYRECRAWL_CACHE, TTL задаёт PYRECRAWL_CACHE_TTL.
Перед первым запуском нужен UV: он сам подтянет Python, отдельно ставить интерпретатор не придётся. Браузерные движки ставятся разово командой pyrecrawl setup, это занимает около двух минут. Без неё stealth-режим не заработает, и сайты за Cloudflare останутся недоступны. Телеметрию отключает PYRECRAWL_NO_TELEMETRY=1.
Какие задачи решает
- собрать markdown из одной страницы для контекста агента
- обойти Cloudflare при скрапинге закрытого сайта
- найти научные статьи по теме и вытащить из них PDF
- отследить изменение цены на странице товара
- пройти логин и продолжить многошаговый сценарий в браузере
Примеры запросов агенту
- Скрапни https://example.com и перескажи главное
- Найди статьи про безопасность памяти в Rust и собери по ним выжимку с цитатами
- Следи за этой страницей и покажи, что изменилось с прошлого раза
Как установить PyreCrawl
Командой платформы
claude mcp add pyrecrawl -- uvx pyrecrawluvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>
Командой платформы
codex mcp add pyrecrawl -- uvx pyrecrawluvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>
Файл настроек
{
"mcpServers": {
"pyrecrawl": {
"command": "uvx",
"args": [
"pyrecrawl"
]
}
}
}uvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>
Файл настроек
{
"servers": {
"pyrecrawl": {
"type": "stdio",
"command": "uvx",
"args": [
"pyrecrawl"
]
}
}
}uvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>
Командой платформы
gemini mcp add pyrecrawl uvx pyrecrawluvx запускает команду с именем пакета; если в README она другая — uvx --from pyrecrawl <команда>
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о PyreCrawl
Как установить PyreCrawl в Claude Code?
Одной командой: claude mcp add pyrecrawl -- uvx pyrecrawl. После этого перезапустите агент или начните новую сессию.
Что делает PyreCrawl?
Превращает страницы в markdown, обходит сайты по ссылкам, извлекает данные по CSS-схеме и ищет материалы в вебе и в arXiv. Всё работает локально, без ключей API.
Что нужно для работы?
UV для запуска, затем разовая команда pyrecrawl setup — она ставит Chromium и stealth-движки. Для чтения PDF, DOCX и PPTX нужны дополнительные пакеты [docs].
