# WebScraping.AI

MCP-сервер собирает данные со сложных веб-страниц, запускает браузер Chromium для рендеринга и защищает от инъекций промптов. Пригодится при сборе контента за прокси и парсинге динамических сайтов.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 45
- Автор: webscraping-ai
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/webscraping-ai/webscraping-ai-mcp-server
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/mcp/webscrapingai

## Что делает

Сервер подключает ИИ-агента к API сервиса WebScraping.AI через протокол MCP. Это даёт модели доступ к рендерингу страниц через headless Chromium, смене резидентских или stealth-прокси и эмуляции мобильных либо десктопных экранов. Для поддерживаемых социальных сетей и поисковой выдачи Google сервер умеет сразу отдавать готовый JSON без ручного разбора DOM.

Внутри реализованы готовые инструменты вроде `webscraping_ai_question` для ответов по содержимому страницы и `webscraping_ai_fields` для выборки конкретных полей. Параллельные запросы регулируются переменной `WEBSCRAPING_AI_CONCURRENCY_LIMIT`, значение по умолчанию — 5 потоков. Также предусмотрен режим изоляции контента через `WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING`. Он оборачивает выгруженный текст в защитные маркеры, чтобы сбить непрямые инъекции промптов со сторонних сайтов.

Для работы stdio-версии требуется среда Node.js и валидный ключ в переменной `WEBSCRAPING_AI_API_KEY`. Без него локальный процесс не сможет отправить запрос к API. Если не хочется настраивать локальный рантайм, у сервиса есть удалённая версия MCP по адресу `https://mcp.webscraping.ai/mcp` с авторизацией через OAuth.

## Требования
- Нужно: Node.js (команды через npx)
- Переменные окружения: `WEBSCRAPING_AI_API_KEY`, `WEBSCRAPING_AI_DEFAULT_PROXY_TYPE`, `WEBSCRAPING_AI_DEFAULT_JS_RENDERING`, `WEBSCRAPING_AI_CONCURRENCY_LIMIT` — это ключи и токены: значения спроси у человека, в репозиторий и общие файлы не записывай.

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add --env WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> --env WEBSCRAPING_AI_DEFAULT_PROXY_TYPE=<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE> --env WEBSCRAPING_AI_DEFAULT_JS_RENDERING=<WEBSCRAPING_AI_DEFAULT_JS_RENDERING> --env WEBSCRAPING_AI_CONCURRENCY_LIMIT=<WEBSCRAPING_AI_CONCURRENCY_LIMIT> --transport stdio webscrapingai -- npx -y webscraping-ai-mcp
```
Вместо <…> подставьте свои значения

### Codex

**Командой платформы**
```bash
codex mcp add webscrapingai --env WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> --env WEBSCRAPING_AI_DEFAULT_PROXY_TYPE=<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE> --env WEBSCRAPING_AI_DEFAULT_JS_RENDERING=<WEBSCRAPING_AI_DEFAULT_JS_RENDERING> --env WEBSCRAPING_AI_CONCURRENCY_LIMIT=<WEBSCRAPING_AI_CONCURRENCY_LIMIT> -- npx -y webscraping-ai-mcp
```
Вместо <…> подставьте свои значения

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "webscrapingai": {
            "command": "npx",
            "args": [
                "-y",
                "webscraping-ai-mcp"
            ],
            "env": {
                "WEBSCRAPING_AI_API_KEY": "<WEBSCRAPING_AI_API_KEY>",
                "WEBSCRAPING_AI_DEFAULT_PROXY_TYPE": "<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE>",
                "WEBSCRAPING_AI_DEFAULT_JS_RENDERING": "<WEBSCRAPING_AI_DEFAULT_JS_RENDERING>",
                "WEBSCRAPING_AI_CONCURRENCY_LIMIT": "<WEBSCRAPING_AI_CONCURRENCY_LIMIT>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "webscrapingai": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "webscraping-ai-mcp"
            ],
            "env": {
                "WEBSCRAPING_AI_API_KEY": "<WEBSCRAPING_AI_API_KEY>",
                "WEBSCRAPING_AI_DEFAULT_PROXY_TYPE": "<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE>",
                "WEBSCRAPING_AI_DEFAULT_JS_RENDERING": "<WEBSCRAPING_AI_DEFAULT_JS_RENDERING>",
                "WEBSCRAPING_AI_CONCURRENCY_LIMIT": "<WEBSCRAPING_AI_CONCURRENCY_LIMIT>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add -e WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> -e WEBSCRAPING_AI_DEFAULT_PROXY_TYPE=<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE> -e WEBSCRAPING_AI_DEFAULT_JS_RENDERING=<WEBSCRAPING_AI_DEFAULT_JS_RENDERING> -e WEBSCRAPING_AI_CONCURRENCY_LIMIT=<WEBSCRAPING_AI_CONCURRENCY_LIMIT> webscrapingai npx -y webscraping-ai-mcp
```
Вместо <…> подставьте свои значения

## Когда брать
- Выгрузить содержимое страниц с динамическим JavaScript и ожиданием селекторов
- Извлечь структурированные данные и цены с карточки товара в JSON
- Собрать результаты поиска Google с нужной геолокацией
- Защитить контекст ассистента от скрытых промпт-инъекций на чужих сайтах

## Примеры запросов агенту
- Узнай стоимость и характеристики на странице `https://example.com/product` через инструмент `webscraping_ai_fields`
- Открой `https://example.com`, дождись загрузки скриптов и ответь, о чём этот сайт
- Собери выдачу Google по нужному запросу и верни результат в JSON

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md