WebScraping.AI — MCP-сервер для Claude Code: как установить
MCP-сервер собирает данные со сложных веб-страниц, запускает браузер Chromium для рендеринга и защищает от инъекций промптов. Пригодится при сборе контента за прокси и парсинге динамических сайтов.
claude mcp add --env WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> --env WEBSCRAPING_AI_DEFAULT_PROXY_TYPE=<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE> --env WEBSCRAPING_AI_DEFAULT_JS_RENDERING=<WEBSCRAPING_AI_DEFAULT_JS_RENDERING> --env WEBSCRAPING_AI_CONCURRENCY_LIMIT=<WEBSCRAPING_AI_CONCURRENCY_LIMIT> --transport stdio webscrapingai -- npx -y webscraping-ai-mcpЧто делает WebScraping.AI
Сервер подключает ИИ-агента к API сервиса WebScraping.AI через протокол MCP. Это даёт модели доступ к рендерингу страниц через headless Chromium, смене резидентских или stealth-прокси и эмуляции мобильных либо десктопных экранов. Для поддерживаемых социальных сетей и поисковой выдачи Google сервер умеет сразу отдавать готовый JSON без ручного разбора DOM.
Внутри реализованы готовые инструменты вроде webscraping_ai_question для ответов по содержимому страницы и webscraping_ai_fields для выборки конкретных полей. Параллельные запросы регулируются переменной WEBSCRAPING_AI_CONCURRENCY_LIMIT, значение по умолчанию — 5 потоков. Также предусмотрен режим изоляции контента через WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING. Он оборачивает выгруженный текст в защитные маркеры, чтобы сбить непрямые инъекции промптов со сторонних сайтов.
Для работы stdio-версии требуется среда Node.js и валидный ключ в переменной WEBSCRAPING_AI_API_KEY. Без него локальный процесс не сможет отправить запрос к API. Если не хочется настраивать локальный рантайм, у сервиса есть удалённая версия MCP по адресу https://mcp.webscraping.ai/mcp с авторизацией через OAuth.
Какие задачи решает
- Выгрузить содержимое страниц с динамическим JavaScript и ожиданием селекторов
- Извлечь структурированные данные и цены с карточки товара в JSON
- Собрать результаты поиска Google с нужной геолокацией
- Защитить контекст ассистента от скрытых промпт-инъекций на чужих сайтах
Примеры запросов агенту
- Узнай стоимость и характеристики на странице
https://example.com/productчерез инструментwebscraping_ai_fields - Открой
https://example.com, дождись загрузки скриптов и ответь, о чём этот сайт - Собери выдачу Google по нужному запросу и верни результат в JSON
Как установить WebScraping.AI
Командой платформы
claude mcp add --env WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> --env WEBSCRAPING_AI_DEFAULT_PROXY_TYPE=<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE> --env WEBSCRAPING_AI_DEFAULT_JS_RENDERING=<WEBSCRAPING_AI_DEFAULT_JS_RENDERING> --env WEBSCRAPING_AI_CONCURRENCY_LIMIT=<WEBSCRAPING_AI_CONCURRENCY_LIMIT> --transport stdio webscrapingai -- npx -y webscraping-ai-mcpВместо <…> подставьте свои значения
Командой платформы
codex mcp add webscrapingai --env WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> --env WEBSCRAPING_AI_DEFAULT_PROXY_TYPE=<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE> --env WEBSCRAPING_AI_DEFAULT_JS_RENDERING=<WEBSCRAPING_AI_DEFAULT_JS_RENDERING> --env WEBSCRAPING_AI_CONCURRENCY_LIMIT=<WEBSCRAPING_AI_CONCURRENCY_LIMIT> -- npx -y webscraping-ai-mcpВместо <…> подставьте свои значения
Файл настроек
{
"mcpServers": {
"webscrapingai": {
"command": "npx",
"args": [
"-y",
"webscraping-ai-mcp"
],
"env": {
"WEBSCRAPING_AI_API_KEY": "<WEBSCRAPING_AI_API_KEY>",
"WEBSCRAPING_AI_DEFAULT_PROXY_TYPE": "<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE>",
"WEBSCRAPING_AI_DEFAULT_JS_RENDERING": "<WEBSCRAPING_AI_DEFAULT_JS_RENDERING>",
"WEBSCRAPING_AI_CONCURRENCY_LIMIT": "<WEBSCRAPING_AI_CONCURRENCY_LIMIT>"
}
}
}
}Вместо <…> подставьте свои значения
Файл настроек
{
"servers": {
"webscrapingai": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"webscraping-ai-mcp"
],
"env": {
"WEBSCRAPING_AI_API_KEY": "<WEBSCRAPING_AI_API_KEY>",
"WEBSCRAPING_AI_DEFAULT_PROXY_TYPE": "<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE>",
"WEBSCRAPING_AI_DEFAULT_JS_RENDERING": "<WEBSCRAPING_AI_DEFAULT_JS_RENDERING>",
"WEBSCRAPING_AI_CONCURRENCY_LIMIT": "<WEBSCRAPING_AI_CONCURRENCY_LIMIT>"
}
}
}
}Вместо <…> подставьте свои значения
Командой платформы
gemini mcp add -e WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> -e WEBSCRAPING_AI_DEFAULT_PROXY_TYPE=<WEBSCRAPING_AI_DEFAULT_PROXY_TYPE> -e WEBSCRAPING_AI_DEFAULT_JS_RENDERING=<WEBSCRAPING_AI_DEFAULT_JS_RENDERING> -e WEBSCRAPING_AI_CONCURRENCY_LIMIT=<WEBSCRAPING_AI_CONCURRENCY_LIMIT> webscrapingai npx -y webscraping-ai-mcpВместо <…> подставьте свои значения
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о WebScraping.AI
Как установить WebScraping.AI в Claude Code?
Выполните команду claude mcp add webscraping-ai -e WEBSCRAPING_AI_API_KEY=<WEBSCRAPING_AI_API_KEY> -- npx -y webscraping-ai-mcp, подставив свой ключ доступа. Сервер запустится через npx по стандартному протоколу stdio.
Что умеет MCP-сервер WebScraping.AI?
Он передаёт агенту инструменты для парсинга веб-страниц с исполнением JavaScript в Chromium, поддержкой ротации прокси и ответами на вопросы по содержимому. Также модуль может изолировать полученный текст от инъекций команд и выгружать выдачу Google в формате JSON.
Можно ли использовать WebScraping.AI без локальной установки npx?
Да, сервис поддерживает удалённый сервер по адресу https://mcp.webscraping.ai/mcp. Для него не нужен локальный Node.js или ручной ввод ключа в конфигурацию, так как авторизация выполняется через OAuth.
