К основному содержанию
MCP-сервер CX Codex

Web Content & URL Tools — MCP-сервер для Claude Code: установка

MCP-сервер читает веб-страницы в Markdown, извлекает метаданные и проверяет SEO, SSL, домены и настройки безопасности. Работает с Claude Code и другими MCP-клиентами.

Установить в Claude Code · Командой платформы: удалённый сервер Все способы и платформы ↓
claude mcp add --transport http web-content-url-tools https://avalonai--web-content-url-tools-mcp.apify.actor/mcp
Открыть на GitHub

Что делает Web Content & URL Tools

Сервер даёт ИИ-агенту инструменты для анализа веб-страниц и URL. Он преобразует основной контент страницы в Markdown, извлекает заголовки, ссылки, изображения и метаданные, определяет используемые технологии, проверяет перенаправления, сертификаты SSL, заголовки безопасности, robots.txt и sitemap. Также доступны проверка битых ссылок, SEO-аудит и чтение RSS-лент.

Для диагностики почтовых доменов предусмотрены проверки SPF, DMARC, DKIM и других механизмов аутентификации. Сервер анализирует метаданные SAML и настройки OpenID Connect. В набор входят утилиты для cron, регулярных выражений, цветов, Unicode и часовых поясов, а также инструменты для получения рыночных данных Hyperliquid. Всего доступно 26 инструментов.

Подключение выполняется к удалённому MCP-серверу через HTTP. В Claude Code можно использовать команду claude mcp add --transport http web-content-url-tools https://avalonai--web-content-url-tools-mcp.apify.actor/mcp. Для работы с платными вызовами нужен аккаунт Apify: успешные запросы стоят $0.001 или $0.003 в зависимости от инструмента. Сайты, которые формируют контент только в браузере, могут возвращать мало текста; закрытые и внутренние адреса сервер не обрабатывает.

Какие задачи решает

  • Преобразовать веб-страницу в Markdown для анализа агентом
  • Извлечь метаданные, структуру заголовков и ссылки сайта
  • Проверить SSL-сертификат и заголовки безопасности
  • Найти битые ссылки и проблемы SEO
  • Проверить SPF, DMARC, DKIM и настройки SSO

Примеры запросов агенту

  • Преобразуй содержимое этой веб-страницы в Markdown и выдели основные разделы.
  • Проверь SSL-сертификат сайта, перенаправления и заголовки безопасности.
  • Проведи SEO-аудит сайта и найди битые ссылки.

Как установить Web Content & URL Tools

Командой платформы: удалённый сервер

claude mcp add --transport http web-content-url-tools https://avalonai--web-content-url-tools-mcp.apify.actor/mcp

По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие

Вопросы о Web Content & URL Tools

Как установить Web Content & URL Tools в Claude Code?

Выполни команду claude mcp add --transport http web-content-url-tools https://avalonai--web-content-url-tools-mcp.apify.actor/mcp. Она подключает удалённый MCP-сервер по HTTP. Для оплаты успешных вызовов используется аккаунт Apify.

Что делает Web Content & URL Tools?

Он предоставляет агенту инструменты для чтения веб-страниц, извлечения структуры и метаданных, проверки SEO и безопасности. Также доступны диагностика почтовой аутентификации, анализ SSO и утилиты разработчика.

Почему сервер может вернуть мало текста со страницы?

Сервер читает HTML, который отдаёт сайт. Если содержимое появляется только после выполнения JavaScript в браузере, результат может содержать мало текста и предупреждение.

Похожие MCP-серверы

Все MCP-серверы по теме «Браузер и парсинг» →
Scrapling MCP Server D4Vinci Веб-скрейпинг страниц с защитой Cloudflare и рендерингом JavaScript для ИИ-агентов. Помогает собирать данные сайтов в Markdown или JSON без ручного обхода блокировок. CX Codex +1 ★ 89 899звёзд репо browser-use browser-use Сервер помогает агенту выполнять задачи в браузере: находить данные и заполнять формы. Подключите его, когда нужно поручить агенту действия на веб-странице. CX Codex +1 ★ 119 231звёзд репо AIHawk feder-cr MCP-сервер, который даёт агенту браузер: он открывает страницы, кликает, печатает и читает их по инструкции на обычном языке. CX Codex +1 ★ 32 260звёзд репо Skyvern Skyvern-AI Подключает агента к браузерной автоматизации через компьютерное зрение и Playwright. Позволяет заполнять веб-формы, нажимать кнопки и собирать данные со страниц без хрупких селекторов. CX Codex +1 ★ 23 283звёзд репо SeleniumBase MCP seleniumbase MCP-сервер, который даёт агенту управлять браузером через SeleniumBase: тесты, скрапинг и обход детекции ботов. CX Codex +1 ★ 13 181звёзд репо apify-mcp-server apify Подключает инструменты Apify Store к ИИ-агенту, чтобы собирать данные с сайтов. Пригодится для поиска, соцсетей, карт и интернет-магазинов. CX Codex +1 ★ 13 345звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой