# Web Content & URL Tools

MCP-сервер читает веб-страницы в Markdown, извлекает метаданные и проверяет SEO, SSL, домены и настройки безопасности. Работает с Claude Code и другими MCP-клиентами.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI
- Автор: avaloncompany
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/avaloncompany/web-content-mcp-server
- Обновлён: 2026-10-04
- HTML: https://affpapa.org/nevibecode/mcp/web-content-url-tools

## Что делает

Сервер даёт ИИ-агенту инструменты для анализа веб-страниц и URL. Он преобразует основной контент страницы в Markdown, извлекает заголовки, ссылки, изображения и метаданные, определяет используемые технологии, проверяет перенаправления, сертификаты SSL, заголовки безопасности, robots.txt и sitemap. Также доступны проверка битых ссылок, SEO-аудит и чтение RSS-лент.

Для диагностики почтовых доменов предусмотрены проверки SPF, DMARC, DKIM и других механизмов аутентификации. Сервер анализирует метаданные SAML и настройки OpenID Connect. В набор входят утилиты для cron, регулярных выражений, цветов, Unicode и часовых поясов, а также инструменты для получения рыночных данных Hyperliquid. Всего доступно 26 инструментов.

Подключение выполняется к удалённому MCP-серверу через HTTP. В Claude Code можно использовать команду `claude mcp add --transport http web-content-url-tools https://avalonai--web-content-url-tools-mcp.apify.actor/mcp`. Для работы с платными вызовами нужен аккаунт Apify: успешные запросы стоят $0.001 или $0.003 в зависимости от инструмента. Сайты, которые формируют контент только в браузере, могут возвращать мало текста; закрытые и внутренние адреса сервер не обрабатывает.

## Требования
- Удалённый сервер: `https://avalonai--web-content-url-tools-mcp.apify.actor/mcp`

## Установка

### Claude Code (родная платформа)

**Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http web-content-url-tools https://avalonai--web-content-url-tools-mcp.apify.actor/mcp
```

### Codex

**Командой платформы: удалённый сервер**
```bash
codex mcp add web-content-url-tools --url https://avalonai--web-content-url-tools-mcp.apify.actor/mcp
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "web-content-url-tools": {
            "url": "https://avalonai--web-content-url-tools-mcp.apify.actor/mcp"
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "web-content-url-tools": {
            "type": "http",
            "url": "https://avalonai--web-content-url-tools-mcp.apify.actor/mcp"
        }
    }
}
```

### Gemini CLI

**Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http web-content-url-tools https://avalonai--web-content-url-tools-mcp.apify.actor/mcp
```

## Когда брать
- Преобразовать веб-страницу в Markdown для анализа агентом
- Извлечь метаданные, структуру заголовков и ссылки сайта
- Проверить SSL-сертификат и заголовки безопасности
- Найти битые ссылки и проблемы SEO
- Проверить SPF, DMARC, DKIM и настройки SSO

## Примеры запросов агенту
- Преобразуй содержимое этой веб-страницы в Markdown и выдели основные разделы.
- Проверь SSL-сертификат сайта, перенаправления и заголовки безопасности.
- Проведи SEO-аудит сайта и найди битые ссылки.

## Похожие
- [Scrapling MCP Server](https://affpapa.org/nevibecode/mcp/scrapling-mcp-server.md) — MCP-сервер · ★ 89899
- [browser-use](https://affpapa.org/nevibecode/mcp/browser-use.md) — MCP-сервер · ★ 119231
- [AIHawk](https://affpapa.org/nevibecode/mcp/aihawk.md) — MCP-сервер · ★ 32260
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23283
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13181
- [apify-mcp-server](https://affpapa.org/nevibecode/mcp/apify-mcp-server.md) — MCP-сервер · ★ 13345

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md