# AI Bot Access Checker

MCP-сервер AI Bot Access Checker для Claude Code проверяет, могут ли поисковые и ИИ-боты открыть страницу. Он сопоставляет доступ по robots.txt с ответом сайта на запросы от разных ботов.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI
- Автор: seopaslaugos-io
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/seopaslaugos-io/ai-bot-access-checker
- Обновлён: 2026-11-12
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/mcp/ai-bot-access-checker

## Что делает

Сервер проверяет доступ к URL для 13 поисковых и ИИ-ботов. Он читает правила `robots.txt`, отправляет запросы с User-Agent каждого бота и сравнивает ответы с запросом обычного браузера. Так можно отличить запрет в `robots.txt` от блокировки сервером или межсетевым экраном.

Результаты различают разрешённый доступ, запрет по `robots.txt`, блокировку сервера и неубедительную проверку. Запросы идут из сети Cloudflare, а не с IP-адресов самих ботов; если межсетевой экран проверяет IP, результат может быть неубедительным. Проверяются только общедоступные URL с `http` или `https` на портах 80 и 443. Для работы нужен MCP-клиент и доступ к удалённому серверу `https://tools.seopaslaugos.io/mcp`; ключ не требуется.

## Требования
- Удалённый сервер: `https://tools.seopaslaugos.io/mcp`

## Установка

### Claude Code (родная платформа)

**Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http ai-bot-access-checker https://tools.seopaslaugos.io/mcp
```

### Codex

**Командой платформы: удалённый сервер**
```bash
codex mcp add ai-bot-access-checker --url https://tools.seopaslaugos.io/mcp
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "ai-bot-access-checker": {
            "url": "https://tools.seopaslaugos.io/mcp"
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "ai-bot-access-checker": {
            "type": "http",
            "url": "https://tools.seopaslaugos.io/mcp"
        }
    }
}
```

### Gemini CLI

**Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http ai-bot-access-checker https://tools.seopaslaugos.io/mcp
```

## Когда брать
- проверить, разрешает ли `robots.txt` доступ GPTBot и ClaudeBot
- найти блокировку ботов на сервере или межсетевом экране
- сопоставить ответ сайта для бота и обычного браузера
- выяснить, почему проверка доступа вернула неубедительный результат

## Примеры запросов агенту
- Проверь, может ли GPTBot открыть `https://example.com`.
- Сравни доступ ClaudeBot и Googlebot к `https://example.com/pricing`.
- Проверь, что блокирует PerplexityBot на `https://example.com`.

## Похожие
- [okx-cex-bot](https://affpapa.org/nevibecode/skills/okx-cex-bot.md) — скилл · 10300 установок
- [Airdrop Checker — Wallet Eligibility & Claim Status](https://affpapa.org/nevibecode/mcp/airdrop-checker-wallet-eligibility-claim-status.md) — MCP-сервер · 5548 установок
- [SSL Certificate Checker — Validity, Expiry & Grade](https://affpapa.org/nevibecode/mcp/ssl-certificate-checker-validity-expiry-grade.md) — MCP-сервер · 5042 установки
- [Password Strength Checker — Entropy & Crack Time](https://affpapa.org/nevibecode/mcp/password-strength-checker-entropy-crack-time.md) — MCP-сервер · 4119 установок
- [discord-bot](https://affpapa.org/nevibecode/skills/discord-bot.md) — скилл · 5500 установок
- [telegram-bot-builder](https://affpapa.org/nevibecode/skills/sickn33-telegram-bot-builder.md) — скилл · 3800 установок

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
