AI Bot Access Checker — MCP-сервер для Claude Code
MCP-сервер AI Bot Access Checker для Claude Code проверяет, могут ли поисковые и ИИ-боты открыть страницу. Он сопоставляет доступ по robots.txt с ответом сайта на запросы от разных ботов.
MIT обновлён 2026-11-12
claude mcp add --transport http ai-bot-access-checker https://tools.seopaslaugos.io/mcpЧто делает AI Bot Access Checker
Сервер проверяет доступ к URL для 13 поисковых и ИИ-ботов. Он читает правила robots.txt, отправляет запросы с User-Agent каждого бота и сравнивает ответы с запросом обычного браузера. Так можно отличить запрет в robots.txt от блокировки сервером или межсетевым экраном.
Результаты различают разрешённый доступ, запрет по robots.txt, блокировку сервера и неубедительную проверку. Запросы идут из сети Cloudflare, а не с IP-адресов самих ботов; если межсетевой экран проверяет IP, результат может быть неубедительным. Проверяются только общедоступные URL с http или https на портах 80 и 443. Для работы нужен MCP-клиент и доступ к удалённому серверу https://tools.seopaslaugos.io/mcp; ключ не требуется.
Какие задачи решает
- проверить, разрешает ли
robots.txtдоступ GPTBot и ClaudeBot - найти блокировку ботов на сервере или межсетевом экране
- сопоставить ответ сайта для бота и обычного браузера
- выяснить, почему проверка доступа вернула неубедительный результат
Примеры запросов агенту
- Проверь, может ли GPTBot открыть
https://example.com. - Сравни доступ ClaudeBot и Googlebot к
https://example.com/pricing. - Проверь, что блокирует PerplexityBot на
https://example.com.
Как установить AI Bot Access Checker
Командой платформы: удалённый сервер
claude mcp add --transport http ai-bot-access-checker https://tools.seopaslaugos.io/mcpКомандой платформы: удалённый сервер
codex mcp add ai-bot-access-checker --url https://tools.seopaslaugos.io/mcpФайл настроек
{
"mcpServers": {
"ai-bot-access-checker": {
"url": "https://tools.seopaslaugos.io/mcp"
}
}
}Файл настроек
{
"servers": {
"ai-bot-access-checker": {
"type": "http",
"url": "https://tools.seopaslaugos.io/mcp"
}
}
}Командой платформы: удалённый сервер
gemini mcp add -t http ai-bot-access-checker https://tools.seopaslaugos.io/mcpПо шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы об AI Bot Access Checker
Как установить AI Bot Access Checker в Claude Code?
Выполни команду claude mcp add --transport http ai-bot-access-checker https://tools.seopaslaugos.io/mcp. Она подключит удалённый MCP-сервер.
Что делает AI Bot Access Checker?
Проверяет, как robots.txt и сервер обрабатывают запросы поисковых и ИИ-ботов. Ответы ботов сравниваются с ответом обычного браузера.
Что нужно для работы AI Bot Access Checker?
Нужен MCP-клиент с доступом к удалённому серверу https://tools.seopaslaugos.io/mcp. Ключ API не нужен; проверяются общедоступные URL с http или https на портах 80 и 443.