К основному содержанию
скилл CX Codex

spider — скилл для Claude Code: обход сайтов и установка

Скилл spider для Claude Code обходит страницы, собирает ссылки и данные, анализирует содержимое и проверяет сайт на признаки проблем безопасности. Разбирает отдельные страницы и карты сайта.

лицензия не указана 209 установок ★ 28 обновлён 2025-12-19

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add johnlindquist/claude --skill spider -a claude-code
Открыть на GitHub

Что делает spider

Скилл использует curl для загрузки страниц и заголовков, поиска ссылок, извлечения текста и обхода нескольких URL. Он также описывает обработку sitemap, поиск API-адресов в JavaScript и отслеживание изменений страницы по контрольной сумме. Для простого сканирования достаточно команд оболочки.

Для анализа содержимого и проверки безопасности применяются запросы к Gemini через команду gemini. Нужны google-generativeai и переменная GEMINI_API_KEY; для более сложного разбора HTML перечислены puppeteer и beautifulsoup4. Без ключа Gemini эта часть анализа не запустится.

Проверка безопасности ищет проблемы в заголовках, формах, скриптах и настройках cookies, но результат зависит от переданного образца страницы. Перед обходом скилл советует учитывать robots.txt, ограничивать частоту запросов и проверять правила сайта.

Какие задачи решает

  • собрать ссылки и заголовки со страницы
  • обойти URL из sitemap и извлечь заголовки страниц
  • найти API-адреса в JavaScript
  • проверить образец страницы на проблемы безопасности
  • отследить изменения содержимого по контрольной сумме

Примеры запросов агенту

  • Просканируй страницу и собери заголовки, ссылки и подключённые скрипты.
  • Разбери sitemap сайта и извлеки заголовки найденных страниц.
  • Проверь HTML и заголовки сайта на проблемы безопасности.

Как установить spider

1Через Skills CLI (Vercel)

npx skills add johnlindquist/claude --skill spider -a claude-code

2Вручную: положить файлы

~/.claude/skills/spider/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/spider/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о spider

Как установить spider в Claude Code?

Выполните npx skills add johnlindquist/claude --skill spider -a claude-code. Файл скилла находится по пути ~/.claude/skills/spider/SKILL.md.

Что делает скилл spider?

Он помогает загружать и обходить веб-страницы, извлекать ссылки и данные, а также анализировать содержимое сайта и проверять его на проблемы безопасности.

Что нужно для анализа через Gemini?

Нужны команда gemini, пакет google-generativeai и переменная окружения GEMINI_API_KEY. Для разбора HTML также перечислены puppeteer и beautifulsoup4.

Похожие скиллы

Все скиллы по теме «Браузер и парсинг» →
Screaming Frog SEO Spider MCP Server (headless) bzsasson Screaming Frog SEO Spider MCP Server (headless) — MCP-сервер для Claude Code, который запускает обходы Screaming Frog SEO Spider и читает сохранённые данные для выгрузок и аудитов без интерфейса. CX Codex +1 ★ 97звёзд репо competitive-ads-extractor davila7 Скилл competitive-ads-extractor выгружает рекламу соперников из библиотек Facebook и LinkedIn, сохраняет скриншоты креативов и разбирает триггеры в текстах. CX Codex +1 1 091установок scrape davila7 Скилл scrape скачивает содержимое веб-страниц в формате Markdown через Bright Data Web Unlocker. Помогает обойти капчу и антибот-защиту. CX Codex +1 1 002установок discovering-viral-youtube-videos-by-category apidojo Скилл discovering-viral-youtube-videos-by-category собирает тренды YouTube по категориям и странам через актор Apify. Находит популярные ролики, их просмотры, лайки, теги и авторов для контентных исследований. CX Codex +1 1 000установок finding-instagram-creators-by-location apidojo Скилл finding-instagram-creators-by-location для Claude Code находит Instagram-авторов, регулярно публикующих из заданного города, района или заведения. Выдаёт авторов для локальных кампаний и геотаргетинга. CX Codex +1 983установок he4rt-twitter-engagement-tracker reason-machines Скилл he4rt-twitter-engagement-tracker для Claude Code помогает собрать расширение Chrome для пассивного трекинга активности в X/Twitter и выгрузки данных в JSON. Задача — аналитика сообщества. CX Codex +1 876установок

Из того же набора7

gemini-image Скилл gemini-image разбирает изображения силами Gemini: вытаскивает текст из скриншотов, читает код с картинки, объясняет диаграммы и ошибки. CX Codex +1 1 200установок memory Скилл связывает агента с утилитой basic-memory для сохранения заметок, семантического поиска и передачи контекста между сессиями. CX Codex +1 363установок raycast-extension Скилл raycast-extension для Claude Code помогает создавать расширения, команды и инструменты Raycast на React и TypeScript. Агент подключает его по просьбе разработать такую функцию. CX Codex +1 332установок brainstorm Скилл brainstorm для Claude Code генерирует и развивает идеи, разбирает варианты и оценивает их по заданным критериям. Помогает проектировать функции и архитектуру, искать название. CX Codex +1 293установок deepwiki Скилл помогает изучать публичные GitHub-репозитории через документацию DeepWiki, задавать вопросы о коде и разбирать структуру проекта. CX Codex +1 270установок think Скилл think для глубокого анализа сложных проблем с помощью Gemini. Применяет каркасы первых принципов, системного мышления и инверсии, чтобы найти слепые зоны и выстроить рекомендацию. CX Codex +1 260установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой