# scraper

Извлекает из веб-страниц текст в Markdown, ссылки и метаданные. Подходит, когда нужно передать ИИ содержимое документации или статьи без ручного копирования.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 6
- Автор: ofershap
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/ofershap/mcp-server-scraper
- Обновлён: 2026-08-10
- HTML: https://affpapa.org/nevibecode/mcp/scraper

## Что делает

Сервер получает страницу по URL и предлагает отдельные инструменты для извлечения текста, ссылок и метаданных. Можно также искать совпадения с запросом внутри страницы или обработать несколько URL, получив заголовок и краткий фрагмент для каждого.

HTML разбирается в Node.js с помощью Mozilla Readability и linkedom; headless-браузер не нужен. API-ключи не требуются. Сервер лучше работает со страницами, где содержимое уже есть в HTML: JavaScript-зависимые SPA он не обрабатывает, поэтому для таких страниц понадобится браузерный MCP-сервер.

## Требования
- Нужно: Node.js (команды через npx)

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add scraper -- npx -y mcp-server-scraper
```

### Codex

**Командой платформы**
```bash
codex mcp add scraper -- npx -y mcp-server-scraper
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "scraper": {
            "command": "npx",
            "args": [
                "-y",
                "mcp-server-scraper"
            ]
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "scraper": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "mcp-server-scraper"
            ]
        }
    }
}
```

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add scraper npx -y mcp-server-scraper
```

## Когда брать
- извлечь текст статьи или документации в Markdown
- собрать ссылки со страницы вместе с текстом анкоров
- получить заголовок, описание и OG-метаданные URL
- найти на странице строки по запросу
- обработать несколько URL и получить краткие фрагменты

## Примеры запросов агенту
- Извлеки содержимое этой страницы в Markdown и кратко перескажи: `https://docs.example.com`.
- Собери все ссылки с этой страницы и покажи текст каждой ссылки.
- Найди на странице упоминания `authentication` и извлеки заголовок и описание URL.

## Похожие
- [Scrapling MCP Server](https://affpapa.org/nevibecode/mcp/scrapling-mcp-server.md) — MCP-сервер · ★ 89899
- [browser-use](https://affpapa.org/nevibecode/mcp/browser-use.md) — MCP-сервер · ★ 119231
- [AIHawk](https://affpapa.org/nevibecode/mcp/aihawk.md) — MCP-сервер · ★ 32260
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23283
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13181
- [apify-mcp-server](https://affpapa.org/nevibecode/mcp/apify-mcp-server.md) — MCP-сервер · ★ 13345

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md