# HasData Web Scraping

Удалённо загружает публичные веб-страницы через прокси и возвращает Markdown, текст, HTML или JSON. Подходит для чтения сайтов без отдельного API.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 10
- Автор: HasData
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/HasData/web-scraping-mcp
- Обновлён: 2026-10-12
- HTML: https://affpapa.org/nevibecode/mcp/hasdata-web-scraping

## Что делает

HasData Web Scraping подключает к агенту удалённый MCP-сервер с одним инструментом для чтения публичных страниц. Он отправляет запрос через управляемые прокси, при необходимости обрабатывает JavaScript и возвращает страницу в Markdown, обычном тексте, HTML или JSON.

Сервер работает по HTTP, а для клиентов со stdio есть запуск через пакет `@hasdata/web-scraping-mcp`. В Claude Code его можно добавить командой `claude mcp add`; для авторизации нужен `HASDATA_API_KEY`. Подключение требует ключ HasData, поэтому без него запросы к страницам не пройдут.

## Требования
- Нужно: Node.js (команды через npx)
- Удалённый сервер: `https://mcp.hasdata.com/mcp?apis=web_scraping`
- Переменные окружения: `HASDATA_API_KEY` — это ключи и токены: значения спроси у человека, в репозиторий и общие файлы не записывай.

## Установка

### Claude Code (родная платформа)

1. **Командой платформы**
```bash
claude mcp add web-scraping -e HASDATA_API_KEY=<HASDATA_API_KEY> -- npx -y @hasdata/web-scraping-mcp
```
Вместо <…> подставьте свои значения

2. **Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http hasdata-web-scraping 'https://mcp.hasdata.com/mcp?apis=web_scraping'
```

### Codex

1. **Командой платформы: удалённый сервер**
```bash
codex mcp add hasdata-web-scraping --url 'https://mcp.hasdata.com/mcp?apis=web_scraping'
```

2. **Командой платформы**
```bash
codex mcp add hasdata-web-scraping --env HASDATA_API_KEY=<HASDATA_API_KEY> -- npx -y @hasdata/web-scraping-mcp
```
Вместо <…> подставьте свои значения

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "hasdata-web-scraping": {
            "url": "https://mcp.hasdata.com/mcp?apis=web_scraping"
        }
    }
}
```
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "hasdata-web-scraping": {
            "command": "npx",
            "args": [
                "-y",
                "@hasdata/web-scraping-mcp"
            ],
            "env": {
                "HASDATA_API_KEY": "<HASDATA_API_KEY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "hasdata-web-scraping": {
            "type": "http",
            "url": "https://mcp.hasdata.com/mcp?apis=web_scraping"
        }
    }
}
```
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "hasdata-web-scraping": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "@hasdata/web-scraping-mcp"
            ],
            "env": {
                "HASDATA_API_KEY": "<HASDATA_API_KEY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### Gemini CLI

1. **Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http hasdata-web-scraping 'https://mcp.hasdata.com/mcp?apis=web_scraping'
```

2. **Командой платформы**
```bash
gemini mcp add -e HASDATA_API_KEY=<HASDATA_API_KEY> hasdata-web-scraping npx -y @hasdata/web-scraping-mcp
```
Вместо <…> подставьте свои значения

## Когда брать
- получить содержимое публичной веб-страницы
- извлечь страницу в Markdown или JSON
- прочитать сайт с JavaScript-рендерингом
- обойти отсутствие отдельного API у сайта

## Примеры запросов агенту
- Получи указанную мной публичную страницу через HasData Web Scraping и верни её в Markdown.
- Прочитай страницу документации, найди все блоки кода и собери их в ответ.
- Загрузи главную страницу сайта, извлеки заголовки и ссылки в JSON.

## Похожие
- [web-scraping](https://affpapa.org/nevibecode/skills/mindrally-web-scraping.md) — скилл · 4500 установок
- [scrapy-web-scraping](https://affpapa.org/nevibecode/skills/scrapy-web-scraping.md) — скилл · 2000 установок
- [HasData](https://affpapa.org/nevibecode/mcp/hasdata.md) — MCP-сервер · ★ 21
- [HasData Google Search (SERP)](https://affpapa.org/nevibecode/mcp/hasdata-google-search-serp.md) — MCP-сервер · ★ 17
- [universal-scraping-architect](https://affpapa.org/nevibecode/skills/universal-scraping-architect.md) — скилл · 35 установок
- [web-access-claude-skill](https://affpapa.org/nevibecode/skills/web-access-claude-skill.md) — скилл · 965 установок

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md