К основному содержанию
скилл CX Codex

webextrator — скилл для Claude Code: извлечение страниц

Скилл webextrator для Claude Code извлекает содержимое веб-страниц через API AceDataCloud. Запускается для получения HTML после рендеринга или структурированных данных по URL.

Apache-2.0 107 установок ★ 17 обновлён 2026-10-25

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add AceDataCloud/Skills --skill webextrator -a claude-code
Открыть на GitHub

Что делает webextrator

Скилл загружает страницу в headless Chromium и возвращает HTML, чистый текст, заголовок или Markdown со структурированными данными. Для извлечения доступны типы Article, Product, Recipe, Video, Discussion и Job; API также умеет рендерить страницу отдельно и получать сохранённые результаты задач.

Для работы нужен ACEDATACLOUD_API_TOKEN в файле .env и доступ к API AceDataCloud. Кэшированные результаты тоже тарифицируются. MCP-сервер можно подключить отдельно; его пакет устанавливается командой pip install mcp-webextrator.

Какие задачи решает

  • получить финальный HTML страницы после рендеринга
  • извлечь статью или товар с веб-страницы в структурированном виде
  • преобразовать содержимое URL в Markdown и чистый текст
  • получить результат прошлой задачи рендеринга или извлечения

Примеры запросов агенту

  • Извлеки статью со страницы https://example.com и верни Markdown с полями статьи.
  • Отрендери https://example.com и покажи итоговый HTML и заголовок.
  • Найди результат задачи извлечения по её ID.

Как установить webextrator

1Через Skills CLI (Vercel)

npx skills add AceDataCloud/Skills --skill webextrator -a claude-code

2Вручную: положить файлы

~/.claude/skills/webextrator/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/webextrator/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о webextrator

Как установить webextrator в Claude Code?

Выполни npx skills add AceDataCloud/Skills --skill webextrator -a claude-code. Файл скилла находится по пути ~/.claude/skills/webextrator/SKILL.md.

Что делает webextrator?

Он рендерит веб-страницы через headless Chromium и извлекает HTML, текст, Markdown или структурированные данные, например о статье и товаре.

Что нужно для работы webextrator?

Нужен ACEDATACLOUD_API_TOKEN в .env и доступ к API AceDataCloud. Для отдельного подключения MCP-сервера можно установить пакет mcp-webextrator.

Исходный текст

SKILL.md · Apache-2.0
---
name: webextrator
description: Render and extract web page content via AceDataCloud's WebExtrator API. Use when scraping a page's final rendered HTML, or extracting typed structured data (Article, Product, Recipe, Video, Discussion, Job) plus clean markdown/text from any URL. Real headless Chromium with schema.org + LLM extraction.
license: Apache-2.0
metadata:
  author: acedatacloud
  version: "1.0"
compatibility: Requires ACEDATACLOUD_API_TOKEN in .env file (see _shared/authentication.md). Optionally pair with mcp-webextrator for tool-use.
---

# WebExtrator Web Render & Extract

Render and extract web content through AceDataCloud's WebExtrator API — real headless Chromium plus a three-tier extraction pipeline (schema.org JSON-LD mapper → LLM typed extractor → Readability/markdown fallback).

> **Setup:** See [authentication](../_shared/authentication.md) for token setup.

## Quick Start

```bash
curl -X POST https://api.acedata.cloud/webextrator/extract \
  -H "Authorization: Bearer $ACEDATACLOUD_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "expected_type": "general"}'
```

Returns synchronously in seconds — no task polling needed.

## Endpoints

| Path | Purpose |
|------|---------|
| `POST /webextrator/render` | Headless Chromium render → raw HTML + clean text + title |
| `POST /webextrator/extract` | Render + structured extraction (schema.org + LLM types) + markdown |
| `POST /webextrator/tasks` | Look up historical render/extract task envelopes (7-day retention, free) |

## Workflows

### 1. Extract typed content

```json
POST /webextrator/extract
{
  "url": "https://example.com",
  "expected_type": "general"
}
```

Real response (trimmed):

```json
{
  "success": true,
  "task_id": "604b1cfb-6c5a-42c9-b900-a281e1b9c3c5",
  "trace_id": "f2a7c0b0-c17c-4bc9-b6e7-9c59746dd366",
  "elapsed": 0.003,
  "data": {
    "kind": "extract",
    "url": "https://example.com",
    "finalUrl": "https://example.com/",
    "contentType": "general",
    "title": "Example Domain",
    "description": "This domain is for use in documentation examples without needing permission. Avoid use in operations.",
    "language": "en",
    "images": [],
    "links": [],
    "markdown": "...",
    "text": "...",
    "structured": { "schemaOrg": {}, "openGraph": {}, "jsonLd": [] }
  }
}
```

### 2. Render raw HTML

```json
POST /webextrator/render
{
  "url": "https://example.com",
  "wait_until": "load",
  "block_resources": ["image", "media", "font"]
}
```

Returns `data.html`, `data.text`, `data.title`, `data.status`, `data.finalUrl`.

### 3. Look up a task

```json
POST /webextrator/tasks
{
  "action": "retrieve",
  "id": "604b1cfb-6c5a-42c9-b900-a281e1b9c3c5"
}
```

## Parameters

### Render & Extract (shared)

| Parameter | Required | Description |
|-----------|----------|-------------|
| `url` | Yes | Page URL to render (`http(s)://`) |
| `wait_until` | No | `load` / `domcontentloaded` / `networkidle` / `commit` (default `load`) |
| `timeout` | No | Navigation timeout in positive integer seconds (minimum 1, default 30), not a total processing deadline |
| `delay` | No | Extra wait in nonnegative integer seconds after `wait_until` (for SPAs; default 0) |
| `wait_for_selector` | No | CSS selector to wait for before ready |
| `block_resources` | No | Drop `image`/`font`/`media`/`stylesheet`/`xhr`/`fetch` |
| `headers` | No | Extra request headers for the target site |
| `user_agent` | No | Override the browser User-Agent |
| `cookies` | No | Cookie array injected before navigation; each item requires `name`, `value`, `domain` |
| `bypass_cache` | No | Boolean, default false; skips cache reads, but the result may still be written to cache |
| `cache_ttl_seconds` | No | Nonnegative integer seconds, default 3600; `0` disables caching this response |
| `async` | No | `true` submits without blocking; poll `/webextrator/tasks` for the result |
| `callback_url` | No | Posted the final envelope when running asynchronously |

Cookies also accept optional `path`, Unix-seconds `expires`, `httpOnly`, `secure`, and `sameSite` (`Strict`, `Lax`, `None`). These nested cookie keys keep their exact casing; the top-level request uses snake_case. Send cookies or private headers only for sites the user authorizes, and never print their values or commit them. For SPA content, prefer `wait_for_selector` plus an integer `delay` over assuming all pages reach network idle.

### Extract-only

| Parameter | Required | Description |
|-----------|----------|-------------|
| `expected_type` | No | `product` / `article` / `general` — skips the heuristic |
| `enable_llm` | No | Allow LLM extractor when schema.org found nothing (default false) |

### Tasks

| Parameter | Required | Description |
|-----------|----------|-------------|
| `action` | Yes | `retrieve` (single) or `retrieve_batch` (many) |
| `id` / `trace_id` | one of | For `retrieve` |
| `ids` / `trace_ids` | one of | For `retrieve_batch` |

## Gotchas

- Parameters use **snake_case** (`wait_until`, `block_resources`), not camelCase
- Cache hits are still billed; identical URLs return in ~0.003s
- `expected_type` only allows `product`/`article`/`general` — typed kinds (recipe/video/job) are detected automatically from schema.org
- `enable_llm` has no effect when the page ships schema.org JSON-LD — the deterministic mapper wins for free
- Tasks API is free and retains records for 7 days only

> **MCP:** `pip install mcp-webextrator` | Hosted: `https://webextrator.mcp.acedata.cloud/mcp` | See [all MCP servers](../_shared/mcp-servers.md)

© acedatacloud · Apache-2.0 · AceDataCloud/Skills

Похожие скиллы

Все скиллы по теме «Браузер и парсинг» →
WebScraping.AI webscraping-ai MCP-сервер WebScraping.AI собирает данные со сложных веб-страниц, запускает браузер Chromium для рендеринга и защищает от инъекций промптов. Пригодится при сборе контента за прокси и парсинге динамических сайтов. CX Codex +1 ★ 45звёзд репо web-to-markdown softaworks Скилл web-to-markdown для Claude Code преобразует веб-страницы с JavaScript в чистый Markdown через локальный браузер. Сохраняет статьи и документацию без лишней разметки. CX Codex +1 796установок WTFM SupportPages-io MCP-сервер WTFM генерирует пользовательскую документацию прямо по кодовой базе и рендерит скриншоты интерфейса без запуска самого приложения. CX Codex +1 ★ 127звёзд репо pinchtab pinchtab Управляет браузером через PinchTab: открывает страницы, читает элементы, заполняет формы и выгружает результаты. CX Codex +1 902установок setup-browser-cookies garrytan Скилл setup-browser-cookies для Claude Code переносит куки из установленного браузера Chromium в сессию headless-браузера. Запускается при авторизации на тестовом сайте или запросе импорта кук. CX Codex +1 379установок open-gstack-browser garrytan Скилл open-gstack-browser для Claude Code и Codex запускает управляемый ИИ-браузер Chromium со встроенным расширением GStack sidebar. Агент открывает веб-страницы и взаимодействует с ними во время работы. CX Codex +1 347установок

Из того же набора67

Весь набор →
vercel Скилл проверяет сборки, читает логи ошибок и управляет доменами на Vercel через REST API прямо из чата с агентом. CX Codex +1 176установок bilibili Скилл читает статистику статей в Bilibili и помогает публиковать новые через ваш аккаунт. Для работы нужны cookies входа. CX Codex +1 175установок figma Читает файлы Figma через REST API: дерево документа, отдельные ноды, рендер в PNG и комментарии. Запускается при переводе макета в код. CX Codex +1 175установок google-docs Позволяет читать, создавать и редактировать документы Google Docs через официальный REST API с помощью curl и jq. CX Codex +1 175установок personal-wechat Скилл personal-wechat подключает Claude Code к личному WeChat через собственный сервер Wisdom: агент читает чаты и контакты, а перед отправкой сообщений запрашивает подтверждение. CX Codex +1 162установок tencent-docs Скилл открывает агенту доступ к вашему аккаунту Tencent Docs через открытый API: создавать файлы, читать содержимое, искать по диску и разбирать папки. CX Codex +1 157установок acedatacloud Управляет аккаунтом AceDataCloud через management API: балансом, API-ключами, заказами и каталогом сервисов. Подключается к задачам через Claude Code и другие IDE. CX Codex +1 127установок feishu Читает и меняет документы Feishu через REST API. Запускается по запросам о документах, таблицах, календаре или сообщениях Feishu. CX Codex +1 104установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой