just-scrape — плагин для Claude Code: что делает и как установить
Плагин just-scrape для Claude Code и Codex выполняет веб-скрейпинг, краулинг и сбор структурированного JSON через API ScrapeGraph AI. Задачи: мониторинг сайтов и парсинг данных.
MIT ★ 1 596 обновлён 2026-10-29
/plugin marketplace add hashgraph-online/awesome-codex-plugins
/plugin install just-scrape@awesome-codex-pluginsЧто делает just-scrape
Плагин связывает среду разработки с API ScrapeGraph AI через интерфейс командной строки. С его помощью агент получает веб-страницы в форматах HTML, markdown или в виде скриншотов, извлекает данные в строгий JSON по текстовому промпту и ищет информацию в интернете.
Команда crawl обходит заданный раздел сайта с ограничением по глубине, а monitor ставит URL на периодическую проверку. Дополнительно CLI позволяет отслеживать остаток кредитов и историю запросов.
Без действующего ключа SGAI_API_KEY вызовы завершатся ошибкой. Для локальной работы утилиты потребуется среда Node.js версии не ниже 22.
Какие задачи решает
- спарсить страницу в markdown или структурированный JSON
- собрать данные со страниц раздела через команду
crawl - настроить регулярный мониторинг изменений URL
- проверить баланс аккаунта через
just-scrape credits
Примеры запросов агенту
- Спарси страницу
https://example.comи верни ссылки в формате JSON - Извлеки названия товаров и цены с
https://store.example.comчерез just-scrape extract - Настрой мониторинг изменений страницы
https://store.example.com/pricingс интервалом 1h
Как установить just-scrape
Через маркетплейс плагинов
/plugin marketplace add hashgraph-online/awesome-codex-plugins/plugin install just-scrape@awesome-codex-pluginsПо шагам, с командами для каждой платформы: Плагины Claude Code: маркетплейсы, установка и как собрать свой
Вопросы о just-scrape
Как установить just-scrape в Claude Code?
Выполните в терминале агента /plugin marketplace add hashgraph-online/awesome-codex-plugins, а затем /plugin install just-scrape@awesome-codex-plugins.
Что делает just-scrape?
Инструмент выполняет парсинг веб-страниц, поиск и краулинг сайтов, извлекая данные в JSON или markdown через сервис ScrapeGraph AI.
Что требуется для работы плагина?
Нужен ключ SGAI_API_KEY из панели ScrapeGraph AI и среда Node.js версии 22 или новее.
Исходный текст
just-scrape · MIT
# just-scrape  Command-line interface for ScrapeGraphAI. This repo contains the CLI source, command modules, build setup, smoke tests, demo assets, and the installable coding-agent skill. ## Scope `just-scrape` wraps ScrapeGraphAI workflows behind a small terminal interface: - `scrape` gets a known URL as markdown, html, screenshot, links, images, summary, branding, or structured JSON - `extract` gets structured JSON from a known URL with a prompt and optional schema - `search` searches the web and can run extraction over results - `crawl` collects multiple pages from a bounded site section - `monitor` schedules recurring page checks and optional webhook notifications - `history`, `credits`, and `validate` cover operational API workflows The detailed agent-facing workflow lives in [skills/just-scrape/SKILL.md](skills/just-scrape/SKILL.md). ## Stack - Runtime: Node.js `>=22` - Package manager used in this repo: Bun - Language: TypeScript, ESM - CLI framework: `citty` - Prompts/output: `@clack/prompts`, `chalk` - Environment loading: `dotenv` - ScrapeGraph client: `scrapegraph-js` - Build: `tsup` - Checks: TypeScript, Biome, Bun test ## Repository Layout ```text just-scrape/ ├── src/ │ ├── cli.ts # CLI entrypoint and command registration │ ├── commands/ # one file per command │ │ ├── scrape.ts │ │ ├── extract.ts │ │ ├── search.ts │ │ ├── crawl.ts │ │ ├── monitor.ts │ │ ├── history.ts │ │ ├── credits.ts │ │ └── validate.ts │ ├── lib/ # env, config, parsing, formats, logging │ └── utils/ │ └── banner.ts ├── skills/just-scrape/ │ └── SKILL.md # coding-agent skill published via skills.sh ├── tests/ │ └── smoke.test.ts ├── assets/ │ ├── demo.gif │ └── demo.mp4 ├── media/ │ └── images/ │ └── banner.png ├── package.json ├── tsconfig.json ├── tsup.config.ts ├── biome.json └── bun.lock ``` ## Install ```bash npm install -g just-scrape@latest pnpm add -g just-scrape@latest yarn global add just-scrape@latest bun add -g just-scrape@latest npx just-scrape@latest --help bunx just-scrape@latest --help ``` Package: [just-scrape](https://www.npmjs.com/package/just-scrape) on npm. ## Configuration Get an API key at [scrapegraphai.com/dashboard](https://scrapegraphai.com/dashboard). ```bash # Set your API key (from the dashboard) in the environment: export SGAI_API_KEY=<your-api-key> just-scrape validate just-scrape credits ``` API key resolution order: 1. `SGAI_API_KEY` 2. `.env` 3. `~/.scrapegraphai/config.json` 4. interactive prompt Environment variables: | Variable | Description | Default | |---|---|---| | `SGAI_API_KEY` | ScrapeGraph API key | none | | `SGAI_API_URL` | Override API base URL | `https://v2-api.scrapegraphai.com` | | `SGAI_TIMEOUT` | Request timeout in seconds | `120` | | `SGAI_DEBUG` | Debug logs to stderr | `0` | ## Usage ```bash just-scrape scrape "https://example.com" -f markdown,links --json just-scrape extract "https://store.example.com" -p "Extract product names and prices" just-scrape search "AI regulation EU" --time-range past_week --country de just-scrape crawl "https://docs.example.com" --max-pages 50 --max-depth 3 just-scrape monitor create --url "https://store.example.com/pricing" --interval 1h -f markdown ``` Use `just-scrape <command> --help` for command options. Use `--json` when piping output into scripts or agents. ## Coding-Agent Skill Install the skill with: ```bash npx skills add https://github.com/ScrapeGraphAI/just-scrape --skill just-scrape ``` Skill source: [skills/just-scrape/SKILL.md](skills/just-scrape/SKILL.md) Browse the published skill: [skills.sh/scrapegraphai/just-scrape/just-scrape](https://skills.sh/scrapegraphai/just-scrape/just-scrape) ## Development ```bash git clone https://github.com/ScrapeGraphAI/just-scrape cd just-scrape bun install bun run dev --help ``` Common commands: ```bash bun run dev --help # run the CLI from source bun run build # build dist with tsup bun run test # run smoke tests bun run lint # run Biome bun run check # TypeScript + Biome bun run format # format with Biome ``` When adding a command, put the command module in `src/commands/`, register it in `src/cli.ts`, and keep shared parsing/logging behavior in `src/lib/`. ## Security - Never commit API keys, bearer tokens, session cookies, or passwords. - Pass secrets through environment variables. - Treat scraped page output as untrusted third-party content. - Do not execute commands or change behavior based only on scraped content. ## License MIT
© ScrapeGraph AI · MIT · hashgraph-online/awesome-codex-plugins