К основному содержанию
скилл CX Codex

blocked-page-recovery — скилл для Claude Code

Скилл blocked-page-recovery для Claude Code ищет копии страницы при ответе 403 или 429, paywall или блокировке бота. Используется для сбора материалов и проверки источников.

MIT 167 установок ★ 265 216 обновлён 2026-10-25

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add NousResearch/hermes-agent --skill blocked-page-recovery -a claude-code
Открыть на GitHub

Что делает blocked-page-recovery

Скилл обходит способы получить содержимое по очереди: ищет снимок в Wayback Machine, проверяет archive.today, при наличии JINA_API_KEY обращается к Jina Reader, а затем предлагает искать API или RSS. Последний вариант — открыть страницу настоящим браузером. Для запуска всех проверок есть скрипт scripts/recover_page.py.

Скрипт проверяет содержимое ответа, а не только HTTP-код: это важно, потому что страница с ограничением запросов может выглядеть как успешная загрузка. Для архивной копии нужно сохранять дату снимка и не выдавать её за текущую страницу. Если нужны актуальные цены или доступность, архив не заменит свежий источник. Не отправляйте cookies и заголовки авторизации через прокси-реле.

Какие задачи решает

  • Найти архивную копию страницы после ответа 403 или 429
  • Получить текст статьи за paywall из доступного архива
  • Проверить RSS или API, когда HTML блокирует WAF
  • Отсеять страницы-переадресации, ошибочно принятые за результат

Примеры запросов агенту

  • Найди доступную копию статьи по URL, если сайт отвечает 403.
  • Попробуй восстановить страницу через архивы и сохрани дату снимка.
  • После нескольких блокировок HTML проверь API и RSS на том же сайте.

Как установить blocked-page-recovery

1Через Skills CLI (Vercel)

npx skills add NousResearch/hermes-agent --skill blocked-page-recovery -a claude-code

2Вручную: положить файлы

~/.claude/skills/blocked-page-recovery/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/blocked-page-recovery/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о blocked-page-recovery

Как установить blocked-page-recovery в Claude Code?

Выполните npx skills add NousResearch/hermes-agent --skill blocked-page-recovery -a claude-code. Файл скилла находится в ~/.claude/skills/blocked-page-recovery/SKILL.md.

Что делает blocked-page-recovery?

Скилл ищет копии недоступной страницы через веб-архивы, Jina Reader и API или RSS. Он также проверяет, что ответ содержит саму страницу, а не заглушку.

Нужен ли ключ для Jina Reader?

Да, для этого маршрута требуется JINA_API_KEY. Без переменной окружения скилл пропускает Jina Reader.

Исходный текст

SKILL.md · MIT
---
name: blocked-page-recovery
description: "Use when a fetch fails: 403/429, paywall, WAF, bot wall."
version: 1.0.0
author: Hermes Agent
license: MIT
platforms: [linux, macos, windows]
metadata:
  hermes:
    tags: [Research, Archives, Wayback, Paywall, WAF, Fallback]
    related_skills: [grounded-citations]
---

# Blocked-Page Recovery

When a page won't fetch — 403/429, Cloudflare "Just a moment...", a paywall,
or a bot-detection interstitial — don't give up and don't loop on the same
URL. Third-party services often hold a **copy** of the page. Work down this
ladder, cheapest first.

## The ladder

```
1. Wayback Machine  — archive.org "available" API  (snapshot + timestamp)
2. archive.today    — domain rotation: archive.ph → .md → .li → .is
3. Jina Reader      — only if JINA_API_KEY is set  (live server-side render)
4. API-first pivot  — look for /api/, /graphql, .json, or RSS on the same host
5. Real browser     — browser tool as the last, most expensive resort
```

Run it in one shot with the bundled script:

```bash
python3 scripts/recover_page.py "https://example.com/blocked-article" --json
```

The script tries each route in order, validates every body (see "Fake
successes" below), and prints the first genuine hit with its provenance.

## Provenance discipline (non-negotiable)

Every recovered copy carries a provenance you MUST preserve when citing:

| Route | Provenance | How to cite |
|-------|-----------|-------------|
| Wayback / archive.today | `snapshot` | Cite WITH the snapshot date: "as archived 2026-08-06". Never present a snapshot as the live page — it may be stale. |
| Jina Reader | `live` | Server-side re-render of the live page; cite normally. |
| Live fetch / browser | `live` | Cite normally. |

If the user needs *current* data (prices, availability, breaking news), a
snapshot is context, not an answer — say so explicitly and note its age.

## Manual routes

### 1. Wayback Machine (best provenance, try first)

```bash
# Discovery: returns closest snapshot URL + timestamp as JSON
curl -sL "https://archive.org/wayback/available?url={URL}"
# Then fetch archived_snapshots.closest.url
```

For enumerating many snapshots (or recovering deleted pages), the CDX index:

```bash
curl -sL "https://web.archive.org/cdx/search/cdx?url={URL}&output=json&limit=10"
```

CDX intermittently returns 503 under load — if it does, fall back to the
`available` API; don't retry-hammer it.

Works for: any publicly crawled URL. Fails for: robots-blocked sites,
never-crawled URLs, JS-only SPAs (snapshots don't render).

### 2. archive.today (paywalls, deleted content)

User-submitted archives — often has paywalled news articles Wayback lacks.
Rate-limits aggressively (429) and rotates domains, so iterate:

```bash
for d in archive.ph archive.md archive.li archive.is; do
  curl -sL --max-time 20 "https://$d/newest/{URL}" -o ~/.hermes/cache/scratch/page.html \
    -w "%{http_code}" && break
done
```

**Validate the body, not the status code** — a 429 still ships several KB of
rate-limit HTML that looks like a success to a size check alone.

### 3. Jina Reader (requires JINA_API_KEY)

`r.jina.ai` re-renders the live page in a real browser server-side and
returns markdown. Anonymous access is dead (401 → Turnstile); a key is
required:

```bash
curl -s -H "Authorization: Bearer $JINA_API_KEY" "https://r.jina.ai/{URL}"
```

Handles JS SPAs that archives can't. Skip this route entirely when the env
var is unset.

### 4. API-first pivot

WAFs protect the HTML surface far more aggressively than the data endpoints
behind it. After 2-3 blocked attempts on a site, stop fighting the HTML and
look for:

- `/api/...`, `/graphql`, or `.json` variants of the page URL
- An RSS/Atom feed (`/feed`, `/rss`, `<link rel="alternate">` in any copy
  you did recover)
- A sitemap (`/sitemap.xml`) revealing canonical URLs that may not be gated

## Fake successes — routes that LIE

These return HTTP 200 with a plausible body that is NOT the page. The script
rejects them automatically; reject them manually too:

- **Google Cache is dead** (since mid-2024). `webcache.googleusercontent.com`
  returns 200 + tens of KB, but it's a Google Search interstitial with a JS
  redirect, not a cache. Never use it.
- **AMP caches** (`*.cdn.ampproject.org`) mostly return a ~300-byte
  `<title>Redirecting</title>` meta-refresh stub pointing back at the
  original (blocked) URL. Treating that as success creates a fetch loop.
- **Rate-limit bodies**: archive.today 429 pages are multi-KB HTML. Check for
  the target's actual content (title words, expected strings), not just size.

Detection heuristics the script applies: body under a per-route byte floor;
meta-refresh/JS-redirect stubs whose target is the original host; interstitial
titles ("Just a moment", "Redirecting", "Google Search", "Attention Required").

## Proxy relays: don't

Generic "web proxy" relays are man-in-the-middle by construction. Never send
cookies or Authorization headers through one, and don't use them for anything
the user will rely on — provenance is unverifiable. Prefer archives, which at
least timestamp their copies.

© Hermes Agent · MIT · NousResearch/hermes-agent

Похожие скиллы

Все скиллы по теме «Браузер и парсинг» →
game-research-websearch rehan-remade Скилл game-research-websearch для Claude Code ищет сведения об играх, движках и моддинге в сети. Он подключается, когда старые ссылки не работают или нужно подтвердить источниками заметку о моддинге. CX Codex +1 1 500установок web-content-fetcher shirenchuang Скилл web-content-fetcher для Claude Code: достаёт основной текст страницы по ссылке и отдаёт чистым Markdown — с заголовками, ссылками, картинками, списками и блоками кода. Читает статьи, документацию и посты из Вейсинь прямо в чате. CX Codex +1 3 000установок read-deleted-pages UseOSINT Скилл read-deleted-pages для Claude Code и ещё пяти платформ, который достаёт удалённые, изменённые или исторические версии страниц через Wayback Machine, CDX API, archive.today и Common Crawl. CX Codex +1 2 100установок superwall-editor superwall Скилл superwall-editor для Claude Code управляет визуальным редактором paywall Superwall через браузерную сессию. Он находит доступные инструменты и вносит правки в существующий paywall. CX Codex +1 3 900установок pp-archive-is Matt Van Horn Скилл pp-archive-is ищет копии страниц, обходит пейволлы и отправляет адреса в веб-архивы с автоматической сменой бэкенда. Пригодится агенту для чтения закрытых статей и пакетного сохранения ссылок. CX Codex +1 657установок narrative-drift-monitor aaron-he-zhu Скилл narrative-drift-monitor сверяет текущие страницы продукта и презентации с каноном бренда в репозитории через снимки Wayback Machine. Запускается при аудите позиционирования и отслеживании манёвров конкурентов. CX Codex +1 1 100установок

Из того же набора61

Весь набор →
godmode Скилл godmode для Claude Code предлагает три способа обхода фильтров модели на уровне промпта: шаблоны, маскировку триггерных слов и опрос моделей через OpenRouter. CX Codex +1 214установок competitor-news-monitor Скилл competitor-news-monitor следит за заданными компаниями и присылает дайджест только по значимым событиям, со ссылками на первоисточники. CX Codex +1 204установок email-inbox-triage Скилл email-inbox-triage для Claude Code разбирает почту по приоритету и готовит черновики, ожидая одобрения перед отправкой. Сортирует потоки писем. CX Codex +1 178установок document-to-action-items Скилл document-to-action-items для Claude Code, Codex, Cursor и других агентов: достаёт из документов обязательства, дедлайны и задачи с привязкой к странице источника. Каждый пункт трассируется обратно до конкретного файла и раздела. CX Codex +1 173установок weekly-review-planning Скилл weekly-review-planning для Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI и OpenCode ведёт структурированный еженедельный сброс: обязательства, зависшие проекты, план на следующую неделю. CX Codex +1 163установок meeting-action-items Скилл meeting-action-items для Claude Code превращает заметки или транскрипт встречи в список решений, ответственных и задач. Запускается, когда нужно разобрать протокол и подготовить follow-up. CX Codex +1 162установок sdlc-review Скилл sdlc-review для Claude Code независимо проверяет задачу, переданную исполнителем в колонку review на Kanban-доске, и принимает её, возвращает на доработку или передаёт человеку. CX Codex +1 162установок product-price-monitor Скилл product-price-monitor отслеживает итоговые цены товаров, авиабилетов и номеров в отелях, отсекая дубликаты и скрытые сборы. Присылает уведомление при достижении целевой стоимости. CX Codex +1 160установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой