К основному содержанию
скилл CX Codex

web-to-markdown · rookie-ricardo — скилл для Codex: конвертация и установка

Скилл web-to-markdown для Claude Code извлекает содержимое веб-страниц и возвращает его в Markdown. Читает статьи и транскрипты YouTube по ссылке.

MIT 249 установок ★ 944 обновлён 2026-07-25

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a claude-code
Открыть на GitHub

Что делает web-to-markdown

Скилл выбирает способ извлечения по домену: для обычных страниц и X/Twitter использует r.jina.ai, для YouTube — defuddle.md, для WeChat, Zhihu и Feishu запускает отдельный экстрактор. Результат — очищенный Markdown; с флагом --json команда возвращает и метаданные о маршруте.

Для обычных сайтов предусмотрены запасные варианты: прямой HTTP-запрос с очисткой через Mozilla Readability, затем извлечение через браузер. Специальные сайты обрабатываются в два этапа: сначала HTTP/TLS-имитация через cuimp, затем браузер через puppeteer-extra. Для запуска скриптов нужны Node.js и установка зависимостей командой npm install в каталоге скилла. Антибот-проверки, страницы только для авторизованных пользователей и сетевые ограничения могут помешать извлечению.

Какие задачи решает

  • преобразовать статью по ссылке в Markdown
  • извлечь содержимое или транскрипт страницы YouTube
  • прочитать публикацию с X/Twitter
  • получить текст со страницы WeChat, Zhihu или Feishu
  • вернуть Markdown вместе с метаданными о способе извлечения

Примеры запросов агенту

  • Преобразуй эту статью в Markdown: URL
  • Извлеки содержимое этого видео YouTube в Markdown: URL
  • Верни текст и метаданные для этой страницы в формате JSON: URL

Как установить web-to-markdown

1Через Skills CLI (Vercel)

npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a claude-code

2Вручную: положить файлы

~/.claude/skills/web-to-markdown/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/web-to-markdown/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о web-to-markdown

Как установить web-to-markdown в Codex?

Выполните npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a codex. Файл скилла появится по пути .agents/skills/web-to-markdown/SKILL.md.

Что делает web-to-markdown?

Он выбирает способ получения страницы по её домену, очищает извлечённое содержимое и возвращает Markdown. Для YouTube используется отдельный маршрут, а для WeChat, Zhihu и Feishu — специальный экстрактор.

Что нужно для запуска скриптов скилла?

Нужен Node.js. В каталоге скилла выполните npm install, затем запустите node scripts/url_to_markdown.mjs <url>.

Исходный текст

SKILL.md · MIT
---
name: web-to-markdown
description: "Convert a web URL into cleaned Markdown with deterministic routing. Use when Codex needs to read article-like content from links and should apply source-aware fetch strategies: default to r.jina.ai for general pages (including X/Twitter), use defuddle.md for YouTube links, and use browser-impersonated extraction for WeChat/Zhihu/Feishu pages with Mozilla Readability cleanup."
---

# Web To Markdown

Convert URLs into usable Markdown by applying domain-aware fetching routes, then return the cleaned content directly.

## Quick Workflow

1. Normalize and validate the input URL.
2. Select route:
- `r.jina.ai`: general web + X/Twitter.
- `defuddle.md`: YouTube transcript/content extraction.
- `special-browser-fetch`: WeChat/Zhihu/Feishu.
3. Return markdown text (or JSON metadata if needed).

For generic URLs (non-YouTube, non-WeChat/Zhihu/Feishu), use this fallback chain:

- try `r.jina.ai` first,
- if it fails, fallback to direct HTTP fetch + Readability,
- if direct fetch still fails or returns shell-like content, fallback to browser extraction.

## Commands

Run from this skill directory (`skills/web-to-markdown`):

```bash
npm install
node scripts/url_to_markdown.mjs <url>
```

Return metadata with markdown:

```bash
node scripts/url_to_markdown.mjs <url> --json
```

Force special-site browser extraction:

```bash
node scripts/fetch_special_sites.mjs <url> --json
```

## Routing Policy

- Default route: `https://r.jina.ai/<url>`.
- YouTube (`youtube.com`, `youtu.be`): `https://defuddle.md/<url>`.
- X/Twitter (`x.com`, `twitter.com`): `https://r.jina.ai/<url>`.
- WeChat/Zhihu/Feishu: run `scripts/fetch_special_sites.mjs`.
- If input is already proxy-formatted (`https://defuddle.md/https://...` or `https://r.jina.ai/https://...`), normalize back to the original URL and re-apply routing.

## Special-Site Extraction Behavior

Use a two-stage strategy for WeChat/Zhihu/Feishu:

1. Try `cuimp` HTTP/TLS impersonation first, then clean HTML with Mozilla Readability.
2. If stage 1 fails or returns blocked/shell content, fallback to `puppeteer-extra` browser impersonation.

- HTTP stage impersonates modern Chrome TLS/HTTP profile via `cuimp`.
- Browser stage impersonates a modern Chrome user agent and standard `sec-ch-ua` headers.
- Remove known login modals and backdrop overlays (best effort).
- Scroll the page to trigger lazy-loaded article blocks.
- Parse cleaned document with Mozilla Readability.
- Convert extracted HTML body to Markdown via Turndown.
- Resolve browser executable from `CHROME_PATH` first, then system Chrome/Chromium/Edge paths.

If special-site extraction fails due to anti-bot checks, account-only pages, or network limits, report failure clearly and ask for fallback input (for example raw page text).

## Output Contract

For normal usage, output markdown only.

When `--json` is used, return:

- `source`: backend source (`r.jina.ai`, `defuddle`, `cuimp`, `browser-readability`).
- `strategy`: selected route (`r-jina`, `defuddle`, `special-http-fetch`, `special-browser-fetch-fallback`).
- `requestedUrl`: original input.
- `resolvedUrl`: normalized/final URL.
- `markdown`: extracted markdown body.

## Resources

- [references/routing-and-notes.md](references/routing-and-notes.md): domain routing rules and operational caveats.
- `scripts/url_to_markdown.mjs`: primary entrypoint.
- `scripts/fetch_special_sites_http.mjs`: WeChat/Zhihu/Feishu HTTP impersonation fetcher (`cuimp` JS).
- `scripts/fetch_special_sites.mjs`: two-stage extractor (HTTP-first, browser-fallback).

© rookie-ricardo · MIT · rookie-ricardo/erduo-skills

Похожие скиллы

Все скиллы по теме «Браузер и парсинг» →

Сначала — web-to-markdown от других авторов.

web-to-markdown softaworks Скилл web-to-markdown для Claude Code преобразует веб-страницы с JavaScript в чистый Markdown через локальный браузер. Сохраняет статьи и документацию без лишней разметки. CX Codex +1 796установок Web to Markdown jackwener Скилл Web to Markdown для Claude Code переводит веб-страницы в чистый Markdown через открытую вкладку. Запускается по запросу заархивировать, сохранить или прочитать страницу в виде текста. CX Codex +1 ★ 239звёзд репо save-md mblode Скилл save-md сохраняет веб-страницы, YouTube-видео, Google Docs и PDF в файл .md с метаданными источника. Извлекает полный текст через прямые экспорт-endpoints, минуя пересказы. CX Codex +1 367установок CRW Web Scraper fastcrw MCP-сервер CRW Web Scraper превращает страницы в markdown или JSON: скрейп, обход сайта, карта URL, поиск и извлечение полей. Ставится одной командой. CX Codex +1 ★ 1 286звёзд репо baoyu-url-to-markdown JimLiu Скилл baoyu-url-to-markdown загружает веб-страницы через Chrome CDP и переводит контент в чистый Markdown. Включается при запросе на сохранение статей, веток обсуждений или расшифровок видео. CX Codex +1 31 000установок baoyu-danger-x-to-markdown JimLiu Скилл baoyu-danger-x-to-markdown для Claude Code конвертирует посты, треды и статьи из X в Markdown-файлы с YAML-заголовками. Сохраняет публикации и медиафайлы локально. CX Codex +1 28 600установок wechat-article-to-markdown jackwener Скилл wechat-article-to-markdown скачивает статьи из mp.weixin.qq.com и раскладывает их в Markdown-файл с локальными картинками — пригодится для архива или базы знаний. CX Codex +1 939установок

Из того же набора3

Спонсоры проекта

Компании, которые помогают держать аналитику открытой