web-to-markdown · rookie-ricardo — скилл для Codex: конвертация и установка
Скилл web-to-markdown для Claude Code извлекает содержимое веб-страниц и возвращает его в Markdown. Читает статьи и транскрипты YouTube по ссылке.
MIT 249 установок ★ 944 обновлён 2026-07-25
npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a claude-codeЧто делает web-to-markdown
Скилл выбирает способ извлечения по домену: для обычных страниц и X/Twitter использует r.jina.ai, для YouTube — defuddle.md, для WeChat, Zhihu и Feishu запускает отдельный экстрактор. Результат — очищенный Markdown; с флагом --json команда возвращает и метаданные о маршруте.
Для обычных сайтов предусмотрены запасные варианты: прямой HTTP-запрос с очисткой через Mozilla Readability, затем извлечение через браузер. Специальные сайты обрабатываются в два этапа: сначала HTTP/TLS-имитация через cuimp, затем браузер через puppeteer-extra. Для запуска скриптов нужны Node.js и установка зависимостей командой npm install в каталоге скилла. Антибот-проверки, страницы только для авторизованных пользователей и сетевые ограничения могут помешать извлечению.
Какие задачи решает
- преобразовать статью по ссылке в Markdown
- извлечь содержимое или транскрипт страницы YouTube
- прочитать публикацию с X/Twitter
- получить текст со страницы WeChat, Zhihu или Feishu
- вернуть Markdown вместе с метаданными о способе извлечения
Примеры запросов агенту
- Преобразуй эту статью в Markdown:
URL - Извлеки содержимое этого видео YouTube в Markdown:
URL - Верни текст и метаданные для этой страницы в формате JSON:
URL
Как установить web-to-markdown
1Через Skills CLI (Vercel)
npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a claude-code2Вручную: положить файлы
~/.claude/skills/web-to-markdown/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/web-to-markdown/
1Через Skills CLI (Vercel)
npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a codex2Вручную: положить файлы
.agents/skills/web-to-markdown/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a cursor2Вручную: положить файлы
.cursor/skills/web-to-markdown/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install rookie-ricardo/erduo-skills skills/web-to-markdown2Вручную: положить файлы
.github/skills/web-to-markdown/SKILL.md1Через Skills CLI (Vercel)
npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a gemini-cli2Командой платформы
gemini skills install https://github.com/rookie-ricardo/erduo-skills --path skills/web-to-markdownВручную: положить файлы
.devin/skills/web-to-markdown/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о web-to-markdown
Как установить web-to-markdown в Codex?
Выполните npx skills add rookie-ricardo/erduo-skills --skill web-to-markdown -a codex. Файл скилла появится по пути .agents/skills/web-to-markdown/SKILL.md.
Что делает web-to-markdown?
Он выбирает способ получения страницы по её домену, очищает извлечённое содержимое и возвращает Markdown. Для YouTube используется отдельный маршрут, а для WeChat, Zhihu и Feishu — специальный экстрактор.
Что нужно для запуска скриптов скилла?
Нужен Node.js. В каталоге скилла выполните npm install, затем запустите node scripts/url_to_markdown.mjs <url>.
Исходный текст
SKILL.md · MIT
--- name: web-to-markdown description: "Convert a web URL into cleaned Markdown with deterministic routing. Use when Codex needs to read article-like content from links and should apply source-aware fetch strategies: default to r.jina.ai for general pages (including X/Twitter), use defuddle.md for YouTube links, and use browser-impersonated extraction for WeChat/Zhihu/Feishu pages with Mozilla Readability cleanup." --- # Web To Markdown Convert URLs into usable Markdown by applying domain-aware fetching routes, then return the cleaned content directly. ## Quick Workflow 1. Normalize and validate the input URL. 2. Select route: - `r.jina.ai`: general web + X/Twitter. - `defuddle.md`: YouTube transcript/content extraction. - `special-browser-fetch`: WeChat/Zhihu/Feishu. 3. Return markdown text (or JSON metadata if needed). For generic URLs (non-YouTube, non-WeChat/Zhihu/Feishu), use this fallback chain: - try `r.jina.ai` first, - if it fails, fallback to direct HTTP fetch + Readability, - if direct fetch still fails or returns shell-like content, fallback to browser extraction. ## Commands Run from this skill directory (`skills/web-to-markdown`): ```bash npm install node scripts/url_to_markdown.mjs <url> ``` Return metadata with markdown: ```bash node scripts/url_to_markdown.mjs <url> --json ``` Force special-site browser extraction: ```bash node scripts/fetch_special_sites.mjs <url> --json ``` ## Routing Policy - Default route: `https://r.jina.ai/<url>`. - YouTube (`youtube.com`, `youtu.be`): `https://defuddle.md/<url>`. - X/Twitter (`x.com`, `twitter.com`): `https://r.jina.ai/<url>`. - WeChat/Zhihu/Feishu: run `scripts/fetch_special_sites.mjs`. - If input is already proxy-formatted (`https://defuddle.md/https://...` or `https://r.jina.ai/https://...`), normalize back to the original URL and re-apply routing. ## Special-Site Extraction Behavior Use a two-stage strategy for WeChat/Zhihu/Feishu: 1. Try `cuimp` HTTP/TLS impersonation first, then clean HTML with Mozilla Readability. 2. If stage 1 fails or returns blocked/shell content, fallback to `puppeteer-extra` browser impersonation. - HTTP stage impersonates modern Chrome TLS/HTTP profile via `cuimp`. - Browser stage impersonates a modern Chrome user agent and standard `sec-ch-ua` headers. - Remove known login modals and backdrop overlays (best effort). - Scroll the page to trigger lazy-loaded article blocks. - Parse cleaned document with Mozilla Readability. - Convert extracted HTML body to Markdown via Turndown. - Resolve browser executable from `CHROME_PATH` first, then system Chrome/Chromium/Edge paths. If special-site extraction fails due to anti-bot checks, account-only pages, or network limits, report failure clearly and ask for fallback input (for example raw page text). ## Output Contract For normal usage, output markdown only. When `--json` is used, return: - `source`: backend source (`r.jina.ai`, `defuddle`, `cuimp`, `browser-readability`). - `strategy`: selected route (`r-jina`, `defuddle`, `special-http-fetch`, `special-browser-fetch-fallback`). - `requestedUrl`: original input. - `resolvedUrl`: normalized/final URL. - `markdown`: extracted markdown body. ## Resources - [references/routing-and-notes.md](references/routing-and-notes.md): domain routing rules and operational caveats. - `scripts/url_to_markdown.mjs`: primary entrypoint. - `scripts/fetch_special_sites_http.mjs`: WeChat/Zhihu/Feishu HTTP impersonation fetcher (`cuimp` JS). - `scripts/fetch_special_sites.mjs`: two-stage extractor (HTTP-first, browser-fallback).
© rookie-ricardo · MIT · rookie-ricardo/erduo-skills
Похожие скиллы
Все скиллы по теме «Браузер и парсинг» →Сначала — web-to-markdown от других авторов.