web-content-fetcher — скилл для Claude Code: вытащить статью из URL
Достаёт основной текст страницы по ссылке и отдаёт его чистым Markdown — с заголовками, ссылками, картинками, списками и блоками кода. Пригодится, когда нужно прочитать статью, документацию или пост из «Вейсинь» прямо в чате.
npx skills add shirenchuang/web-content-fetcher --skill web-content-fetcher -a claude-codeЧто делает web-content-fetcher
Скилл берёт URL и возвращает Markdown. Основной способ — скрипт fetch.py на Scrapling: по умолчанию быстрый HTTP-запрос, а если контента пришло мало, скрипт сам переключается на stealth-режим с headless-браузером. Есть таблица доменов, по которой видно, где сразу нужен --stealth: mp.weixin.qq.com, zhuanlan.zhihu.com, juejin.cn. Для остальных сайтов хватает обычного вызова.
Запасной вариант — Jina Reader через web_fetch("https://r.jina.ai/<url>"). Он быстрый, но на WeChat отдаёт 403, поэтому для китайских платформ остаётся только Scrapling. Лимит бесплатного тарифа — 200 запросов в день.
Перед первым запуском нужны зависимости: pip install scrapling html2text. На системном Python в macOS или Linux добавьте --break-system-packages либо ставьте в venv. Скрипт сам проверяет, чего не хватает, и скажет об этом. Если один и тот же URL не поддался с первого раза, скилл не повторяет попытку — так задумано, чтобы не жечь контекст.
Какие задачи решает
- вытащить текст статьи по ссылке в Markdown
- прочитать пост из «Вейсинь» или «Чжиху», которые не отдают контент обычным запросом
- сохранить заголовки, ссылки и блоки кода при извлечении страницы
- ограничить вывод по длине, чтобы не забивать контекст
- получить метаданные страницы в JSON вместе с текстом
Примеры запросов агенту
- Прочитай эту статью и перескажи главное:
https://sspai.com/post/73145 - Вытащи текст из
https://mp.weixin.qq.com/s/xxxи сохрани как Markdown - Забери содержимое этой страницы документации, но не больше 15000 символов
Как установить web-content-fetcher
1Через Skills CLI (Vercel)
npx skills add shirenchuang/web-content-fetcher --skill web-content-fetcher -a claude-code2Вручную: положить файлы
~/.claude/skills/web-content-fetcher/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/web-content-fetcher/
1Через Skills CLI (Vercel)
npx skills add shirenchuang/web-content-fetcher --skill web-content-fetcher -a codex2Вручную: положить файлы
.agents/skills/web-content-fetcher/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add shirenchuang/web-content-fetcher --skill web-content-fetcher -a cursor2Вручную: положить файлы
.cursor/skills/web-content-fetcher/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install shirenchuang/web-content-fetcher web-content-fetcher2Вручную: положить файлы
.github/skills/web-content-fetcher/SKILL.md1Через Skills CLI (Vercel)
npx skills add shirenchuang/web-content-fetcher --skill web-content-fetcher -a gemini-cli2Командой платформы
gemini skills install https://github.com/shirenchuang/web-content-fetcherВручную: положить файлы
.devin/skills/web-content-fetcher/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add shirenchuang/web-content-fetcher --skill web-content-fetcher -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Похожие
Рядом в теме «Браузер и парсинг»
Все скиллы по теме «Браузер и парсинг» →Вопросы о web-content-fetcher
Как установить web-content-fetcher в Claude Code?
Выполните npx skills add shirenchuang/web-content-fetcher --skill web-content-fetcher -a claude-code. После этого файл скилла появится по пути ~/.claude/skills/web-content-fetcher/SKILL.md.
Что делает web-content-fetcher?
По URL возвращает основной текст страницы в виде чистого Markdown, сохраняя заголовки, ссылки, изображения, списки и блоки кода.
Что нужно поставить для работы скилла?
Зависимости scrapling и html2text через pip install scrapling html2text. На системном Python в macOS или Linux понадобится --break-system-packages или venv.
