plugin-eval · wshobson — плагин для Claude Code: проверка плагинов и установка
Проверяет структуру плагинов и скиллов, а экспериментальные режимы оценивают их с помощью модели. Пригодится для линтинга и сравнения скиллов.
/plugin marketplace add wshobson/agents
/plugin install plugin-eval@claude-code-workflowsЧто делает plugin-eval
Статический анализ проверяет структуру и отмечает анти-паттерны без вызовов модели. Только этот слой влияет на оценки плагинов и бейджи, включая результаты еженедельного CI-отчёта. Команда plugin-eval compare сравнивает два скилла.
Для расширенной оценки есть экспериментальный LLM-судья: он делает четыре вызова модели и возвращает четыре общие оценки от 0 до 1. Экспериментальный Monte Carlo отправляет модели от 50 до 100 промптов и считает ответы, их длину, ошибки и токены. Эти два слоя не проверялись на человеческих оценках; для них нужна установка uv sync --extra llm. Статический анализ запускается без вызовов модели.
Команды score и certify оценивают скилл, а certify присваивает бейдж на глубоком уровне. Для работы из Claude Code доступны /eval, /certify и /compare; перед запуском CLI проект нужно подготовить командами cd plugins/plugin-eval и uv sync. Без дополнительной установки LLM-зависимостей расширенные слои не запустятся.
Какие задачи решает
- проверить структуру плагина или скилла
- найти анти-паттерны без вызова модели
- сравнить два скилла
- оценить ответы модели на набор промптов
- присвоить скиллу бейдж по глубокой оценке
Примеры запросов агенту
- Проверь структуру скилла в
path/to/skillкомандой/eval. - Сравни два скилла и покажи различия в оценке через
/compare. - Оцени скилл на глубоком уровне и присвой ему бейдж командой
/certify.
Как установить plugin-eval
Через маркетплейс плагинов
/plugin marketplace add wshobson/agents/plugin install plugin-eval@claude-code-workflowsПо шагам, с командами для каждой платформы: Плагины Claude Code: маркетплейсы, установка и как собрать свой
Вопросы о plugin-eval
Как установить plugin-eval в Claude Code?
Выполните команды по порядку: /plugin marketplace add wshobson/agents, затем /plugin install plugin-eval@claude-code-workflows. Для подготовки CLI перейдите в plugins/plugin-eval и выполните uv sync.
Что делает plugin-eval?
Он проверяет структуру плагинов и скиллов, отмечает анти-паттерны и может сравнивать скиллы. Экспериментальные режимы дополнительно оценивают ответы модели.
Нужны ли вызовы модели для линтинга?
Нет. Статический анализ работает без модели. LLM-судья и Monte Carlo экспериментальны и требуют uv sync --extra llm.
Исходный текст
plugin-eval · MIT
# plugin-eval plugin-eval scores Claude Code plugins and skills in up to three layers. The static layer is a lint. It's fast and deterministic, and it's useful for checking structure. The LLM judge and Monte Carlo layers are experimental, not validated against human labels. For the trace-based eval program, see `evals/README.md` at the repository root. ## Quick start ```bash cd plugins/plugin-eval uv sync # Static lint of a skill, with no model calls uv run plugin-eval score path/to/skill --depth quick # Static and LLM judge layers, experimental, needs `uv sync --extra llm` uv run plugin-eval score path/to/skill --depth standard # All three layers at deep depth (experimental) uv run plugin-eval certify path/to/skill ``` ## Layers 1. Static analysis runs structural checks and flags anti-patterns without calling a model. Plugin-level scores and badges, including the ones in the weekly CI report, come from this layer alone. 2. The LLM judge (experimental) makes four model calls and returns four holistic scores from 0 to 1. 3. Monte Carlo (experimental) sends 50 to 100 prompts to the model and records how often it replies, how long the replies are, how often it errors, and how many tokens it uses. ## Commands | CLI | Claude Code | Description | | --------------------- | ----------- | -------------------------------------------------- | | `plugin-eval score` | `/eval` | Score a plugin or skill | | `plugin-eval certify` | `/certify` | Score at deep depth and assign a badge | | `plugin-eval compare` | `/compare` | Compare two skills | | `plugin-eval init` | none | Write a corpus index, which no other command reads | ## Documentation See [docs/plugin-eval.md](../../docs/plugin-eval.md) for the full reference, which covers the layers, dimensions, scoring formula, anti-patterns, and project structure.
© Seth Hobson · MIT · wshobson/agents
Похожие плагины
Все плагины по теме «Тесты и QA» →Сначала — plugin-eval от других авторов.
