К основному содержанию
скилл CX Codex

build-agent-evals — скилл для Claude Code: eval-тесты агентов

Скилл build-agent-evals для Claude Code собирает eval-наборы для проверки поведения ИИ-агента. Он превращает сбойные сессии и заданные кейсы в тесты, а также сравнивает два запуска.

MIT ★ 149 обновлён 2026-11-16

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add jackulau/coding.sh --skill build-agent-evals -a claude-code
Открыть на GitHub

Что делает build-agent-evals

Скилл использует инструменты eval сервера coding.sh. Он находит подходящие для тестирования неудачные сессии, создаёт наборы проверок для скилла по промптам «должен сработать» и «не должен сработать» или собирает тесты из кейсов. Для одной сессии можно создать отдельную задачу. Нужен MCP-сервер coding.sh.

Перед записью набора скилл запрашивает согласие: файлы появятся в evals/ репозитория или в локальном хранилище coding.sh. Для тестов по сессиям можно задать команду-верификатор, например npm test. Скилл также сравнивает эксперименты, показывает разницу в доле пройденных тестов и отмечает улучшенные и регрессировавшие случаи. Команду запуска тестов он сообщает, но сам её не запускает.

Какие задачи решает

  • превратить неудачную сессию агента в тест
  • проверить, срабатывает ли скилл на нужные промпты
  • создать eval-набор из вручную заданных кейсов
  • сравнить результаты двух запусков агента

Примеры запросов агенту

  • Собери eval-тесты из неудачных сессий в этом репозитории.
  • Проверь, на каких запросах должен срабатывать скилл my-skill.
  • Сравни два эксперимента и покажи улучшенные и регрессировавшие случаи.

Как установить build-agent-evals

1Через Skills CLI (Vercel)

npx skills add jackulau/coding.sh --skill build-agent-evals -a claude-code

2Вручную: положить файлы

~/.claude/skills/build-agent-evals/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/build-agent-evals/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о build-agent-evals

Как установить build-agent-evals в Claude Code?

Выполни npx skills add jackulau/coding.sh --skill build-agent-evals -a claude-code. Файл скилла находится по пути ~/.claude/skills/build-agent-evals/SKILL.md.

Что делает build-agent-evals?

Создаёт eval-наборы из неудачных сессий, промптов для проверки скилла или заданных кейсов. Также сравнивает два эксперимента и показывает разницу в результатах.

Что нужно для работы build-agent-evals?

Нужен MCP-сервер coding.sh. Перед созданием набора скилл запрашивает согласие, а для тестов по сессиям можно передать команду-верификатор.

Исходный текст

SKILL.md · MIT
---
name: build-agent-evals
description: "Builds eval suites with coding.sh from failed agent sessions, a skill's trigger prompts or cases you write, and reads paired comparisons of two runs. Use when the user wants an eval or regression test for their agent, wants to turn a failed session into a test, wants to check that a skill loads when it should, or asks which of two prompts, harnesses or models did better."
license: MIT
---

# Build evals for an agent

Uses the coding.sh MCP server's eval tools. `eval_init` writes files under `evals/` in the repo and
`eval_from_session` writes to the local coding.sh store. Ask the user before either, then pass
`confirm: true`.

## Pick the source

| The user wants | Call |
|---|---|
| Tests from runs that went wrong | `eval_candidates`, then `eval_init` (`source: "sessions"`) |
| One session as a task | `eval_from_session` |
| To check that a skill loads when it should | `eval_init` (`source: "skill"`) |
| Cases for an app or a prompt | `eval_init` (`source: "cases"`) |

Every `eval_init` call needs `name` (the suite's folder under `evals/`), `source` and
`confirm: true`.

## From failed sessions

1. Call `eval_candidates`. It ranks this repo's recent sessions by how good a task each would make
   and rejects the ones that cannot be replayed.
2. Show the user the top candidates and the verifier you propose. A verifier is a shell command
   that exits 0 only when the task is solved, such as `npm test`.
3. After the user agrees, call `eval_init` with `name`, `source: "sessions"`, `sessionIds`,
   `verifier` and `confirm: true`.

## For a skill

1. Write prompts that should load the skill, 10 or more, and near misses that should not: requests
   that sound close but belong to another skill or to none.
2. After the user agrees, call `eval_init` with `name`, `source: "skill"`, `skill` (the skill's
   directory), `should`, `shouldNot` and `confirm: true`.

## From cases

1. Write the cases, each with an `input`. Give `expected` when a case has one exact answer.
   Otherwise write a `description`: it says what a good answer does and becomes the judge's rubric.
2. Find what answers a case: a `command` (it reads the input as JSON on stdin) or a `url`.
3. After the user agrees, call `eval_init` with `name`, `source: "cases"`, `cases`, the `command`
   or `url`, the `description` if you wrote one, and `confirm: true`.

## One session as a task

After the user agrees, call `eval_from_session` with `sessionId` and `confirm: true`. Pass
`verifier` when you know the command that proves the task is solved.

## After it is written

- Give the user the `run` command from the result. Do not run it yourself: it starts agent runs
  that take minutes and can cost money.
- When the result has `todo: true` or `notes`, tell the user what is left to fill in.
- When the result has `ci`, offer it: it is the workflow that runs the suite on pull requests.

## Compare two runs

1. Call `experiments_list` to find the two experiments.
2. Call `experiment_compare` with `baseline` and `candidate`.
3. Give the verdict with the pass-rate difference and its interval, then the regressed and
   improved cases. When it reports a power warning, say the result needs more cases or trials.
4. Do not call a difference real when its interval includes zero.

© jackulau · MIT · jackulau/coding.sh

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
agent-regression-evals Alireza Rezvani Плагин agent-regression-evals для Claude Code сравнивает прогоны агента до и после правки и решает, можно ли мержить. Повторные прогоны помогают отличить регрессию от случайности. ★ 30 251звёзд репо adk-evals botpress Скилл adk-evals для Claude Code — справочник по написанию и запуску диалоговых тестов для агентов Botpress ADK. Проверяет ответы бота, вызовы инструментов и состояние без моков. CX Codex +1 1 700установок inngest-agent-evals inngest Скилл inngest-agent-evals помогает внедрять оценку результатов ИИ-агентов, настраивать прямое и отложенное скорирование, группировать сессии и запускать эксперименты в Inngest. CX Codex +1 635установок promptfoo-evals promptfoo Плагин promptfoo-evals обучает Claude Code создавать и вести наборы тестов promptfoo для LLM. Помогает настроить проверки галлюцинаций, валидацию JSON и запуск проверок в CI. ★ 27 524звёзд репо build JuliusBrussee Скилл build выполняет задачи из SPEC.md по схеме «план, реализация, проверка». Подходит для работы с конкретной задачей §T или очередью незавершённых задач. CX Codex +1 2 700установок build-loop-claude-code BuilderOS Скилл build-loop-claude-code гоняет каждую задачу по кругу: собрать, проверить ревью, протестировать вживую, починить. Пока в плане остаются незакрытые пункты, цикл не останавливается. CX Codex +1 1 700установок

Из того же набора4

Спонсоры проекта

Компании, которые помогают держать аналитику открытой