build-agent-evals — скилл для Claude Code: eval-тесты агентов
Скилл build-agent-evals для Claude Code собирает eval-наборы для проверки поведения ИИ-агента. Он превращает сбойные сессии и заданные кейсы в тесты, а также сравнивает два запуска.
MIT ★ 149 обновлён 2026-11-16
npx skills add jackulau/coding.sh --skill build-agent-evals -a claude-codeЧто делает build-agent-evals
Скилл использует инструменты eval сервера coding.sh. Он находит подходящие для тестирования неудачные сессии, создаёт наборы проверок для скилла по промптам «должен сработать» и «не должен сработать» или собирает тесты из кейсов. Для одной сессии можно создать отдельную задачу. Нужен MCP-сервер coding.sh.
Перед записью набора скилл запрашивает согласие: файлы появятся в evals/ репозитория или в локальном хранилище coding.sh. Для тестов по сессиям можно задать команду-верификатор, например npm test. Скилл также сравнивает эксперименты, показывает разницу в доле пройденных тестов и отмечает улучшенные и регрессировавшие случаи. Команду запуска тестов он сообщает, но сам её не запускает.
Какие задачи решает
- превратить неудачную сессию агента в тест
- проверить, срабатывает ли скилл на нужные промпты
- создать eval-набор из вручную заданных кейсов
- сравнить результаты двух запусков агента
Примеры запросов агенту
- Собери eval-тесты из неудачных сессий в этом репозитории.
- Проверь, на каких запросах должен срабатывать скилл
my-skill. - Сравни два эксперимента и покажи улучшенные и регрессировавшие случаи.
Как установить build-agent-evals
1Через Skills CLI (Vercel)
npx skills add jackulau/coding.sh --skill build-agent-evals -a claude-code2Вручную: положить файлы
~/.claude/skills/build-agent-evals/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/build-agent-evals/
1Через Skills CLI (Vercel)
npx skills add jackulau/coding.sh --skill build-agent-evals -a codex2Вручную: положить файлы
.agents/skills/build-agent-evals/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add jackulau/coding.sh --skill build-agent-evals -a cursor2Вручную: положить файлы
.cursor/skills/build-agent-evals/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install jackulau/coding.sh packages/coding.sh/skills/build-agent-evals2Вручную: положить файлы
.github/skills/build-agent-evals/SKILL.md1Через Skills CLI (Vercel)
npx skills add jackulau/coding.sh --skill build-agent-evals -a gemini-cli2Командой платформы
gemini skills install https://github.com/jackulau/coding.sh --path packages/coding.sh/skills/build-agent-evalsВручную: положить файлы
.devin/skills/build-agent-evals/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о build-agent-evals
Как установить build-agent-evals в Claude Code?
Выполни npx skills add jackulau/coding.sh --skill build-agent-evals -a claude-code. Файл скилла находится по пути ~/.claude/skills/build-agent-evals/SKILL.md.
Что делает build-agent-evals?
Создаёт eval-наборы из неудачных сессий, промптов для проверки скилла или заданных кейсов. Также сравнивает два эксперимента и показывает разницу в результатах.
Что нужно для работы build-agent-evals?
Нужен MCP-сервер coding.sh. Перед созданием набора скилл запрашивает согласие, а для тестов по сессиям можно передать команду-верификатор.
Исходный текст
SKILL.md · MIT
--- name: build-agent-evals description: "Builds eval suites with coding.sh from failed agent sessions, a skill's trigger prompts or cases you write, and reads paired comparisons of two runs. Use when the user wants an eval or regression test for their agent, wants to turn a failed session into a test, wants to check that a skill loads when it should, or asks which of two prompts, harnesses or models did better." license: MIT --- # Build evals for an agent Uses the coding.sh MCP server's eval tools. `eval_init` writes files under `evals/` in the repo and `eval_from_session` writes to the local coding.sh store. Ask the user before either, then pass `confirm: true`. ## Pick the source | The user wants | Call | |---|---| | Tests from runs that went wrong | `eval_candidates`, then `eval_init` (`source: "sessions"`) | | One session as a task | `eval_from_session` | | To check that a skill loads when it should | `eval_init` (`source: "skill"`) | | Cases for an app or a prompt | `eval_init` (`source: "cases"`) | Every `eval_init` call needs `name` (the suite's folder under `evals/`), `source` and `confirm: true`. ## From failed sessions 1. Call `eval_candidates`. It ranks this repo's recent sessions by how good a task each would make and rejects the ones that cannot be replayed. 2. Show the user the top candidates and the verifier you propose. A verifier is a shell command that exits 0 only when the task is solved, such as `npm test`. 3. After the user agrees, call `eval_init` with `name`, `source: "sessions"`, `sessionIds`, `verifier` and `confirm: true`. ## For a skill 1. Write prompts that should load the skill, 10 or more, and near misses that should not: requests that sound close but belong to another skill or to none. 2. After the user agrees, call `eval_init` with `name`, `source: "skill"`, `skill` (the skill's directory), `should`, `shouldNot` and `confirm: true`. ## From cases 1. Write the cases, each with an `input`. Give `expected` when a case has one exact answer. Otherwise write a `description`: it says what a good answer does and becomes the judge's rubric. 2. Find what answers a case: a `command` (it reads the input as JSON on stdin) or a `url`. 3. After the user agrees, call `eval_init` with `name`, `source: "cases"`, `cases`, the `command` or `url`, the `description` if you wrote one, and `confirm: true`. ## One session as a task After the user agrees, call `eval_from_session` with `sessionId` and `confirm: true`. Pass `verifier` when you know the command that proves the task is solved. ## After it is written - Give the user the `run` command from the result. Do not run it yourself: it starts agent runs that take minutes and can cost money. - When the result has `todo: true` or `notes`, tell the user what is left to fill in. - When the result has `ci`, offer it: it is the workflow that runs the suite on pull requests. ## Compare two runs 1. Call `experiments_list` to find the two experiments. 2. Call `experiment_compare` with `baseline` and `candidate`. 3. Give the verdict with the pass-rate difference and its interval, then the regressed and improved cases. When it reports a power warning, say the result needs more cases or trials. 4. Do not call a difference real when its interval includes zero.
© jackulau · MIT · jackulau/coding.sh