# evaluation

Субагент evaluation помогает настроить оценку агентов и сценариев Agent Framework через локальные проверки, собственные функции и Microsoft Foundry.

- субагент · `type=agent` · Claude Code, Cursor, Codex · ★ 521 у репозитория
- Автор: bentho
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/managedcode/dotnet-skills/tree/HEAD/catalog/Frameworks/Microsoft-Agent-Framework/skills/microsoft-agent-framework/references/official-docs/agents/evaluation.md
- Обновлён: 2026-10-29
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/agents/evaluation

## Что делает

Субагент ориентирован на оценку качества, безопасности и корректности агентов в Agent Framework. В основе лежат три ключевых типа: `EvalItem` для хранения диалога, `Evaluator` для выставления оценок и `EvalResults` для агрегированных итогов прогона.

Инструмент поддерживает работу в двух средах: .NET на базе пространства имён `Microsoft.Agents.AI` и Python через пакет `agent_framework`. Для быстрых тестов в CI и локальной разработки используется `LocalEvaluator` со встроенными проверками ключевых слов и факта вызова инструментов вроде `tool_called_check`.

Для Go пакет оценки в документации не предусмотрен, поэтому проверки на этом языке запустить не получится.

## Установка

### Claude Code (родная платформа)

**Вручную: положить файлы**
- Файл: `.claude/agents/evaluation.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/evaluation.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/evaluation.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/managedcode/dotnet-skills/tree/HEAD/catalog/Frameworks/Microsoft-Agent-Framework/skills/microsoft-agent-framework/references/official-docs/agents/evaluation.md

## Когда брать
- проверить ответы агента на наличие обязательных ключевых слов
- проконтролировать факт и аргументы вызова инструментов агентом
- создать кастомный оценщик через `FunctionEvaluator.Create` или `@evaluator`
- подготовить локальные смоук-тесты диалогов для CI без сетевых запросов

## Примеры запросов агенту
- Настрой LocalEvaluator для проверки вызова инструмента get_weather на C#
- Покажи, как написать кастомный @evaluator для проверки длины ответа в Python
- Помоги настроить проверку диалогов с ожидаемыми результатами через EvalItem

## Похожие
- [run-tests](https://affpapa.org/nevibecode/skills/run-tests.md) — скилл · 7000 установок
- [find-untested-sources](https://affpapa.org/nevibecode/skills/find-untested-sources.md) — скилл · 4200 установок
- [dotnet-xunit](https://affpapa.org/nevibecode/skills/dotnet-xunit.md) — скилл · 624 установки
- [Fuse](https://affpapa.org/nevibecode/mcp/fuse.md) — MCP-сервер · ★ 37 у репозитория
- [build-fix](https://affpapa.org/nevibecode/skills/build-fix.md) — скилл · 4000 установок
- [dotnet-slopwatch](https://affpapa.org/nevibecode/skills/dotnet-slopwatch.md) — скилл · 593 установки

Из того же набора: [managedcode/dotnet-skills](https://affpapa.org/nevibecode/by/managedcode/dotnet-skills.md) — 38 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
