# inngest-agent-evals

Скилл помогает внедрять оценку результатов ИИ-агентов, настраивать прямое и отложенное скорирование, группировать сессии и запускать эксперименты в Inngest.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 556 установок · ★ 29
- Автор: inngest
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/inngest/inngest-skills/tree/HEAD/skills/inngest-agent-evals/SKILL.md
- Обновлён: 2026-09-28
- HTML: https://affpapa.org/nevibecode/skills/inngest-agent-evals

## Что делает

Скилл содержит инструкции и примеры для оценки работы ИИ-агентов в Inngest через durable-шаги. Он объясняет, как зафиксировать метрики прямо во время выполнения функции с помощью `step.score()` и как организовать отложенный скоринг через `createScorer()` и `defer()`, если отзыв пользователя или вердикт судьи приходит позже.

Внутри разобрана разметка сессий через `meta.sessions` для сквозного отслеживания диалогов или тикетов, а также сплит-тесты промптов и моделей с помощью `group.experiment()`. Для работы скоринга требуется TypeScript SDK версии v4 и подключение `scoreMiddleware()` из пакета `inngest/experimental`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add inngest/inngest-skills --skill inngest-agent-evals -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/inngest-agent-evals/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/inngest-agent-evals/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add inngest/inngest-skills --skill inngest-agent-evals -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/inngest-agent-evals/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add inngest/inngest-skills --skill inngest-agent-evals -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/inngest-agent-evals/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install inngest/inngest-skills inngest-agent-evals
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/inngest-agent-evals/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add inngest/inngest-skills --skill inngest-agent-evals -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/inngest/inngest-skills --path skills/inngest-agent-evals
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/inngest-agent-evals/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add inngest/inngest-skills --skill inngest-agent-evals -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/inngest/inngest-skills/tree/HEAD/skills/inngest-agent-evals/SKILL.md

## Когда брать
- внедрить прямое скорирование ответов агента через `step.score()`
- настроить отложенный сбор пользовательского фидбека с `createScorer()` и `defer()`
- объединить запуски функций в сквозные сессии по `ticket_id` или `conversation_id`
- настроить сравнительные эксперименты промптов и моделей через `group.experiment()`

## Примеры запросов агенту
- Помоги добавить скоринг качества ответа в функцию Inngest с помощью `step.score()`
- Настрой отложенный сбор фидбека через `createScorer` и свяжи его с запуском тикета
- Как сгруппировать шаги агента в сессии по `ticket_id` для отслеживания в Insights?

## Похожие
- [adk-evals](https://affpapa.org/nevibecode/skills/adk-evals.md) — скилл · 1600 установок
- [aiconfig-online-evals](https://affpapa.org/nevibecode/skills/aiconfig-online-evals.md) — скилл · 2700 установок
- [online-evals](https://affpapa.org/nevibecode/skills/online-evals.md) — скилл · 1800 установок
- [evals-start](https://affpapa.org/nevibecode/skills/evals-start.md) — скилл · 776 установок
- [agent-evals](https://affpapa.org/nevibecode/skills/agent-evals.md) — скилл · 340 установок
- [logfire-evals](https://affpapa.org/nevibecode/skills/logfire-evals.md) — скилл · 554 установки

Из того же набора: [inngest/inngest-skills](https://affpapa.org/nevibecode/by/inngest/inngest-skills.md) — 14 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md