evalview-mcp — MCP-сервер для Claude Code: тесты агентов
Сравнивает поведение ИИ-агента с сохранённым эталоном и помогает находить регрессии после изменений. Пригодится, чтобы проверять вызовы инструментов и ответы агента.
claude mcp add evalview-mcp -e OPENAI_API_KEY=<OPENAI_API_KEY> -- uvx evalviewЧто делает evalview-mcp
EvalView сохраняет текущую работу агента как эталон, а затем сравнивает с ним новые результаты. Проверка учитывает инструменты, их параметры и порядок вызовов, а не только итоговый текст. Так можно заметить, что после правки промпта агент стал пропускать шаг или обращаться не к тому инструменту.
Сравнение последовательности вызовов работает локально и не требует API-ключа. Для оценки качества ответа можно добавить LLM-судью; выполнение самого агента при этом может тарифицироваться провайдером. Для настройки сервера через Claude Code в команде установки задаётся OPENAI_API_KEY, поэтому заранее подготовьте этот ключ.
Какие задачи решает
- сравнить работу агента с сохранённым эталоном
- найти изменение порядка вызовов инструментов
- заметить падение качества ответа после правки
- проверить агента перед слиянием изменений
Примеры запросов агенту
- Сравни поведение моего агента с сохранённым эталоном через
evalview-mcp. - Проверь, изменились ли инструменты или порядок их вызовов у агента.
- Оцени, не просело ли качество ответов агента после последнего изменения.
Как установить evalview-mcp
Командой платформы
claude mcp add evalview-mcp -e OPENAI_API_KEY=<OPENAI_API_KEY> -- uvx evalviewВместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from evalview <команда>
Командой платформы
codex mcp add evalview-mcp --env OPENAI_API_KEY=<OPENAI_API_KEY> -- uvx evalviewВместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from evalview <команда>
Файл настроек
{
"mcpServers": {
"evalview-mcp": {
"command": "uvx",
"args": [
"evalview"
],
"env": {
"OPENAI_API_KEY": "<OPENAI_API_KEY>"
}
}
}
}Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from evalview <команда>
Файл настроек
{
"servers": {
"evalview-mcp": {
"type": "stdio",
"command": "uvx",
"args": [
"evalview"
],
"env": {
"OPENAI_API_KEY": "<OPENAI_API_KEY>"
}
}
}
}Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from evalview <команда>
Командой платформы
gemini mcp add -e OPENAI_API_KEY=<OPENAI_API_KEY> evalview-mcp uvx evalviewВместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from evalview <команда>
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о evalview-mcp
Как установить evalview-mcp в Claude Code?
Выполните claude mcp add evalview-mcp -e OPENAI_API_KEY=<OPENAI_API_KEY> -- uvx evalview. Подставьте свой ключ вместо <OPENAI_API_KEY>.
Что делает evalview-mcp?
Помогает сохранять поведение агента как эталон и сравнивать с ним последующие запуски, чтобы находить изменения в вызовах инструментов и качестве ответов.
Нужен ли API-ключ для проверки?
Сравнение вызовов инструментов и их последовательности работает без API-ключа. Для оценки качества ответа с помощью LLM-судьи ключ нужен; запуск самого агента также может повлечь расходы у провайдера.
