# langsmith-experiment-diagnosis

Скилл langsmith-experiment-diagnosis для Claude Code и Codex разбирает результаты экспериментов в LangSmith через официальную CLI. Находит примеры с низкими оценками эвалюаторов и показывает причины ошибок.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 184 установки · ★ 166 у репозитория
- Автор: langchain-ai
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/langchain-ai/langsmith-skills/tree/HEAD/config/skills/langsmith-experiment-diagnosis/SKILL.md
- Обновлён: 2026-10-21
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/langsmith-experiment-diagnosis

## Что делает

Скилл анализирует прогоны тестов в LangSmith через вызовы консольной утилиты `langsmith`. Он находит эксперимент по имени, ID или ссылке, забирает результаты в формате JSON, фильтрует слабые примеры по критериям эвалюатора и сверяет входные данные с эталонным ответом. Если нужно больше контекста, агент вытягивает полные трейсы через команды `langsmith runs get` или `langsmith traces get`.

Работа строится исключительно в режиме чтения. В отчёт попадают сводная таблица проблемных примеров, разбор ранней точки расхождения логики (сбой инструментов, ошибки ретривала, дефекты промпта) и конкретные предложения по исправлению. Сами файлы, промпты или эвалюаторы скилл самостоятельно не правит.

Для работы обязательно нужна утилита `langsmith` в системе и авторизация через переменную окружения `LANGSMITH_API_KEY` либо сессию `langsmith auth login`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add langchain-ai/langsmith-skills --skill langsmith-experiment-diagnosis -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/langsmith-experiment-diagnosis/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/langsmith-experiment-diagnosis/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add langchain-ai/langsmith-skills --skill langsmith-experiment-diagnosis -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/langsmith-experiment-diagnosis/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add langchain-ai/langsmith-skills --skill langsmith-experiment-diagnosis -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/langsmith-experiment-diagnosis/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install langchain-ai/langsmith-skills config/skills/langsmith-experiment-diagnosis
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/langsmith-experiment-diagnosis/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add langchain-ai/langsmith-skills --skill langsmith-experiment-diagnosis -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/langchain-ai/langsmith-skills --path config/skills/langsmith-experiment-diagnosis
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/langsmith-experiment-diagnosis/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add langchain-ai/langsmith-skills --skill langsmith-experiment-diagnosis -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/langchain-ai/langsmith-skills/tree/HEAD/config/skills/langsmith-experiment-diagnosis/SKILL.md

## Когда брать
- найти примеры с низкими баллами эвалюаторов в эксперименте LangSmith
- разобрать конкретные трейсы и выявить причины сбоя цепочки или модели
- отделить ошибки приложения от некорректных штрафов самого эвалюатора
- составить приоритизированный список правок с критериями проверки

## Примеры запросов агенту
- Разбери эксперимент rag-eval-v2 в датасете customer-qa и покажи, где провалились тесты
- Посмотри эксперимент exp-12345 и найди примеры с низким score по эвалюатору correctness
- Почему в последнем прогоне упало качество ответов? Проверь трейсы сбоев

## Похожие
- [langsmith-trace-analyzer](https://affpapa.org/nevibecode/skills/langsmith-trace-analyzer.md) — скилл · ★ 106 у репозитория
- [langsmith](https://affpapa.org/nevibecode/skills/langsmith.md) — скилл · 328 установок
- [langsmith-fetch](https://affpapa.org/nevibecode/skills/langsmith-fetch.md) — скилл · 1300 установок
- [LangSmith Traced OpenAI Agent](https://affpapa.org/nevibecode/mcp/langsmith-traced-openai-agent.md) — MCP-сервер · 4178 установок
- [langchain-agent-monitoring](https://affpapa.org/nevibecode/skills/langchain-agent-monitoring.md) — скилл · 285 установок
- [exploring-ai-failures](https://affpapa.org/nevibecode/skills/exploring-ai-failures.md) — скилл · 198 установок

Из того же набора: [langchain-ai/langsmith-skills](https://affpapa.org/nevibecode/by/langchain-ai/langsmith-skills.md) — 3 карточки

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
