observability-langsmith — скилл для Claude Code
Скилл помогает отлаживать LLM-приложения, отслеживать вызовы и оценивать ответы на тестовых наборах. Нужен для контроля качества AI-функций.
npx claude-code-templates@latest --skill ai-research/observability-langsmithЧто делает observability-langsmith
Скилл описывает работу LangSmith для трассировки LLM-вызовов, оценки ответов и мониторинга приложений. Он помогает собирать входы, выходы и задержки, группировать запуски по проектам, анализировать ошибки, токены и расходы. Отдельно охватывает датасеты, регрессионные проверки и пользовательские оценщики.
Внутри есть примеры для Python-пакета langsmith: декоратор @traceable, обёртка wrap_openai, клиентский API, ручные запуски и контекст трассировки. Показаны интеграции с OpenAI, Anthropic, LangChain и LlamaIndex, а также настройка через LANGSMITH_API_KEY и LANGSMITH_TRACING. Для установки зависимости используется langsmith>=0.2.0.
Без LANGSMITH_API_KEY отправка данных в LangSmith не настроена, поэтому ключ нужно задать до проверки трассировки.
Какие задачи решает
- отлаживать промпты, цепочки и вызовы агентов
- собирать трассы LLM-вызовов с входами и выходами
- сравнивать ответы модели с тестовым датасетом
- отслеживать ошибки, задержки, токены и расходы
- строить регрессионные проверки для AI-функций
Примеры запросов агенту
- Настрой для проекта трассировку LLM-вызовов через LangSmith и объясни, какие переменные окружения задать.
- Создай тестовый датасет для вопросов и оцени ответы модели пользовательским проверяющим правилом.
- Покажи, как обернуть клиент OpenAI через
wrap_openaiи проверить полученные трассы.
Как установить observability-langsmith
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/observability-langsmith2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill observability-langsmith -a claude-code3Вручную: положить файлы
~/.claude/skills/observability-langsmith/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/observability-langsmith/
Вручную: положить файлы
.agents/skills/observability-langsmith/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/observability-langsmith/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates observability-langsmith2Вручную: положить файлы
.github/skills/observability-langsmith/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/observability-langsmithВручную: положить файлы
.devin/skills/observability-langsmith/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о observability-langsmith
Как установить observability-langsmith в Claude Code?
Выполните npx claude-code-templates@latest --skill ai-research/observability-langsmith, затем npx skills add davila7/claude-code-templates --skill observability-langsmith -a claude-code. Файл скилла находится по пути ~/.claude/skills/observability-langsmith/SKILL.md.
Что делает observability-langsmith?
Скилл помогает использовать LangSmith для трассировки LLM-приложений, оценки ответов на датасетах и мониторинга рабочих систем. Он также описывает регрессионные тесты и анализ затрат.
Что нужно для работы с LangSmith через этот скилл?
Нужен Python-пакет langsmith>=0.2.0, переменная LANGSMITH_API_KEY и включённая через LANGSMITH_TRACING трассировка.
