NeVibeCode · репозиторий · 9 карточек
evals-skills: набор от ai-evals-course
Репозиторий ai-evals-course/evals-skills на GitHub: 9 карточек с описанием и командой установки. Подходят для Claude Code, Codex, Cursor — всего 8 платформ.
О репозитории
- GitHub
- ai-evals-course/evals-skills
- Звёзды
- ★ 1 831
- Установок у карточек
- 9 894
- Лицензия
- Apache-2.0
- Исходник обновлён
- 2026-10-24
- В каталоге с
- 2026-10-25
write-judge-prompt скилл Скилл write-judge-prompt для Claude Code и Codex. Собирает бинарный оценщик на основе LLM для одного субъективного сбоя: тона, верности ответа, релевантности. Проверяет Pass/Fail по промпту с few-shot примерами и структурированным выводом.
CX Codex +1
1 300установок
validate-evaluator скилл Скилл validate-evaluator проверяет, совпадает ли вердикт LLM-судьи с оценками эксперта, и считает TPR/TNR на отложенной выборке.
CX Codex +1
1 300установок
generate-synthetic-data скилл Скилл generate-synthetic-data собирает разнообразные тестовые запросы для оценки LLM-пайплайна, когда реальных данных мало.
CX Codex +1
1 200установок
eval-audit скилл Скилл eval-audit находит слабые места в пайплайнах оценки LLM: невалидированных судей, шкалы Лайкерта и утечки данных. Пригодится при ревизии готовых эвалов или настройке с нуля.
CX Codex +1
1 200установок
error-discovery скилл Скилл error-discovery для интерактивного разбора датасета с выводами LLM: строит UI для просмотра, отбирает разные примеры и помогает собрать типы сбоев.
CX Codex +1
1 200установок
build-review-interface скилл Скилл build-review-interface создаёт браузерный интерфейс для разметки трейсов LLM с сохранением в JSON, CSV или SQLite. Пригодится при сборе человеческой обратной связи и оценке моделей.
CX Codex +1
1 100установок
evaluate-rag скилл Скилл evaluate-rag помогает раздельно оценить поиск и генерацию в RAG, подобрать метрики и проверить разбиение документов на чанки.
CX Codex +1
1 100установок
evals-start скилл Скилл evals-start для Claude Code направляет запросы по оценке ИИ-системы в специализированные скиллы. При неясной исходной ситуации определяет, с чего начать и какой сценарий выбрать.
CX Codex +1
959установок
write-code-eval скилл Скилл write-code-eval для Claude Code помогает написать кодовый оценщик для известного сбоя с проверяемым правилом. Используйте его для анализа трасс, когда результат можно проверить кодом.
CX Codex +1
535установок