К основному содержанию
NeVibeCode · репозиторий · 9 карточек

evals-skills: набор от ai-evals-course

Репозиторий ai-evals-course/evals-skills на GitHub: 9 карточек с описанием и командой установки. Подходят для Claude Code, Codex, Cursor — всего 8 платформ.

О репозитории

GitHub
ai-evals-course/evals-skills
Звёзды
★ 1 831
Установок у карточек
9 894
Лицензия
Apache-2.0
Исходник обновлён
2026-10-24
В каталоге с
2026-10-25
write-judge-prompt скилл Скилл write-judge-prompt для Claude Code и Codex. Собирает бинарный оценщик на основе LLM для одного субъективного сбоя: тона, верности ответа, релевантности. Проверяет Pass/Fail по промпту с few-shot примерами и структурированным выводом. CX Codex +1 1 300установок validate-evaluator скилл Скилл validate-evaluator проверяет, совпадает ли вердикт LLM-судьи с оценками эксперта, и считает TPR/TNR на отложенной выборке. CX Codex +1 1 300установок generate-synthetic-data скилл Скилл generate-synthetic-data собирает разнообразные тестовые запросы для оценки LLM-пайплайна, когда реальных данных мало. CX Codex +1 1 200установок eval-audit скилл Скилл eval-audit находит слабые места в пайплайнах оценки LLM: невалидированных судей, шкалы Лайкерта и утечки данных. Пригодится при ревизии готовых эвалов или настройке с нуля. CX Codex +1 1 200установок error-discovery скилл Скилл error-discovery для интерактивного разбора датасета с выводами LLM: строит UI для просмотра, отбирает разные примеры и помогает собрать типы сбоев. CX Codex +1 1 200установок build-review-interface скилл Скилл build-review-interface создаёт браузерный интерфейс для разметки трейсов LLM с сохранением в JSON, CSV или SQLite. Пригодится при сборе человеческой обратной связи и оценке моделей. CX Codex +1 1 100установок evaluate-rag скилл Скилл evaluate-rag помогает раздельно оценить поиск и генерацию в RAG, подобрать метрики и проверить разбиение документов на чанки. CX Codex +1 1 100установок evals-start скилл Скилл evals-start для Claude Code направляет запросы по оценке ИИ-системы в специализированные скиллы. При неясной исходной ситуации определяет, с чего начать и какой сценарий выбрать. CX Codex +1 959установок write-code-eval скилл Скилл write-code-eval для Claude Code помогает написать кодовый оценщик для известного сбоя с проверяемым правилом. Используйте его для анализа трасс, когда результат можно проверить кодом. CX Codex +1 535установок

Ещё в NeVibeCode

Спонсоры проекта

Компании, которые помогают держать аналитику открытой