evaluation-lm-evaluation-harness — скилл для Claude Code

Что делает evaluation-lm-evaluation-harness

Скилл описывает работу с lm-evaluation-harness для проверки языковых моделей на академических бенчмарках. Среди поддерживаемых задач в примерах есть MMLU, GSM8K, HellaSwag, TruthfulQA и HumanEval. Результаты сохраняются в JSON, чтобы их можно было анализировать и сопоставлять между моделями.

В руководстве разобраны настройка модели HuggingFace, запуск нескольких тестов одной командой и обработка собственных чекпойнтов. Для наблюдения за обучением приведены сценарий eval_checkpoint.sh и пример интеграции с PyTorch Lightning. Скрипты также показывают, как собрать результаты нескольких моделей в сравнительную таблицу и построить график обучения.

Для запуска описанных команд потребуется пакет lm-eval, устанавливаемый через pip install lm-eval. Настройки --device cuda:0 и --batch_size относятся к приведённым сценариям, поэтому их нужно соотнести с доступным оборудованием. HumanEval требует выполнения кода, а MMLU в примере периодической оценки не подходит из-за длительного запуска.