experiment-code — скилл для Claude Code: код ML-экспериментов

Что делает experiment-code

Скилл работает в четырёх режимах. generate сначала планирует все прогоны — свипы гиперпараметров, абляции, бейзлайны, — а потом пишет самодостаточный код в каталоге проекта, без импортов из чужих репозиториев. improve читает текущий код и результаты, правит точечно и оставляет вариант с лучшим счётом. debug разбирает сообщение об ошибке и делает минимальную правку, до 4 попыток, прежде чем менять подход. plot собирает данные из run_*/final_info.json и строит графики для публикации.

Структура проекта задана жёстко: experiment.py, plot.py, notes.txt и каталоги run_1, run_2 с final_info.json внутри. Каждый прогон запускается как python experiment.py --out_dir=run_i. Заглушек вроде pass или raise NotImplementedError быть не должно, данные нужны настоящие, а не игрушечные. Из фреймворков скилл предпочитает PyTorch или scikit-learn.

Есть правила, на которых скилл спотыкается чаще всего. Метод не должен получить 0% точности — расчёт accuracy проверяется отдельно, потому что нулевой результат обычно означает ошибку в коде, а не провал идеи. Семена нужны для воспроизводимости. Перед каждым экспериментом в код добавляется print с объяснением, что именно должны показать результаты. Если работаете с длинными логами, учтите: сообщение об ошибке обрезается до последних 1500 символов.