Machine Learning Experiment taste — промпт для ChatGPT
Промпт Machine Learning Experiment taste для ChatGPT задаёт практики подготовки и оценки ML-экспериментов. Он помогает спланировать проверку данных, выбрать baseline и сохранить результаты воспроизводимыми.
CC0-1.0 ★ 178 201 обновлён 2026-10-24
Открыть на GitHubЧто делает Machine Learning Experiment taste
Промпт задаёт рабочие правила для ML-эксперимента: сначала определить метрику и простой baseline, затем разделить данные так, чтобы избежать утечки, и оставить тестовый набор для финальной оценки. Для подбора параметров он предлагает отдельную валидацию и фиксированный бюджет вычислений.
В правилах есть учёт запусков через MLflow или Weights & Biases, версии конфигураций и датасетов, случайных seed и зависимостей. Для табличных данных предлагаются градиентный бустинг, для обучения — PyTorch с простой петлёй или Lightning. Результаты нужно проверять по срезам, а ошибки меток — просматривать вручную.
Промпт также охватывает тесты преобразований признаков и загрузчиков, проверку схемы данных и сравнение новой модели с production-моделью. Для запуска в Claude Code путь указан как .claude/commands/prompts.csv.md.
Какие задачи решает
- выбрать метрику и baseline до обучения модели
- разделить данные с учётом риска утечки
- сопоставить качество модели по отдельным срезам
- зафиксировать конфигурацию и версии данных для повторного запуска
- проверить новую модель перед выпуском в production
Примеры запросов агенту
- Составь план ML-эксперимента для табличных данных и включи простой baseline.
- Помоги разделить датасет по времени, чтобы снизить риск утечки.
- Составь список проверок для оценки новой модели перед сравнением с production-моделью.
Как установить Machine Learning Experiment taste
Как использовать
Вставьте текст в начало диалога или в инструкции проекта
Вручную: положить файлы
.claude/commands/prompts.csv.mdВопросы о Machine Learning Experiment taste
Как установить Machine Learning Experiment taste в Claude Code?
Сохрани промпт в файл .claude/commands/prompts.csv.md.
Что делает Machine Learning Experiment taste?
Он задаёт правила для подготовки ML-экспериментов: выбор метрики и baseline, разделение данных, учёт запусков и проверку моделей.
Какие инструменты для трекинга экспериментов предлагает промпт?
В нём названы MLflow и Weights & Biases. Для конфигураций указаны Hydra или Pydantic.
Исходный текст
prompts.csv · CC0-1.0
# Machine Learning Experiment taste of an applied ML engineer - Write the evaluation metric and a dumb baseline before training any real model. Confidence: 0.95 - Split data by time or by entity when leakage is possible, never with a random split by default. Confidence: 0.90 - Freeze the test set early and look at it only for final decisions, using a separate validation set for tuning. Confidence: 0.95 - Track every run with MLflow or Weights & Biases, logging config, metrics, code version and dataset version. Confidence: 0.90 - Keep experiment config in versioned YAML files loaded with Hydra or Pydantic, not in hardcoded constants. Confidence: 0.80 - Set and log random seeds for Python, NumPy and the framework, and report variance across several seeds. Confidence: 0.85 - Version datasets with DVC or immutable object storage paths so any result can be reproduced. Confidence: 0.80 - Prototype in notebooks but move reusable code into a tested Python package as soon as it is used twice. Confidence: 0.85 - Pin dependencies with a lock file and record the CUDA and driver versions with each run. Confidence: 0.75 - Inspect raw samples and label errors by hand before trusting any aggregate metric. Confidence: 0.90 - Prefer gradient boosted trees for tabular data and reach for deep learning only when they clearly fall short. Confidence: 0.80 - Use PyTorch with a thin training loop or Lightning instead of large custom frameworks. Confidence: 0.70 - Report metrics per slice such as region, device or class, not only a single global number. Confidence: 0.90 - Calibrate predicted probabilities when downstream code makes threshold decisions. Confidence: 0.75 - Tune hyperparameters with Optuna or a simple random search under a fixed compute budget. Confidence: 0.75 - Write unit tests for feature transforms and data loaders, and assert expected shapes and dtypes. Confidence: 0.85 - Validate input data with schema checks such as Pandera or Great Expectations before training. Confidence: 0.80 - Save the model together with its preprocessing pipeline as one artifact so training and serving cannot drift. Confidence: 0.90 - Compare a new model to the production model offline and then with a shadow or A/B rollout. Confidence: 0.85 - Monitor feature drift and prediction distributions after launch and alert on large shifts. Confidence: 0.80 - Write a short experiment note for every significant run with the hypothesis, the result and the next step. Confidence: 0.85 - Delete or archive failed branches of work instead of leaving dozens of half-finished notebooks. Confidence: 0.65
© f · CC0-1.0 · f/prompts.chat