К основному содержанию
промпт GP ChatGPT

Machine Learning Experiment taste — промпт для ChatGPT

Промпт Machine Learning Experiment taste для ChatGPT задаёт практики подготовки и оценки ML-экспериментов. Он помогает спланировать проверку данных, выбрать baseline и сохранить результаты воспроизводимыми.

CC0-1.0 ★ 178 201 обновлён 2026-10-24

Открыть на GitHub

Что делает Machine Learning Experiment taste

Промпт задаёт рабочие правила для ML-эксперимента: сначала определить метрику и простой baseline, затем разделить данные так, чтобы избежать утечки, и оставить тестовый набор для финальной оценки. Для подбора параметров он предлагает отдельную валидацию и фиксированный бюджет вычислений.

В правилах есть учёт запусков через MLflow или Weights & Biases, версии конфигураций и датасетов, случайных seed и зависимостей. Для табличных данных предлагаются градиентный бустинг, для обучения — PyTorch с простой петлёй или Lightning. Результаты нужно проверять по срезам, а ошибки меток — просматривать вручную.

Промпт также охватывает тесты преобразований признаков и загрузчиков, проверку схемы данных и сравнение новой модели с production-моделью. Для запуска в Claude Code путь указан как .claude/commands/prompts.csv.md.

Какие задачи решает

  • выбрать метрику и baseline до обучения модели
  • разделить данные с учётом риска утечки
  • сопоставить качество модели по отдельным срезам
  • зафиксировать конфигурацию и версии данных для повторного запуска
  • проверить новую модель перед выпуском в production

Примеры запросов агенту

  • Составь план ML-эксперимента для табличных данных и включи простой baseline.
  • Помоги разделить датасет по времени, чтобы снизить риск утечки.
  • Составь список проверок для оценки новой модели перед сравнением с production-моделью.

Как установить Machine Learning Experiment taste

Как использовать

Вставьте текст в начало диалога или в инструкции проекта

Вопросы о Machine Learning Experiment taste

Как установить Machine Learning Experiment taste в Claude Code?

Сохрани промпт в файл .claude/commands/prompts.csv.md.

Что делает Machine Learning Experiment taste?

Он задаёт правила для подготовки ML-экспериментов: выбор метрики и baseline, разделение данных, учёт запусков и проверку моделей.

Какие инструменты для трекинга экспериментов предлагает промпт?

В нём названы MLflow и Weights & Biases. Для конфигураций указаны Hydra или Pydantic.

Исходный текст

prompts.csv · CC0-1.0
# Machine Learning Experiment taste of an applied ML engineer
- Write the evaluation metric and a dumb baseline before training any real model. Confidence: 0.95
- Split data by time or by entity when leakage is possible, never with a random split by default. Confidence: 0.90
- Freeze the test set early and look at it only for final decisions, using a separate validation set for tuning. Confidence: 0.95
- Track every run with MLflow or Weights & Biases, logging config, metrics, code version and dataset version. Confidence: 0.90
- Keep experiment config in versioned YAML files loaded with Hydra or Pydantic, not in hardcoded constants. Confidence: 0.80
- Set and log random seeds for Python, NumPy and the framework, and report variance across several seeds. Confidence: 0.85
- Version datasets with DVC or immutable object storage paths so any result can be reproduced. Confidence: 0.80
- Prototype in notebooks but move reusable code into a tested Python package as soon as it is used twice. Confidence: 0.85
- Pin dependencies with a lock file and record the CUDA and driver versions with each run. Confidence: 0.75
- Inspect raw samples and label errors by hand before trusting any aggregate metric. Confidence: 0.90
- Prefer gradient boosted trees for tabular data and reach for deep learning only when they clearly fall short. Confidence: 0.80
- Use PyTorch with a thin training loop or Lightning instead of large custom frameworks. Confidence: 0.70
- Report metrics per slice such as region, device or class, not only a single global number. Confidence: 0.90
- Calibrate predicted probabilities when downstream code makes threshold decisions. Confidence: 0.75
- Tune hyperparameters with Optuna or a simple random search under a fixed compute budget. Confidence: 0.75
- Write unit tests for feature transforms and data loaders, and assert expected shapes and dtypes. Confidence: 0.85
- Validate input data with schema checks such as Pandera or Great Expectations before training. Confidence: 0.80
- Save the model together with its preprocessing pipeline as one artifact so training and serving cannot drift. Confidence: 0.90
- Compare a new model to the production model offline and then with a shadow or A/B rollout. Confidence: 0.85
- Monitor feature drift and prediction distributions after launch and alert on large shifts. Confidence: 0.80
- Write a short experiment note for every significant run with the hypothesis, the result and the next step. Confidence: 0.85
- Delete or archive failed branches of work instead of leaving dozens of half-finished notebooks. Confidence: 0.65

© f · CC0-1.0 · f/prompts.chat

Похожие промпты

Все промпты по теме «ИИ и ML» →
Machine Learning pluginagentmarketplace Скилл Machine Learning для Claude Code помогает обучать модели машинного обучения на Python, настраивать пайплайны, готовить признаки и отслеживать эксперименты. CX Codex +1 357установок machine-learning-engineer VoltAgent Субагент machine-learning-engineer настраивает надёжный инференс и устраняет расхождения между обучением и продакшеном. CX Codex ★ 6 505звёзд репо machine-learning Mindrally Скилл machine-learning для Claude Code и Codex: настраивает агента на ML-разработку с JAX и функциональным программированием. Включается при автодифференцировании, JIT-компиляции и векторизации через jax.grad, jax.jit, jax.vmap. CX Codex +1 2 200установок machine-learning-ops-ml-pipeline sickn33 Скилл machine-learning-ops-ml-pipeline для проектирования и развёртывания полного ML-конвейера. Координирует специализированные агенты для работы с данными, обучением моделей, их оптимизацией и развёртыванием на production. CX Codex +1 2установок machine-learning-ops Seth Hobson Плагин machine-learning-ops для построения пайплайнов обучения моделей, подбора гиперпараметров и MLOps в Claude Code, Codex и Cursor. CX Codex ★ 42 780звёзд репо arize-experiment официальный arize Скилл arize-experiment для GitHub Copilot запускает эксперименты Arize и сравнивает результаты моделей. Он включается при запросах на оценку качества, бенчмарк или A/B-тест. CX Codex +1 1 100установок

Из того же набора218

Весь набор →
SvelteKit App taste Промпт SvelteKit App taste для ChatGPT задаёт правила разработки приложений на SvelteKit. Он помогает выбрать структуру проекта, работу с данными, формами и тестами. GP ChatGPT ★ 178 201звёзд репо Tauri Desktop App taste Промпт Tauri Desktop App taste для ChatGPT с правилами разработки кроссплатформенных приложений на Tauri. Задаёт подход к Rust-командам, интерфейсу, безопасности и сборке. GP ChatGPT ★ 178 201звёзд репо Vue App taste Промпт Vue App taste для ChatGPT задаёт правила разработки приложений на Vue. Он помогает выбрать стек и договориться о структуре компонентов, работе с данными и тестах. GP ChatGPT ★ 178 201звёзд репо Background Jobs taste Промпт Background Jobs taste для ChatGPT и Claude.ai задаёт инженерные правила надёжности для фоновых задач и очередей. Помогает проектировать воркеры с защитой от дублей, взаимных блокировок и зависаний. GP ChatGPT ★ 178 201звёзд репо Technical Documentation taste Промпт Technical Documentation taste для ChatGPT, Claude.ai и Claude Code задаёт стандарты технической документации. Помогает структурировать руководства и описание API по модели Diataxis для их актуальности и доступности. GP ChatGPT ★ 178 201звёзд репо React Native App taste Промпт React Native App taste для ChatGPT задаёт инженерные предпочтения для кроссплатформенных приложений. Запросите план проекта или решение по архитектуре, чтобы получить рекомендации по Expo, навигации, состоянию и тестам. GP ChatGPT ★ 178 201звёзд репо Feature Flag Rollout taste Промпт Feature Flag Rollout taste для ChatGPT и Claude.ai формулирует правила и инженерные привычки по выкатке фиче-флагов. Задаёт чёткие критерии разделения деплоя и релиза новой функциональности. GP ChatGPT ★ 178 201звёзд репо LLM Application taste Промпт LLM Application taste для ChatGPT с принципами проектирования приложений на базе языковых моделей. Он помогает продумать оценку ответов, работу с инструментами и защиту данных. GP ChatGPT ★ 178 201звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой