К основному содержанию
скилл CX Codex

validate-training-lifecycle — скилл для Claude Code

Скилл validate-training-lifecycle для Claude Code проверяет полный цикл обучения модели: сохранение чекпойнта, возобновление в новом процессе, экспорт весов и сравнение результатов.

Apache-2.0 ★ 99 обновлён 2026-11-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add TokenRhythm/InfraRSI --skill validate-training-lifecycle -a claude-code
Открыть на GitHub

Что делает validate-training-lifecycle

Скилл проверяет, проходит ли конфигурация путь от обучения до возобновления, экспорта весов и сравнения прямого прохода на фиксированном батче. Он требует запустить обучение, сохранить чекпойнт, продолжить работу в новом процессе и сопоставить скаляры после возобновления с непрерывным запуском в пределах допуска.

Для проверки экспорта скилл требует реальной загрузки HF-весов и сравнения результатов, а не проверки флага завершения. Он также задаёт коллективную операцию NCCL перед загрузкой чекпойнта и требует фиксировать применённые переменные окружения, память по GPU, события и фазы запуска. Возобновление может завершиться OOM на первом all-reduce градиентной нормы, даже если при загрузке состояние совпало побайтно.

Успешный результат включает подтверждённое возобновление, совпадение скаляров в допуске, проверенный экспорт, успешное сравнение и ноль OOM. Входными условиями названы работающий обучающий проект и существующая группа grad-stats; операция использует её без создания новой группы.

Какие задачи решает

  • проверить возобновление обучения из чекпойнта в новом процессе
  • сравнить скаляры после возобновления с непрерывным запуском
  • проверить HF-экспорт повторной загрузкой и прямым проходом
  • найти OOM при первом NCCL all-reduce после возобновления
  • зафиксировать переменные окружения и память по GPU

Примеры запросов агенту

  • Проверь цикл обучения перед продвижением этой конфигурации.
  • Сравни возобновление из чекпойнта с непрерывным запуском.
  • Проверь HF-экспорт повторной загрузкой и сравнением на фиксированном батче.

Как установить validate-training-lifecycle

1Через Skills CLI (Vercel)

npx skills add TokenRhythm/InfraRSI --skill validate-training-lifecycle -a claude-code

2Вручную: положить файлы

~/.claude/skills/validate-training-lifecycle/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/validate-training-lifecycle/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о validate-training-lifecycle

Как установить validate-training-lifecycle в Claude Code?

Выполните npx skills add TokenRhythm/InfraRSI --skill validate-training-lifecycle -a claude-code. Файл скилла появится по пути ~/.claude/skills/validate-training-lifecycle/SKILL.md.

Что делает validate-training-lifecycle?

Проверяет полный цикл обучения: сохранение чекпойнта, возобновление в новом процессе, экспорт HF-весов и сравнение прямого прохода. Также фиксирует данные о памяти и окружении.

Что нужно для работы validate-training-lifecycle?

Нужен обучающий проект с существующей группой grad-stats: скилл использует её для первого коллективного вызова NCCL. Для проверки экспорта требуется загрузить HF-веса и выполнить сравнение на фиксированном батче.

Исходный текст

SKILL.md · Apache-2.0
---
name: validate-training-lifecycle
description: Make a fast configuration survive the real job - checkpoint, fresh-process resume, HF export and forward compare - including first communication allocations, common startup, NCCL and allocator environment.
license: Apache-2.0
when_to_use: Before promoting a candidate; any change to memory residency, NCCL env, allocator config or startup order; OOM or NCCL failure after resume; 'checkpoint', 'resume', 'export', 'NCCL env', 'CUDA_DEVICE_MAX_CONNECTIONS', 'expandable segments'.
metadata:
  author: InfraRSI A0 (human-authored)
  source: human-authored (A0)
  version: 1
  tags: [lifecycle, checkpoint, resume, export, nccl, allocator, startup, env, dense, moe, multi-node]
---

# Validate the training lifecycle

Promotion requires the lifecycle check: train -> save -> new process resume -> +N updates -> HF export through the
bridge -> forward compare on a fixed batch. A configuration that only works from a fresh start is not deliverable.

## Trigger conditions
- A candidate is about to be finished/promoted, especially one near the memory cap.
- Changes to PYTORCH_CUDA_ALLOC_CONF, NCCL_* env, CUDA_DEVICE_MAX_CONNECTIONS, optimizer offload or state placement.

## Required observations (receipt fields)
- `lifecycle` (saved_at, resumed_ok, resume_scalars_match, export_ok, forward_max_abs_logit_diff, forward_ok) for lifecycle runs; `memory.per_rank[]`, `events`, `phases` (startup/load/save/export), `env`.

## Rules
- There are two "first steps": the first update of this process (local first-use gates and lazily built references run again after resume) and global update 1 (optimizer moments are created lazily). A resumed process meets both at once, with checkpoint-loaded state already resident: its memory at the first collective differs from a fresh run.
- NCCL allocates communicator buffers lazily at a group's first collective, outside the PyTorch allocator. Common startup: after the optimizer and norm groups are installed and before the checkpoint load, issue one FP32 [1] zero SUM on the existing grad-stats process group on the current stream (no new group, not WORLD, no empty_cache, no env change). Fresh-start cost measured 0.84-1.57 s per rank with zero retries/OOMs.
- Load-point exact is not trajectory exact: a resume where every byte matched at load still produced non-bitwise later state, and CPU RNG differed by one DataLoader draw. Compare scalars after resume against the uninterrupted run within the tolerance.
- HF export writes inference weights, not optimizer state; verify it by a real reload and a forward comparison, not by a "complete" flag.
- CUDA_DEVICE_MAX_CONNECTIONS=1 is what Megatron relies on to order TP/SP communication before dependent compute; FR uses 1. Launch shells may override the job value: read the applied env.
- PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True was the production setting on the flagship; with it, retries can succeed without an OOM event (retries still count).
- NCCL env recorded on the flagship: NCCL_IB_DISABLE=0, NCCL_BUFFSIZE=1048576, NCCL_NVLS_ENABLE=0. An NCCL_BUFFSIZE change was non-bitwise and not adopted. Topology variables are owned by discover; only performance variables are actions.

## Allowed actions
- L0 env: PYTORCH_CUDA_ALLOC_CONF, CUDA_DEVICE_MAX_CONNECTIONS, NCCL performance variables of the whitelist; memory levers that restore headroom for resume.
- Prefer, at equal StepTime, the candidate with more headroom on the tightest rank: resume adds pressure that a fresh screen does not show.

## Failure signals
- Resume OOM inside NCCL at the first gradient-norm all-reduce; retries only after resume; export reload mismatch; resumed scalars outside tolerance.

## Verification
- Lifecycle receipt: resumed_ok, resume_scalars_match, export_ok and forward_ok all true, 0 OOMs, peak within cap.

## Success case (real)
- Real-SFT baseline (10/13): native checkpoint after update 2, resume for the remaining 1,022 updates; dev CE max relative difference 0.0418666% over 7 evaluation points, both runs best at update 768; step-1024 HF export verified by reload; mean 10.6186055854 s per update (updates 5-1024). (MANUSCRIPT.md 6.8; project_learning_handoff_20261018/LATER_PROJECT_NOTES.md 2)

## Failure case (real)
- Q resume v4 (flagship, 32 GPUs): continuous updates 1-6 with a save at 3 succeeded; resuming from 3 loaded on all ranks and then failed at absolute update 4 inside NCCL at the first gradient-norm all-reduce ("NCCL WARN Cuda failure 2 'out of memory'" on ranks 1, 4, 16, 28) while torch counted 0 OOMs. On rank 28, allocated memory was equal to the fresh run but reserved was 72.332 vs 70.943 GiB and free 0.167 vs 1.156 GiB. The fix direction was the common-startup collective above. (rsi_infra_execution_20261018/diagnostics/q_resume_nccl_oom_v1/SUMMARY.md; MANUSCRIPT.md 6.7)

© InfraRSI A0 (human-authored) · Apache-2.0 · TokenRhythm/InfraRSI

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
nemo-mbridge-mlm-bridge-training NVIDIA Скилл nemo-mbridge-mlm-bridge-training помогает запускать обучение Megatron-LM и Megatron Bridge, сравнивать кривые потерь и разбирать расхождения после изменений. CX Codex +1 1 900установок ml-training-recipes dailycafi Скилл ml-training-recipes содержит практические шаблоны обучения моделей на PyTorch: от настройки циклов и оптимизаторов Muon и AdamW до смешанной точности и устранения OOM. CX Codex +1 1 100установок nemo-mbridge-multi-node-slurm NVIDIA Скилл nemo-mbridge-multi-node-slurm для Claude Code превращает однопоточные скрипты в задания Slurm для нескольких узлов и помогает разбирать сбои запуска и NCCL. CX Codex +1 1 900установок huawei-cloud-modelarts-training-diagnosis huaweicloud Скилл huawei-cloud-modelarts-training-diagnosis разбирает сбои, тайм-ауты и зависшие задания обучения в Huawei Cloud ModelArts. Он собирает сведения через hcloud и предлагает диагноз с оценкой уверенности. CX Codex +1 129установок spark-training-gotchas Seth Hobson Скилл spark-training-gotchas диагностирует 10 частых сбоев при обучении моделей на NVIDIA DGX Spark. Помогает найти утечки памяти, троттлинг и ошибки CUDA перед долгими запусками. CX Codex +1 2 500установок torchforge-rl-training Orchestra Research Скилл torchforge-rl-training для Claude Code, Codex, Cursor и других платформ добавляет инструкции по работе с torchforge — библиотекой Meta для обучения с подкреплением. CX Codex +1 1 100установок

Из того же набора19

Весь набор →
weak-model-protocol Скилл weak-model-protocol для Claude Code задаёт протокол работы оптимизатора со слабой или дешёвой языковой моделью. Он включается при ошибочных действиях, переполнении контекста и сбоях провайдера. CX Codex +1 ★ 99звёзд репо optimize-data-path Скилл optimize-data-path для Claude Code оптимизирует передачу данных и состояния между хостом и GPU, не меняя контракт данных. Включается при заметных затратах на загрузку пакетов, синхронизацию хоста или перенос состояния оптимизатора. CX Codex +1 ★ 99звёзд репо learn-optimization-skills Скилл learn-optimization-skills для Claude Code описывает обучение оптимизатора на завершённых задачах и сохранение повторно используемых выводов. Запускается для рефлексии после задачи или записи находки при поиске. CX Codex +1 ★ 99звёзд репо profile-whole-update Скилл profile-whole-update для Claude Code оценивает время полного обновления и проверяет, действительно ли изменение ускорило задачу. Запускается при разборе результатов профилирования, сравнении кандидатов и поиске задержек между шагами. CX Codex +1 ★ 99звёзд репо optimize-training-kernels Скилл optimize-training-kernels для Claude Code настраивает fusion и выбор attention backend, чтобы ускорить обучение без выхода за допуски численной точности. Запускается при разборе медленных ядер или проверке предложенной замены. CX Codex +1 ★ 99звёзд репо recompute-policy Скилл recompute-policy для Claude Code помогает выбрать полный, выборочный или отключённый recompute по запасу памяти и устройству модели. Включается при настройке activation checkpointing, OOM или выборе recompute_modules. CX Codex +1 ★ 99звёзд репо moe-ep-communication Скилл moe-ep-communication для Claude Code настраивает параллелизм экспертов и обмен токенами в MoE на Megatron-Core 0.18.2. Включается при выборе EP, настройке диспетчера или разборе узких мест в профиле. CX Codex +1 ★ 99звёзд репо manage-memory-lifetimes Скилл manage-memory-lifetimes для Claude Code разбирает сбои с GPU-памятью и помогает выбрать настройки размещения, выгрузки и аллокатора. Включается при OOM, повторах аллокатора или нехватке запаса памяти. CX Codex +1 ★ 99звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой