К основному содержанию
скилл CX Codex

recompute-policy — скилл для Claude Code: recompute и установка

Скилл recompute-policy для Claude Code помогает выбрать полный, выборочный или отключённый recompute по запасу памяти и устройству модели. Включается при настройке activation checkpointing, OOM или выборе recompute_modules.

Apache-2.0 ★ 99 обновлён 2026-11-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add TokenRhythm/InfraRSI --skill recompute-policy -a claude-code
Открыть на GitHub

Что делает recompute-policy

Скилл подбирает режим пересчёта активаций для MCore 0.18.2: полный, выборочный или без recompute. Он сопоставляет пик памяти, время прямого и обратного прохода, число слоёв и тип модели, а затем предлагает менять recompute_method, recompute_num_layers или recompute_modules. Короткий вариант — блочный пересчёт части слоёв.

Для MoE он учитывает экспертные активации и буферы обмена. Модуль moe_act требует moe_grouped_gemm; cpu_offloading нельзя совмещать с recompute. Полный recompute повторяет прямой проход каждого слоя и связанные коллективные операции, поэтому скилл предлагает оставить пересчёт только там, где его цена оправдана экономией памяти.

Кэш повторного использования результатов должен сбрасываться после каждого микробатча и не переживать обновление; в описанном бенчмарке вариант, пропускающий прямой проход, отклоняется статической проверкой. Скилл также задаёт проверку пикового потребления, времени шага и OOM после изменения настроек.

Какие задачи решает

  • выбрать между полным и выборочным пересчётом активаций
  • уменьшить расход памяти, сохранив допустимое время шага
  • найти слои и подмодули, где пересчёт даёт экономию
  • разобрать OOM после отключения recompute

Примеры запросов агенту

  • Подбери режим recompute для MoE-модели: экспертные активации занимают большую часть памяти.
  • Сравни полный пересчёт с recompute_modules и предложи частичный вариант, который помещается в память.
  • Разбери OOM на втором шаге после отключения recompute и предложи настройки для MCore 0.18.2.

Как установить recompute-policy

1Через Skills CLI (Vercel)

npx skills add TokenRhythm/InfraRSI --skill recompute-policy -a claude-code

2Вручную: положить файлы

~/.claude/skills/recompute-policy/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/recompute-policy/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о recompute-policy

Как установить recompute-policy в Claude Code?

Выполни npx skills add TokenRhythm/InfraRSI --skill recompute-policy -a claude-code. Файл скилла появится по пути ~/.claude/skills/recompute-policy/SKILL.md.

Что делает recompute-policy?

Помогает выбрать полный, выборочный или отключённый recompute, настраивая метод, число слоёв и модули с учётом памяти и стоимости пересчёта.

Что требуется для выборочного пересчёта moe_act?

Для moe_act требуется moe_grouped_gemm. cpu_offloading не совмещается ни с одним режимом recompute.

Исходный текст

SKILL.md · Apache-2.0
---
name: recompute-policy
description: Spend recomputation only where memory requires it - full vs selective vs none, which layers and which submodules, and the single-update lifetime rule for any replay cache.
license: Apache-2.0
when_to_use: FR or ED uses full recompute and headroom exists; OOM after removing recompute; choosing recompute_modules; MoE layers dominate activations; 'activation checkpointing', 'selective recompute', 'recompute_num_layers', 'replay cache'.
metadata:
  author: InfraRSI A0 (human-authored)
  source: human-authored (A0)
  version: 1
  tags: [recompute, memory, activations, moe, dense, long-context]
---

# Recompute policy

## Trigger conditions
- recompute_granularity is full and the tightest rank has > ~10 GiB headroom.
- A candidate without recompute OOMs, and you need the cheapest partial recompute that fits.
- MoE models: expert activations and dispatch buffers dominate.

## Required observations (receipt fields)
- `memory.max_peak_reserved_gib` and per-rank spread; `profile.fwd_bwd_s` (recompute cost lands there); `events.alloc_retries`.
- Model facts: num_layers, MoE or dense, shared experts.

## Rules: MCore 0.18.2 options
- full: recompute_method uniform (recompute_num_layers = layers per checkpoint unit) or block (recompute_num_layers = how many layers per pipeline stage are recomputed; the rest keep activations). block with k < layers/PP is the main knob between "all" and "none".
- selective: recompute_modules from core_attn, layernorm, mlp, moe, moe_act, shared_experts (mla_up_proj only for latent attention). moe_act and layernorm use output-discarding checkpointing and are cheap; moe_act requires moe_grouped_gemm. With TE fused/flash attention, core_attn recompute rarely saves much (MCore warns about it).
- moe_layer_recompute is a deprecated alias for selective + moe and is rejected together with full recompute.
- cpu_offloading (activation offload) does not combine with any recompute.
- overlap_moe_expert_parallel_comm forbids full recompute, recompute_method/num_layers and 'moe' in recompute_modules.

## Rules: cost model
- Full recompute repeats each layer's forward: about one third more transformer FLOPs, and it repeats forward collectives (TP all-gathers, MoE dispatch/combine). On the flagship, recompute meant 98 + 98 non-cached dispatches per update.
- Each layer you stop recomputing adds roughly its full activation footprint (order 34*s*b*h bytes, divided by TP with SP and by CP). Remove recompute from as many layers as headroom allows, keeping >= 4 GiB margin.
- Different parts of a layer have different cost/memory ratios: attention prefixes are cheap to keep relative to their recompute cost in some models, MoE suffixes the opposite. Measure; do not assume.

## Rules: replay caches (L1)
- A cache that lets recompute reuse forward results must be keyed by (update, micro-batch, layer, generation), consumed exactly once, cleared after each micro-batch, and checked on first use against the native path. Anything that survives across updates is the cross-update cache cheat and is invalid.
- In this benchmark (v0) the static guard rule G19 requires every replaced forward/step to call the captured original exactly once and return its result, so a replay cache that skips a forward is rejected before any screen. Do not propose one; reach the same memory/time trade with recompute_method block, recompute_num_layers or recompute_modules.

## Allowed actions
- L0: recompute_granularity, recompute_method, recompute_num_layers, recompute_modules, moe_layer_recompute, cpu_offloading(+num_layers), micro_batch_size.
- L1: recompute_policy.py (template recompute_policy.first_k_layers_full: full recompute only for the first k layers per stage).
- Typical sequence from FR (full/uniform/1): try block with a few layers recomputed, or selective with cheap modules; then none if headroom remains.

## Failure signals
- OOM at update 2 after removing recompute (moments now resident).
- Selective recompute with higher peak and lower throughput than full (core_attn recompute under fused attention).
- Recompute removed but StepTime unchanged: the update is bound elsewhere (communication or optimizer).

## Verification
- StepTime beyond the margin with 0 OOMs, peak within cap; for replay caches, a first-use digest gate and a lifetime assertion (cache empty after each micro-batch).

## Success case (real)
- Flagship: keeping the attention prefix of backbone layers 3, 7, ..., 43 and checkpointing only the MoE suffix (layer 47 and MTP unchanged): 10.373877 -> 9.766195 s (+6.22%), exact. A single-update replay cache for the MoE combine in recompute: 8.831999 -> 8.504627 s (+3.85%), exact. (MANUSCRIPT.md 4.3, Table 6)

## Failure case (real)
- NeMo, 64 GPUs, 2K tokens: selective recompute v2 gave 30,143.33 tok/s versus full recompute 30,528.63 tok/s with a higher peak (30.29 vs 22.44 GiB). Micro-batch 2 recomputing only 24 layers OOMed at step 2; with 31 layers it ran at 47,210.24 tok/s and 61.82 GiB, still below micro-batch 1 without recompute (49,237.07 tok/s). Selective is not automatically cheaper than full. (reports/winh8_20260925/REPORT.md)

© InfraRSI A0 (human-authored) · Apache-2.0 · TokenRhythm/InfraRSI

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
nemo-mbridge-perf-activation-recompute NVIDIA Скилл nemo-mbridge-perf-activation-recompute настраивает перерасчёт активаций в NeMo Megatron Bridge при нехватке памяти GPU. Помогает сбалансировать экономию видеопамяти и дополнительные вычисления. CX Codex +1 1 900установок nemo-automodel-model-onboarding NVIDIA Скилл nemo-automodel-model-onboarding ведёт по шагам добавления новой архитектуры модели в NeMo AutoModel: от разбора config.json до регистрации класса и тестов. CX Codex +1 2 000установок flash-moe-inference reason-machines Скилл flash-moe-inference помогает запустить модель Qwen3.5-397B на процессорах Apple Silicon за счёт потоковой загрузки экспертов с SSD. Рассчитан на компьютеры с 48 ГБ объединённой памяти. CX Codex +1 1 200установок miles-rl-training Orchestra Research Скилл miles-rl-training для Claude Code ведёт агента по RL-обучению больших MoE-моделей на фреймворке miles: FP8, INT4, спекулятивный rollout на GPU H100/H200. CX Codex +1 1 100установок tilekernels-gpu-kernels reason-machines Скилл tilekernels-gpu-kernels помогает работать с GPU-ядрами TileKernels для MoE, квантизации и операций LLM. Пригодится при написании и проверке TileLang-кода. CX Codex +1 370установок huawei-cloud-msmodelslim-model-analysis huaweicloud Скилл huawei-cloud-msmodelslim-model-analysis для Claude Code и Codex оценивает архитектуру языковой модели перед написанием адаптера под msModelSlim. Определяет источник кода и риски квантования MoE. CX Codex +1 163установок

Из того же набора19

Весь набор →
learn-optimization-skills Скилл learn-optimization-skills для Claude Code описывает обучение оптимизатора на завершённых задачах и сохранение повторно используемых выводов. Запускается для рефлексии после задачи или записи находки при поиске. CX Codex +1 ★ 99звёзд репо profile-whole-update Скилл profile-whole-update для Claude Code оценивает время полного обновления и проверяет, действительно ли изменение ускорило задачу. Запускается при разборе результатов профилирования, сравнении кандидатов и поиске задержек между шагами. CX Codex +1 ★ 99звёзд репо validate-training-lifecycle Скилл validate-training-lifecycle для Claude Code проверяет полный цикл обучения модели: сохранение чекпойнта, возобновление в новом процессе, экспорт весов и сравнение результатов. CX Codex +1 ★ 99звёзд репо optimize-training-kernels Скилл optimize-training-kernels для Claude Code настраивает fusion и выбор attention backend, чтобы ускорить обучение без выхода за допуски численной точности. Запускается при разборе медленных ядер или проверке предложенной замены. CX Codex +1 ★ 99звёзд репо moe-ep-communication Скилл moe-ep-communication для Claude Code настраивает параллелизм экспертов и обмен токенами в MoE на Megatron-Core 0.18.2. Включается при выборе EP, настройке диспетчера или разборе узких мест в профиле. CX Codex +1 ★ 99звёзд репо manage-memory-lifetimes Скилл manage-memory-lifetimes для Claude Code разбирает сбои с GPU-памятью и помогает выбрать настройки размещения, выгрузки и аллокатора. Включается при OOM, повторах аллокатора или нехватке запаса памяти. CX Codex +1 ★ 99звёзд репо discover-training-system Скилл discover-training-system для Claude Code помогает выяснить, как устроена система обучения и какой путь кода исполняется. Запускается в начале задачи и при расхождении между настройкой и результатом. CX Codex +1 ★ 99звёзд репо verify-training-semantics Скилл verify-training-semantics для Claude Code проверяет, сохраняет ли изменение обучения заданные инварианты и численные ограничения. Запускается перед run_screen, при разборе недействительных результатов и проверке изменений в обучении. CX Codex +1 ★ 99звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой