К основному содержанию
скилл CX Codex

optimize-data-path — скилл для Claude Code: перенос данных

Скилл optimize-data-path для Claude Code оптимизирует передачу данных и состояния между хостом и GPU, не меняя контракт данных. Включается при заметных затратах на загрузку пакетов, синхронизацию хоста или перенос состояния оптимизатора.

Apache-2.0 ★ 99 обновлён 2026-11-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add TokenRhythm/InfraRSI --skill optimize-data-path -a claude-code
Открыть на GitHub

Что делает optimize-data-path

Скилл меняет способ перемещения данных и состояния, сохраняя порядок пакетов, границы сегментов, маску потерь и распределение данных по рангам. Он предлагает закреплённые буферы хоста, неблокирующие копии на GPU, предварительную загрузку следующего микропакета и перекрытие передачи с вычислениями.

Для повторных передач используется заранее выделенная непрерывная память; синхронизации хоста предлагается свести к одному чтению скаляров на границе обновления. Для выгруженного состояния перенос отдельных записей перекрывается с работой оптимизатора. Изменение data_order_digest или числа токенов делает результат недопустимым, даже если он работает быстрее.

Для проверки нужны профиль времени, сведения о медленнейшем ранге и инварианты порядка и числа токенов. При привязке закреплённой памяти требуется определить NUMA-узел GPU; новые буферы могут вызвать повторные попытки аллокатора.

Какие задачи решает

  • сократить синхронизации хоста между микропакетами
  • перекрыть копирование данных на GPU с вычислениями
  • ускорить перенос выгруженного состояния оптимизатора
  • сохранить порядок данных и число токенов при изменении пути передачи

Примеры запросов агенту

  • Оптимизируй путь передачи данных, сохранив порядок пакетов и число токенов.
  • Проверь, как перекрыть копии на GPU с вычислениями для следующего микропакета.
  • Разбери синхронизации хоста и перенос выгруженного состояния оптимизатора.

Как установить optimize-data-path

1Через Skills CLI (Vercel)

npx skills add TokenRhythm/InfraRSI --skill optimize-data-path -a claude-code

2Вручную: положить файлы

~/.claude/skills/optimize-data-path/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/optimize-data-path/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об optimize-data-path

Как установить optimize-data-path в Claude Code?

Выполни npx skills add TokenRhythm/InfraRSI --skill optimize-data-path -a claude-code. Файл скилла появится по пути ~/.claude/skills/optimize-data-path/SKILL.md.

Что делает optimize-data-path?

Скилл предлагает ускорить передачу данных и состояния между хостом и GPU через закреплённые буферы, предварительную загрузку и перекрытие копирования с вычислениями. Контракт данных и распределение пакетов по рангам должны остаться прежними.

Какие инварианты нельзя менять при оптимизации пути данных?

Нельзя менять порядок данных, число токенов, границы сегментов, маску потерь или назначение пакетов рангам. Изменение data_order_digest или счётчиков токенов означает недопустимый результат.

Исходный текст

SKILL.md · Apache-2.0
---
name: optimize-data-path
description: Make data and state movement cheap without touching the data contract - pinned buffers, non-blocking host-to-device copies, prefetch, preallocated contiguous storage, and overlap of transfers with compute.
license: Apache-2.0
when_to_use: data_s is a visible share of the update; host syncs per micro-batch; offloaded state transfers dominate; load skew from packing; 'dataloader', 'pinned memory', 'H2D copy', 'prefetch', 'host sync'.
metadata:
  author: InfraRSI A0 (human-authored)
  source: human-authored (A0)
  version: 1
  tags: [data, host, transfer, pinned-memory, prefetch, offload, sft_packed, pt_stream, dense, moe]
---

# Optimize the data path

The packing contract is frozen: which packs each DP rank consumes in each micro-batch of each update
(`update_assignment`), the plan-A/plan-B order, segment boundaries and the loss mask. Only how bytes move may change.

## Trigger conditions
- `profile.data_s` or host-side gaps are a visible share of the update; InterStep exceeds StepTime by more than a few percent.
- Optimizer offload enabled: park/restore or H2D/D2H copies dominate the optimizer phase.
- `slowest_rank` fixed on the rank that receives the longest documents.

## Required observations (receipt fields)
- `profile` (data_s, optim_s, whole_update_s), `step_time.inter_step_mean_s`, `per_step[].slowest_rank`, `invariants.data_order_digest`, `invariants.physical_tokens_per_update`, `invariants.supervised_tokens_total`.

## Rules
- Never reorder, skip, truncate, filter or re-pack data, and never change which rank gets which pack: data_order_digest and token counts are invariants. Load skew from packing is a property of the task; overlap it, do not move it.
- Host-to-device: pinned host buffers + non_blocking copies on a side stream, prefetching the next micro-batch while the current one computes. One pinned staging buffer per in-flight micro-batch; reuse it.
- Avoid per-micro-batch host syncs (`.item()`, printing losses, CPU-side shape checks); read device scalars once per update at the boundary (host_sync template).
- Preallocate contiguous storage for repeated transfers; many small allocations increase allocator pressure and retries.
- Offloaded state: transfer size per update is fixed (e.g. 30.8 GB each way per GPU at ~23-32 GB/s on the flagship), so overlap it with compute (stream per-entry H2D/D2H while the optimizer works on the previous entry) rather than serializing park/restore.
- Bind pinned memory to the GPU's NUMA node (discover-training-system).

## Allowed actions
- L0: OMP_NUM_THREADS (host threads), optimizer offload overlap (overlap_cpu_optimizer_d2h_h2d, pin_cpu_grads, pin_cpu_params).
- L1: data_path.py (template data_path.pinned_prefetch), host_sync.py (template host_sync.scalar_sync_once_per_update), state_placement.py.

## Failure signals
- data_order_digest or token counts change: invalid regardless of speed.
- Allocator retries appear after introducing new buffers.
- InterStep falls but StepTime does not (work moved outside the timer: invalid).

## Verification
- Invariants unchanged; StepTime and InterStep both improve consistently (within 2%); peak memory within cap; for streaming state, an oracle compare of every streamed entry on first use.

## Success case (real)
- flash-next, expert Muon optimizer state streaming v2: per-entry H2D/D2H overlapped with the FP32 polar step through a 1.56 GiB ring, per-entry oracle 0 mismatches: 20.572 -> 15.618 s/step, bitwise. The ring was later cut to 32 slots to keep forward/backward headroom at 4.35 GiB. (reports/flash_next_mfu_20261003/PROGRESS.md 2)

## Failure case (real)
- Cohort allocation on the flagship replaced 6.25/12.5 MiB FP32 and 3.125/6.25 MiB encoded state allocations by 150/75 MiB owners (196 instead of 3,136 copy launches per direction). It hit an allocator retry at update 14 on rank 28 (before restore), saved only ~0.383 MiB live memory and a 62 MiB reserved drop; no snapshot proved the fragmentation hypothesis. Fewer, larger buffers changed the allocation pattern and introduced a retry. (reports/low_precision_winh_20261014/speed50_20261015/cohort_training_v1/FAILURE_AND_OPTIONS.md; MANUSCRIPT.md 6.7)

© InfraRSI A0 (human-authored) · Apache-2.0 · TokenRhythm/InfraRSI

Похожие скиллы

Каталог скиллов SKILL.md →
Optimize Large Data Reading in Code [email protected] Промпт Optimize Large Data Reading in Code переключает модель в роль эксперта по C# для оптимизации чтения тяжёлых ответов SOAP API. Помогает сократить расход памяти и ускорить обработку. GP ChatGPT ★ 178 201звёзд репо dart-use-path-package flutter Скилл dart-use-path-package учит агента работать с путями файлов в Dart через package:path, избегая строковых операций, которые ломаются на Windows. CX Codex +1 8 800установок gke-golden-path официальный google Скилл gke-golden-path для Claude Code, Gemini CLI и Codex загружает рекомендованные дефолты Autopilot-кластера GKE и чеклисты production-готовности. Проверяет конфигурацию против золотого пути и фиксирует Day-0 решения до создания кластера. CX Codex +1 6 536установок click-path-audit affaan-m Скилл click-path-audit для Claude Code и Codex находит скрытые конфликты в обработчиках интерфейса. Проверяет последовательность изменений стейта, когда внешне функции работают, но сбрасывают результаты друг друга. CX Codex +1 6 200установок path-traversal-lfi yaklang Скилл path-traversal-lfi тестирования уязвимостей обхода директорий и локального включения файлов. Пригодится при аудите эндпоинтов с параметрами путей, загрузки, архивов и PHP-обёрток. CX Codex +1 4 000установок attack-path-stitcher transilienceai Скилл attack-path-stitcher собирает подтверждённые уязвимости отдельных систем в сквозные цепочки атак. Помогает увидеть маршруты проникновения к критически важным активам. CX Codex +1 1 500установок

Из того же набора19

Весь набор →
weak_proposer Промпт weak_proposer для Claude Code настраивает обучение в Megatron-Core ради скорости. Он предлагает изменения конфигурации, запускает пробные варианты и выбирает самый быстрый допустимый. GP ChatGPT ★ 99звёзд репо reflect Промпт reflect для Claude Code разбирает след завершённой задачи и обновляет пакет оптимизатора. Он формирует новые правила из наблюдений, а не переносит настройки одной задачи в следующие. GP ChatGPT ★ 99звёзд репо proposer Промпт proposer для Claude Code и ChatGPT оптимизирует пропускную способность обучения в InfraRSI. Он предлагает изменения конфигурации и файлов оверлеев, сохраняя заданные параметры задачи. GP ChatGPT ★ 99звёзд репо weak-model-protocol Скилл weak-model-protocol для Claude Code задаёт протокол работы оптимизатора со слабой или дешёвой языковой моделью. Он включается при ошибочных действиях, переполнении контекста и сбоях провайдера. CX Codex +1 ★ 99звёзд репо learn-optimization-skills Скилл learn-optimization-skills для Claude Code описывает обучение оптимизатора на завершённых задачах и сохранение повторно используемых выводов. Запускается для рефлексии после задачи или записи находки при поиске. CX Codex +1 ★ 99звёзд репо profile-whole-update Скилл profile-whole-update для Claude Code оценивает время полного обновления и проверяет, действительно ли изменение ускорило задачу. Запускается при разборе результатов профилирования, сравнении кандидатов и поиске задержек между шагами. CX Codex +1 ★ 99звёзд репо validate-training-lifecycle Скилл validate-training-lifecycle для Claude Code проверяет полный цикл обучения модели: сохранение чекпойнта, возобновление в новом процессе, экспорт весов и сравнение результатов. CX Codex +1 ★ 99звёзд репо optimize-training-kernels Скилл optimize-training-kernels для Claude Code настраивает fusion и выбор attention backend, чтобы ускорить обучение без выхода за допуски численной точности. Запускается при разборе медленных ядер или проверке предложенной замены. CX Codex +1 ★ 99звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой