nanogpt-training — скилл для Claude Code: что делает и как установить
Скилл nanogpt-training для Claude Code содержит инструкции для обучения моделей масштаба GPT-2 на 124M параметров на одной GPU с оптимизатором Muon и данными из Hugging Face.
Apache-2.0 1 установок ★ 1 933 обновлён 2026-10-24
npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a claude-codeЧто делает nanogpt-training
Скилл добавляет в контекст агента спецификации и правила для тренировки языковой модели на 124M параметров. Внутри описана архитектура трансформера с RoPE, схемы резидуальных связей и пайплайн загрузки готовых токенизированных шардов из Hugging Face Hub или локального диска.
Для вычислений используются смешанная точность bfloat16 на GPU уровня A100 и оптимизатор Muon с ортогонализацией Ньютона-Шульца наряду с классическим AdamW. В кодовой базе также есть пример запуска тренировочного скрипта через Modal в среде Python 3.11.
Для запуска обучения понадобятся библиотеки torch, einops, numpy и huggingface_hub. Без видеокарты с поддержкой bfloat16 вроде A100 получить двукратное ускорение вычислений не выйдет.
Какие задачи решает
- собрать архитектуру GPT-124M с RoPE и кастомными резидуальными связями
- настроить потоковую загрузку токенизированных шардов датасета из Hugging Face Hub
- подключить оптимизатор Muon с ортогонализацией Ньютона-Шульца
- написать цикл обучения со смешанной точностью bfloat16 на одной видеокарте
Примеры запросов агенту
- Напиши PyTorch-модуль трансформера на 124M параметров с RoPE по правилам nanogpt-training
- Собери цикл обучения с оптимизатором Muon и смешанной точностью bfloat16
- Сделай даталоадер для токенизированных данных из karpathy/fineweb-edu-100B-gpt2-token-shards
Как установить nanogpt-training
1Через Skills CLI (Vercel)
npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a claude-code2Вручную: положить файлы
~/.claude/skills/nanogpt-training/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/nanogpt-training/
1Через Skills CLI (Vercel)
npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a codex2Вручную: положить файлы
.agents/skills/nanogpt-training/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a cursor2Вручную: положить файлы
.cursor/skills/nanogpt-training/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install benchflow-ai/skillsbench tasks-extra/mhc-layer-impl/environment/skills/nanogpt-training2Вручную: положить файлы
.github/skills/nanogpt-training/SKILL.md1Через Skills CLI (Vercel)
npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a gemini-cli2Командой платформы
gemini skills install https://github.com/benchflow-ai/skillsbench --path tasks-extra/mhc-layer-impl/environment/skills/nanogpt-trainingВручную: положить файлы
.devin/skills/nanogpt-training/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о nanogpt-training
Как установить nanogpt-training в Claude Code?
Выполните команду npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a claude-code.
Что делает nanogpt-training?
Он снабжает помощника шаблонами для сборки архитектуры GPT-124M, настройки даталоадера шардов и запуска тренировочного цикла на одной GPU.
Какие зависимости нужны для запуска обучения?
Скрипты требуют Python 3.11 и библиотеки torch, einops, numpy и huggingface_hub.
Исходный текст
SKILL.md · Apache-2.0
---
name: nanogpt-training
description: Train GPT-2 scale models (~124M parameters) efficiently on a single GPU. Covers GPT-124M architecture, tokenized dataset loading (e.g., HuggingFace Hub shards), modern optimizers (Muon, AdamW), mixed precision training, and training loop implementation.
---
# NanoGPT Training
## Overview
Training GPT-2 scale models (~124M parameters) efficiently on a single GPU. It provides:
- **GPT-124M Architecture**: Standard transformer with RoPE and modern optimizations
- **Tokenized Datasets**: Loading pre-tokenized shards from HuggingFace Hub or local files
- **Modern Optimizers**: Muon optimizer with Newton-Schulz orthogonalization
- **Mixed Precision**: bfloat16 training on A100 for 2x speedup
Training options:
- **Baseline GPT**: Standard residual connections
- **Experimental residual variants**: Optional alternative residual schemes for stability/efficiency
## Quick Reference
| Topic | Reference |
|-------|-----------|
| Model Architecture | [GPT Architecture](references/gpt-architecture.md) |
| Data Loading | [Tokenized Data](references/tokenized-data.md) |
| Optimizers | [Optimizers](references/optimizers.md) |
| Training Loop | [Training Loop](references/training-loop.md) |
| Hyperparameters | [Hyperparameters](references/hyperparameters.md) |
## Installation
```bash
pip install torch einops numpy huggingface_hub
```
## Minimal Example
```python
import modal
app = modal.App("gpt-training")
image = modal.Image.debian_slim(python_version="3.11").pip_install(
"torch", "einops", "numpy", "huggingface_hub"
)
@app.function(gpu="A100", image=image, timeout=3600)
def train():
import torch
from dataclasses import dataclass
@dataclass
class GPTConfig:
block_size: int = 1024
vocab_size: int = 50257
n_layer: int = 12
n_head: int = 12
n_embd: int = 768
dropout: float = 0.0
bias: bool = False
# Download data, build model, train
# ... (see references for full implementation)
return {"final_loss": final_loss}
@app.local_entrypoint()
def main():
results = train.remote()
print(results)
```
## Common Imports
```python
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.cuda.amp import autocast, GradScaler
from dataclasses import dataclass
from einops import rearrange, repeat, reduce
import numpy as np
import math
```
## When to Use What
| Scenario | Approach |
|----------|----------|
| Standard GPT training | Use baseline model with standard residuals |
| Stability experiments | Try alternative residual variants or extra streams |
| Small experiments | Use T4/A10G GPU |
| Full training | Use A100 with bfloat16 |
| Custom data | Modify the dataset loader class |
| Different model size | Adjust GPTConfig parameters |
## Metrics to Monitor
| Metric | Typical Signal | Notes |
|--------|----------------|-------|
| Validation loss | Steady decrease | Absolute value depends on dataset/tokenizer |
| Grad norm | Moderate, stable range | Large spikes indicate instability |
| Training stability | Smooth curves | Frequent spikes suggest LR/batch issues |
| Throughput | Consistent tokens/sec | Use for comparing configs |
## External Resources
- nanoGPT: https://github.com/karpathy/nanoGPT
- build-nanogpt: https://github.com/karpathy/build-nanogpt
- modded-nanogpt: https://github.com/KellerJordan/modded-nanogpt
- FineWeb-Edu token shards: https://huggingface.co/datasets/karpathy/fineweb-edu-100B-gpt2-token-shards
© benchflow-ai · Apache-2.0 · benchflow-ai/skillsbench