К основному содержанию
скилл CX Codex

nanogpt-training — скилл для Claude Code: что делает и как установить

Скилл nanogpt-training для Claude Code содержит инструкции для обучения моделей масштаба GPT-2 на 124M параметров на одной GPU с оптимизатором Muon и данными из Hugging Face.

Apache-2.0 1 установок ★ 1 933 обновлён 2026-10-24

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a claude-code
Открыть на GitHub

Что делает nanogpt-training

Скилл добавляет в контекст агента спецификации и правила для тренировки языковой модели на 124M параметров. Внутри описана архитектура трансформера с RoPE, схемы резидуальных связей и пайплайн загрузки готовых токенизированных шардов из Hugging Face Hub или локального диска.

Для вычислений используются смешанная точность bfloat16 на GPU уровня A100 и оптимизатор Muon с ортогонализацией Ньютона-Шульца наряду с классическим AdamW. В кодовой базе также есть пример запуска тренировочного скрипта через Modal в среде Python 3.11.

Для запуска обучения понадобятся библиотеки torch, einops, numpy и huggingface_hub. Без видеокарты с поддержкой bfloat16 вроде A100 получить двукратное ускорение вычислений не выйдет.

Какие задачи решает

  • собрать архитектуру GPT-124M с RoPE и кастомными резидуальными связями
  • настроить потоковую загрузку токенизированных шардов датасета из Hugging Face Hub
  • подключить оптимизатор Muon с ортогонализацией Ньютона-Шульца
  • написать цикл обучения со смешанной точностью bfloat16 на одной видеокарте

Примеры запросов агенту

  • Напиши PyTorch-модуль трансформера на 124M параметров с RoPE по правилам nanogpt-training
  • Собери цикл обучения с оптимизатором Muon и смешанной точностью bfloat16
  • Сделай даталоадер для токенизированных данных из karpathy/fineweb-edu-100B-gpt2-token-shards

Как установить nanogpt-training

1Через Skills CLI (Vercel)

npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a claude-code

2Вручную: положить файлы

~/.claude/skills/nanogpt-training/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/nanogpt-training/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о nanogpt-training

Как установить nanogpt-training в Claude Code?

Выполните команду npx skills add benchflow-ai/skillsbench --skill nanogpt-training -a claude-code.

Что делает nanogpt-training?

Он снабжает помощника шаблонами для сборки архитектуры GPT-124M, настройки даталоадера шардов и запуска тренировочного цикла на одной GPU.

Какие зависимости нужны для запуска обучения?

Скрипты требуют Python 3.11 и библиотеки torch, einops, numpy и huggingface_hub.

Исходный текст

SKILL.md · Apache-2.0
---
name: nanogpt-training
description: Train GPT-2 scale models (~124M parameters) efficiently on a single GPU. Covers GPT-124M architecture, tokenized dataset loading (e.g., HuggingFace Hub shards), modern optimizers (Muon, AdamW), mixed precision training, and training loop implementation.
---

# NanoGPT Training

## Overview

Training GPT-2 scale models (~124M parameters) efficiently on a single GPU. It provides:

- **GPT-124M Architecture**: Standard transformer with RoPE and modern optimizations
- **Tokenized Datasets**: Loading pre-tokenized shards from HuggingFace Hub or local files
- **Modern Optimizers**: Muon optimizer with Newton-Schulz orthogonalization
- **Mixed Precision**: bfloat16 training on A100 for 2x speedup

Training options:
- **Baseline GPT**: Standard residual connections
- **Experimental residual variants**: Optional alternative residual schemes for stability/efficiency

## Quick Reference

| Topic | Reference |
|-------|-----------|
| Model Architecture | [GPT Architecture](references/gpt-architecture.md) |
| Data Loading | [Tokenized Data](references/tokenized-data.md) |
| Optimizers | [Optimizers](references/optimizers.md) |
| Training Loop | [Training Loop](references/training-loop.md) |
| Hyperparameters | [Hyperparameters](references/hyperparameters.md) |

## Installation

```bash
pip install torch einops numpy huggingface_hub
```

## Minimal Example

```python
import modal

app = modal.App("gpt-training")

image = modal.Image.debian_slim(python_version="3.11").pip_install(
    "torch", "einops", "numpy", "huggingface_hub"
)

@app.function(gpu="A100", image=image, timeout=3600)
def train():
    import torch
    from dataclasses import dataclass

    @dataclass
    class GPTConfig:
        block_size: int = 1024
        vocab_size: int = 50257
        n_layer: int = 12
        n_head: int = 12
        n_embd: int = 768
        dropout: float = 0.0
        bias: bool = False

    # Download data, build model, train
    # ... (see references for full implementation)

    return {"final_loss": final_loss}

@app.local_entrypoint()
def main():
    results = train.remote()
    print(results)
```

## Common Imports

```python
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.cuda.amp import autocast, GradScaler
from dataclasses import dataclass
from einops import rearrange, repeat, reduce
import numpy as np
import math
```

## When to Use What

| Scenario | Approach |
|----------|----------|
| Standard GPT training | Use baseline model with standard residuals |
| Stability experiments | Try alternative residual variants or extra streams |
| Small experiments | Use T4/A10G GPU |
| Full training | Use A100 with bfloat16 |
| Custom data | Modify the dataset loader class |
| Different model size | Adjust GPTConfig parameters |

## Metrics to Monitor

| Metric | Typical Signal | Notes |
|--------|----------------|-------|
| Validation loss | Steady decrease | Absolute value depends on dataset/tokenizer |
| Grad norm | Moderate, stable range | Large spikes indicate instability |
| Training stability | Smooth curves | Frequent spikes suggest LR/batch issues |
| Throughput | Consistent tokens/sec | Use for comparing configs |

## External Resources

- nanoGPT: https://github.com/karpathy/nanoGPT
- build-nanogpt: https://github.com/karpathy/build-nanogpt
- modded-nanogpt: https://github.com/KellerJordan/modded-nanogpt
- FineWeb-Edu token shards: https://huggingface.co/datasets/karpathy/fineweb-edu-100B-gpt2-token-shards

© benchflow-ai · Apache-2.0 · benchflow-ai/skillsbench

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
nanogpt Orchestra Research Скилл nanogpt для Claude Code, Codex, Cursor и других платформ — учебная реализация GPT в 300 строк кода. Воспроизводит GPT-2 (124M) на OpenWebText, обучается на Shakespeare за пять минут на процессоре. CX Codex +1 1 100установок ml-training-recipes dailycafi Скилл ml-training-recipes содержит практические шаблоны обучения моделей на PyTorch: от настройки циклов и оптимизаторов Muon и AdamW до смешанной точности и устранения OOM. CX Codex +1 1 100установок obliteratus-abliteration reason-machines Скилл obliteratus-abliteration для Claude Code управляет анализом и изменением LLM, чтобы убрать встроенные отказы. Запускает эксперименты с моделями из HuggingFace. CX Codex +1 871установок ai-ml-development travisjneuman Скилл ai-ml-development для Claude Code и Codex под разработку систем машинного обучения. Подключается при сборке пайплайнов обучения, дообучении LLM и выстраивании RAG-архитектуры. CX Codex +1 167установок discover-ml rand Скилл discover-ml подключает 42 ML-скилла из репозитория rand/cc-polymath, когда агент видит упоминание PyTorch, DSPy, RAG, fine-tuning или диффузионных моделей. CX Codex +1 134установок trl-training huggingface Скилл trl-training для Claude Code помогает писать и отлаживать код дообучения LLM через TRL. Он подключается к задачам с Python API или CLI trl. CX Codex +1 1 100установок

Из того же набора22

Весь набор →
hex-grid-spatial Скилл hex-grid-spatial для Claude Code считает соседей, расстояние и клетки в радиусе на гексагональной карте с odd-r offset координатами. Используется в логике ходов и зон вокруг юнита. CX Codex +1 1установок python-scala-syntax-mapping Скилл python-scala-syntax-mapping для Claude Code сопоставляет синтаксис Python и Scala, помогая ИИ-агенту переносить функции, циклы и типы данных. CX Codex +1 1установок image-ocr Скилл image-ocr извлекает текст из изображений через Tesseract OCR и Python. Попросите агента обработать скан, скриншот или папку с картинками. CX Codex +1 1установок audiobook Скилл audiobook собирает аудиокнигу из статьи по ссылке или текстового файла: вытягивает контент, чистит его и озвучивает через ElevenLabs, OpenAI TTS или gTTS. CX Codex +1 1установок hierarchical-taxonomy-clustering Скилл hierarchical-taxonomy-clustering для Claude Code объединяет похожие категории из разных источников в многоуровневую таксономию. Анализирует товары по общей структуре категорий. CX Codex +1 1установок senior-data-engineer Скилл senior-data-engineer для Claude и других агентов: помогает проектировать ETL/ELT и стриминговые пайплайны, генерирует Airflow DAG, конфиги Kafka и проверки качества данных. CX Codex +1 1установок vulnerability-csv-reporting Скилл vulnerability-csv-reporting преобразует JSON-отчёты сканеров уязвимостей в плоские CSV-таблицы для аудитов и тикетов. CX Codex +1 1установок python-scala-functional Скилл python-scala-functional для Claude Code помогает переписывать Python-код в функциональном стиле Scala. Показывает приёмы работы с замыканиями, генераторами, обработкой ошибок и Optional. CX Codex +1 1установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой