# nanogpt

Скилл помогает разбирать и запускать учебную реализацию GPT на PyTorch. Он пригодится для экспериментов с трансформерами и обучения на своих текстах.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 956 установок · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/01-model-architecture/nanogpt/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/nanogpt

## Что делает

Скилл описывает компактную реализацию GPT на чистом PyTorch: модель находится в `model.py`, цикл обучения — в `train.py`. Через него можно подготовить данные Shakespeare, обучить символьную модель на CPU и сгенерировать текст командой `python sample.py --out_dir=out-shakespeare-char`. Есть отдельные сценарии для OpenWebText, GPT-2 на 124M параметров, дообучения готовых весов и собственного датасета.

В материалах разобраны конфигурации модели, токенизация, накопление градиентов и распределённое обучение через `torchrun`. Для работы нужны `torch`, `numpy`, `transformers`, `datasets`, `tiktoken`, `wandb` и `tqdm`. Для обучения GPT-2 на OpenWebText понадобится запуск на 8 GPU, а загрузка весов GPT-2 требует пакета `transformers`. Это повод заранее проверить доступную видеопамять и режим обучения.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill nanogpt -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/nanogpt/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/nanogpt/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill nanogpt -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/nanogpt/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill nanogpt -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/nanogpt/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs nanogpt
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/nanogpt/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill nanogpt -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 01-model-architecture/nanogpt
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/nanogpt/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill nanogpt -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/01-model-architecture/nanogpt/SKILL.md

## Когда брать
- разобрать устройство GPT с нуля
- обучить символьную модель на Shakespeare
- подготовить собственный текстовый датасет
- воспроизвести GPT-2 на OpenWebText
- дообучить готовые веса GPT-2

## Примеры запросов агенту
- Покажи пошагово, как подготовить данные Shakespeare и запустить `python train.py config/train_shakespeare_char.py`.
- Настрой обучение на своём тексте через `data/custom/prepare.py` и команду `python train.py --dataset=custom`.
- Объясни конфигурацию для GPT-2 и запуск `torchrun --standalone --nproc_per_node=8 train.py config/train_gpt2.py`.

## Похожие
- [trader-train](https://affpapa.org/nevibecode/skills/trader-train.md) — скилл · 736 установок
- [repo-intake-and-plan](https://affpapa.org/nevibecode/skills/repo-intake-and-plan.md) — скилл · 476200 установок
- [minimal-run-and-audit](https://affpapa.org/nevibecode/skills/minimal-run-and-audit.md) — скилл · 476200 установок
- [firecrawl-research-papers](https://affpapa.org/nevibecode/skills/firecrawl-research-papers.md) — скилл · 33800 установок
- [firecrawl-research-index](https://affpapa.org/nevibecode/skills/firecrawl-research-index.md) — скилл · 24400 установок
- [nature-figure](https://affpapa.org/nevibecode/skills/nature-figure.md) — скилл · 18800 установок

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md