# grpo-finetuning

Скилл grpo-finetuning помогает настроить дообучение vision-language-моделей методом GRPO: от функций вознаграждения до запуска тренера. Он пригодится, когда обучающих примеров мало или SFT даёт слабый результат.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 1 установка · ★ 412 у репозитория
- Автор: aws-solutions-library-samples
- Лицензия: MIT-0 · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock/tree/HEAD/assets/claude-code-plugins/plugins/ml-training/skills/grpo-finetuning/SKILL.md
- Обновлён: 2026-10-26
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/grpo-finetuning

## Что делает

Скилл описывает цикл GRPO: модель создаёт несколько вариантов ответа на запрос, функции вознаграждения оценивают их, а обучение усиливает варианты с лучшими оценками. Примеры покрывают проверку формата JSON, корректности полей и лишних элементов в ответе. Для задач с чётким критерием правильности это конкретная альтернатива SFT.

В руководстве есть пример конфигурации `GRPOConfig`, формата набора данных с изображениями и ответами, а также настройки `GRPOTrainer` с `FastVisionModel` и LoRA. Для обучения показана связка `trl`, `datasets`, `PIL` и `unsloth`; инфраструктурная часть описывает запуск на SageMaker и контейнер Docker. GRPO требует больше VRAM, чем SFT, поскольку генерирует несколько ответов на запрос, поэтому размер экземпляра нужно выбирать с запасом.

Также разобраны сбои: нехватка памяти при генерации, нулевые оценки и отсутствие сигнала обучения. Например, при нехватке памяти руководство предлагает уменьшить `num_generations` или `max_completion_length`, либо взять экземпляр большего размера. В примерах конфигурации указаны конкретные значения параметров; их стоит соотнести с вашей моделью и ресурсами.

## Требования
- Работает с: AWS

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock --skill grpo-finetuning -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/grpo-finetuning/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/grpo-finetuning/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock --skill grpo-finetuning -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/grpo-finetuning/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock --skill grpo-finetuning -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/grpo-finetuning/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock assets/claude-code-plugins/plugins/ml-training/skills/grpo-finetuning
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/grpo-finetuning/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock --skill grpo-finetuning -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock --path assets/claude-code-plugins/plugins/ml-training/skills/grpo-finetuning
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/grpo-finetuning/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock --skill grpo-finetuning -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/aws-solutions-library-samples/guidance-for-claude-code-with-amazon-bedrock/tree/HEAD/assets/claude-code-plugins/plugins/ml-training/skills/grpo-finetuning/SKILL.md

## Когда брать
- выбрать GRPO вместо SFT для небольшого набора данных
- написать функции вознаграждения для JSON и правильности ответов
- подготовить набор данных с запросами, изображениями и эталонными ответами
- настроить GRPOTrainer с LoRA для vision-language-модели
- разобраться с нулевыми оценками или нехваткой VRAM при обучении

## Примеры запросов агенту
- Настрой обучение GRPO для vision-language-модели на небольшом наборе данных.
- Покажи, как оценивать правильность JSON-ответов и штрафовать лишние элементы.
- Помоги устранить нехватку памяти при генерации в GRPO.

## Похожие
- [finetuning-method-selection](https://affpapa.org/nevibecode/skills/finetuning-method-selection.md) — скилл · 2600 установок
- [aws-ai-ml](https://affpapa.org/nevibecode/skills/aws-ai-ml.md) — скилл · 4400 установок
- [llm-finetuning-training-engineer](https://affpapa.org/nevibecode/agents/llm-finetuning-training-engineer.md) — субагент · ★ 42780 у репозитория

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
