# data-processing-nemo-curator

Помогает настроить конвейер очистки обучающих выборок для нейросетей через библиотеку NeMo Curator на видеокартах NVIDIA.

- скилл · `type=skill` · Claude Code · 123 установки
- Автор: Orchestra Research
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/data-processing-nemo-curator
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/data-processing-nemo-curator

## Что делает

Скилл обучает Claude Code собирать скрипты фильтрации и дедупликации больших корпусов текста, звука, картинок и видео. Он даёт шаблоны для точного и нечёткого поиска дубликатов через MinHash с LSH, а также семантического сравнения векторов. По данным NVIDIA, нечёткая дедупликация на видеокартах проходит до 16 раз быстрее расчётов на процессоре.

Обработка строится на модулях `cudf` и `dask`. Они распределяют вычисления по нескольким ускорителям. Для работы конвейера понадобятся пакет `nemo-curator`, среда с CUDA 12 и видеокарты NVIDIA. В коде можно сразу задать удаление персональных сведений, отсечение спама по эвристикам или классификацию качества текста через модель DeBERTa.

Разделение по модальностям поддержано из коробки. Скрипты умеют фильтровать изображения по эстетическому баллу, проверять аудиозаписи через расчёт метрики ошибок распознавания речи или нарезать видеофайлы на сцены.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill ai-research/data-processing-nemo-curator
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill data-processing-nemo-curator -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/data-processing-nemo-curator/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/data-processing-nemo-curator/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/data-processing-nemo-curator/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/data-processing-nemo-curator/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates data-processing-nemo-curator
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/data-processing-nemo-curator/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/data-processing-nemo-curator
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/data-processing-nemo-curator/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/data-processing-nemo-curator

## Когда брать
- очистить веб-тексты от дубликатов через нечёткий поиск MinHash
- удалить персональные данные из обучающего набора
- отфильтровать аудиофайлы по уровню ошибок транскрипции
- настроить проверку качества текстов классификатором DeBERTa
- распределить вычисления по нескольким видеокартам с помощью Dask

## Примеры запросов агенту
- Напиши пайплайн в NeMo Curator для нечёткой дедупликации текстового датасета на GPU
- Добавь удаление личных данных и эвристические фильтры длины слов в датасет
- Сделай скрипт очистки картинок с фильтрацией NSFW и оценкой эстетики

## Похожие
- [skill-creator](https://affpapa.org/nevibecode/skills/skill-creator.md) — скилл · 414180 установок
- [writing-for-agents](https://affpapa.org/nevibecode/skills/writing-for-agents.md) — скилл · 466719 установок
- [media-use](https://affpapa.org/nevibecode/skills/media-use.md) — скилл · 1100000 установок
- [mcp-builder](https://affpapa.org/nevibecode/skills/mcp-builder.md) — скилл · 130949 установок
- [subagent-driven-development](https://affpapa.org/nevibecode/skills/subagent-driven-development.md) — скилл · 237746 установок
- [orchestration](https://affpapa.org/nevibecode/skills/orchestration.md) — скилл · 350300 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 651 карточка

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md