data-processing-nemo-curator — скилл для Claude Code
Помогает настроить конвейер очистки обучающих выборок для нейросетей через библиотеку NeMo Curator на видеокартах NVIDIA.
npx claude-code-templates@latest --skill ai-research/data-processing-nemo-curatorЧто делает data-processing-nemo-curator
Скилл обучает Claude Code собирать скрипты фильтрации и дедупликации больших корпусов текста, звука, картинок и видео. Он даёт шаблоны для точного и нечёткого поиска дубликатов через MinHash с LSH, а также семантического сравнения векторов. По данным NVIDIA, нечёткая дедупликация на видеокартах проходит до 16 раз быстрее расчётов на процессоре.
Обработка строится на модулях cudf и dask. Они распределяют вычисления по нескольким ускорителям. Для работы конвейера понадобятся пакет nemo-curator, среда с CUDA 12 и видеокарты NVIDIA. В коде можно сразу задать удаление персональных сведений, отсечение спама по эвристикам или классификацию качества текста через модель DeBERTa.
Разделение по модальностям поддержано из коробки. Скрипты умеют фильтровать изображения по эстетическому баллу, проверять аудиозаписи через расчёт метрики ошибок распознавания речи или нарезать видеофайлы на сцены.
Какие задачи решает
- очистить веб-тексты от дубликатов через нечёткий поиск MinHash
- удалить персональные данные из обучающего набора
- отфильтровать аудиофайлы по уровню ошибок транскрипции
- настроить проверку качества текстов классификатором DeBERTa
- распределить вычисления по нескольким видеокартам с помощью Dask
Примеры запросов агенту
- Напиши пайплайн в NeMo Curator для нечёткой дедупликации текстового датасета на GPU
- Добавь удаление личных данных и эвристические фильтры длины слов в датасет
- Сделай скрипт очистки картинок с фильтрацией NSFW и оценкой эстетики
Как установить data-processing-nemo-curator
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/data-processing-nemo-curator2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill data-processing-nemo-curator -a claude-code3Вручную: положить файлы
~/.claude/skills/data-processing-nemo-curator/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/data-processing-nemo-curator/
Вручную: положить файлы
.agents/skills/data-processing-nemo-curator/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/data-processing-nemo-curator/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates data-processing-nemo-curator2Вручную: положить файлы
.github/skills/data-processing-nemo-curator/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/data-processing-nemo-curatorВручную: положить файлы
.devin/skills/data-processing-nemo-curator/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о data-processing-nemo-curator
Как установить data-processing-nemo-curator в Claude Code?
Выполните в терминале команду npx claude-code-templates@latest --skill ai-research/data-processing-nemo-curator. После этого скилл станет доступен агенту.
Что делает data-processing-nemo-curator?
Скилл даёт Claude Code инструкции и готовые шаблоны для подготовки обучающих выборок с помощью NVIDIA NeMo Curator. С его помощью агент пишет пайплайны дедупликации, фильтрации и чистки мультимодальных данных.
Какие системные зависимости нужны для работы пайплайнов?
Для запуска созданных скриптов требуются Python-пакеты nemo-curator, cudf, dask и rapids, а также видеокарта с поддержкой CUDA 12.
