# nlp-engineer

Субагент nlp-engineer для разработки NLP-систем: классификация, NER, эмбеддинги и файн-тюнинг трансформеров. Выбирает классические методы или нейросети по требованиям точности и ресурсам.

- субагент · `type=agent` · Claude Code, Codex, Cursor · ★ 2858 у репозитория
- Автор: rohitg00
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/rohitg00/awesome-claude-code-toolkit/tree/HEAD/agents/data-ai/nlp-engineer.md
- Обновлён: 2026-05-12
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/agents/rohitg00-nlp-engineer

## Что делает

Работает с `spaCy`, `sentence-transformers`, Hugging Face и `FAISS`. Включает предобработку текста (нормализация Unicode, токенизация, язык через `fasttext`), классификацию с SetFit и линейными моделями, извлечение сущностей через `EntityRecognizer`, построение эмбеддингов с Matryoshka Representation Learning и поиск по ним через IVF-индексы. Использует инструменты `Read`, `Write`, `Edit`, `Bash`, `Glob`, `Grep` и модель `opus`.

Требует размеченных данных для обучения: 10–50 примеров на класс для few-shot, от 1000 для полного файн-тюнинга. Включает метрики span-level exact match для NER, macro F1 для многоклассовой классификации, BERTScore для генерации. Проверяет модели на adversarial-наборах: опечатки, сокращения, неформальный язык. Для доменных текстов (юридических, медицинских, технических) рекомендует адаптацию общих моделей.

## Установка

### Claude Code (родная платформа)

**Вручную: положить файлы**
- Файл: `.claude/agents/nlp-engineer.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/nlp-engineer.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/nlp-engineer.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/rohitg00/awesome-claude-code-toolkit/tree/HEAD/agents/data-ai/nlp-engineer.md

## Когда брать
- построить пайплайн обработки текста с нормализацией, токенизацией и извлечением паттернов
- обучить классификатор на малой выборке через SetFit или sentence-transformers
- извлечь именованные сущности через spaCy NER или кастомный `EntityRecognizer`
- реализовать семантический поиск с `FAISS` и rerанкинг через cross-encoder
- оценить модель на adversarial-данных и отследить метрики по классам

## Примеры запросов агенту
- Обучи NER-модель на IOB2-разметке для извлечения названий препаратов из медицинских карт
- Построй классификатор отзывов с балансировкой классов через `BCEWithLogitsLoss`
- Создай индекс FAISS для семантического поиска по 200 тысячам документов с Matryoshka-эмбеддингами

## Похожие
- [nlp-natural-language-processing](https://affpapa.org/nevibecode/skills/nlp-natural-language-processing.md) — скилл · 1000 установок
- [lrl-nlp-techniques](https://affpapa.org/nevibecode/skills/lrl-nlp-techniques.md) — скилл · 1 установка
- [spacy](https://affpapa.org/nevibecode/rules/spacy.md) — правило · ★ 3589 у репозитория
- [transformers](https://affpapa.org/nevibecode/skills/transformers.md) — скилл · 2200 установок
- [transformers-huggingface](https://affpapa.org/nevibecode/skills/transformers-huggingface.md) — скилл · 802 установки
- [chunking-strategy](https://affpapa.org/nevibecode/skills/chunking-strategy.md) — скилл · 4100 установок

## Другие версии с тем же именем
- [nlp-engineer · voltagent](https://affpapa.org/nevibecode/agents/nlp-engineer.md) — 927 установок
- [nlp-engineer · voltagent](https://affpapa.org/nevibecode/agents/voltagent-nlp-engineer.md) — ★ 6505 у репозитория

Из того же набора: [rohitg00/awesome-claude-code-toolkit](https://affpapa.org/nevibecode/by/rohitg00/awesome-claude-code-toolkit.md) — 178 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
