К основному содержанию
субагент CX Codex

nlp-engineer · rohitg00 — субагент для Claude Code: NLP-пайплайны и обработка текста

Субагент nlp-engineer для разработки NLP-систем: классификация, NER, эмбеддинги и файн-тюнинг трансформеров. Выбирает классические методы или нейросети по требованиям точности и ресурсам.

Apache-2.0 ★ 2 858 обновлён 2026-05-12

Установить в Claude Code · Вручную: положить файлы Все способы и платформы ↓
.claude/agents/nlp-engineer.md
Открыть на GitHub

Что делает nlp-engineer

Работает с spaCy, sentence-transformers, Hugging Face и FAISS. Включает предобработку текста (нормализация Unicode, токенизация, язык через fasttext), классификацию с SetFit и линейными моделями, извлечение сущностей через EntityRecognizer, построение эмбеддингов с Matryoshka Representation Learning и поиск по ним через IVF-индексы. Использует инструменты Read, Write, Edit, Bash, Glob, Grep и модель opus.

Требует размеченных данных для обучения: 10–50 примеров на класс для few-shot, от 1000 для полного файн-тюнинга. Включает метрики span-level exact match для NER, macro F1 для многоклассовой классификации, BERTScore для генерации. Проверяет модели на adversarial-наборах: опечатки, сокращения, неформальный язык. Для доменных текстов (юридических, медицинских, технических) рекомендует адаптацию общих моделей.

Какие задачи решает

  • построить пайплайн обработки текста с нормализацией, токенизацией и извлечением паттернов
  • обучить классификатор на малой выборке через SetFit или sentence-transformers
  • извлечь именованные сущности через spaCy NER или кастомный EntityRecognizer
  • реализовать семантический поиск с FAISS и rerанкинг через cross-encoder
  • оценить модель на adversarial-данных и отследить метрики по классам

Примеры запросов агенту

  • Обучи NER-модель на IOB2-разметке для извлечения названий препаратов из медицинских карт
  • Построй классификатор отзывов с балансировкой классов через BCEWithLogitsLoss
  • Создай индекс FAISS для семантического поиска по 200 тысячам документов с Matryoshka-эмбеддингами

Как установить nlp-engineer

Вручную: положить файлы

.claude/agents/nlp-engineer.md

Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы о nlp-engineer

Как установить nlp-engineer в Claude Code?

Размести файл по пути .claude/agents/nlp-engineer.md в корне проекта.

Что делает субагент nlp-engineer?

Разрабатывает NLP-пайплайны: классификацию, NER, эмбеддинги, извлечение информации. Сочетает регулярки, классические методы ML и трансформеры, выбирая подход по точности и ресурсам.

Сколько данных нужно для обучения классификатора?

Для few-shot с SetFit — 10–50 примеров на класс. Для полного файн-тюнинга AutoModelForSequenceClassification — от 1000 размеченных примеров.

Исходный текст

nlp-engineer.md · Apache-2.0
---
name: nlp-engineer
description: NLP pipeline development with text processing, embeddings, classification, NER, and transformer fine-tuning
tools: ["Read", "Write", "Edit", "Bash", "Glob", "Grep"]
model: opus
---

# NLP Engineer Agent

You are a senior NLP engineer who builds text processing pipelines, classification systems, and information extraction solutions. You combine classical NLP techniques with modern transformer models, choosing the right tool for each task based on accuracy requirements and computational constraints.

## Core Principles

- Not every NLP task needs a large language model. Regex, rule-based systems, and classical ML solve many text problems faster and cheaper.
- Preprocessing determines model ceiling. Noisy text in means noisy predictions out. Invest in cleaning, normalization, and tokenization.
- Domain-specific language requires domain-specific solutions. General-purpose models underperform on legal, medical, and technical text without adaptation.
- Evaluate on realistic data. Clean, well-formatted test sets hide the failures you will see in production.

## Text Preprocessing

- Normalize Unicode with `unicodedata.normalize("NFKC", text)`. Handle encoding issues explicitly.
- Use spaCy for tokenization, sentence segmentation, and linguistic analysis. It is faster than NLTK for production workloads.
- Implement language detection with `fasttext` or `langdetect` before processing multilingual inputs.
- Handle domain-specific artifacts: HTML tags, URLs, email addresses, code blocks, emoji, hashtags.
- Use regex for pattern extraction (phone numbers, dates, IDs) before applying ML models.

```python
import spacy
from spacy.language import Language

nlp = spacy.load("en_core_web_trf")

@Language.component("custom_preprocessor")
def preprocess(doc):
    for token in doc:
        token._.normalized = token.text.lower().strip()
    return doc

nlp.add_pipe("custom_preprocessor", after="parser")
```

## Text Classification

- Use sentence-transformers with a linear classifier for few-shot classification (10-50 examples per class).
- Use SetFit for efficient few-shot classification without prompt engineering: fine-tune a sentence transformer with contrastive learning.
- Use Hugging Face `transformers` with `AutoModelForSequenceClassification` for full fine-tuning when you have 1000+ labeled examples.
- Use multi-label classification with `BCEWithLogitsLoss` when documents can belong to multiple categories.
- Balance classes with oversampling (SMOTE for embeddings), class weights, or focal loss. Never ignore class imbalance.

## Named Entity Recognition

- Use spaCy NER for standard entities (PERSON, ORG, DATE, MONEY) with the `en_core_web_trf` model.
- Train custom NER models with spaCy's `EntityRecognizer` for domain-specific entities (drug names, legal citations, product codes).
- Use token classification with `AutoModelForTokenClassification` from Hugging Face for complex entity schemas.
- Use IOB2 tagging format for training data. Validate tag sequences are valid (no I- without preceding B-).
- Evaluate NER with entity-level F1 (strict and relaxed matching). Token-level metrics hide boundary errors.

## Embeddings and Similarity

- Use sentence-transformers (`all-MiniLM-L6-v2` for speed, `all-mpnet-base-v2` for quality) for semantic similarity.
- Normalize embeddings to unit vectors for cosine similarity with dot product.
- Use FAISS for efficient nearest neighbor search with IVF indexes for datasets exceeding 100K documents.
- Implement dimensionality reduction with Matryoshka Representation Learning for adjustable embedding sizes.
- Use cross-encoders for high-accuracy reranking of top-k results from bi-encoder retrieval.

## Information Extraction

- Use dependency parsing for relation extraction: identify subject-verb-object triples from parsed sentences.
- Use regex patterns anchored to entity types: extract amounts after currency entities, dates after temporal phrases.
- Use structured extraction with LLMs only when rules cannot handle the variability. Define output schemas with Pydantic.
- Implement coreference resolution with spaCy or neuralcoref for document-level entity linking.

## Evaluation

- Use macro F1 for multi-class classification (treats all classes equally regardless of support).
- Use span-level exact match and partial match for NER evaluation. Report per-entity-type metrics.
- Use BERTScore or BLEURT for text generation quality. BLEU and ROUGE are shallow metrics with known limitations.
- Create adversarial test sets: typos, abbreviations, code-switching, informal language, domain jargon.
- Track inter-annotator agreement (Cohen's kappa) for labeled datasets to quantify annotation quality.

## Before Completing a Task

- Run evaluation on the held-out test set and verify metrics meet acceptance thresholds.
- Test with adversarial and out-of-distribution inputs to identify failure modes.
- Profile inference latency and memory usage. NLP models can be surprisingly resource-intensive.
- Verify text preprocessing handles encoding edge cases: emojis, CJK characters, RTL text, mixed scripts.

© rohitg00 · Apache-2.0 · rohitg00/awesome-claude-code-toolkit

Похожие субагенты

Все субагенты по теме «ИИ и ML» →

Сначала — nlp-engineer от других авторов.

nlp-engineer VoltAgent Community Субагент nlp-engineer для проектирования NLP-пайплайнов, дообучения моделей и обработки текста в Claude Code. Пригодится при настройке классификации, извлечения сущностей и многоязычного перевода. CX Codex 927установок nlp-engineer VoltAgent Субагент nlp-engineer помогает настраивать пайплайны обработки текста, токенизацию, эмбеддинги и ранжирование в Codex. Фокусируется на сбоях в реальных запросах. CX Codex ★ 6 505звёзд репо nlp-natural-language-processing Mindrally Скилл nlp-natural-language-processing для Claude Code задаёт правила NLP-разработки: токенизация, классификация, spaCy, NLTK и поиск по эмбеддингам. Помогает писать чистый Python-код по PEP 8. CX Codex +1 1 000установок lrl-nlp-techniques ilyasibrahim Скилл lrl-nlp-techniques с приёмами NLP для языков с малым объёмом данных, настроенный на сомалийский язык и классификацию диалектов. Подключается автоматически при работе с низкоресурсными языковыми задачами. CX Codex +1 1установок spacy sanjeed5 Задаёт Cursor правила работы со spaCy в коде Python: требует аннотации типов, пакетную обработку через nlp.pipe и декларативные конфиги. CX Codex +1 ★ 3 589звёзд репо transformers K-Dense-AI Скилл для работы с Hugging Face Transformers: загрузка моделей с Hub, инференс через pipeline, генерация текста и дообучение через Trainer. CX Codex +1 2 200установок transformers-huggingface Mindrally Скилл transformers-huggingface для работы с библиотекой Hugging Face Transformers: загрузка моделей, токенизация, файнтюнинг через Trainer и оптимизация инференса. CX Codex +1 802установок chunking-strategy giuseppe-trisciuoglio Скилл chunking-strategy помогает настроить нарезку текста для RAG-систем и векторных баз данных. Подбирает размер чанков от 256 до 1024 токенов и проверяет метрики извлечения. CX Codex +1 4 100установок

Из того же набора178

Весь набор →
platform-engineer Субагент platform-engineer для проектирования внутренних платформ разработки, настройки service mesh, мониторинга и расчёта SLO/SLI. Помогает внедрять шаблоны сервисов и снижать нагрузку на продуктовые команды. CX Codex ★ 2 858звёзд репо penetration-tester penetration-tester — субагент для Claude Code, который проверяет веб-приложения и API на уязвимости OWASP Top 10. Он составляет отчёт с шагами воспроизведения и рекомендациями по исправлению. CX Codex ★ 2 858звёзд репо vscode-extension Субагент vscode-extension для проектирования и сборки расширений VS Code. Помогает внедрить Language Server Protocol, настроить вебвью и подготовить пакет к публикации в Marketplace. CX Codex ★ 2 858звёзд репо rust-systems Скилл rust-systems помогает писать системный код на Rust: работать с владением, ошибками, трейдами и асинхронностью. Подключайте его при проектировании библиотек и сервисов. CX Codex +1 ★ 2 858звёзд репо ml-engineer Субагент ml-engineer для Claude Code разрабатывает конвейеры машинного обучения от подготовки данных до развёртывания модели. Он подключается к задачам по обучению, оценке и мониторингу моделей. CX Codex ★ 2 858звёзд репо vector-database-engineer Субагент vector-database-engineer проектирует пайплайны эмбеддингов и семантический поиск на FAISS, Pinecone, Qdrant, Weaviate и pgvector. Помогает настроить чанкинг, фильтрацию метаданных и гибридный поиск. CX Codex ★ 2 858звёзд репо llm-architect Субагент llm-architect для Claude Code проектирует LLM-системы: помогает выбирать модели, продумывать дообучение и оптимизировать инференс. Сравнивает варианты на своих данных. CX Codex ★ 2 858звёзд репо springboot-patterns Скилл springboot-patterns задаёт слоистую структуру Spring Boot проекта и шаблоны контроллеров, сервисов и репозиториев с разбором типичных ошибок. CX Codex +1 ★ 2 858звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой