К основному содержанию
скилл CX Codex

doc-to-vector-dataset-generator — скилл для Claude Code

Скилл doc-to-vector-dataset-generator для Claude Code превращает документы в очищенные JSONL-чанки для embeddings и vector search. Готовит данные для поиска по документам.

MIT 227 установок ★ 64 обновлён 2026-01-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a claude-code
Открыть на GitHub

Что делает doc-to-vector-dataset-generator

Скилл извлекает текст из PDF, DOCX и HTML, очищает его от лишних пробелов, номеров страниц и URL, а затем делит на смысловые фрагменты. Для Markdown показана отдельная функция чтения файла. Чанки получают метаданные: источник, индекс, размеры, дату, наличие кода или таблицы и язык.

Перед экспортом скилл проверяет длину и содержимое фрагментов, отбрасывает чанки с низкой долей букв и удаляет близкие дубликаты через TF-IDF и cosine similarity. Результат записывается в JSONL, по одному объекту на строку. Проверка качества принимает только фрагменты на английском языке, поэтому русскоязычные документы этот этап не пройдут.

Какие задачи решает

  • извлечь текст из PDF, DOCX и HTML
  • очистить документы от шума и URL
  • разбить текст по абзацам и смысловым границам
  • добавить метаданные к каждому чанку
  • удалить близкие дубликаты и выгрузить JSONL

Примеры запросов агенту

  • Подготовь документы из каталога docs для vector search и запиши результат в dataset.jsonl.
  • Извлеки текст из manual.pdf, очисти его, разбей на чанки и добавь метаданные.
  • Проверь чанки, убери дубликаты и сохрани только подходящие фрагменты в JSONL.

Как установить doc-to-vector-dataset-generator

1Через Skills CLI (Vercel)

npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a claude-code

2Вручную: положить файлы

~/.claude/skills/doc-to-vector-dataset-generator/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/doc-to-vector-dataset-generator/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о doc-to-vector-dataset-generator

Как установить doc-to-vector-dataset-generator в Claude Code?

Выполните npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a claude-code, затем проверьте файл ~/.claude/skills/doc-to-vector-dataset-generator/SKILL.md.

Что делает doc-to-vector-dataset-generator?

Скилл извлекает и очищает текст, делит его на смысловые чанки, добавляет метаданные, удаляет близкие дубликаты и экспортирует результат в JSONL для embeddings и vector search.

Почему часть чанков отбрасывается?

Проверка удаляет слишком короткие или длинные фрагменты, текст с низкой долей букв и чанки, язык которых определён не как en.

Исходный текст

SKILL.md · MIT
---
name: doc-to-vector-dataset-generator
description: Converts documents into clean, chunked datasets suitable for embeddings and vector search. Produces chunked JSONL files with metadata, deduplication logic, and quality checks. Use when preparing "training data", "vector datasets", "document processing", or "embedding data".
---

# Doc-to-Vector Dataset Generator

Transform documents into high-quality vector search datasets.

## Pipeline Steps

1. **Extract text** from various formats (PDF, DOCX, HTML)
2. **Clean text** (remove noise, normalize)
3. **Chunk strategically** (semantic boundaries)
4. **Add metadata** (source, timestamps, classification)
5. **Deduplicate** (near-duplicate detection)
6. **Quality check** (length, content validation)
7. **Export JSONL** (one chunk per line)

## Text Extraction

```python
# PDF extraction
import pymupdf

def extract_pdf(filepath: str) -> str:
    doc = pymupdf.open(filepath)
    text = ""
    for page in doc:
        text += page.get_text()
    return text

# Markdown extraction
def extract_markdown(filepath: str) -> str:
    with open(filepath) as f:
        return f.read()
```

## Text Cleaning

```python
import re

def clean_text(text: str) -> str:
    # Remove extra whitespace
    text = re.sub(r'\s+', ' ', text)

    # Remove page numbers
    text = re.sub(r'Page \d+', '', text)

    # Remove URLs (optional)
    text = re.sub(r'http\S+', '', text)

    # Normalize unicode
    text = text.encode('utf-8', 'ignore').decode('utf-8')

    return text.strip()
```

## Semantic Chunking

```python
def semantic_chunk(text: str, max_chunk_size: int = 1000) -> List[str]:
    """Chunk at semantic boundaries (paragraphs, sentences)"""
    # Split by paragraphs first
    paragraphs = text.split('\n\n')

    chunks = []
    current_chunk = ""

    for para in paragraphs:
        if len(current_chunk) + len(para) <= max_chunk_size:
            current_chunk += para + "\n\n"
        else:
            if current_chunk:
                chunks.append(current_chunk.strip())
            current_chunk = para + "\n\n"

    if current_chunk:
        chunks.append(current_chunk.strip())

    return chunks
```

## Metadata Extraction

````python
def extract_metadata(filepath: str, chunk: str, chunk_idx: int) -> dict:
    return {
        "source": filepath,
        "chunk_id": f"{hash(filepath)}_{chunk_idx}",
        "chunk_index": chunk_idx,
        "char_count": len(chunk),
        "word_count": len(chunk.split()),
        "created_at": datetime.now().isoformat(),

        # Content classification
        "has_code": bool(re.search(r'```|def |class |function', chunk)),
        "has_table": bool(re.search(r'\|.*\|', chunk)),
        "language": detect_language(chunk),
    }
````

## Deduplication

```python
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def deduplicate_chunks(chunks: List[dict], threshold: float = 0.95) -> List[dict]:
    """Remove near-duplicate chunks"""
    texts = [c["text"] for c in chunks]

    # Compute TF-IDF vectors
    vectorizer = TfidfVectorizer()
    vectors = vectorizer.fit_transform(texts)

    # Compute pairwise similarity
    similarity_matrix = cosine_similarity(vectors)

    # Find duplicates
    to_remove = set()
    for i in range(len(chunks)):
        if i in to_remove:
            continue
        for j in range(i+1, len(chunks)):
            if similarity_matrix[i][j] > threshold:
                to_remove.add(j)

    # Return unique chunks
    return [c for i, c in enumerate(chunks) if i not in to_remove]
```

## Quality Checks

```python
def quality_check(chunk: dict) -> bool:
    """Validate chunk quality"""
    text = chunk["text"]

    # Min length check
    if len(text) < 50:
        return False

    # Max length check
    if len(text) > 5000:
        return False

    # Content check (not just numbers/symbols)
    alpha_ratio = sum(c.isalpha() for c in text) / len(text)
    if alpha_ratio < 0.5:
        return False

    # Language check (English only)
    if chunk["metadata"]["language"] != "en":
        return False

    return True
```

## JSONL Export

```python
import json

def export_jsonl(chunks: List[dict], output_path: str):
    """Export chunks as JSONL (one JSON object per line)"""
    with open(output_path, 'w') as f:
        for chunk in chunks:
            f.write(json.dumps(chunk) + '\n')

# Example output format
{
  "text": "Chunk text content here...",
  "metadata": {
    "source": "docs/auth.md",
    "chunk_id": "abc123_0",
    "chunk_index": 0,
    "char_count": 542,
    "word_count": 89,
    "has_code": true
  }
}
```

## Complete Pipeline

```python
def process_documents(input_dir: str, output_path: str):
    all_chunks = []

    # Process each document
    for filepath in glob(f"{input_dir}/**/*.md"):
        # Extract and clean
        text = extract_markdown(filepath)
        text = clean_text(text)

        # Chunk
        chunks = semantic_chunk(text)

        # Add metadata
        for i, chunk in enumerate(chunks):
            chunk_obj = {
                "text": chunk,
                "metadata": extract_metadata(filepath, chunk, i)
            }

            # Quality check
            if quality_check(chunk_obj):
                all_chunks.append(chunk_obj)

    # Deduplicate
    unique_chunks = deduplicate_chunks(all_chunks)

    # Export
    export_jsonl(unique_chunks, output_path)

    print(f"Processed {len(unique_chunks)} chunks")
```

## Best Practices

- Chunk at semantic boundaries
- Rich metadata for filtering
- Deduplicate aggressively
- Quality checks prevent garbage
- JSONL format for streaming
- Version your datasets

## Output Checklist

- [ ] Text extraction from all formats
- [ ] Cleaning pipeline implemented
- [ ] Semantic chunking strategy
- [ ] Metadata schema defined
- [ ] Deduplication logic
- [ ] Quality validation checks
- [ ] JSONL export format
- [ ] Dataset statistics logged

© patricio0312rev · MIT · patricio0312rev/skills

Похожие скиллы

Все скиллы по теме «Данные и базы» →
deeplake-dataset-stinger Legion Code Inc. Скилл deeplake-dataset-stinger проектирует и проверяет схемы Deep Lake в Wasp Nestmind. Помогает настроить ColumnDef, версионирование без UPDATE и гибридное индексирование. CX Codex +1 ★ 96звёзд репо AgentDB Vector Search ruvnet Скилл AgentDB Vector Search для быстрого семантического поиска документов через векторную базу AgentDB. Используй для RAG-систем, поисковых движков и баз знаний, где нужна релевантная выборка из больших объёмов текста. CX Codex +1 1 100установок qdrant-vector-search Orchestra Research Скилл qdrant-vector-search для Claude Code помогает проектировать поиск по векторам в Qdrant для RAG и семантического поиска, включая фильтрацию по метаданным и масштабирование. CX Codex +1 1 100установок neo4j-vector-index-skill neo4j-contrib Скилл neo4j-vector-index-skill для Claude Code создаёт векторные индексы Neo4j и настраивает поиск по сходству. Запускается для задач с эмбеддингами, ANN/kNN и гибридным поиском. CX Codex +1 963установок vector-search ruvnet Скилл vector-search выполняет векторный поиск по документам через HNSW или маршрутизирует запросы по 11 шаблонам в WASM. CX Codex +1 752установок surrealdb-vector surrealdb Скилл surrealdb-vector помогает агенту писать запросы векторного поиска в SurrealDB: индексы HNSW, KNN-оператор, оценка похожести. CX Codex +1 659установок

Из того же набора148

Весь набор →
rag-pipeline-builder Скилл rag-pipeline-builder проектирует RAG-пайплайн для ассистента по документам: чанкинг, метаданные, гибридный поиск, реранкинг и план оценки качества. CX Codex +1 251установок preview-environments-builder Скилл preview-environments-builder генерирует пайплайны временных окружений для каждого пулл-реквеста с автоматическим развёртыванием, уникальным адресом и удалением ресурсов после закрытия PR. CX Codex +1 250установок load-test-scenario-builder Скилл load-test-scenario-builder проектирует сценарии нагрузочного тестирования, готовит k6-скрипты, профили трафика и критерии успеха для проверки пропускной способности. CX Codex +1 236установок graphql-schema-designer Скилл graphql-schema-designer для Claude Code помогает спроектировать GraphQL API с типами, запросами, мутациями, подписками и резолверами. Включается по запросам о схеме, настройке GraphQL или Apollo Server. CX Codex +1 230установок test-data-factory-builder Скилл test-data-factory-builder для Claude Code создаёт фабрики и билдеры тестовых данных. Подключается к запросам на генерацию фикстур, тестовых сущностей и связанных записей. CX Codex +1 229установок terraform-module-builder Скилл terraform-module-builder помогает проектировать переиспользуемые модули Terraform с валидацией входных переменных, outputs и структурой каталогов. CX Codex +1 229установок snapshot-test-refactorer Скилл snapshot-test-refactorer для Claude Code превращает громоздкие снимки разметки в точечные проверки поведения и данных. Заменяет хрупкие проверки, падающие при малейшем изменении пробелов или вёрстки. CX Codex +1 228установок performance-budget-setter Скилл performance-budget-setter для Claude Code помогает задать бюджеты для бандлов, API, запросов к базе и времени рендера. Бюджеты фиксируют для проверки метрик в CI и мониторинге. CX Codex +1 228установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой