# doc-to-vector-dataset-generator

Скилл doc-to-vector-dataset-generator для Claude Code превращает документы в очищенные JSONL-чанки для embeddings и vector search. Готовит данные для поиска по документам.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 227 установок · ★ 64 у репозитория
- Автор: patricio0312rev
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/patricio0312rev/skills/tree/HEAD/ai-engineering/doc-to-vector-dataset-generator/SKILL.md
- Обновлён: 2026-01-12
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/doc-to-vector-dataset-generator

## Что делает

Скилл извлекает текст из PDF, DOCX и HTML, очищает его от лишних пробелов, номеров страниц и URL, а затем делит на смысловые фрагменты. Для Markdown показана отдельная функция чтения файла. Чанки получают метаданные: источник, индекс, размеры, дату, наличие кода или таблицы и язык.

Перед экспортом скилл проверяет длину и содержимое фрагментов, отбрасывает чанки с низкой долей букв и удаляет близкие дубликаты через TF-IDF и cosine similarity. Результат записывается в JSONL, по одному объекту на строку. Проверка качества принимает только фрагменты на английском языке, поэтому русскоязычные документы этот этап не пройдут.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/doc-to-vector-dataset-generator/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/doc-to-vector-dataset-generator/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/doc-to-vector-dataset-generator/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/doc-to-vector-dataset-generator/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install patricio0312rev/skills ai-engineering/doc-to-vector-dataset-generator/SKILL.md
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/doc-to-vector-dataset-generator/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/patricio0312rev/skills --path ai-engineering/doc-to-vector-dataset-generator
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/doc-to-vector-dataset-generator/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add patricio0312rev/skills --skill doc-to-vector-dataset-generator -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/patricio0312rev/skills/tree/HEAD/ai-engineering/doc-to-vector-dataset-generator/SKILL.md

## Когда брать
- извлечь текст из PDF, DOCX и HTML
- очистить документы от шума и URL
- разбить текст по абзацам и смысловым границам
- добавить метаданные к каждому чанку
- удалить близкие дубликаты и выгрузить JSONL

## Примеры запросов агенту
- Подготовь документы из каталога `docs` для vector search и запиши результат в `dataset.jsonl`.
- Извлеки текст из `manual.pdf`, очисти его, разбей на чанки и добавь метаданные.
- Проверь чанки, убери дубликаты и сохрани только подходящие фрагменты в JSONL.

## Похожие
- [deeplake-dataset-stinger](https://affpapa.org/nevibecode/skills/deeplake-dataset-stinger.md) — скилл · ★ 96 у репозитория
- [AgentDB Vector Search](https://affpapa.org/nevibecode/skills/agentdb-vector-search.md) — скилл · 1100 установок
- [qdrant-vector-search](https://affpapa.org/nevibecode/skills/qdrant-vector-search.md) — скилл · 1100 установок
- [neo4j-vector-index-skill](https://affpapa.org/nevibecode/skills/neo4j-vector-index-skill.md) — скилл · 963 установки
- [vector-search](https://affpapa.org/nevibecode/skills/vector-search.md) — скилл · 752 установки
- [surrealdb-vector](https://affpapa.org/nevibecode/skills/surrealdb-vector.md) — скилл · 659 установок

Из того же набора: [patricio0312rev/skills](https://affpapa.org/nevibecode/by/patricio0312rev/skills.md) — 148 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
