К основному содержанию
скилл CX Codex

rag-pipeline-builder — скилл для Claude Code: как собрать RAG-пайплайн

Скилл rag-pipeline-builder проектирует RAG-пайплайн для ассистента по документам: чанкинг, метаданные, гибридный поиск, реранкинг и план оценки качества.

MIT 251 установок ★ 64 обновлён 2026-01-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add patricio0312rev/skills --skill rag-pipeline-builder -a claude-code
Открыть на GitHub

Что делает rag-pipeline-builder

Скилл ведёт агента по всей цепочке: документы, чанкинг, эмбеддинги, векторное хранилище, поиск, реранкинг, генерация. Внутри лежат код-заготовки. Разбивка идёт через RecursiveCharacterTextSplitter с chunk_size=1000 и chunk_overlap=200, и каждый чанк получает метаданные: имя файла, страницу, chunk_id.

Поиск собран гибридно: векторная выдача складывается с BM25 через reciprocal_rank_fusion, плюс фильтры по метаданным вроде content_type и language. Дальше реранкер cross-encoder/ms-marco-MiniLM-L-6-v2 пересчитывает оценки для верхушки списка. Есть и расширение запроса: один вопрос превращается в несколько формулировок перед поиском.

Для оценки скилл предлагает golden dataset с ожидаемыми чанками и метрики precision, recall, MRR, NDCG. Ещё одна заготовка обрезает выдачу под лимит токенов, в примере max_tokens=4000. Код привязан к Pinecone: pinecone.init требует api_key и environment, а реранкер тянет sentence-transformers. Без аккаунта Pinecone примеры не запустятся.

Какие задачи решает

  • разбить длинные документы на чанки с перекрытием и метаданными
  • сложить векторный поиск и BM25 в один ранжированный список
  • пересчитать верхушку выдачи кросс-энкодером
  • посчитать precision и recall ретривера на golden-датасете
  • уложить найденные чанки в лимит контекстного окна

Примеры запросов агенту

  • Спроектируй RAG-пайплайн по документации в docs/: чанкинг, схема метаданных и гибридный поиск.
  • Добавь в текущий векторный поиск реранкер на кросс-энкодере и метрику MRR.
  • Собери golden dataset и скрипт оценки ретривера с precision и recall.

Как установить rag-pipeline-builder

1Через Skills CLI (Vercel)

npx skills add patricio0312rev/skills --skill rag-pipeline-builder -a claude-code

2Вручную: положить файлы

~/.claude/skills/rag-pipeline-builder/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/rag-pipeline-builder/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о rag-pipeline-builder

Как установить rag-pipeline-builder в Claude Code?

Выполните npx skills add patricio0312rev/skills --skill rag-pipeline-builder -a claude-code, скилл окажется в ~/.claude/skills/rag-pipeline-builder/SKILL.md.

Что делает rag-pipeline-builder?

Описывает полную схему RAG от чанкинга до генерации и даёт код-заготовки: сплиттер с метаданными, гибридный поиск, реранкинг, расширение запроса и метрики оценки.

Что нужно, чтобы запустить примеры из скилла?

Индекс Pinecone с api_key и environment, эмбеддинги OpenAIEmbeddings и пакет sentence-transformers для кросс-энкодера. Без ключа Pinecone код инициализации хранилища не отработает.

Исходный текст

SKILL.md · MIT
---
name: rag-pipeline-builder
description: Designs retrieval-augmented generation pipelines for document-based AI assistants. Includes chunking strategies, metadata schemas, retrieval algorithms, reranking, and evaluation plans. Use when building "RAG systems", "document search", "semantic search", or "knowledge bases".
---

# RAG Pipeline Builder

Design end-to-end RAG pipelines for accurate document retrieval and generation.

## Pipeline Architecture

```
Documents → Chunking → Embedding → Vector Store → Retrieval → Reranking → Generation
```

## Chunking Strategy

```python
# Semantic chunking (recommended)
from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,        # Characters per chunk
    chunk_overlap=200,      # Overlap between chunks
    separators=["\n\n", "\n", ". ", " ", ""],
    length_function=len,
)

chunks = splitter.split_text(document.text)

# Add metadata to each chunk
for i, chunk in enumerate(chunks):
    chunks[i] = {
        "text": chunk,
        "metadata": {
            "source": document.filename,
            "page": calculate_page(i),
            "chunk_id": f"{document.id}_chunk_{i}",
        }
    }
```

## Metadata Schema

```typescript
interface ChunkMetadata {
  // Source information
  document_id: string;
  source: string;
  url?: string;

  // Location
  page?: number;
  section?: string;
  chunk_index: number;

  // Content classification
  content_type: "text" | "code" | "table" | "list";
  language?: string;

  // Timestamps
  created_at: Date;
  updated_at: Date;

  // Retrieval optimization
  keywords: string[];
  summary?: string;
  importance_score?: number;
}
```

## Vector Store Setup

```python
# Pinecone example
import pinecone
from langchain.vectorstores import Pinecone
from langchain.embeddings import OpenAIEmbeddings

pinecone.init(api_key="...", environment="...")

embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

vectorstore = Pinecone.from_documents(
    documents=chunks,
    embedding=embeddings,
    index_name="knowledge-base",
    namespace="production",
)
```

## Retrieval Strategies

```python
# Hybrid search (dense + sparse)
def hybrid_retrieval(query: str, k: int = 5):
    # Dense retrieval (semantic)
    dense_results = vectorstore.similarity_search(query, k=k*2)

    # Sparse retrieval (keyword - BM25)
    sparse_results = bm25_search(query, k=k*2)

    # Combine and rerank
    combined = reciprocal_rank_fusion(dense_results, sparse_results)

    return combined[:k]

# Metadata filtering
results = vectorstore.similarity_search(
    query,
    k=5,
    filter={
        "content_type": "code",
        "language": "python",
    }
)
```

## Reranking

```python
from sentence_transformers import CrossEncoder

reranker = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')

def rerank_results(query: str, results: List[Document], top_k: int = 3):
    # Score each result against query
    pairs = [(query, doc.page_content) for doc in results]
    scores = reranker.predict(pairs)

    # Sort by score
    scored_results = list(zip(results, scores))
    scored_results.sort(key=lambda x: x[1], reverse=True)

    return [doc for doc, score in scored_results[:top_k]]
```

## Query Enhancement

```python
# Query expansion
def expand_query(query: str) -> str:
    expansion_prompt = f"""
    Generate 3 alternative phrasings of this query:
    "{query}"

    Return as JSON array of strings.
    """
    alternatives = llm(expansion_prompt)
    return [query] + alternatives

# Multi-query retrieval
def multi_query_retrieval(query: str, k: int = 5):
    queries = expand_query(query)
    all_results = []

    for q in queries:
        results = vectorstore.similarity_search(q, k=k)
        all_results.extend(results)

    # Deduplicate and rerank
    unique_results = deduplicate(all_results)
    return rerank_results(query, unique_results, k)
```

## Evaluation Plan

```python
# Define golden dataset
golden_dataset = [
    {
        "query": "How do I authenticate users?",
        "expected_docs": ["auth_guide.md", "user_management.md"],
        "relevant_chunks": ["chunk_123", "chunk_456"],
    },
]

# Metrics
def evaluate_retrieval(dataset):
    results = {
        "precision": [],
        "recall": [],
        "mrr": [],  # Mean Reciprocal Rank
        "ndcg": []  # Normalized Discounted Cumulative Gain
    }

    for item in dataset:
        retrieved = retrieval_fn(item["query"])
        retrieved_ids = [doc.metadata["chunk_id"] for doc in retrieved]

        # Calculate metrics
        relevant = set(item["relevant_chunks"])
        retrieved_set = set(retrieved_ids)

        precision = len(relevant & retrieved_set) / len(retrieved_set)
        recall = len(relevant & retrieved_set) / len(relevant)

        results["precision"].append(precision)
        results["recall"].append(recall)

    return {k: sum(v)/len(v) for k, v in results.items()}
```

## Context Window Management

```python
def fit_context_window(chunks: List[Document], max_tokens: int = 4000):
    """Select chunks that fit in context window"""
    total_tokens = 0
    selected_chunks = []

    for chunk in chunks:
        chunk_tokens = count_tokens(chunk.page_content)
        if total_tokens + chunk_tokens <= max_tokens:
            selected_chunks.append(chunk)
            total_tokens += chunk_tokens
        else:
            break

    return selected_chunks
```

## Best Practices

1. **Chunk size**: 500-1000 chars for general text
2. **Overlap**: 10-20% overlap between chunks
3. **Metadata**: Rich metadata for filtering
4. **Hybrid search**: Combine semantic + keyword
5. **Reranking**: Cross-encoder for final ranking
6. **Evaluation**: Golden dataset with metrics
7. **Context management**: Don't exceed model limits

## Output Checklist

- [ ] Chunking strategy defined
- [ ] Metadata schema documented
- [ ] Vector store configured
- [ ] Retrieval algorithm implemented
- [ ] Reranking pipeline added
- [ ] Query enhancement (optional)
- [ ] Context window management
- [ ] Evaluation dataset created
- [ ] Metrics implementation
- [ ] Performance baseline established

© patricio0312rev · MIT · patricio0312rev/skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
RAG Pipeline taste f Промпт RAG Pipeline taste для ChatGPT задаёт инженерные стандарты проектирования поисковой генерации и оценки точности ответов. GP ChatGPT ★ 178 201звёзд репо rag-retrieval OrchestKit Скилл rag-retrieval для Claude Code, Codex, Cursor, Copilot, Gemini CLI и OpenCode с паттернами RAG-пайплайнов. Загружается автоматически при работе с векторным поиском, эмбеддингами, реранкингом или pgvector. CX Codex +1 1 500установок langchain-rag langchain-ai Скилл langchain-rag даёт ИИ-агенту готовые шаблоны и код для сборки RAG-пайплайнов на LangChain в Python и TypeScript: от загрузки документов до векторного поиска. CX Codex +1 18 600установок rag-architect https://github.com/Jeffallan Скилл rag-architect проектирует RAG-системы: разбивает документы на чанки, генерирует эмбеддинги, настраивает векторные базы, строит гибридный поиск и оценивает качество извлечения контекста. CX Codex +1 5 100установок langchain4j-rag-implementation-patterns giuseppe-trisciuoglio Скилл langchain4j-rag-implementation-patterns для ИИ-кодинга, который разворачивает RAG-пайплайны на LangChain4j: загрузка документов, эмбеддинги, векторный поиск и ответы по базе знаний. CX Codex +1 3 900установок debug-rag TakaGoto Скилл debug-rag ведёт по шагам от симптома к причине: модель врёт, поиск отдаёт не то, ответ неполный. Подходит, когда RAG уже собран, но работает плохо. CX Codex +1 ★ 30звёзд репо

Из того же набора148

Весь набор →
tool-function-schema-designer Скилл tool-function-schema-designer помогает описать инструменты для LLM так, чтобы модель вызывала их с валидными аргументами: JSON-схема, типы, проверка через zod и примеры вызовов. CX Codex +1 258установок test-reporting-triage-skill Скилл test-reporting-triage-skill для Claude Code группирует ошибки тестов по категориям, предлагает ответственные команды и варианты исправления. Разбирает результаты прогона тестов. CX Codex +1 257установок mocking-assistant Скилл mocking-assistant помогает создавать моки для API, сервисов и UI через MSW и Vitest: от фикстур данных до перехвата системного времени в тестах. CX Codex +1 256установок service-layer-extractor Скилл service-layer-extractor выносит бизнес-логику из контроллеров в сервисы и репозитории. Помогает навести порядок в раздутых роутах и подготовить код к юнит-тестам. CX Codex +1 255установок preview-environments-builder Скилл preview-environments-builder генерирует пайплайны временных окружений для каждого пулл-реквеста с автоматическим развёртыванием, уникальным адресом и удалением ресурсов после закрытия PR. CX Codex +1 250установок load-test-scenario-builder Скилл load-test-scenario-builder проектирует сценарии нагрузочного тестирования, готовит k6-скрипты, профили трафика и критерии успеха для проверки пропускной способности. CX Codex +1 236установок graphql-schema-designer Скилл graphql-schema-designer для Claude Code помогает спроектировать GraphQL API с типами, запросами, мутациями, подписками и резолверами. Включается по запросам о схеме, настройке GraphQL или Apollo Server. CX Codex +1 230установок test-data-factory-builder Скилл test-data-factory-builder для Claude Code создаёт фабрики и билдеры тестовых данных. Подключается к запросам на генерацию фикстур, тестовых сущностей и связанных записей. CX Codex +1 229установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой