К основному содержанию
скилл CX Codex

rag-eval · glebis — скилл для Claude Code: что делает и как установить

Скилл rag-eval запускает сетку тестов для RAG-пайплайна с ограничением бюджета и ранжирует варианты.

MIT 150 установок ★ 414 обновлён 2026-10-23

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add glebis/claude-skills --skill rag-eval -a claude-code
Открыть на GitHub

Что делает rag-eval

Скилл проводит аудит RAG-архитектуры и проверяет стек: чанкинг, промпты поиска, модели эмбеддингов и векторное хранилище. Затем он формирует план перебора из 3–8 вариантов и тестирует их на контрольном наборе (gold-set) минимум из 10 пар вопросов и ответов.

Прогон выполняет скрипт scripts/eval_sweep.py по конфигурации eval_config.yaml. Результаты ранжируются по формуле quality × (1 / log(1 + cost)), сохраняются в .rag-eval/history.jsonl и не меняют файлы проекта. Для работы требуются переменные окружения OPENROUTER_API_KEY или OPENAI_API_KEY, а лимит расходов по умолчанию составляет $2 за запуск.

Какие задачи решает

  • оценить качество ответов RAG на фиксированном наборе вопросов
  • сравнить варианты промптов извлечения и связки моделей без перерасхода бюджета
  • провести аудит архитектуры поиска, чанкинга и векторного индекса
  • сохранить историю экспериментов для исключения повторных неудачных гипотез

Примеры запросов агенту

  • Проверь мой RAG-пайплайн и помоги настроить сетку тестов
  • Сравни промпты для retrieval на контрольном наборе вопросов
  • Оцени расходы на RAG и подскажи, какую модель эмбеддингов протестировать следующей

Как установить rag-eval

1Через Skills CLI (Vercel)

npx skills add glebis/claude-skills --skill rag-eval -a claude-code

2Вручную: положить файлы

~/.claude/skills/rag-eval/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/rag-eval/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о rag-eval

Как установить rag-eval в Claude Code?

Выполните в терминале команду npx skills add glebis/claude-skills --skill rag-eval -a claude-code.

Что делает скилл rag-eval?

Он анализирует настройки RAG, строит сетку экспериментов, запускает прогон по контрольным парам через скрипт scripts/eval_sweep.py и формирует отчёт с учётом затрат.

Какие API-ключи нужны для работы rag-eval?

Скилл читает переменные окружения OPENROUTER_API_KEY или OPENAI_API_KEY.

Исходный текст

SKILL.md · MIT
---
name: rag-eval
description: Iterate on RAG systems with structured evals instead of eyeballing. This skill should be used when the user is tuning a RAG pipeline — changing retrieval prompts, swapping models, adjusting chunking, or debugging poor answers — and wants a cheap, ranked set of experiments with cost tracking and structured feedback on the stack. Also use when the user asks "how do I know if my RAG is working?", "this RAG eval is burning money", or "what should I try next on retrieval?".
---

# rag-eval

## Purpose

Replace the "tweak → squint → swap model → burn credits" loop with a single command that runs a grid of eval variants on the user's gold-set, ranks them by a cost-aware score, and returns structured feedback on architecture, stack, and likely-issues. Draws on evidence-based RAG practices and learns from the user's past runs.

## When to use

Trigger on: "help me test a RAG", "tune my RAG", "my RAG is bad", "compare retrieval prompts", "how do I eval this", "what's the best embedding model for X", "my RAG eval is expensive". Also trigger when the user reports burning OpenRouter / OpenAI credits with no clear signal of improvement.

## Prerequisites — gather before running

Collect these from the user before the first sweep. Many are optional with sensible defaults; always confirm the ones that gate cost.

1. **RAG codebase root** — path to the repo/module under test.
2. **Gold-set** — at least 10 Q&A pairs. If missing, offer to generate a starter gold-set from the user's dataset (LLM-synthesized, human-reviewed). See `references/best-practices.md`.
3. **Dataset** — the corpus the RAG retrieves over.
4. **Budget cap** — hard dollar limit per run (default: $2 if user doesn't specify). **Always confirm before any sweep.**
5. **Provider keys** — `OPENROUTER_API_KEY` or `OPENAI_API_KEY` (read from env).
6. **Vector-store config** — collection name, embedding model, chunk size (read from repo; confirm if ambiguous).
7. **Eval history path** (optional) — defaults to `.rag-eval/history.jsonl` in the repo root.

## Workflow

Follow this order. Refer to `references/best-practices.md` for the canonical checklist and `references/evidence-base.md` for the research-backed defaults.

### Step 0 — (Optional) Ingest a prior iteration session

When the user provides a session ID (Claude Code transcript, skill-studio session, or a Fathom meeting), run the **deterministic ingest** *first* — no LLM calls. This extracts only the useful signals (models tried, prompt variants, cost events, eval results) as compact JSON, so the rest of the skill works off a tiny structured bundle instead of a long raw transcript.

```bash
python scripts/session_ingest.py <session_id> > /tmp/rag-eval-bundle.json
# or with a direct path:
python scripts/session_ingest.py --path /path/to/transcript.jsonl > /tmp/rag-eval-bundle.json
```

The bundle includes: `models_tried`, `prompts_tried` (hashes only), `iterations`, `total_cost_usd`, `summary_stats`. Feed this into Step 1 — do not paste the raw transcript.

**Why this matters:** transcripts can be 100k+ tokens of noise. The ingest script does regex extraction only, keeping the LLM budget for the actual audit + sweep planning. This is a hard requirement, not an optimization.

### Step 1 — Audit the stack

Read `references/best-practices.md` and inspect the user's repo + vector-store config. Produce a structured report covering:
- Architecture (retrieval type: dense / hybrid / rerank; chunking strategy; prompt structure)
- Tech stack (embedding model, LLM, vector store)
- Resources (dataset size, gold-set size, prior eval runs)
- Risks (known anti-patterns, missing pieces)

Present the report to the user and ask which issues to address first.

### Step 2 — Propose a sweep plan

Based on the audit, propose 3–8 variants to test. Keep the grid small on the first run (default: 2 prompts × 2 models × 1 retrieval variant = 4 cells). Estimate cost using gold-set size × variants × avg tokens × provider pricing. **Present the cost estimate and wait for user confirmation before running.**

### Step 3 — Run the sweep

Use `scripts/eval_sweep.py` (see the script header for invocation). It reads a config YAML, runs each variant against the gold-set, records per-variant cost and answer quality, and appends to `history.jsonl`.

**Guardrails:**
- Never exceed the budget cap — halt mid-sweep if reached.
- Never mutate the user's repo. Write all artifacts under `.rag-eval/` (gitignore it).
- Confirm before any sweep estimated to exceed the user's cap.

### Step 4 — Rank and report

After the sweep, rank variants by a cost-aware score: `quality × (1 / log(1 + cost))`. Present:
- Top 3 variants with quality metrics and cost
- What changed vs the previous best
- Concrete next experiment to try

Write the full report to `.rag-eval/reports/<timestamp>.md`.

### Step 5 — Self-improve

Before each subsequent run, read `history.jsonl` and factor in what the user has already tried. Avoid re-testing rejected variants. Surface patterns ("models A, B, C all underperformed on multi-hop queries — next try a reranker").

## Reusable resources

- `scripts/eval_sweep.py` — grid-search runner. Reads `eval_config.yaml`, writes results to `history.jsonl`.
- `references/best-practices.md` — evidence-based RAG checklist the agent uses as an anchor.
- `references/evidence-base.md` — pointers to recent RAG research and when each technique helps.
- `assets/eval_config.template.yaml` — starter config to copy into the user's repo.
- `assets/gold_set.template.jsonl` — 3 example Q&A pairs to show the gold-set format.

## Notes

- **Cost is the main failure mode.** Never run without a confirmed budget. Err on the side of smaller sweeps; users can always run again.
- **No repo mutation.** All outputs go under `.rag-eval/` in the target repo.
- **When uncertain about best practices, do web research.** Use `tavily-search` or `firecrawl-research` to pull current evidence, then synthesize into the audit report.
- **Defer to the user.** Before changing any file in the target repo, always confirm.

© glebis · MIT · glebis/claude-skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →

Сначала — rag-eval от других авторов.

rag-eval NVIDIA RAG Скилл rag-eval для Claude Code оценивает качество RAG по файловому набору с corpus/ и train.json. Сравнивает настройки поиска и генерации по метрикам RAGAS. CX Codex +1 2 500установок rag giuseppe-trisciuoglio Скилл rag помогает развернуть пайплайн Retrieval-Augmented Generation: от нарезки документов и расчёта эмбеддингов до поиска в векторной базе и передачи контекста модели. CX Codex +1 3 900установок rag-engineer sickn33 Скилл rag-engineer помогает проектировать поиск по документам для LLM: от разбиения текста и выбора эмбеддингов до фильтрации и оценки выдачи. Пригодится при сборке RAG-системы. CX Codex +1 1 000установок rag-architect Alireza Rezvani Скилл rag-architect для Claude Code проектирует RAG-пайплайн по документам и проверяет качество поиска. Помогает выбирать разбиение на чанки, эмбеддинги и векторную базу. CX Codex +1 629установок RAG Implementer daffy0208 Скилл RAG Implementer ведёт агента через восемь фаз внедрения RAG: дизайн базы знаний, эмбеддинги, векторное хранилище, поисковый конвейер. Первым делом проверяет, нужен ли RAG вашему проекту. CX Codex +1 189установок rag-implementer oakoss Скилл rag-implementer ведёт агента по шагам RAG-пайплайна: от чанкинга и эмбеддингов до гибридного поиска и замеров качества. CX Codex +1 121установок evaluate-rag ai-evals-course Скилл evaluate-rag помогает раздельно оценить поиск и генерацию в RAG, подобрать метрики и проверить разбиение документов на чанки. CX Codex +1 1 100установок

Из того же набора51

Весь набор →
session-finder Скилл session-finder индексирует сессии Claude Code эмбеддингами Gemini и находит нужную по описанию задачи, а потом открывает её или предлагает claude --resume. CX Codex +1 166установок timebuzzer-led Скилл timebuzzer-led для управления RGB LED на аппаратном устройстве timeBuzzer по протоколу MIDI. Задаёт цвет, эффекты (пульс, стробоскоп, радуга, затухание) и статус-сигналы прямо из кода. CX Codex +1 165установок session-anonymizer Скилл session-anonymizer удаляет персональные данные из заметок и транскриптов терапевтических или коучинговых сессий. Работает локально через трёхслойный пайплайн. CX Codex +1 159установок sorted Автоматизирует getSorted.de через браузер для выставления счетов, учёта расходов и подачи налоговых отчётов в Германии. CX Codex +1 151установок wow-digest Скилл wow-digest для Claude Code собирает письма из рассылок и посты Telegram, отбирает неожиданные материалы и добавляет их в ежедневную заметку для утреннего обзора чтения. CX Codex +1 145установок tg-responder Скилл tg-responder для Claude Code помогает проверять черновики ответов в Telegram, одобрять отправку и отслеживать сообщения без ответа, чтобы держать inbox под контролем и не забывать о важных переписках. CX Codex +1 145установок retrospective Скилл retrospective проводит ретроспективу сессии, находит ошибки и правки пользователя, а затем сохраняет выводы в файлы памяти, правила CLAUDE.md или текст скиллов. CX Codex +1 135установок present Скилл present генерирует интерактивные HTML-презентации с синхронной озвучкой ElevenLabs, переключением между режимом слайдов и статьи и иллюстрациями. CX Codex +1 117установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой