# RAGScore

Собирает QA-наборы из ваших документов и проверяет RAG-систему по эндпоинту: точность, разбор провалов, приватность на локальной модели.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 15
- Автор: HZYAI
- Лицензия: Apache-2.0 · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/HZYAI/RagScore
- Обновлён: 2026-05-29
- HTML: https://affpapa.org/nevibecode/mcp/ragscore

## Что делает

RAGScore делает две вещи по очереди. Сначала генерирует пары «вопрос-ответ» из файлов проекта, потом гоняет их через ваш RAG по HTTP-эндпоинту и считает баллы. В отчёте видно общую точность и список вопросов, где система ошиблась.

Внутри есть режим `--detailed`: каждая пара получает пять оценок — правильность, полноту, релевантность, краткость и верность источнику. Флаг `--diagnose` идёт дальше и раскладывает провалы по причинам: ретривер не нашёл нужный фрагмент, генератор выдумал факт, ответ неполный или понят неверно. Для этого берётся `support_span`, заготовленный вместе с парой.

Часть оценок работает через OpenAI или Anthropic — их ключи передаются в переменных окружения при подключении сервера. Для локального контура есть Ollama, тогда облачные ключи не нужны. Без действующего ключа выбранного провайдера оценка не пойдёт.

## Требования
- Нужно: Python и uv (команды через uvx)
- Переменные окружения: `OPENAI_API_KEY`, `ANTHROPIC_API_KEY` — это ключи и токены: значения спроси у человека, в репозиторий и общие файлы не записывай.

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add ragscore -e OPENAI_API_KEY=<OPENAI_API_KEY> -e ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> -- uvx ragscore
```
Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>

### Codex

**Командой платформы**
```bash
codex mcp add ragscore --env OPENAI_API_KEY=<OPENAI_API_KEY> --env ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> -- uvx ragscore
```
Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "ragscore": {
            "command": "uvx",
            "args": [
                "ragscore"
            ],
            "env": {
                "OPENAI_API_KEY": "<OPENAI_API_KEY>",
                "ANTHROPIC_API_KEY": "<ANTHROPIC_API_KEY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "ragscore": {
            "type": "stdio",
            "command": "uvx",
            "args": [
                "ragscore"
            ],
            "env": {
                "OPENAI_API_KEY": "<OPENAI_API_KEY>",
                "ANTHROPIC_API_KEY": "<ANTHROPIC_API_KEY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add -e OPENAI_API_KEY=<OPENAI_API_KEY> -e ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> ragscore uvx ragscore
```
Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>

## Когда брать
- собрать QA-набор из документации проекта
- померить точность своего RAG по эндпоинту
- найти вопросы, на которых RAG отвечает неверно
- понять, провал в поиске или в генерации
- оценить RAG без отправки документов в облако

## Примеры запросов агенту
- Сгенерируй QA-пары из `docs/` и оцени мой RAG на `http://localhost:8000/query`
- Прогони оценку с `--detailed --diagnose` и покажи, сколько ошибок дал ретривер
- Сделай QA-набор для аудитории `developers` с целью `api-integration` из `docs/`

## Похожие
- [Front-End Checklist](https://affpapa.org/nevibecode/mcp/front-end-checklist.md) — MCP-сервер · ★ 74559
- [Keploy](https://affpapa.org/nevibecode/mcp/keploy.md) — MCP-сервер · ★ 18727
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13169
- [mobile-mcp](https://affpapa.org/nevibecode/mcp/mobile-mcp.md) — MCP-сервер · ★ 9946
- [e2e](https://affpapa.org/nevibecode/mcp/e2e.md) — MCP-сервер · ★ 11912
- [mockserver](https://affpapa.org/nevibecode/mcp/mockserver.md) — MCP-сервер · ★ 4996

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md