RAGScore — MCP-сервер для Claude Code: оценка RAG и установка
Собирает QA-наборы из ваших документов и проверяет RAG-систему по эндпоинту: точность, разбор провалов, приватность на локальной модели.
claude mcp add ragscore -e OPENAI_API_KEY=<OPENAI_API_KEY> -e ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> -- uvx ragscoreЧто делает RAGScore
RAGScore делает две вещи по очереди. Сначала генерирует пары «вопрос-ответ» из файлов проекта, потом гоняет их через ваш RAG по HTTP-эндпоинту и считает баллы. В отчёте видно общую точность и список вопросов, где система ошиблась.
Внутри есть режим --detailed: каждая пара получает пять оценок — правильность, полноту, релевантность, краткость и верность источнику. Флаг --diagnose идёт дальше и раскладывает провалы по причинам: ретривер не нашёл нужный фрагмент, генератор выдумал факт, ответ неполный или понят неверно. Для этого берётся support_span, заготовленный вместе с парой.
Часть оценок работает через OpenAI или Anthropic — их ключи передаются в переменных окружения при подключении сервера. Для локального контура есть Ollama, тогда облачные ключи не нужны. Без действующего ключа выбранного провайдера оценка не пойдёт.
Какие задачи решает
- собрать QA-набор из документации проекта
- померить точность своего RAG по эндпоинту
- найти вопросы, на которых RAG отвечает неверно
- понять, провал в поиске или в генерации
- оценить RAG без отправки документов в облако
Примеры запросов агенту
- Сгенерируй QA-пары из
docs/и оцени мой RAG наhttp://localhost:8000/query - Прогони оценку с
--detailed --diagnoseи покажи, сколько ошибок дал ретривер - Сделай QA-набор для аудитории
developersс цельюapi-integrationизdocs/
Как установить RAGScore
Командой платформы
claude mcp add ragscore -e OPENAI_API_KEY=<OPENAI_API_KEY> -e ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> -- uvx ragscoreВместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>
Командой платформы
codex mcp add ragscore --env OPENAI_API_KEY=<OPENAI_API_KEY> --env ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> -- uvx ragscoreВместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>
Файл настроек
{
"mcpServers": {
"ragscore": {
"command": "uvx",
"args": [
"ragscore"
],
"env": {
"OPENAI_API_KEY": "<OPENAI_API_KEY>",
"ANTHROPIC_API_KEY": "<ANTHROPIC_API_KEY>"
}
}
}
}Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>
Файл настроек
{
"servers": {
"ragscore": {
"type": "stdio",
"command": "uvx",
"args": [
"ragscore"
],
"env": {
"OPENAI_API_KEY": "<OPENAI_API_KEY>",
"ANTHROPIC_API_KEY": "<ANTHROPIC_API_KEY>"
}
}
}
}Вместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>
Командой платформы
gemini mcp add -e OPENAI_API_KEY=<OPENAI_API_KEY> -e ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> ragscore uvx ragscoreВместо <…> подставьте свои значения. uvx запускает команду с именем пакета; если в README она другая — uvx --from ragscore <команда>
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о RAGScore
Как установить RAGScore в Claude Code?
Добавьте сервер командой claude mcp add ragscore -e OPENAI_API_KEY=<OPENAI_API_KEY> -e ANTHROPIC_API_KEY=<ANTHROPIC_API_KEY> -- uvx ragscore. Ключи подставьте свои.
Что делает RAGScore?
Генерирует пары «вопрос-ответ» из документов и оценивает ответы вашего RAG по эндпоинту: общая точность, пять метрик по каждой паре, разбор причин провалов.
Можно ли обойтись без ключей OpenAI и Anthropic?
Да, если считать на локальной модели через Ollama. Тогда документы и вопросы не уходят в облако.
