# obsidian-retrieval-eval

Команда obsidian-retrieval-eval оценивает качество поиска по хранилищу Obsidian метриками recall@k и MRR. Помогает проверить алгоритм ранжирования на реальных вопросах до внедрения векторных баз.

- команда · `type=command` · Claude Code, Codex, GitHub Copilot, Gemini CLI · ★ 5412 у репозитория
- Автор: Eugeniu Ghelbur
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/eugeniughelbur/obsidian-second-brain/tree/HEAD/commands/obsidian-retrieval-eval.md
- Обновлён: 2026-10-24
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/commands/obsidian-retrieval-eval

## Что делает

Команда тестирует поисковый движок хранилища Obsidian из `integrations/obsidian-mcp-server/vault_ops.py`. Она генерирует или берёт готовые тестовые вопросы из `scripts/eval/retrieval_cases.jsonl`, ищет нужные заметки и рассчитывает метрики recall@1, recall@3, recall@5, recall@10 и MRR. В отчёте видно заметки, которые не попали в топ-10 или опустились ниже третьей строки из-за шума вроде длинных файлов `log.md` и папки `raw/`.

Тестовые примеры запускаются через скрипт `scripts/eval/retrieval_eval.py` с помощью `uv run`. Без заданного ключа `XAI_API_KEY` генератор фраз скатывается к буквальным совпадениям предложений вместо перефразирования. Аргумент `report` сохраняет базовый отчёт прямо в хранилище по пути `wiki/concepts/`.

## Требования
- Работает с: Obsidian

## Установка

### Claude Code (родная платформа)

1. **Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add eugeniughelbur/obsidian-second-brain
```
В чате агента (не в терминале):
```text
/plugin install obsidian-second-brain@obsidian-second-brain
```

2. **Вручную: положить файлы**
- Файл: `.claude/commands/obsidian-retrieval-eval.md` — Вызов — /obsidian-retrieval-eval. Для всех проектов — ~/.claude/commands/

### Codex

**Вручную: положить файлы**
- Файл: `~/.codex/prompts/obsidian-retrieval-eval.md` — Вызов — /prompts:obsidian-retrieval-eval. В Codex этот формат помечен устаревшим, замена — скиллы

### GitHub Copilot

**Вручную: положить файлы**
- Файл: `.github/prompts/obsidian-retrieval-eval.prompt.md`

### Gemini CLI

**Вручную: положить файлы**
- Файл: `.gemini/commands/obsidian-retrieval-eval.toml` — Gemini хранит команды в TOML: текст запроса — в поле prompt

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/eugeniughelbur/obsidian-second-brain/tree/HEAD/commands/obsidian-retrieval-eval.md

## Когда брать
- измерить точность поиска в Obsidian метриками recall и MRR
- выявить шумные заметки и логи, перебивающие канонические документы
- проверить влияние правок ранжирования на реальных тестовых вопросах
- сохранить базовый отчёт оценки качества в папку wiki

## Примеры запросов агенту
- /obsidian-retrieval-eval
- Запусти /obsidian-retrieval-eval 30 для проверки поиска
- Сохрани метрики поиска через /obsidian-retrieval-eval report

## Похожие
- [Obsidian Turbocharged](https://affpapa.org/nevibecode/mcp/obsidian-turbocharged.md) — MCP-сервер · ★ 13 у репозитория
- [Obsidian Hybrid Search](https://affpapa.org/nevibecode/mcp/obsidian-hybrid-search.md) — MCP-сервер · ★ 126 у репозитория
- [obsidian-cli](https://affpapa.org/nevibecode/skills/obsidian-cli.md) — скилл · 83700 установок
- [prior-work-retrieval](https://affpapa.org/nevibecode/skills/prior-work-retrieval.md) — скилл · 218 установок
- [wiki-query](https://affpapa.org/nevibecode/skills/agricidaniel-wiki-query.md) — скилл · 512 установок
- [obsidian-canvas-creator](https://affpapa.org/nevibecode/skills/obsidian-canvas-creator.md) — скилл · 2000 установок

Из того же набора: [eugeniughelbur/obsidian-second-brain](https://affpapa.org/nevibecode/by/eugeniughelbur/obsidian-second-brain.md) — 51 карточка

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
