# exploring-mcp-tool-quality

Скилл exploring-mcp-tool-quality разбирает качество вызовов MCP-инструментов в PostHog: долю ошибок, задержки, охват и самые проблемные тулы.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 202 установки · ★ 101 у репозитория
- Автор: PostHog
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/PostHog/ai-plugin/tree/HEAD/skills/exploring-mcp-tool-quality/SKILL.md
- Обновлён: 2026-10-24
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/exploring-mcp-tool-quality

## Что делает

Скилл разбирает качество вызовов MCP-инструментов в PostHog. Источник один: MCP-сервер, инструментированный SDK MCP-аналитики PostHog, шлёт событие `$mcp_tool_call` в общую таблицу `events`. Отдельной таблицы нет, все поля лежат свойствами `$mcp_*`, а метрики считаются агрегацией по этому событию.

По одному инструменту скилл идёт в типизированные запросы: `posthog:query-mcp-tool-stats` принимает `toolName` и `dateRange` и отдаёт вызовы, ошибки, p50/p95, пользователей и сессии, `posthog:query-mcp-tool-failures` раскладывает сообщения об ошибках по типам. Сравнить инструменты между собой нечем, кроме HogQL через `posthog:execute-sql`. Перед цифрой по доле сбоев скилл проверяет управляемую метрику `mcp_tool_call_fail_pct` в `posthog:metric-list` и, если она одобрена, запускает её через `posthog:data-catalog-metric-run`.

Две вещи ломают ручные запросы. Группировка по сырому имени тула прячет реальные инструменты под обёрткой одиночного вызова, поэтому берут эффективное имя из `$mcp_exec_tool_call_name`. Свойства хранятся строками, так что `$mcp_is_error` читается через `toBool`. Без диапазона времени запрос сканирует всю таблицу `events`, а без порога по числу вызовов наверх вылезет тул с тремя вызовами и 100% ошибок.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-mcp-tool-quality -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/exploring-mcp-tool-quality/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/exploring-mcp-tool-quality/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-mcp-tool-quality -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/exploring-mcp-tool-quality/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-mcp-tool-quality -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/exploring-mcp-tool-quality/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install PostHog/ai-plugin skills/exploring-mcp-tool-quality
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/exploring-mcp-tool-quality/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-mcp-tool-quality -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/PostHog/ai-plugin --path skills/exploring-mcp-tool-quality
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/exploring-mcp-tool-quality/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-mcp-tool-quality -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/PostHog/ai-plugin/tree/HEAD/skills/exploring-mcp-tool-quality/SKILL.md

## Когда брать
- найти MCP-инструмент с самой высокой долей ошибок
- отделить редкие сбои от массовых: сопоставить процент ошибок с числом вызовов
- посмотреть p50 и p95 задержки по конкретному тулу
- разобрать, на каких типах ошибок падает инструмент
- собрать матрицу качества: ошибки, задержки и охват в одной таблице

## Примеры запросов агенту
- Какой MCP-инструмент чаще всего падает за последние 30 дней?
- Разбери, почему падает `<tool>`: покажи типы ошибок и сообщения под ними.
- Собери матрицу качества по всем MCP-тулам: доля ошибок, p50, p95 и охват.

## Похожие
- [exploring-llm-clusters](https://affpapa.org/nevibecode/skills/exploring-llm-clusters.md) — скилл · 436 установок
- [exploring-llm-costs](https://affpapa.org/nevibecode/skills/exploring-llm-costs.md) — скилл · 416 установок
- [analyze-data-quality](https://affpapa.org/nevibecode/skills/analyze-data-quality.md) — скилл · 9 установок
- [firetiger](https://affpapa.org/nevibecode/skills/firetiger.md) — скилл · 827 установок
- [posthog-analytics](https://affpapa.org/nevibecode/skills/posthog-analytics.md) — скилл · 827 установок
- [adding-analytics](https://affpapa.org/nevibecode/skills/adding-analytics.md) — скилл · 410 установок

Из того же набора: [posthog/ai-plugin](https://affpapa.org/nevibecode/by/posthog/ai-plugin.md) — 82 карточки

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
