# llmprobe

Меряет TTFT, задержку, скорость генерации и ошибки на LLM-эндпоинтах. Пригодится как разовая проверка или CI-гейт перед деплоем.

- плагин · `type=plugin` · Claude Code · ★ 7
- Автор: Jwrede
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Jwrede/llmprobe
- Обновлён: 2026-10-18
- HTML: https://affpapa.org/nevibecode/plugins/llmprobe

## Что делает

llmprobe — CLI-инструмент на Go. Он шлёт запросы к хостовым API и к любым OpenAI-совместимым серверам, а потом показывает таблицу: время до первого токена, полная задержка, токенов в секунду, число токенов и статус. Статус бывает `healthy`, `degraded` или `error` — смотря по порогам из конфига.

Внутри плагина для Claude — скилл `/llmprobe` и MCP-инструменты. Сам бинарь работает локально и обращается только к тем эндпоинтам, которые вы прописали. Конфиг — файл `probes.yml`: провайдер, ключ через переменную окружения, список моделей и пороги вроде `max_ttft`. Ключи задаются как `${OPENAI_API_KEY}` и `${ANTHROPIC_API_KEY}`, так что без этих переменных в окружении проба не пройдёт.

Команд несколько. `llmprobe probe` — разовая проверка с выводом таблицей, JSON или с флагом `--fail-on degraded`, который возвращает код 1. `llmprobe watch` крутит пробы по интервалу, умеет живой TUI с графиком TTFT, JSONL, Prometheus и OpenTelemetry. `llmprobe report` собирает Markdown-сводку с перцентилями p50/p95/p99 из JSONL. `llmprobe baseline` делает файл базовой линии, чтобы потом ловить регрессии множителями (`max_ttft_multiplier`), а не абсолютными порогами. Для сборки из исходников нужен Go 1.25 и выше.

## Установка

### Claude Code (родная платформа)

**Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add anthropics/claude-plugins-community
```
В чате агента (не в терминале):
```text
/plugin install llmprobe@claude-community
```

## Когда брать
- проверить TTFT и задержку у нескольких провайдеров одной командой
- заблокировать деплой, если провайдер деградировал
- следить за падением скорости генерации по интервалу
- собрать Markdown-отчёт с перцентилями из накопленного JSONL
- поймать регрессию относительно собственной базовой линии

## Примеры запросов агенту
- Запусти `/llmprobe` и покажи таблицу по всем провайдерам из `probes.yml`
- Прогони пробу с `--fail-on degraded`, чтобы CI упал при деградации
- Построй отчёт с перцентилями из `data.jsonl`

## Похожие
- [sentry-setup-ai-monitoring](https://affpapa.org/nevibecode/skills/sentry-setup-ai-monitoring.md) — скилл · 3000 установок
- [sentry-instrument](https://affpapa.org/nevibecode/skills/sentry-instrument.md) — скилл · 1800 установок
- [langfuse](https://affpapa.org/nevibecode/plugins/langfuse.md) — плагин · ★ 314
- [dd-pup](https://affpapa.org/nevibecode/skills/dd-pup.md) — скилл · 7500 установок
- [promql-cli](https://affpapa.org/nevibecode/skills/promql-cli.md) — скилл · 4400 установок
- [cx-alerts](https://affpapa.org/nevibecode/skills/cx-alerts.md) — скилл · 3600 установок

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md