К основному содержанию
скилл CX Codex

vision-bench — скилл для Claude Code: оценка изображений

Скилл vision-bench сравнивает изображения и выставляет оценки через vision LLM по YAML-критериям. Запускается для генерации отчётов, OCR, анализа графиков и проверки стиля.

MIT 178 установок ★ 414 обновлён 2026-11-07

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add glebis/claude-skills --skill vision-bench -a claude-code
Открыть на GitHub

Что делает vision-bench

Скилл запускает bench.py для оценки одного изображения или сравнения нескольких файлов. Он передаёт изображения одному или нескольким vision LLM-судьям, применяет готовые YAML-пресеты и сохраняет результат в Markdown, JSON или таблицу. Есть 11 сценариев: от text_to_image и фотореализма до OCR документов, графиков, интерфейсов, счетов, портретов и alt-текста.

Судья выбирается через --judge или --judges. Поддерживаются OpenAI, Anthropic, Gemini, Mistral и OpenRouter; собственные критерии можно передать YAML-файлом через --criteria. В репозитории есть логика судьи, генератор отчётов, расшифровка секретов SOPS и каталог criteria/.

Для работы нужны Python-зависимости pyyaml, openai, anthropic и mistralai, а также ключ провайдера: например, OPENAI_API_KEY или GEMINI_API_KEY. Ключи можно хранить в secrets.enc.yaml, зашифрованном через SOPS и age. Сравнивать старые оценки с новыми без живого теста изображения и проверки рубрики рискованно, особенно для gemini-3.5-flash-lite.

Какие задачи решает

  • сравнить два изображения по одной рубрике
  • оценить фотореализм или художественный стиль
  • проверить распознавание текста в документе
  • измерить качество анализа графика или счёта
  • сохранить оценки нескольких LLM в отчёт

Примеры запросов агенту

  • Сравни img_a.png и img_b.png по критериям text_to_image с промптом «лиса в заснеженном лесу» и судьёй gpt-4o.
  • Оцени portrait.png несколькими моделями: gpt-4o, gemini-3.5-flash-lite и claude-opus-4-5-20251022.
  • Проверь chart.png по пресету chart_analysis и сохрани результат в report.md.

Как установить vision-bench

1Через Skills CLI (Vercel)

npx skills add glebis/claude-skills --skill vision-bench -a claude-code

2Вручную: положить файлы

~/.claude/skills/vision-bench/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/vision-bench/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о vision-bench

Как установить vision-bench в Claude Code?

Выполните npx skills add glebis/claude-skills --skill vision-bench -a claude-code. Файл скилла появится по пути ~/.claude/skills/vision-bench/SKILL.md.

Что делает vision-bench?

Скилл оценивает и сравнивает изображения с помощью одной или нескольких vision LLM по структурированным критериям. Результат можно вывести в Markdown, JSON или таблицу.

Какие ключи нужны для работы vision-bench?

Поддерживаются OPENAI_API_KEY, ANTHROPIC_API_KEY, GEMINI_API_KEY и OPENROUTER_API_KEY. Их можно загружать из secrets.enc.yaml через SOPS и age или из переменных окружения.

Исходный текст

SKILL.md · MIT
---
name: vision-bench
description: Score and compare images using vision LLMs as judges. YAML-defined criteria presets for 11 use cases (text-to-image, photorealism, document OCR, charts, UI, portrait, product, scientific, invoice, alt-text, artistic style). Supports OpenAI, Anthropic, Gemini, Mistral, and OpenRouter as judge providers. Keys auto-decrypted via SOPS + age.
---

# Vision Bench — LLM Image Evaluation

Compare images by scoring them with one or more vision LLM judges against structured rubric criteria.

## Quick Start

```bash
# Install dependencies
pip install pyyaml openai anthropic mistralai

# Score a single image
python bench.py image.png --criteria photorealism --judge gemini-3.5-flash-lite

# Compare two AI-generated images
python bench.py img_a.png img_b.png \
  --criteria text_to_image \
  --prompt "a fox in a snowy forest" \
  --judge gpt-4o

# Multi-judge consensus
python bench.py img.png \
  --criteria portrait \
  --judges gpt-4o gemini-3.5-flash-lite claude-opus-4-5-20251022

# OpenRouter models (any vision-capable model)
python bench.py img_a.png img_b.png \
  --criteria artistic_style \
  --judges "openrouter/meta-llama/llama-4-maverick" "openrouter/mistralai/pixtral-large-2411"

# List all presets
python bench.py --list-presets

# Save report to file
python bench.py img.png --criteria chart_analysis --save report.md
```

## Presets

| Preset | Use Case |
|--------|----------|
| `text_to_image` | Compare AI image generators (Midjourney, DALL-E, Flux) |
| `photorealism` | How convincingly an image looks like a photo |
| `artistic_style` | Style consistency, composition, color harmony |
| `portrait` | AI-generated portrait quality and realism |
| `product_photo` | E-commerce product image quality |
| `document_ocr` | Document text extraction and layout understanding |
| `chart_analysis` | Chart and data visualization comprehension |
| `invoice` | Financial document field extraction accuracy |
| `ui_screenshot` | App/web screenshot understanding |
| `scientific` | Scientific/medical image accuracy |
| `alt_text` | Accessibility image description quality |

Custom criteria: pass any `.yaml` file as `--criteria path/to/my.yaml`.

## Judge Providers

| Prefix | Provider | Example |
|--------|----------|---------|
| `gpt-`, `o1`, `o3`, `o4` | OpenAI | `gpt-4o` |
| `claude-` | Anthropic | `claude-sonnet-4-5-20251022` |
| `gemini-` | Google Gemini | `gemini-3.5-flash-lite` |
| `pixtral-`, `mistral-`, `ministral-` | Mistral | `pixtral-12b-2409` |
| `openrouter/` | OpenRouter (any model) | `openrouter/meta-llama/llama-4-maverick` |

## API Keys

Keys are loaded from `secrets.enc.yaml` (SOPS + age encrypted) with fallback to environment variables.

Supported keys: `OPENAI_API_KEY`, `ANTHROPIC_API_KEY`, `GEMINI_API_KEY`, `OPENROUTER_API_KEY`

To encrypt your own keys:
```bash
sops --config .sops.yaml --encrypt --input-type yaml --output-type yaml secrets.yaml > secrets.enc.yaml
```

## Output Formats

`--output markdown` (default) · `--output json` · `--output table`

## Files

- `bench.py` — CLI entry point
- `judge.py` — Multi-provider LLM judge logic
- `report.py` — Report generation
- `vault.py` — SOPS secrets decryption
- `criteria/` — 11 YAML preset files
- `.sops.yaml` — Age key config for encryption
- `secrets.enc.yaml` — Encrypted API keys

Use `--judge` or `--judges` to select another model explicitly. The Gemini path sends one image/text turn with JSON output and no tools, history, thinking or sampling settings. The 3.5 Flash-Lite default requires a live image/JSON smoke test and rubric comparison before relying on historical score comparability; offline request tests do not establish model quality.

© glebis · MIT · glebis/claude-skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
vision kotot Скилл vision передаёт изображения внешней совместимой с OpenAI визуальной модели, когда у текущего агента нет встроенного зрения. Помогает разбирать скриншоты ошибок, графики и текст со сканов. CX Codex +1 16 400установок qianwen-vision QianWen-AI Скилл qianwen-vision разбирает изображения и видео с помощью визуальных моделей Qwen. Скилл распознаёт текст через OCR, читает графики, сравнивает картинки и отвечает на вопросы по видео. CX Codex +1 6 300установок vision-multimodal TheLobbi Скилл vision-multimodal для Claude Code с шаблонами Python-кода для распознавания картинок, скриншотов и PDF через API Anthropic. Разбирает чужой интерфейс или вытаскивает таблицу из скана. CX Codex +1 556установок senior-computer-vision borghei Скилл senior-computer-vision в Claude Code для проектирования конвейеров компьютерного зрения с детекцией объектов и сегментацией. CX Codex +1 145установок azure-ai-vision-imageanalysis-py Microsoft Скилл azure-ai-vision-imageanalysis-py для Claude Code работает с Azure AI Vision Image Analysis SDK на Python: извлекает текст, находит объекты и получает подписи к изображениям. CX Codex +1 2установок Skyvern Skyvern-AI Skyvern — MCP-сервер для Claude Code, Codex и других платформ, автоматизирующий переходы, клики, заполнение форм и извлечение данных в браузере через Vision LLM, без XPath и DOM-селекторов. CX Codex +1 ★ 23 487звёзд репо

Из того же набора51

Весь набор →
browsing-history Скилл browsing-history ищет посещённые страницы по времени, устройству, домену и словам в запросе. Результаты можно сгруппировать и сохранить в Markdown или JSON. CX Codex +1 188установок jtbd Скилл jtbd перенаправляет рабочие процессы Jobs to be Done в плагин humane-agentic-design. CX Codex +1 185установок recording Включается по /recording, скрывает имена, даты, деньги и другую личную информацию в реальном времени, пока вы ведёте запись или показываете экран. CX Codex +1 184установок lab-retro Скилл lab-retro проводит участника Claude Code Lab через самооценку, оформление полезного промпта, план на месяц и отзыв организатору. Запускайте после обучения или по частям. CX Codex +1 182установок skill-studio Скилл skill-studio проводит интервью по методике JTBD и анализирует прошлые сессии Claude Code, чтобы спроектировать спецификацию нового скилла или агента. CX Codex +1 174установок linear Скилл управляет задачами и проектами Linear через CLI. Попросите создать задачу, найти её в бэклоге или изменить статус. CX Codex +1 170установок session-finder Скилл session-finder индексирует сессии Claude Code эмбеддингами Gemini и находит нужную по описанию задачи, а потом открывает её или предлагает claude --resume. CX Codex +1 166установок timebuzzer-led Скилл timebuzzer-led для управления RGB LED на аппаратном устройстве timeBuzzer по протоколу MIDI. Задаёт цвет, эффекты (пульс, стробоскоп, радуга, затухание) и статус-сигналы прямо из кода. CX Codex +1 165установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой