vision-bench — скилл для Claude Code: оценка изображений
Скилл vision-bench сравнивает изображения и выставляет оценки через vision LLM по YAML-критериям. Запускается для генерации отчётов, OCR, анализа графиков и проверки стиля.
MIT 178 установок ★ 414 обновлён 2026-11-07
npx skills add glebis/claude-skills --skill vision-bench -a claude-codeЧто делает vision-bench
Скилл запускает bench.py для оценки одного изображения или сравнения нескольких файлов. Он передаёт изображения одному или нескольким vision LLM-судьям, применяет готовые YAML-пресеты и сохраняет результат в Markdown, JSON или таблицу. Есть 11 сценариев: от text_to_image и фотореализма до OCR документов, графиков, интерфейсов, счетов, портретов и alt-текста.
Судья выбирается через --judge или --judges. Поддерживаются OpenAI, Anthropic, Gemini, Mistral и OpenRouter; собственные критерии можно передать YAML-файлом через --criteria. В репозитории есть логика судьи, генератор отчётов, расшифровка секретов SOPS и каталог criteria/.
Для работы нужны Python-зависимости pyyaml, openai, anthropic и mistralai, а также ключ провайдера: например, OPENAI_API_KEY или GEMINI_API_KEY. Ключи можно хранить в secrets.enc.yaml, зашифрованном через SOPS и age. Сравнивать старые оценки с новыми без живого теста изображения и проверки рубрики рискованно, особенно для gemini-3.5-flash-lite.
Какие задачи решает
- сравнить два изображения по одной рубрике
- оценить фотореализм или художественный стиль
- проверить распознавание текста в документе
- измерить качество анализа графика или счёта
- сохранить оценки нескольких LLM в отчёт
Примеры запросов агенту
- Сравни
img_a.pngиimg_b.pngпо критериямtext_to_imageс промптом «лиса в заснеженном лесу» и судьёйgpt-4o. - Оцени
portrait.pngнесколькими моделями:gpt-4o,gemini-3.5-flash-liteиclaude-opus-4-5-20251022. - Проверь
chart.pngпо пресетуchart_analysisи сохрани результат вreport.md.
Как установить vision-bench
1Через Skills CLI (Vercel)
npx skills add glebis/claude-skills --skill vision-bench -a claude-code2Вручную: положить файлы
~/.claude/skills/vision-bench/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/vision-bench/
1Через Skills CLI (Vercel)
npx skills add glebis/claude-skills --skill vision-bench -a codex2Вручную: положить файлы
.agents/skills/vision-bench/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add glebis/claude-skills --skill vision-bench -a cursor2Вручную: положить файлы
.cursor/skills/vision-bench/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install glebis/claude-skills vision-bench2Вручную: положить файлы
.github/skills/vision-bench/SKILL.md1Через Skills CLI (Vercel)
npx skills add glebis/claude-skills --skill vision-bench -a gemini-cli2Командой платформы
gemini skills install https://github.com/glebis/claude-skills --path vision-benchВручную: положить файлы
.devin/skills/vision-bench/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add glebis/claude-skills --skill vision-bench -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о vision-bench
Как установить vision-bench в Claude Code?
Выполните npx skills add glebis/claude-skills --skill vision-bench -a claude-code. Файл скилла появится по пути ~/.claude/skills/vision-bench/SKILL.md.
Что делает vision-bench?
Скилл оценивает и сравнивает изображения с помощью одной или нескольких vision LLM по структурированным критериям. Результат можно вывести в Markdown, JSON или таблицу.
Какие ключи нужны для работы vision-bench?
Поддерживаются OPENAI_API_KEY, ANTHROPIC_API_KEY, GEMINI_API_KEY и OPENROUTER_API_KEY. Их можно загружать из secrets.enc.yaml через SOPS и age или из переменных окружения.
Исходный текст
SKILL.md · MIT
--- name: vision-bench description: Score and compare images using vision LLMs as judges. YAML-defined criteria presets for 11 use cases (text-to-image, photorealism, document OCR, charts, UI, portrait, product, scientific, invoice, alt-text, artistic style). Supports OpenAI, Anthropic, Gemini, Mistral, and OpenRouter as judge providers. Keys auto-decrypted via SOPS + age. --- # Vision Bench — LLM Image Evaluation Compare images by scoring them with one or more vision LLM judges against structured rubric criteria. ## Quick Start ```bash # Install dependencies pip install pyyaml openai anthropic mistralai # Score a single image python bench.py image.png --criteria photorealism --judge gemini-3.5-flash-lite # Compare two AI-generated images python bench.py img_a.png img_b.png \ --criteria text_to_image \ --prompt "a fox in a snowy forest" \ --judge gpt-4o # Multi-judge consensus python bench.py img.png \ --criteria portrait \ --judges gpt-4o gemini-3.5-flash-lite claude-opus-4-5-20251022 # OpenRouter models (any vision-capable model) python bench.py img_a.png img_b.png \ --criteria artistic_style \ --judges "openrouter/meta-llama/llama-4-maverick" "openrouter/mistralai/pixtral-large-2411" # List all presets python bench.py --list-presets # Save report to file python bench.py img.png --criteria chart_analysis --save report.md ``` ## Presets | Preset | Use Case | |--------|----------| | `text_to_image` | Compare AI image generators (Midjourney, DALL-E, Flux) | | `photorealism` | How convincingly an image looks like a photo | | `artistic_style` | Style consistency, composition, color harmony | | `portrait` | AI-generated portrait quality and realism | | `product_photo` | E-commerce product image quality | | `document_ocr` | Document text extraction and layout understanding | | `chart_analysis` | Chart and data visualization comprehension | | `invoice` | Financial document field extraction accuracy | | `ui_screenshot` | App/web screenshot understanding | | `scientific` | Scientific/medical image accuracy | | `alt_text` | Accessibility image description quality | Custom criteria: pass any `.yaml` file as `--criteria path/to/my.yaml`. ## Judge Providers | Prefix | Provider | Example | |--------|----------|---------| | `gpt-`, `o1`, `o3`, `o4` | OpenAI | `gpt-4o` | | `claude-` | Anthropic | `claude-sonnet-4-5-20251022` | | `gemini-` | Google Gemini | `gemini-3.5-flash-lite` | | `pixtral-`, `mistral-`, `ministral-` | Mistral | `pixtral-12b-2409` | | `openrouter/` | OpenRouter (any model) | `openrouter/meta-llama/llama-4-maverick` | ## API Keys Keys are loaded from `secrets.enc.yaml` (SOPS + age encrypted) with fallback to environment variables. Supported keys: `OPENAI_API_KEY`, `ANTHROPIC_API_KEY`, `GEMINI_API_KEY`, `OPENROUTER_API_KEY` To encrypt your own keys: ```bash sops --config .sops.yaml --encrypt --input-type yaml --output-type yaml secrets.yaml > secrets.enc.yaml ``` ## Output Formats `--output markdown` (default) · `--output json` · `--output table` ## Files - `bench.py` — CLI entry point - `judge.py` — Multi-provider LLM judge logic - `report.py` — Report generation - `vault.py` — SOPS secrets decryption - `criteria/` — 11 YAML preset files - `.sops.yaml` — Age key config for encryption - `secrets.enc.yaml` — Encrypted API keys Use `--judge` or `--judges` to select another model explicitly. The Gemini path sends one image/text turn with JSON output and no tools, history, thinking or sampling settings. The 3.5 Flash-Lite default requires a live image/JSON smoke test and rubric comparison before relying on historical score comparability; offline request tests do not establish model quality.
© glebis · MIT · glebis/claude-skills