# blip-2-vision-language

Скилл подключает к агенту BLIP-2: подписи к картинкам, ответы на вопросы по изображению, поиск пары «картинка — текст».

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 944 установки · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/18-multimodal/blip-2/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/blip-2-vision-language

## Что делает

Скилл даёт агенту рабочие рецепты для BLIP-2 от Salesforce — модели, которая связывает замороженный визуальный энкодер и большую языковую модель через Q-Former. Внутри два пути установки библиотек и готовые примеры кода: базовый captioning, VQA и вариант через LAVIS. Модели берутся с HuggingFace, среди бэкендов OPT (2.7B, 6.7B) и FlanT5 (XL, XXL).

Обучать ничего не нужно: Q-Former весит около 188M параметров, а визуальный и языковой бэкбоны остаются замороженными. Поэтому запуск упирается в железо, а не в датасет. `blip2-opt-2.7b` занимает около 4GB, `blip2-flan-t5-xxl` — около 13GB, так что для больших вариантов нужна подходящая видеопамять.

В примерах используется `torch.float16` и `device_map="auto"`, то есть расчёт идёт на GPU. Понадобятся `transformers>=4.30.0`, `torch>=1.10.0` и `Pillow` — либо `salesforce-lavis`, если хотите официальную библиотеку Salesforce. Для инструкций по мультимодальному чату смотрите в сторону LLaVA или InstructBLIP: у BLIP-2 другая задача.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill blip-2-vision-language -a claude-code
```
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill blip-2 -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/blip-2/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/blip-2/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill blip-2 -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/blip-2/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill blip-2 -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/blip-2/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs blip-2
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/blip-2/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill blip-2 -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 18-multimodal/blip-2
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/blip-2/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill blip-2 -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/18-multimodal/blip-2/SKILL.md

## Когда брать
- сгенерировать подпись к изображению на естественном языке
- ответить на вопрос по содержимому картинки без обучения модели
- сопоставить изображение с текстовым описанием
- собрать пакетную обработку нескольких картинок с вопросами
- подключить рассуждения LLM к визуальной задаче

## Примеры запросов агенту
- Подготовь скрипт на BLIP-2: подпись к `photo.jpg` через `Salesforce/blip2-opt-2.7b`
- Сделай VQA: спроси у модели, какого цвета машина на изображении
- Собери батч из четырёх картинок и вопросов, выведи ответы парами

## Похожие
- [tao-finetune-clip](https://affpapa.org/nevibecode/skills/tao-finetune-clip.md) — скилл · 1600 установок
- [vision-sft](https://affpapa.org/nevibecode/skills/vision-sft.md) — скилл · 2600 установок
- [tao-finetune-cosmos-embed](https://affpapa.org/nevibecode/skills/tao-finetune-cosmos-embed.md) — скилл · 1600 установок
- [vision](https://affpapa.org/nevibecode/skills/vision.md) — скилл · 13400 установок
- [qianwen-vision](https://affpapa.org/nevibecode/skills/qianwen-vision.md) — скилл · 5700 установок
- [qwencloud-vision](https://affpapa.org/nevibecode/skills/qwencloud-vision.md) — скилл · 1800 установок

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md