# local-llm

Скилл local-llm помогает управлять локальным инференсом LM Studio и mlx-dspark, следить за памятью и обходить зависания рассуждений при отправке запросов.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, Windsurf (Devin Desktop), Claude.ai · ★ 328 у репозитория
- Автор: coco-research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/coco-research/coco/tree/HEAD/skills/local-llm/SKILL.md
- Обновлён: 2026-10-29
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/local-llm

## Что делает

Скилл описывает работу с локальными серверами инференса для модели `Qwen3.8-27B`. Интерактивный чат обслуживается через LM Studio, а фоновые скрипты обращаются к mlx-dspark. Фоновый демон управляется через `launchd`, а конфигурация вынесена в каталог `~/.config/mlx-dspark/`.

Главная деталь — подавление долгого рассуждения модели. Если обращаться к стандартному маршруту чата, модель тратит лимит токенов на внутренние мысли и уходит в таймаут. Скилл предлагает отправлять запросы в `/v1/completions` с уже закрытым тегом `<think>` внутри разметки ChatML, направляя генерацию сразу на ответ.

Для экономии оперативной памяти процесс mlx-dspark выгружается фоновым скриптом при простое. Если сервис возвращает код 503, клиентский скрипт отправляет команду на повторную загрузку и повторяет вызов. Без запущенного демона mlx-dspark локальные фоновые пайплайны работать не смогут.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add coco-research/coco --skill local-llm -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/local-llm/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/local-llm/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add coco-research/coco --skill local-llm -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/local-llm/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add coco-research/coco --skill local-llm -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/local-llm/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install coco-research/coco skills/local-llm
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/local-llm/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add coco-research/coco --skill local-llm -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/coco-research/coco --path skills/local-llm
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/local-llm/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/coco-research/coco/tree/HEAD/skills/local-llm/SKILL.md

## Когда брать
- настроить обращение скриптов к локальному серверу mlx-dspark
- остановить бесконечные рассуждения модели при вызове эндпоинта
- освободить оперативную память при длительном простое инференса
- обработать ошибку 503 при обращении к выгруженной модели

## Примеры запросов агенту
- Проверь статус локального инференса mlx-dspark и размер контекстного окна
- Настрой вызов локальной модели без зависания рассуждений через ChatML
- Покажи потребление памяти для текущего контекста модели

## Похожие
- [llm-architect](https://affpapa.org/nevibecode/agents/llm-architect.md) — субагент · 649 установок
- [local-llm-ops](https://affpapa.org/nevibecode/skills/local-llm-ops.md) — скилл · 472 установки
- [llm-config](https://affpapa.org/nevibecode/skills/llm-config.md) — скилл · 741 установка
- [LLM Latency Tracker](https://affpapa.org/nevibecode/mcp/llm-latency-tracker.md) — MCP-сервер · ★ 12 у репозитория
- [local-llm-router](https://affpapa.org/nevibecode/skills/local-llm-router.md) — скилл · ★ 301 у репозитория
- [mac-mini-llm-lab](https://affpapa.org/nevibecode/skills/mac-mini-llm-lab.md) — скилл · 344 установки

Из того же набора: [coco-research/coco](https://affpapa.org/nevibecode/by/coco-research/coco.md) — 82 карточки

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
