скилл

inference-serving-llama-cpp — скилл для Claude Code: инференс

Q: Как установить inference-serving-llama-cpp в Claude Code?

Выполните `npx claude-code-templates@latest --skill ai-research/inference-serving-llama-cpp`, затем `npx skills add davila7/claude-code-templates --skill inference-serving-llama-cpp -a claude-code`. После этого используйте файл `~/.claude/skills/inference-serving-llama-cpp/SKILL.md`.

Q: Что делает inference-serving-llama-cpp?

Скилл помогает запускать LLM через `llama.cpp` на CPU, Apple Silicon, AMD и Intel GPU. Он охватывает GGUF-квантование, локальный CLI-запуск и сервер с OpenAI-совместимым API.

Скилл помогает запускать LLM через llama.cpp на CPU, Apple Silicon и GPU AMD или Intel. Пригодится, когда CUDA недоступна.

Установить в Claude Code · Через claude-code-templates Все способы и платформы ↓

npx claude-code-templates@latest --skill ai-research/inference-serving-llama-cpp

Открыть на GitHub

Что делает inference-serving-llama-cpp

Скилл описывает запуск моделей в формате GGUF через llama.cpp: от сборки и загрузки модели до одиночного, интерактивного и серверного режима. Агент может подсказать команды для llama-cli, llama-server, OpenAI-совместимого API и запросов через curl.

В материалах есть настройка ускорения для Metal, CUDA и ROCm, выбор квантования от 1.5 до 8 бит, пакетная обработка промптов, грамматики для JSON и изменение размера контекста. Модели можно загрузить через huggingface-cli или преобразовать из исходного формата. Скилл зависит от llama-cpp-python, поэтому без этой библиотеки часть сценариев подготовки окружения не запустится.

Какие задачи решает

запустить LLM на CPU без CUDA
собрать llama.cpp с Metal, CUDA или ROCm
загрузить модель в формате GGUF
поднять OpenAI-совместимый сервер
получить JSON по грамматике

Примеры запросов агенту

Настрой запуск модели models/llama-2-7b-chat.Q4_K_M.gguf через llama-cli в интерактивном режиме.
Собери llama.cpp с Metal и подготовь запуск для Apple Silicon.
Подними llama-server на порту 8080 и покажи запрос к API через curl.

Как установить inference-serving-llama-cpp

1Через claude-code-templates

npx claude-code-templates@latest --skill ai-research/inference-serving-llama-cpp

2Через Skills CLI (Vercel)

npx skills add davila7/claude-code-templates --skill inference-serving-llama-cpp -a claude-code

3Вручную: положить файлы

~/.claude/skills/inference-serving-llama-cpp/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/inference-serving-llama-cpp/

Вручную: положить файлы

.agents/skills/inference-serving-llama-cpp/SKILL.md

Для всех проектов — ~/.agents/skills/

Вручную: положить файлы

.cursor/skills/inference-serving-llama-cpp/SKILL.md

Cursor читает и .agents/skills/, и .claude/skills/

1GitHub CLI

gh skill install davila7/claude-code-templates inference-serving-llama-cpp

2Вручную: положить файлы

.github/skills/inference-serving-llama-cpp/SKILL.md

Командой платформы

gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/inference-serving-llama-cpp

Вручную: положить файлы

.devin/skills/inference-serving-llama-cpp/SKILL.md

Старый путь .windsurf/skills/ тоже читается

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о inference-serving-llama-cpp

Как установить inference-serving-llama-cpp в Claude Code?

Выполните npx claude-code-templates@latest --skill ai-research/inference-serving-llama-cpp, затем npx skills add davila7/claude-code-templates --skill inference-serving-llama-cpp -a claude-code. После этого используйте файл ~/.claude/skills/inference-serving-llama-cpp/SKILL.md.

Что делает inference-serving-llama-cpp?

Скилл помогает запускать LLM через llama.cpp на CPU, Apple Silicon, AMD и Intel GPU. Он охватывает GGUF-квантование, локальный CLI-запуск и сервер с OpenAI-совместимым API.

На каком оборудовании работает inference-serving-llama-cpp?

Сценарии рассчитаны на CPU, Apple Silicon M1/M2/M3/M4, AMD и Intel GPU. Для ускорения используются Metal, CUDA или ROCm; при отсутствии CUDA можно работать без NVIDIA GPU.

Из того же набора651

Весь набор →

rag-faiss Скилл помогает работать с FAISS для поиска ближайших векторов и хранения индекса. Пригодится для RAG, когда нужны запросы по сходству без фильтрации по метаданным. 62установок interview-prep-generator Собирает из резюме истории по схеме STAR, вопросы для тренировки и тезисы для ответов. Пригодится перед интервью на конкретную роль. 61установок gws-modelarmor-create-template Слэш-команда, через которую Claude создаёт шаблон Google Model Armor в GCP: пресет jailbreak или собственная JSON-конфигурация фильтров. 61установок clinical-decision-support Скилл создаёт клинические отчёты с анализом когорт, биомаркерами, оценкой доказательств и алгоритмами выбора лечения. Нужен для исследований и разработки препаратов. 60установок emerging-techniques-speculative-decoding Скилл по спекулятивному декодированию: подсказывает агенту, как ускорить генерацию токенов в 1.5–3.6 раза без потери качества. 59установок netlify-deploy Скилл для Claude, который проводит проект через деплой на Netlify: проверка входа, привязка сайта, сборка и заливка на превью или в прод. 58установок footballbin-predictions Скилл получает прогнозы матчей Premier League и Champions League через FootballBin MCP API. Показывает ожидаемый счёт, автора следующего гола и количество угловых. 57установок rust-pro Скилл помогает проектировать и писать Rust-код: от решения проблем с владением и асинхронностью до тестирования и профилирования систем. 57установок