llm — скилл для Claude Code: разработка и обучение LLM
Скилл задаёт агенту правила работы с большими языковыми моделями: архитектура, файнтюнинг, обучение и деплой. Пригодится, когда проект крутится вокруг трансформеров.
npx skills add Mindrally/skills --skill llm -a claude-codeЧто делает llm
Скилл превращает агента в помощника по разработке LLM. Внутри — набор принципов: разбираться в архитектуре трансформеров, применять эффективные стратегии обучения, правильно оценивать модели и оптимизировать инференс. Агент опирается на эти пункты, когда пишет код обучения или разбирает чужой.
Дальше идут конкретные разделы. Механизмы внимания: self-attention, multi-head, позиционные кодировки, ограничения длины контекста. Токенизация: выбор между BPE и SentencePiece, работа со специальными токенами, компромиссы по размеру словаря, паддинг и усечение. Файнтюнинг разбит на два пути — параметро-эффективные методы вроде LoRA, P-tuning, адаптерных слоёв и prefix tuning, и полное дообучение с аккуратным подбором learning rate, warmup, gradient checkpointing и регуляризацией.
Инфраструктурная часть — про распределённое обучение (DeepSpeed, FSDP, синхронизация градиентов, сохранение чекпоинтов) и экономию памяти (gradient accumulation, mixed precision, activation checkpointing, динамический размер батча). Есть разделы про оценку (perplexity, BLEU, бенчмарки, отслеживание метрик по ходу обучения) и деплой (квантизация, прунинг, батчевый инференс, мониторинг в продакшене). Отдельно — структура проекта: конфиги в YAML, разделение обработки данных и обучения, трекинг экспериментов, версионирование моделей и конфигов. Скилл не привязан к конкретному фреймворку, поэтому для проекта на PyTorch или JAX он одинаково уместен.
Какие задачи решает
- выбрать между LoRA и полным дообучением под задачу
- разложить обучение большой модели по нескольким GPU
- посчитать, влезет ли батч в память, и подобрать gradient accumulation
- настроить токенизатор и обработку специальных токенов
- организовать конфиги и трекинг экспериментов в проекте
Примеры запросов агенту
- помоги настроить LoRA для дообучения модели на нашем датасете
- проверь мой скрипт обучения: правильно ли реализован multi-head attention
- предложи схему FSDP и gradient checkpointing, чтобы влезло в память
Как установить llm
1Через Skills CLI (Vercel)
npx skills add Mindrally/skills --skill llm -a claude-code2Вручную: положить файлы
~/.claude/skills/llm/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/llm/
1Через Skills CLI (Vercel)
npx skills add Mindrally/skills --skill llm -a codex2Вручную: положить файлы
.agents/skills/llm/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add Mindrally/skills --skill llm -a cursor2Вручную: положить файлы
.cursor/skills/llm/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install Mindrally/skills llm2Вручную: положить файлы
.github/skills/llm/SKILL.md1Через Skills CLI (Vercel)
npx skills add Mindrally/skills --skill llm -a gemini-cli2Командой платформы
gemini skills install https://github.com/Mindrally/skills --path llmВручную: положить файлы
.devin/skills/llm/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add Mindrally/skills --skill llm -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о llm
Как установить llm в Claude?
Выполните npx skills add Mindrally/skills --skill llm -a claude-code. После этого файл скилла окажется в ~/.claude/skills/llm/SKILL.md.
Что делает скилл llm?
Задаёт агенту правила разработки больших языковых моделей: архитектура внимания, токенизация, файнтюнинг, распределённое обучение, оценка и деплой.
Для каких платформ подходит скилл?
Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI и OpenCode. Для каждой платформы своя команда установки.
Исходный текст
SKILL.md · Apache-2.0
--- name: llm description: Large Language Model development, training, fine-tuning, and deployment best practices. metadata: maintainer: Mindrally source: https://github.com/Mindrally/skills --- # LLM Development You are an expert in Large Language Model development, training, and fine-tuning. ## Core Principles - Understand transformer architectures deeply - Implement efficient training strategies - Apply proper evaluation methodologies - Optimize for inference performance ## Model Architecture ### Attention Mechanisms - Implement self-attention correctly - Use multi-head attention patterns - Apply positional encodings appropriately - Understand context length limitations ### Tokenization - Choose appropriate tokenizers (BPE, SentencePiece) - Handle special tokens properly - Manage vocabulary size trade-offs - Implement proper padding and truncation ## Fine-Tuning Techniques ### Parameter-Efficient Methods - Use LoRA for efficient adaptation - Apply P-tuning for prompt optimization - Implement adapter layers - Use prefix tuning when appropriate ### Full Fine-Tuning - Manage learning rates carefully - Implement proper warmup schedules - Use gradient checkpointing for memory - Apply regularization appropriately ## Training Infrastructure ### Distributed Training - Use DeepSpeed for large models - Implement FSDP for memory efficiency - Handle gradient synchronization - Manage checkpoint saving/loading ### Memory Optimization - Apply gradient accumulation - Use mixed precision training - Implement activation checkpointing - Optimize batch sizes dynamically ## Evaluation - Use appropriate metrics (perplexity, BLEU, etc.) - Implement proper benchmark evaluation - Handle evaluation at scale - Track metrics during training ## Deployment - Optimize models for inference (quantization, pruning) - Implement efficient serving solutions - Handle batched inference - Monitor production performance ## Project Structure - Organize configs in YAML files - Separate data processing from training - Implement experiment tracking - Version control models and configs
© Mindrally · Apache-2.0 · Mindrally/skills
