emerging-techniques-long-context — скилл для Claude Code
Помогает расширять контекстное окно моделей-трансформеров с помощью RoPE, YaRN, ALiBi и интерполяции позиций. Пригодится при обработке текстов длиной от 32k до 128k+ токенов.
npx claude-code-templates@latest --skill ai-research/emerging-techniques-long-contextЧто делает emerging-techniques-long-context
Скилл снабжает Claude Code рецептами и готовым кодом для масштабирования длины контекста в нейросетях. Внутри разобраны четыре основных подхода: вращательные эмбеддинги RoPE, метод YaRN, смещения внимания ALiBi и позиционная интерполяция. Это позволяет обучать или дообучать архитектуры вроде LLaMA на последовательностях от 32k до 128k+ токенов без переобучения с нуля.
В материалах собраны рабочие примеры на PyTorch. Для RoPE показана реализация вычисления частот и поворота половин скрытых измерений через torch.chunk. Для ALiBi приводятся формулы расчёта наклонов по головам внимания и матрицы относительных расстояний. Для LLaMA показана настройка параметра rope_scaling в Hugging Face с линейным и динамическим фактором.
Для запуска примеров из скилла в окружении нужны torch и transformers. Чтобы код работал без перерасхода памяти на длинных контекстах, потребуется установить flash-attn с флагом --no-build-isolation.
Какие задачи решает
- увеличить контекстное окно модели LLaMA до 32k или 128k токенов
- реализовать вращательные позиционные эмбеддинги RoPE на чистом PyTorch
- внедрить линейные смещения ALiBi в механизм внимания
- настроить параметр
rope_scalingдля линейной или динамической интерполяции
Примеры запросов агенту
- Настрой rope_scaling для LLaMA-2-7b, чтобы расширить контекст до 32768 токенов через линейную интерполяцию.
- Напиши модуль RotaryEmbedding на PyTorch для внедрения RoPE в слой внимания.
- Покажи, как рассчитать маску ALiBi для восьми голов внимания на длине последовательности 2048.
Как установить emerging-techniques-long-context
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/emerging-techniques-long-context2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill emerging-techniques-long-context -a claude-code3Вручную: положить файлы
~/.claude/skills/emerging-techniques-long-context/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/emerging-techniques-long-context/
Вручную: положить файлы
.agents/skills/emerging-techniques-long-context/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/emerging-techniques-long-context/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates emerging-techniques-long-context2Вручную: положить файлы
.github/skills/emerging-techniques-long-context/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/emerging-techniques-long-contextВручную: положить файлы
.devin/skills/emerging-techniques-long-context/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о emerging-techniques-long-context
Как установить emerging-techniques-long-context в Claude Code?
Запустите команду npx claude-code-templates@latest --skill ai-research/emerging-techniques-long-context. Шаблон добавит инструкции по длинному контексту в вашу конфигурацию агента.
Что делает скилл emerging-techniques-long-context?
Он предоставляет Claude Code алгоритмы и формулы для увеличения длины контекста в трансформерах. В инструкции входят примеры кода для RoPE, YaRN, ALiBi и масштабирования внимания через rope_scaling.
Какие библиотеки нужны для запуска кода из этого скилла?
Базовые примеры требуют torch и transformers. Для отдельных компонентов пригодятся einops и rotary-embedding-torch, а для оптимизации внимания на длинных цепочках нужен flash-attn.
