skills-eval — скилл для Claude Code: аудит и установка
Скилл skills-eval для Claude Code проверяет структуру, расход токенов и интеграцию инструментов в других скиллах. Находит проблемы и составляет план исправлений.
MIT 1 установок ★ 350 обновлён 2026-10-29
npx skills add athola/claude-night-market --skill skills-eval -a claude-codeЧто делает skills-eval
skills-eval проводит аудит скиллов и помогает разобрать его результаты. Он проверяет структуру и соответствие стандартам, оценивает сложность и расход токенов, анализирует работу инструментов. Для всего проекта есть make audit-all, для отдельного файла — make audit-skill TARGET=path/to/skill/SKILL.md.
В состав входят скрипты анализа, проверки соответствия и подготовки плана улучшений, а также модули для тестирования интеграций и оценки производительности. После исправлений можно повторно проверить скилл и оценить его бюджет контекста. compliance_checker.py только сообщает о проблемах, исправлять их придётся вручную.
Для анализа конкретного скилла нужны его файл SKILL.md и путь к нему. Начать можно с make analyze-skill TARGET=path/to/skill/SKILL.md, затем сформировать план через make improve-skill TARGET=path/to/skill/SKILL.md и проверить стандарты командой make check-compliance TARGET=path/to/skill/SKILL.md. Скилл предназначен для аудита, а не для написания нового.
Какие задачи решает
- найти структурные проблемы во всех скиллах проекта
- оценить сложность и расход токенов отдельного скилла
- составить приоритетный план улучшений
- проверить соответствие скилла стандартам
- оценить интеграцию инструментов и производительность
Примеры запросов агенту
- Проведи аудит всех скиллов проекта командой
make audit-all. - Проанализируй
path/to/skill/SKILL.mdи оцени расход токенов. - Составь план улучшений для
path/to/skill/SKILL.md, затем проверь соответствие стандартам.
Как установить skills-eval
1Через Skills CLI (Vercel)
npx skills add athola/claude-night-market --skill skills-eval -a claude-code2Вручную: положить файлы
~/.claude/skills/skills-eval/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/skills-eval/
1Через Skills CLI (Vercel)
npx skills add athola/claude-night-market --skill skills-eval -a codex2Вручную: положить файлы
.agents/skills/skills-eval/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add athola/claude-night-market --skill skills-eval -a cursor2Вручную: положить файлы
.cursor/skills/skills-eval/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install athola/claude-night-market plugins/abstract/skills/skills-eval2Вручную: положить файлы
.github/skills/skills-eval/SKILL.md1Через Skills CLI (Vercel)
npx skills add athola/claude-night-market --skill skills-eval -a gemini-cli2Командой платформы
gemini skills install https://github.com/athola/claude-night-market --path plugins/abstract/skills/skills-evalВручную: положить файлы
.devin/skills/skills-eval/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add athola/claude-night-market --skill skills-eval -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о skills-eval
Как установить skills-eval в Claude Code?
Выполните npx skills add athola/claude-night-market --skill skills-eval -a claude-code. Файл скилла будет доступен по пути ~/.claude/skills/skills-eval/SKILL.md.
Что делает skills-eval?
Он проверяет качество других скиллов: анализирует структуру, токены и работу инструментов, а также готовит план улучшений и отчёт о соответствии стандартам.
Исправляет ли skills-eval найденные проблемы автоматически?
compliance_checker.py только сообщает о результатах проверки. Исправления нужно внести вручную, а затем запустить проверку повторно.
Исходный текст
SKILL.md · MIT
--- name: skills-eval description: 'Evaluate Claude skill quality through auditing. Use when reviewing or auditing skills.' alwaysApply: false category: skill-management tags: - evaluation - improvement - skills - optimization - quality-assurance - tool-use - performance-metrics dependencies: - modular-skills tools: [] provides: infrastructure: - evaluation-framework - quality-assurance - improvement-planning patterns: - skill-analysis - token-optimization - modular-design sdk_features: - agent-sdk-compatibility - advanced-metrics - dynamic-discovery estimated_tokens: 1800 usage_patterns: - skill-audit - quality-assessment - improvement-planning - skills-inventory - tool-performance-evaluation - dynamic-discovery-optimization - advanced-tool-use-analysis - programmatic-calling-efficiency - context-preservation-quality - token-efficiency-optimization - modular-architecture-validation - integration-testing - compliance-reporting - performance-benchmarking complexity: advanced model_hint: deep evaluation_criteria: structure_compliance: 25 metadata_quality: 20 token_efficiency: 25 tool_integration: 20 claude_sdk_compliance: 10 modules: - modules/advanced-tool-use-analysis.md - modules/authoring-checklist.md - modules/evaluation-criteria.md - modules/evaluation-framework.md - modules/evaluation-workflows.md - modules/integration-testing.md - modules/integration.md - modules/performance-benchmarking.md - modules/pressure-testing.md - modules/trigger-isolation-analysis.md - modules/troubleshooting.md - modules/skill-authoring-best-practices.md role: entrypoint --- # Skills Evaluation and Improvement ## When NOT To Use - Writing a new skill (use `abstract:skill-authoring`) - Evaluating hooks (use `abstract:hooks-eval`) - Evaluating rules (use `abstract:rules-eval`) ## Overview This framework audits Claude skills against quality standards to improve performance and reduce token consumption. Automated tools analyze skill structure, measure context usage, and identify specific technical improvements. Run verification commands after each audit to confirm fixes work correctly. The scripts are in `plugins/abstract/scripts/`. `skills_auditor.py` provides structural analysis, while `improvement_suggester.py` builds a plan for one skill. `compliance_checker.py` reports standards findings. `token_usage_tracker.py` and `tool_performance_analyzer.py` measure tokens and tool run time. ## Quick Start ### Basic Audit Run a full audit of all skills or target a specific file to identify structural issues. ```bash # Audit all skills make audit-all # Audit specific skill make audit-skill TARGET=path/to/skill/SKILL.md ``` ### Analysis and Optimization Use `skill_analyzer.py` for complexity checks and `token_estimator.py` to verify the context budget. ```bash make analyze-skill TARGET=path/to/skill/SKILL.md make estimate-tokens TARGET=path/to/skill/SKILL.md ``` ### Improvements Generate a prioritized plan and verify standards compliance using `improvement_suggester.py` and `compliance_checker.py`. ```bash make improve-skill TARGET=path/to/skill/SKILL.md make check-compliance TARGET=path/to/skill/SKILL.md ``` ## Evaluation Workflow Start with `make audit-all` to inventory skills and identify high-priority targets. For each skill requiring attention, run analysis with `analyze-skill` to map complexity. Generate an improvement plan, apply fixes, and run `check-compliance` to verify the skill meets project standards. Finalize by checking the token budget for efficiency. ## Evaluation and Optimization Quality assessments use `skills_auditor.py` and `improvement_suggester.py` to generate reports. Performance analysis covers token use through `token_usage_tracker.py` and tool run time through `tool_performance_analyzer.py`. For standards compliance, `compliance_checker.py` reports findings and changes no files. Apply its fixes by hand. ### Scoring and Prioritization We evaluate skills across five dimensions: structure compliance, content quality, token efficiency, activation reliability, and tool integration. Scores above 90 represent production-ready skills, while scores below 50 indicate critical issues requiring immediate attention. Improvements are prioritized by impact. Critical issues include security vulnerabilities or broken functionality. High-priority items cover structural flaws that hinder discoverability. Medium and low priorities focus on best practices and minor optimizations. ### Structural Patterns **Deprecated**: `skills/shared/modules/` directories. Shared modules must be relocated into the consuming skill's own `modules/` directory. The evaluator flags any remaining `skills/shared/` as a structural warning. **Current**: Each skill owns its modules at `skills/<skill-name>/modules/`. Cross-skill references use relative paths (e.g., `../skill-authoring/modules/description-writing.md`). ## Resources ### Shared Modules: Cross-Skill Patterns - **Skill Selection**: See [skill-selection-judgment.md](../../shared-modules/skill-selection-judgment.md) - **Trigger Patterns**: See [trigger-patterns.md](modules/evaluation-criteria.md) ### Skill-Specific Modules - **Trigger Isolation Analysis**: See `modules/trigger-isolation-analysis.md` - **Authoring Checklist**: See `modules/authoring-checklist.md` - **Evaluation Workflows**: See `modules/evaluation-workflows.md` - **Advanced Tool Use Analysis**: See `modules/advanced-tool-use-analysis.md` - **Evaluation Framework**: See `modules/evaluation-framework.md` - **Integration Patterns**: See `modules/integration.md` - **Troubleshooting**: See `modules/troubleshooting.md` - **Pressure Testing**: See `modules/pressure-testing.md` - **Integration Testing**: See `modules/integration-testing.md` - **Performance Benchmarking**: See `modules/performance-benchmarking.md` ### Tools and Automation - **Tools**: Executable analysis utilities in `scripts/` directory. ## Exit Criteria - [ ] Every audited skill receives a score across all five dimensions (structure compliance, content quality, token efficiency, activation reliability, tool integration) summing to 100. - [ ] Any skill with a deprecated `skills/shared/` module reference is listed as a structural warning in the audit output. - [ ] `uv run abstract-skills check <skills-dir>` exits 0 for skills reported as passing and 1 for any non-compliant report, confirming compliance agrees with the audit score. - [ ] An improvement plan is produced for any skill scoring below 75, with findings ordered by priority: critical > high > medium > low.
© athola · MIT · athola/claude-night-market