analyze-results — скилл для Claude Code: разбор результатов
Скилл читает JSON и CSV с результатами экспериментов, строит таблицы сравнения и считает статистику. Пригодится, когда прогонов много и надо понять, что из них следует.
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill analyze-results -a claude-codeЧто делает analyze-results
Скилл проходит по файлам результатов в figures/, results/ или другой папке проекта, разбирает JSON в структурированные данные и собирает таблицу сравнения. В строках — тип модели, гиперпараметры и конфигурация данных, в столбцах — основная метрика и дополнительные, плюс дельта относительно baseline.
Дальше идёт статистика. Если прогонов с разными seed несколько, скилл считает среднее и стандартное отклонение и проверяет воспроизводимость. При переборе параметра он ищет тренд — монотонный, U-образный или с плато — и помечает выбросы. Каждую находку он оформляет по схеме: наблюдение с числами, интерпретация, что это значит для исследовательского вопроса и какой эксперимент проверит догадку.
На выходе — таблица сырых данных, нумерованный список ключевых находок и предложения по следующим экспериментам. Если результаты выглядят значимыми, скилл предложит обновить заметки проекта или отчёт и набросает формулировку вывода в одно-два предложения. Для работы нужны файлы результатов в JSON или CSV: без них анализировать нечего.
Какие задачи решает
- собрать таблицу сравнения прогонов по метрикам
- посчитать среднее и стандартное отклонение по нескольким seed
- найти тренд при переборе гиперпараметра
- отловить выбросы и подозрительные результаты
- сформулировать вывод по эксперименту и обновить отчёт
Примеры запросов агенту
- проанализируй результаты в
results/, сравни с baseline - посчитай статистику по прогонам с разными seed и проверь воспроизводимость
- сравни конфигурации моделей и предложи следующие эксперименты
Как установить analyze-results
1Через Skills CLI (Vercel)
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill analyze-results -a claude-code2Вручную: положить файлы
~/.claude/skills/analyze-results/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/analyze-results/
1Через Skills CLI (Vercel)
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill analyze-results -a codex2Вручную: положить файлы
.agents/skills/analyze-results/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill analyze-results -a cursor2Вручную: положить файлы
.cursor/skills/analyze-results/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install wanshuiyin/Auto-claude-code-research-in-sleep analyze-results2Вручную: положить файлы
.github/skills/analyze-results/SKILL.md1Через Skills CLI (Vercel)
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill analyze-results -a gemini-cli2Командой платформы
gemini skills install https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep --path skills/analyze-resultsВручную: положить файлы
.devin/skills/analyze-results/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill analyze-results -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Из того же набора78
Похожие
Рядом в теме «ИИ и ML»
Всё по теме «ИИ и ML» →Вопросы о analyze-results
Как установить analyze-results в Claude?
Выполните npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill analyze-results -a claude-code. Скилл окажется в ~/.claude/skills/analyze-results/SKILL.md.
Что делает analyze-results?
Находит файлы результатов экспериментов, строит таблицу сравнения, считает статистику по seed и переборам параметров, а затем формулирует находки и предлагает следующие эксперименты.
Какие файлы нужны скиллу для работы?
Результаты в JSON или CSV. Скилл ищет их в figures/, results/ или другой папке проекта, которую вы укажете в аргументе.
Исходный текст
SKILL.md · MIT
--- name: analyze-results description: Analyze ML experiment results, compute statistics, generate comparison tables and insights. Use when user says "analyze results", "compare", or needs to interpret experimental data. argument-hint: "[results-path-or-description]" allowed-tools: Bash(*), Read, Grep, Glob, Write, Edit --- # Analyze Experiment Results Analyze: $ARGUMENTS ## Workflow ### Step 1: Locate Results Find all relevant JSON/CSV result files: - Check `figures/`, `results/`, or project-specific output directories - Parse JSON results into structured data ### Step 2: Build Comparison Table Organize results by: - **Independent variables**: model type, hyperparameters, data config - **Dependent variables**: primary metric (e.g., perplexity, accuracy, loss), secondary metrics - **Delta vs baseline**: always compute relative improvement ### Step 3: Statistical Analysis - If multiple seeds: report mean +/- std, check reproducibility - If sweeping a parameter: identify trends (monotonic, U-shaped, plateau) - Flag outliers or suspicious results ### Step 4: Generate Insights For each finding, structure as: 1. **Observation**: what the data shows (with numbers) 2. **Interpretation**: why this might be happening 3. **Implication**: what this means for the research question 4. **Next step**: what experiment would test the interpretation ### Step 5: Update Documentation If findings are significant: - Propose updates to project notes or experiment reports - Draft a concise finding statement (1-2 sentences) ## Output Format Always include: 1. Raw data table 2. Key findings (numbered, concise) 3. Suggested next experiments (if any)
© wanshuiyin · MIT · wanshuiyin/Auto-claude-code-research-in-sleep