entropy — скилл для Claude Code: энтропия в теории информации
Скилл entropy для задач по энтропии Шеннона, условной и дифференциальной энтропии, KL-дивергенции и принципу максимальной энтропии.
MIT ★ 3 951 обновлён 2026-01-26
npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a claude-codeЧто делает entropy
Скилл подключает дерево решений для расчёта энтропии дискретных и непрерывных распределений. Внутри — готовые команды scipy.stats.entropy и sympy_compute.py для интегралов и упрощений. Разрешённые инструменты — Bash и Read.
Даёт формулы энтропии Шеннона H(X) = -sum p(x) log₂ p(x), совместной H(X,Y) и условной H(Y|X), свойства цепного правила и неравенства. Для непрерывных случаев — дифференциальная энтропия h(X), которая может быть отрицательной.
Принцип максимальной энтропии выбирает наименее смещённое распределение при заданных ограничениях: равномерное без условий, экспоненциальное при E[X] = μ, гауссово при E[X] и Var[X].
Какие задачи решает
- посчитать энтропию Шеннона для дискретного распределения
- найти KL-дивергенцию между двумя распределениями
- вычислить дифференциальную энтропию непрерывной переменной
- проверить свойства условной энтропии H(Y|X)
- определить распределение с максимальной энтропией при ограничениях
Примеры запросов агенту
- Посчитай энтропию для вероятностей [0.25, 0.25, 0.25, 0.25]
- Найди KL-дивергенцию между распределениями p = [0.5, 0.5] и q = [0.9, 0.1]
- Упрости выражение энтропии
-p*log(p, 2) - (1-p)*log(1-p, 2)в SymPy
Как установить entropy
1Через Skills CLI (Vercel)
npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a claude-code2Вручную: положить файлы
~/.claude/skills/entropy/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/entropy/
1Через Skills CLI (Vercel)
npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a codex2Вручную: положить файлы
.agents/skills/entropy/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a cursor2Вручную: положить файлы
.cursor/skills/entropy/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install parcadei/Continuous-Claude-v3 .claude/skills/math/information-theory/entropy2Вручную: положить файлы
.github/skills/entropy/SKILL.md1Через Skills CLI (Vercel)
npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a gemini-cli2Командой платформы
gemini skills install https://github.com/parcadei/Continuous-Claude-v3 --path .claude/skills/math/information-theory/entropyВручную: положить файлы
.devin/skills/entropy/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы об entropy
Как установить entropy в Claude Code?
Выполни npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a claude-code. Скилл окажется в ~/.claude/skills/entropy/SKILL.md.
Что делает entropy?
Скилл для задач теории информации: считает энтропию Шеннона, совместную, условную и дифференциальную энтропию, KL-дивергенцию, применяет принцип максимальной энтропии. Использует scipy.stats.entropy и sympy_compute.py.
Какие инструменты разрешены в entropy?
Bash и Read. Скилл запускает Python-скрипты через uv run и читает файлы документации.
Исходный текст
SKILL.md · MIT
---
name: entropy
description: "Problem-solving strategies for entropy in information theory"
allowed-tools: [Bash, Read]
---
# Entropy
## When to Use
Use this skill when working on entropy problems in information theory.
## Decision Tree
1. **Shannon Entropy**
- H(X) = -sum p(x) log2 p(x)
- Maximum for uniform distribution: H_max = log2(n)
- Minimum = 0 for deterministic (one outcome certain)
- `scipy.stats.entropy(p, base=2)` for discrete
2. **Entropy Properties**
- Non-negative: H(X) >= 0
- Concave in p
- Chain rule: H(X,Y) = H(X) + H(Y|X)
- `z3_solve.py prove "entropy_nonnegative"`
3. **Joint and Conditional Entropy**
- H(X,Y) = -sum sum p(x,y) log2 p(x,y)
- H(Y|X) = H(X,Y) - H(X)
- H(Y|X) <= H(Y) with equality iff independent
4. **Differential Entropy (Continuous)**
- h(X) = -integral f(x) log f(x) dx
- Can be negative!
- Gaussian: h(X) = 0.5 * log2(2*pi*e*sigma^2)
- `sympy_compute.py integrate "-f(x)*log(f(x))" --var x`
5. **Maximum Entropy Principle**
- Given constraints, max entropy distribution is least biased
- Uniform for no constraints
- Exponential for E[X] = mu constraint
- Gaussian for E[X], Var[X] constraints
## Tool Commands
### Scipy_Entropy
```bash
uv run python -c "from scipy.stats import entropy; p = [0.25, 0.25, 0.25, 0.25]; H = entropy(p, base=2); print('Entropy:', H, 'bits')"
```
### Scipy_Kl_Div
```bash
uv run python -c "from scipy.stats import entropy; p = [0.5, 0.5]; q = [0.9, 0.1]; kl = entropy(p, q); print('KL divergence:', kl)"
```
### Sympy_Entropy
```bash
uv run python -m runtime.harness scripts/sympy_compute.py simplify "-p*log(p, 2) - (1-p)*log(1-p, 2)"
```
## Key Techniques
*From indexed textbooks:*
- [Elements of Information Theory] Elements of Information Theory -- Thomas M_ Cover & Joy A_ Thomas -- 2_, Auflage, New York, NY, 2012 -- Wiley-Interscience -- 9780470303153 -- 2fcfe3e8a16b3aeefeaf9429fcf9a513 -- Anna’s Archive. What is the channel capacity of this channel? This is the multiple\-access channel solved by Liao and Ahlswede.
## Cognitive Tools Reference
See `.claude/skills/math-mode/SKILL.md` for full tool documentation.
© parcadei · MIT · parcadei/Continuous-Claude-v3