К основному содержанию
скилл CX Codex

entropy — скилл для Claude Code: энтропия в теории информации

Скилл entropy для задач по энтропии Шеннона, условной и дифференциальной энтропии, KL-дивергенции и принципу максимальной энтропии.

MIT ★ 3 951 обновлён 2026-01-26

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a claude-code
Открыть на GitHub

Что делает entropy

Скилл подключает дерево решений для расчёта энтропии дискретных и непрерывных распределений. Внутри — готовые команды scipy.stats.entropy и sympy_compute.py для интегралов и упрощений. Разрешённые инструменты — Bash и Read.

Даёт формулы энтропии Шеннона H(X) = -sum p(x) log₂ p(x), совместной H(X,Y) и условной H(Y|X), свойства цепного правила и неравенства. Для непрерывных случаев — дифференциальная энтропия h(X), которая может быть отрицательной.

Принцип максимальной энтропии выбирает наименее смещённое распределение при заданных ограничениях: равномерное без условий, экспоненциальное при E[X] = μ, гауссово при E[X] и Var[X].

Какие задачи решает

  • посчитать энтропию Шеннона для дискретного распределения
  • найти KL-дивергенцию между двумя распределениями
  • вычислить дифференциальную энтропию непрерывной переменной
  • проверить свойства условной энтропии H(Y|X)
  • определить распределение с максимальной энтропией при ограничениях

Примеры запросов агенту

  • Посчитай энтропию для вероятностей [0.25, 0.25, 0.25, 0.25]
  • Найди KL-дивергенцию между распределениями p = [0.5, 0.5] и q = [0.9, 0.1]
  • Упрости выражение энтропии -p*log(p, 2) - (1-p)*log(1-p, 2) в SymPy

Как установить entropy

1Через Skills CLI (Vercel)

npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a claude-code

2Вручную: положить файлы

~/.claude/skills/entropy/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/entropy/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об entropy

Как установить entropy в Claude Code?

Выполни npx skills add parcadei/Continuous-Claude-v3 --skill entropy -a claude-code. Скилл окажется в ~/.claude/skills/entropy/SKILL.md.

Что делает entropy?

Скилл для задач теории информации: считает энтропию Шеннона, совместную, условную и дифференциальную энтропию, KL-дивергенцию, применяет принцип максимальной энтропии. Использует scipy.stats.entropy и sympy_compute.py.

Какие инструменты разрешены в entropy?

Bash и Read. Скилл запускает Python-скрипты через uv run и читает файлы документации.

Исходный текст

SKILL.md · MIT
---
name: entropy
description: "Problem-solving strategies for entropy in information theory"
allowed-tools: [Bash, Read]
---

# Entropy

## When to Use

Use this skill when working on entropy problems in information theory.

## Decision Tree


1. **Shannon Entropy**
   - H(X) = -sum p(x) log2 p(x)
   - Maximum for uniform distribution: H_max = log2(n)
   - Minimum = 0 for deterministic (one outcome certain)
   - `scipy.stats.entropy(p, base=2)` for discrete

2. **Entropy Properties**
   - Non-negative: H(X) >= 0
   - Concave in p
   - Chain rule: H(X,Y) = H(X) + H(Y|X)
   - `z3_solve.py prove "entropy_nonnegative"`

3. **Joint and Conditional Entropy**
   - H(X,Y) = -sum sum p(x,y) log2 p(x,y)
   - H(Y|X) = H(X,Y) - H(X)
   - H(Y|X) <= H(Y) with equality iff independent

4. **Differential Entropy (Continuous)**
   - h(X) = -integral f(x) log f(x) dx
   - Can be negative!
   - Gaussian: h(X) = 0.5 * log2(2*pi*e*sigma^2)
   - `sympy_compute.py integrate "-f(x)*log(f(x))" --var x`

5. **Maximum Entropy Principle**
   - Given constraints, max entropy distribution is least biased
   - Uniform for no constraints
   - Exponential for E[X] = mu constraint
   - Gaussian for E[X], Var[X] constraints


## Tool Commands

### Scipy_Entropy
```bash
uv run python -c "from scipy.stats import entropy; p = [0.25, 0.25, 0.25, 0.25]; H = entropy(p, base=2); print('Entropy:', H, 'bits')"
```

### Scipy_Kl_Div
```bash
uv run python -c "from scipy.stats import entropy; p = [0.5, 0.5]; q = [0.9, 0.1]; kl = entropy(p, q); print('KL divergence:', kl)"
```

### Sympy_Entropy
```bash
uv run python -m runtime.harness scripts/sympy_compute.py simplify "-p*log(p, 2) - (1-p)*log(1-p, 2)"
```

## Key Techniques

*From indexed textbooks:*

- [Elements of Information Theory] Elements of Information Theory -- Thomas M_ Cover &amp; Joy A_ Thomas -- 2_, Auflage, New York, NY, 2012 -- Wiley-Interscience -- 9780470303153 -- 2fcfe3e8a16b3aeefeaf9429fcf9a513 -- Anna’s Archive. What is the channel capacity of this channel? This is the multiple\-access channel solved by Liao and Ahlswede.

## Cognitive Tools Reference

See `.claude/skills/math-mode/SKILL.md` for full tool documentation.

© parcadei · MIT · parcadei/Continuous-Claude-v3

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
Password Strength Checker — Entropy & Crack Time axel-belfort Password Strength Checker — Entropy & Crack Time — MCP-сервер для Claude Code оценивает пароль по шкале 0–100, энтропии и времени взлома. Проверяет пароли для регистрации, политик и аудитов. CX Codex +1 4 119установок matplotlib K-Dense-AI Скилл для построения и тонкой настройки научных графиков на Matplotlib: от отдельных осей до многопанельных фигур и экспорта в PNG, PDF и SVG. CX Codex +1 2 500установок symbolic-equation lingzhi227 Скилл symbolic-equation для Claude Code подбирает физические формулы по числовым данным с помощью эволюционного поиска и языковых моделей. Выполняет символьную регрессию и ищет законы в экспериментальных данных. CX Codex +1 1 600установок scipy-best-practices Mindrally Скилл scipy-best-practices для Claude Code задаёт агенту правила научных вычислений на SciPy: оптимизация, линейная алгебра, статистика, сигналы. Покрывает Python-код, который считает числа. CX Codex +1 1 100установок tooluniverse-image-analysis mims-harvard Скилл tooluniverse-image-analysis для количественного анализа микроскопии и таблиц из ImageJ или CellProfiler. Считает морфометрию колоний, интенсивность флуоресценции и тест Даннетта. CX Codex +1 661установок sympy K-Dense-AI Скилл sympy для точных символьных вычислений: алгебра, дифференциальные уравнения, матрицы, физика. Когда нужен точный результат вроде √2 вместо 1.414, а не приближённые числа. CX Codex +1 2 300установок

Из того же набора161

Весь набор →
modular-arithmetic Скилл modular-arithmetic для Claude Code решает задачи модульной арифметики и теории графов, включая расширенный алгоритм Евклида, китайскую теорему об остатках и квадратичные вычеты. CX Codex +1 ★ 3 951звёзд репо agentica-spawn Скилл agentica-spawn запускает многоагентные паттерны Agentica: рой для исследований, иерархию для реализации, генератор-критика для итераций, присяжных для валидации. CX Codex +1 ★ 3 951звёзд репо parallel-agent-contracts Скилл parallel-agent-contracts задаёт строгие правила для параллельных агентов в TypeScript: проверку типов через tsc и поиск дубликатов интерфейсов через grep перед созданием новых типов. CX Codex +1 ★ 3 951звёзд репо spark Субагент spark для Claude Code вносит небольшие точечные правки и быстрые исправления. Он подключается к задачам с ограниченным объёмом изменений. CX Codex ★ 3 951звёзд репо proactive-delegation Правило proactive-delegation учит Claude Code делегировать задачи субагентам без лишних вопросов. Оно бережёт главный контекст, распознавая исследования, исправления багов и параллельные шаги. CX Codex +1 ★ 3 951звёзд репо search-hierarchy Скилл search-hierarchy подбирает способ поиска по типу вопроса: по структуре кода, смыслу или точному имени. Помогает найти нужный файл до чтения его содержимого. CX Codex +1 ★ 3 951звёзд репо channel-capacity Скилл channel-capacity для Claude Code считает пропускную способность канала и взаимную информацию, а также применяет алгоритм Блахута-Аримото в задачах теории информации и кодирования. CX Codex +1 ★ 3 951звёзд репо rudin-real-complex-analysis Скилл rudin-real-complex-analysis помогает решать задачи и проверять доказательства по учебнику Walter Rudin «Real and Complex Analysis» с помощью дерева теорем и Python-скриптов. CX Codex +1 ★ 3 951звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой