Дифференциальная энтропия

Дифференциальная энтропия (относительная энтропия^[1], энтропия непрерывной случайной величины^[1]) — обобщение понятия информационной энтропии для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника.

В случае одномерной случайной величины дифференциальная определяется по формуле:

${\displaystyle H(X)=-\int \limits _{-\infty }^{+\infty }{f(x)\log _{2}f(x)dx}}$

где ${\displaystyle f(x)}$ — плотность распределения случайной величины ${\displaystyle X}$^[1].

Дифференциальная энтропия, в отличие от энтропии дискретной случайной величины, неинвариантна к преобразованию координат^[2].

Дифференциальную энтропию можно определить как разность энтропий двух отличающих на бесконечно малую величину квантованных значений случайной величины, имеющей равномерное распределение на интервале, равном единице. Отсюда название энтропии — дифференциальная, то есть разностная^[1].

Условная дифференциальная энтропия для случайной величины ${\displaystyle X}$ при заданной случайной величине ${\displaystyle Y}$ определяется по формуле^[3]:

${\displaystyle H(X|Y)=-\int \int \ {f_{XY}(x,y)\log _{2}f_{X}(x|y)}dxdy,}$

где ${\displaystyle f_{XY}(x,y)}$ — совместная плотность вероятности случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$, ${\displaystyle f_{X}(x|y)}$ — условная плотность вероятности случайной величины ${\displaystyle X}$ при заданном значении случайной величины ${\displaystyle Y}$.

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника^[4]:

${\displaystyle H({X|Y})\leq H(X)}$ (для независимых случайных величин — равенство)

${\displaystyle H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)}$.

• Случайная величина ${\displaystyle X}$ имеет равномерное распределение на интервале ${\displaystyle [a,b]}$:

${\displaystyle f(x)=\left\{{\begin{matrix}{\dfrac {1}{b-a}},&x\in [a,b]\\0,&x\not \in [a,b]\end{matrix}}\right.}$

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle [a,b]}$, равное ${\displaystyle H(X)=\log _{2}(b-a)}$^[5].

• Случайная величина ${\displaystyle X}$ имеет нормальное распределение на интервале ${\displaystyle (-\infty ,\infty )}$:

${\displaystyle f(x)={\frac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}}}$.

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин с заданной дисперсией ${\displaystyle \sigma }$, значения которых находятся в интервале ${\displaystyle (-\infty ,\infty )}$^[6], равное ${\displaystyle H(X)=\log _{2}({\sqrt {2\pi e}}\sigma )}$^[7].

• Случайная величина ${\displaystyle X}$ имеет экспоненциальное распределение на интервале ${\displaystyle [0,\infty )}$:

${\displaystyle f_{X}(x)={\begin{cases}\lambda \,e^{-\lambda x},&x\geq 0,\\0,&x<0.\end{cases}}}$.

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle [0,\infty )}$^[6], равное ${\displaystyle H(X)=1-\log _{2}(\lambda )}$.

• Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9.
• Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.
• Тарасенко Ф. П. Введение в курс теории информации. — Томск.: Изд-во Томского университета, 1963. — 240 с.