前のページ 1/2 次のページ

情報量(じょうほうりょう、エントロピーとも)は、情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。頻繁に起こるできごと(たとえば「犬が人を噛む」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に滅多に起こらないできごと(たとえば「人が犬を噛む」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとがどれだけの情報をもっているかの尺度であるともみなすことができる。

なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ(確率)だけによって決まる純粋に数学的な量のことであり、それが個人・社会にとってどれだけ意義のあるものかとは無関係である。たとえば「自分が宝くじに当たった」事象と「見知らぬAさんが宝くじに当たった」事象は、前者の方が有意義な情報に見えるが、両者の情報量は全く同じである(宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるから)。

◆ 選択情報量(自己エントロピー)と平均情報量(エントロピー)

それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値をも情報量と呼ぶ。両者を区別する場合には、前者を選択情報量(自己エントロピーとも)、後者を平均情報量(エントロピーとも)と呼ぶ。

◆ 選択情報量

事象$E$が起こる確率を$P(E)$とするとき、

事象 $E$ が起こったことを知らされたとき受け取る(選択)情報量$I(E)$ を

::$I(E)=\backslash log\; \backslash frac\{1\}\{P(E)\}=-\backslash log\; P(E)$

と定義する。

起こりにくい事象(=生起確率が低い事象)の情報量ほど、値が大きい。

上式中の対数 ($\backslash log$) の底として何を選んでも、情報量の値が定数倍変わるだけなので、本質的な差はないものの、底としては2を選ぶことが多い。

底が2の場合、$1/2^n$の確率で起こる事象の情報量は$n$である。

◇ 直観的意味

整数$u$に対し、$u$の対数$\backslash log\_mu$は$m$進法での$u$の桁数にほぼ等しい値を表す。したがって、確率$1/u$で起こる事象の情報量は、ほぼ$u$の桁数になる。

◇ 情報量の加法性

AとBが独立な事象のとき、「AもBも起こる」という事象の情報量は、Aの情報量とBの情報量の和である。

情報量には加法性がある。例えば、52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義からlog52 であると分かる。ここで、「取り出したカードのスートはハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量はlog4、後者はlog13 である。この両者の和はlog4 + log13 = log(4×13) = log52 となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは直感的要請に合致する。

◆ 平均情報量(エントロピー)

$\backslash Omega$を、台が有限集合である確率空間とする。$\backslash Omega$上の確率分布 Pが与えられたとき、各事象$A\backslash in\backslash Omega$の選択情報量$-\backslash log\; P(A)$の期待値

::$H(P)\; =\; -\; \backslash sum\_\{A\backslash in\backslash Omega\}\; P(A)\; \backslash log\; P(A)$

をPのエントロピーと呼ぶ(平均情報量、シャノン情報量、情報論のエントロピーとも)。

ただし、ここでP(A)=0のときは、$P(A)\; \backslash log\; P(A)=0$とみなす。これは$\backslash lim\_\{p\backslash to+0\}p\; \backslash log\; p=0$であることによる。

また有限集合U上の値を取る確率変数Xが確率分布Pに従う場合には、XのエントロピーをH(X)=H(P)によって定める。すなわち、

::$H(X)\; =\; -\; \backslash sum\_\{x\backslash in\; U\}\; \backslash Pr(X=x)\; \backslash log\; \backslash Pr(X=x)$。

エントロピーは常に非負の値(または無限大)を取る。

値x、yがそれぞれ確率変数X、Yに従う場合には、組$(x,y)$も確率変数とみなせる。この確率変数を$(X,Y)$と書くことにすると、確率変数$(X,Y)$のエントロピーは

::$H(X,Y)\; =\; -\; \backslash sum\_\{x,y\}\; \backslash Pr(X=x,Y=y)\; \backslash log\; \backslash Pr(X=x,Y=y)$

になる。これを結合エントロピーと呼ぶ。

$X,Y$が互いに独立な確率変数である場合には、$H(X,Y)$は$H(X)+H(Y)$に一致する。すなわち、全体の情報量$H(X,Y)$は、それぞれの確率変数の情報量の和である。

しかし、XとYが互いに独立ではない場合は、$H(X,Y)$と$H(X)+H(Y)$は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、

::$I(X,Y)\; =\; H(X)\; +\; H(Y)\; -\; H(X,Y)$

で表す。相互情報量は常に非負の値になる。

事象Bが生じているという条件下における事象Aの条件付き情報量を$-\backslash log\backslash Pr(A|B)$によって定める。確率変数Xが与えられたとき、事象「$X=x$」の条件付き情報量$-\backslash log\; \backslash Pr(X=x|B)$のxに関する平均値を条件付きエントロピーといい、

::$H(X|B)\; =\; -\; \backslash sum\_\{x\}\backslash Pr(X=x|B)\; \backslash log\; \backslash Pr(X=x|B)$

で表す。

さらに確率変数Yが与えられたとき、事象「$Y=y$」が生じているという条件下における事象「$X=x$」の条件付きエントロピー$H(X|Y=y)$のyに関する平均値

::$H(X|Y)\; =\; \backslash sum\_\{y\}\; \backslash Pr(Y=y)\; H(X|Y=y)$

もやはり条件付きエントロピーと呼ぶ。

◇ エントロピーの基本的性質

# 情報量は確率だけによって決まる。

# 情報量は非負の値または無限大を取る。

# nビットのビット列の空間(情報源)から(一様ランダムとは限らない方法で)ランダムにビット列を選んだときのエントロピーは、n以下になる。エントロピーがnになる必要十分条件は、ビット列が一様ランダムに選ばれることである。

# 確率変数XとYが独立である必要十分条件は、$H(X)+H(Y)=H(X,Y)$が成立することである。

◇コイン投げの例

あるコインを投げたときに表が出る確率を $p$、裏が出る確率を $1\; -\; p$ とする。このコインを投げたときに得られる平均情報量(エントロピー)は、

::$\backslash left.\; H(X)=\; -\; p\; \backslash log\{p\}\; -\; (1-p)\backslash log\{(1-p)\}\; \backslash right.$

である。

この関数$f(p)=\; -\; p\; \backslash log\{p\}\; -\; (1-p)\backslash log\{(1-p)\}$をエントロピー関数と呼ぶ。

図を見ると分かるように、$p=0$ と $p=1$ では $H$ はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。$H$ が最大になるのは $p=1/2$ のときであり、一般にすべての事象(できごと)が等確率になるときにエントロピーが最大になる。

◆ 連続系のエントロピー

実数値を取る確率変数Xの確率密度関数をp(x)とするとき、Xのエントロピーを

::$h(X)\; =\; -\; \backslash int\_\{-\backslash infty\}^\{\backslash infty\}p(x)\backslash log\; p(x)\; dx$

によって定義する。

Xが有限集合に値を取る確率変数である場合には、Xのシャノン情報量$H(X)$も定義できる。Xがn通りの値を取るとき、$H(X)$と$h(X)$は、

::$h(X)\; =\; H(U\_n)\; -\; H(X)$

を満たす。

ただし、ここで$U\_n$はn元集合上の一様分布とする(すなわち$H(U\_n)=\backslash log\; n$)。

◆ Renyiエントロピー

$\backslash Omega$を、台が有限集合である確率空間とする。Pを$\backslash Omega$上の確率分布とし、$\backslash alpha$を非負の実数とする。

$\backslash alpha\backslash neq\; 1$のとき、Pのdegee$\backslash alpha$のRenyiエントロピーを

::$H\_\{\backslash alpha\}(P)=\backslash frac\{\backslash log(\backslash sum\_\{A\backslash in\backslash Omega\}P(A)^\{\backslash alpha\})\}\{1-\backslash alpha\}$

によって定義する。

また、$\backslash alpha=1,\backslash infty$の場合には、Renyiエントロピーを

::

によって定義する。

単にRenyiエントロピーと言った場合は$H\_2(P)$を意味することも多い。

さらに、確率変数Xが確率分布Pに従うとき、$H\_(X)$を$H\_(X)=H\_(P)$によって定義する。

Renyiエントロピーは以下の性質を満たす:

・ $H\_0(P)\; =\; \backslash log\backslash \#\backslash Omega$ が成立する。

・ $H\_1(P)$ はシャノン情報量 $H(P)\; =\; -\backslash sum\_P(A)\backslash log\; P(A)$ と一致する。

・ $\backslash alpha$ が2以上の整数の場合には、 $H\_(P)\; =\; \backslash frac\backslash log\backslash Pr(X\_1=\backslash cdots=X\_\backslash alpha)$ が成立する。ここで、 $X\_1,\backslash ldots,X\_\backslash alpha$ は確率分布 $P$ に従う独立同一分布であって、 $\backslash Pr(X\_1=\backslash cdots=X\_\backslash alpha)$ は $x\_1,\backslash ldots,x\_\backslash alpha$ をそれぞれ$X\_1,\backslash ldots,X\_\backslash alpha$ に従って選んだときに$x\_1=\backslash cdots=x\_\backslash alpha$ が成立する確率とする。

・ $H\_(P)=\backslash min\_\backslash$ が成立する。この $H\_(P)$ をminエントロピーともいう。

◆歴史

前のページ 1/2 次のページ

・情報量 page1

・情報量 page2