前のページ 1/4 次のページ

情報理論(じょうほうりろん、英:Information theory)は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日(各ビットの値は 0 か 1)と言うことができる。

情報理論の基本的な応用としては、ZIP形式(可逆圧縮)、MP3(非可逆圧縮)、DSL(伝送路符号化)などがある。この分野は、数学、統計学、計算機科学、物理学、神経生物学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。

◆ 概要

情報理論の基本となる概念は人間のコミュニケーション手段として最も広く使われている「言語」である。言語に関する重要な2つの観点がある。第1に、最もよく使われる単語(例えば、「日」、「私」、「それ」)はそれほど使われない単語(例えば、「唯々諾々」、「開口一番」、「対馬海流」)よりも短く、結果として文はそれほど長くならない。このような単語長のトレードオフはデータ圧縮に通じるものがあり、情報源符号化の基盤となっている。第2に、自動車が通りかかったなどのノイズのために文の最初の方を聞き逃しても、聞いていた人はメッセージの言わんとするところを理解できる(場合もある)。そのような言語の堅牢性は電気通信システムの基本であり、通信におけるその種の堅牢性を構築するのが伝送路符号化である。情報源符号化と伝送路符号化は情報理論の基礎となる概念である。

情報源符号化と伝送路符号化では、メッセージの内容の重要性を全く考慮していない。例えば、「またおいでください」という決まり文句と、緊急時の叫び「救急車を呼んでくれ!!」は長さは似たようなものだが、その内容の重要性はかなり異なる。情報理論では、メッセージの重要性や意味には立ち入らない。すなわち、データの質は扱わず、確率論的に扱えるデータの量だけを扱う。

情報理論は、1948年、クロード・シャノンが Bell System Technical Journal に投稿した論文 "A Mathematical Theory of Communication"(通信の数学的理論)を始まりとする。古典的情報理論の中心パラダイムは、ノイズの多い伝送路上で情報を転送する際の技術的問題であった。最も基本的な成果はシャノンの情報源符号化理論であり、ある事象を表現するために必要となる平均「ビット」数はその情報エントロピーであるとされた。また、シャノンの伝送路符号化理論では、ノイズの多い伝送路で信頼できる通信を行えることが示され、その際の転送レートの上限を伝送路容量と称した。実際の通信速度を伝送路容量に近づけるには、適切な符号化が必要となる。

情報理論は、過去半世紀の間に工学の手法として定着するまでになった様々な分野と密接に関連している。それは、人工知能、複雑系、サイバネティックス、情報学、機械学習、システム工学などである。情報理論は数学理論としても深遠であり、その応用も幅広い。その中でも特に符号理論は広く応用されている。

符号理論は、具体的な「符号」の方式を確立する分野であり、効率を上げ、エラー発生率をシャノンが定式化した伝送路容量のレベルに近づけることを研究する分野である。符号は、データ圧縮(情報源符号化)と誤り検出訂正(伝送路符号化)が主要な技法である。後者については、シャノンの研究のとおりの方式が可能であると証明するまで長い年月を要した。情報理論の符号に関する第3の技法は暗号化アルゴリズムである。符号理論や情報理論の成果は暗号理論や暗号解読に広く応用されている。

情報理論は、情報検索、諜報活動、ギャンブル、統計学、さらには作曲にまで使われている。

◆歴史的背景

1948年6月と10月、クロード・シャノンは Bell System Technical Journal 誌で古典的論文 "A Mathematical Theory of Communication" を発表し、情報理論を学問分野として確立し、世界的な注目を浴びた。

前のページ 1/4 次のページ

・情報理論 page1

・情報理論 page2

・情報理論 page3

・情報理論 page4