信息论
Cnic.org,开放的网络天书！
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、加密学、数据压缩等问题的应用数学学科。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
香农（Claude Shannon, 1916-2001）被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学原理》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了熵的定义：
- <math>H = - \sum_i p_i \log p_i</math>
这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵的概念量度的是消息中所含的信息量，而去除了消息中固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
信息论中熵的概念与物理学中的熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件<math>X</math>和<math>Y</math>的互信息定义为：
- <math>I(X, Y) = H(X) + H(Y) - H(X, Y)</math>
其中 <math>H(X, Y)</math> 是共有熵(Joint Entropy)，其定义为：
- <math>H(X, Y) = - \sum_{x, y} p(x, y) \log p(x, y)</math>
互信息与多项式的对数可能性比率校验以及皮尔森的χ2校验有着密切的联
[编辑]
