信息论基础的详细资料说明

　　在这本书的16章中，前13章是基本主题，后3章是更热情读者的高级主题。这些章节的简要介绍将使我们更好地了解这本书的内容。

　　第一章是对信息论本质的一个很高层次的介绍，也是香农1948年创办该领域的原著的主要成果。也有指向香农传记和他的作品。

　　第二章介绍香农的信息测度及其基本性质。推导并解释了信息论中的有用恒等式和不等式。特别注意处理零概率质量的联合分布。本章以一节关于静态信息源的熵率为结尾。

　　第三章以前缀码为特例，讨论了唯一可译码对零误差数据的压缩。给出了既不涉及卡夫不等式又不涉及基本不等式的前缀码熵界的证明。这个证明有助于讨论前缀代码的冗余性。

　　第四章是对弱典型性的透彻处理。讨论了弱渐近均分性质和源编码定理。给出了一个关于一个好的数据压缩方案产生几乎I.I.D.位的解释。对香农-麦克米兰-布雷曼定理也作了简要的讨论。

　　第五章介绍了一个新的不涉及字母集基数的强典型性定义。这里对强典型性的处理比Berger更详细，但比CSISZ R和K RNER更不抽象，在定理5.3中证明了一个新的指数收敛结果。

　　第六章介绍了测度理论，建立了香农信息测度与集合论的一一对应关系。通过实例说明了信息图的使用如何简化信息论中许多结果的证明。这些例子中的大多数都是以前未发表的。特别是，例6.15是香农完全保密定理的推广。

　　第七章探讨了马尔可夫结构测度的结构。讨论了完全条件独立和马尔可夫随机场的集理论特征。这里对马尔可夫随机场的处理对于普通读者来说可能过于专门化，但是对于马尔可夫链的度量结构和信息图的简单性最好解释为马尔可夫随机场的一个特例。

　　第八章是对信道编码定理的一种新的处理方法。具体地说，采用图形模型方法来解释随机变量的条件独立性。在讨论反馈时要非常小心。

　　第九章介绍了速率失真理论。本章中的结果比标准的主题处理中的结果更强，尽管在派生中使用了基本相同的技术。在

　　第十章讨论了计算信道容量和速率失真函数的Blahut-Arimoto算法，并给出了收敛的简化证明。在处理具有零概率质量的分布时要非常小心。

　　第11章介绍了网络编码理论。解释了在点对点网络中，当信息源是多播时，中间节点的编码可以提高吞吐量这一令人惊讶的事实。详细说明了单信息源网络编码的最大流界。在接下来的三章中开发出必要的工具之后，第15章将讨论多源网络编码。信息不平等有时被称为信息论的规律，因为它们支配着信息论中的不可能性。

　　第十二章对信息不等式的几何意义以及信息不等式与条件独立性的关系进行了深入的解释。本文讨论的信息不平等框架是下两章的基础。

　　第13章解释了如何将证明信息不等式的问题表述为线性规划问题。这导致了对所有信息不等式的完整描述，这些信息不等式可以用常规技术证明。这些被称为香农型不等式，现在可以用这本书附带的ITIP软件来证明。同时也说明了如何利用香农型不等式来解决概率论中条件独立的蕴涵问题。我们过去所知道的所有信息不等式都是香农型不等式。近年来，人们发现了一些非香农型不等式。这意味着信息论中存在着超越香农规定的规律。

　　第14章对这些不等式及其应用进行了深入的解释。

　　第15章进一步发展了网络编码理论。讨论了点对点网络中多个信息源是多播的情况。令人惊讶的是，即使信息源是相互独立的，多源问题也不等同于几个单一的源问题，这一事实也得到了明确的解释。讨论了可实现编码速率域的隐式和显式边界。这些对可实现的编码速率区域的描述几乎涉及本书早期开发的所有工具，特别是信息不平等的框架。

　　第16章解释了信息论和群论之间有趣的关系。具体地说，对于任何联合分布所满足的每一个信息不等式，都存在一个由任何有限群及其子群满足的相应群不等式，反之亦然。后一类不等式控制任何有限群及其子群的阶。给出了香农型信息不等式的群理论证明。在本章的最后，从第14章讨论的非香农型不等式中得到了一个群不等式。这种不平等的含义和含义尚待理解。

　　通信系统中，我们经常在嘈杂的环境中把信息从一个点传递到另一个点。考虑下面的场景。秘书需要定期发送传真，她想在每一页上尽可能多地传达信息。她可以选择字体大小，这意味着如果使用较小的字体大小，可以将更多的字符压缩到页面上。原则上，通过使用足够小的字体大小，她可以根据需要在页面上挤压任意多的字符。但是，系统中存在两个可能导致错误的因素。首先，传真机的分辨率是有限的。其次，由于电话线中有噪音，传输的字符可能接收不正确。因此，如果字体太小，传真机可能无法识别字符。另一方面，尽管传真上的某些字符可能无法识别，但只要这些字符的数量不超过，收件人仍然可以从上下文中找出这些单词。换句话说，不需要选择字体大小，这样传真上的所有字符几乎都可以识别。然后我们有动机问：传真一页最多可以传送多少有意义的信息？

　　这个问题可能没有一个明确的答案，因为它不是很好地提出。尤其是，我们没有对有意义的信息进行精确的测量。然而，这个问题是我们可以问的关于通信系统的基本问题的一个例子。信息不是物理实体，而是抽象概念，一般来说很难量化。尤其是在利用信息时涉及人为因素的情况下。例如，当我们用激光唱盘演奏贝多芬的小提琴协奏曲时，我们从扩音器接收到音乐信息。我们喜欢这些信息，因为它能激发我们内心的某种情感。当我们收到同样的信息时，