信息论基础

本书介绍信息论及其应用，内容丰富，涉及信息、统计，计算机科学等领域，系统和全面地介绍了香农信息论的基本理论与多类应用问题，其中包括作者的许多研究成果。本书包含大量的例题与背景说明，涉及信息处理与信息世界中的许多问题。本书是美国斯坦福大学、莱斯大学等使用的信息论教材，是学习信息论的主要参考书。本书全面系统地介绍了香农信息论的基本理论以及多类应用问题，其中包括了作者的许多研究成果。本书阐述了熵、相对熵和互信息之间的基本代数关系，论述了渐近均分性（AEP）、随机过程和数据压缩的熵率、Kolmogorov复杂度、信道容量定理、微分熵以及网络信息理论等内容，并采用“使用不等式串、中间不加任何文字、最后直接加以解释”的创新表述方式，使读者学习了一定数量的证明后，在没有任何解释的情况下就能理解其中的大部分步骤，并给予必要的解释。本书适合作为通信理论、计算机科学和数学等专业学生学习信息论的教材。章后提供的习题便于老师的教学，以及增强学生对信息论的理解。