本书对信息理论及编码进行了论述和探讨。除同类教科书的主要内容外，本书对信息的概念给出了较详细的阐述，在信道部分还提出了一种通信信息流的概念，进而从信息流的观点推演出平均互动信息的关係式，并为信道建立了信息流模型，从中可以反映出有噪信道编码定理产生的思想基础。这些工作不但为研究资讯理论提供了新的思路和切入点，而且对资讯理论初学者也会有所帮助。

本书力求做到深入浅出，逻辑清晰，说明透彻，论述充分，使读者容易读懂含义，便于自学。书中还穿插了一些思维方法的论述。本书可作为高校信息类专业本科高年级或研究生教材，也可供相关科研人员参考。

第1章信息概念与信息熵1

1.1信息概念的引入与自信息1

1.1.1从通信有效性的角度提出狭义信息的概念2

1.1.2自信息4

1.2单符号离散信源的信息熵8

1.3信息熵的性质11

习题19

第2章单符号离散信道和平均互动信息量20

2.1单符号离散信道的数学模型20

2.2信息的流动及其与通信可靠性的关係21

2.3平均互动信息量23

2.4平均互动信息量的性质29

2.5单符号离散信道的信道容量32

2.5.1信道容量的定义32

2.5.2离散无噪信道的信道容量33

2.5.3对称信道的信道容量36

2.5.4用计算机辅助计算信道容量37

习题41

第3章多符号离散信源和信道42

3.1多符号离散信源的讯息符号42

3.2多符号离散无记忆信源43

3.3多符号离散平稳有记忆信源45

3.4离散平稳有记忆信源的数学模型及其极限熵47

3.4.1离散平稳有记忆信源的数学模型47

3.4.2多符号离散平稳有记忆信源的熵48

3.5马尔可夫链与马尔可夫信源55

3.5.1马尔可夫链55

3.5.2相关长度有限的多符号离散平稳信源与马尔可夫链57

3.6多符号离散信道60

3.6.1离散无记忆信道的扩展信道62

3.6.2独立并列信道的信道容量67

习题69

第4章连续信源和连续信道70

4.1单变数连续信源70

4.1.1单变数连续信源的数学模型及其离散化70

4.1.2单变数连续信源的相对熵及其特性71

4.1.3相对熵的最大熵值74

4.2单变数连续信道76

4.2.1单变数连续信道的数学模型及其平均互动信息量76

4.2.2单变数连续信道的信道容量和高斯加性信道78

4.3多变数连续信源与信道83

4.3.1多变数连续信源83

4.3.2多变数连续信道87

4.3.3多变数高斯白噪声加性连续信道90

习题96

第5章无失真信源编码98

5.1对信源编码的要求及单义可解码98

5.1.1信源编码的过程及对无失真信源编码的要求98

5.1.2单义可解码100

5.2即时码及用树图构码的方法101

5.3单义可译定理104

5.3.1必要性的证明105

5.3.2充分性证明109

5.4无失真信源编码的有效性和香农第一定理110

5.4.1平均码长及其与信息熵的关係110

5.4.2单符号离散无记忆信源的平均码长界限定理113

5.4.3多符号离散信源编码的极限平均码长116

5.5香农第一定理和数据压缩119

5.5.1香农第一定理119

5.5.2无失真信源编码定理与数据压缩122

5.6霍夫曼编码125

5.7算术编码131

习题134

第6章有噪信道的编码解码136

6.1信道解码136

6.1.1信道解码与解码规则136

6.1.2平均错译机率137

6.1.3最大后验机率解码準则138

6.2信道编码141

6.3信道分组编码的检纠错能力和码字间最小汉明距离的关係150

6.4信息流理论与香农第二定理152

6.4.1信道等效信息流模型153

6.4.2等效信息流分析与香农第二定理158

习题160

第7章信息率失真函式162

7.1信源失真编码与信道的关係163

7.2失真函式和平均失真度164

7.3信息率失真函式的定义及其性质168

7.3.1信息率失真函式R(D)的定义168

7.3.2R(D)函式的定义域及其性质171

7.4信息率失真函式的其他套用173

习题176

第8章信道检纠错编码178

8.1分组码概念178

8.2线性分组码的编码180

8.3线性分组码的解码185

8.4汉明码191

8.5循环码194

8.5.1循环码及其多项式表示195

8.5.2系统循环码的编码和解码199

8.6卷积码202

8.6.1卷积码编码器的一般结构203

8.6.2卷积码的编码过程及解析表示204

8.6.3卷积码编码过程的图示法210

8.6.4卷积码的维特比解码212

习题216

附录A凸函式和詹森不等式217

A.1凸域217

A.2凸函式218

A.3詹森不等式218

附录B信道编码的代数知识221

B.1域的概念221

B.2线性空间和矩阵223

参考文献227"