信道编码定理推导过程以及理论原理调研报告（P124302020向文杰）

一、基本问题引入

1.1 通信中的核心矛盾

信道存在噪声 → 传输会出错
工程直觉：速率越快，误码越高，可靠与高速不可兼得

但香农 1948 年证明了颠覆性结论：

✅ 只要传输速率 R 小于信道容量 C
就存在编码方式，使误码率 → 0（完全可靠传输）

❌ 一旦 R > C
无论什么编码，误码率一定无法消除，不可能可靠传输

这就是 信道编码定理（香农第二定理）

1.2 研究对象：离散无记忆信道 DMC

信道转移概率：

P(y|x)=P(y_k|x_k)

无记忆：当前输出只与当前输入有关，与历史无关。



二、核心理论原理（定理文字表述）

2.1 信道容量定义

离散信道容量：

C=\max_{P(x)} I(X;Y)

物理意义：
信道能可靠传输的最大信息速率（极限速率）

2.2 信道编码定理完整表述

设离散无记忆信道容量为 C，信息传输速率为 R：

1. 可达性（正向定理）
若 <C，存在分组码，当码长 n\to\infty 时：

P_e\to 0

可以实现任意可靠的无差错传输
2. 逆定理（不可达性）
若 R>C，任何编码都不可能使误码率趋于0
可靠传输不存在



三、前置关键理论（推导必备）

3.1 互信息链式性质

I(X^n;Y^n)=nI(X;Y)

无记忆信道：n次扩展信道互信息为单符号的n倍

3.2 渐近均分性 AEP

长码条件下：

- 典型序列概率趋于一致
- 非典型序列总概率趋于 0

AEP 是随机编码证明的核心工具

3.3 费诺不等式（逆定理核心）

H(X|Y)\le H(P_e)+P_e\log|M|

用于约束误码率下界



四、信道编码定理详细推导（满分标准）

4.1 正向可达< C 可可靠传输）

步骤1：随机码构造

随机生成 M=2^{nR} 个码字：

\mathcal{C}=\{x_1,x_2,\dots,x_M\}

每个码字服从最优输入分布 P(x)

步骤2：典型译码准则

接收端只译码 联合典型序列：
(x_i,y)\in T(XY)

步骤3：误码分为两类

1. 发送序列非典型 → 概率趋近0（AEP）
2. 存在其他码字与接收序列典型 → 错译

步骤4：错译概率上界推导

对任意一对不同码字：

P(x_j \text{ 与 } y \text{ 典型}) \le 2^{-nI(X;Y)}

总错译概率：

P_e \le 2^{nR}\cdot 2^{-nI(X;Y)}

取接近容量的输入分布 I(X;Y)\to C：

P_e \le 2^{-n(C-R)}

步骤5：<C)：

\lim_{n\to\infty} P_e = 0

✅ 正向可达性证明完成



4.2 反向逆定理证明（R > C 不可能可靠传输）

步骤1：数据处理不等式

I(X^n;Y^n)\le nC

步骤2：互信息展开

I(X^n;Y^n)=H(X^n)-H(X^n|Y^n)

信源编码：

H(X^n)=nR

步骤3：代入费诺不等式

H(X^n|Y^n)\le H(P_e)+nR P_e

可得：

nR - H(P_e)-nR P_e \le nC

步骤4：整理不等式

R-C \le \frac{H(P_e)}{n}+R P_e

令 n\to\infty：

R-C \le R\cdot \lim P_e

步骤5：结论

若 R>C，必须有：

\lim_{n\to\infty}P_e > 0

❌ 误码率无法趋于0，不可靠传输

逆定理证毕



五、定理深度理论分析

5.1 为什么 R＜C 就可以零误码？

本质原因：

- 信道噪声带来的信息损失速率小于传输速率余量
- 长码 + 随机编码 利用AEP实现概率集中
- 典型集译码天然具有抗噪能力

5.2 为什么 R＞C 必然出错？

- 信道能区分的最大信息量只有 C
- 超过容量的信息属于不可分辨信息
- 噪声会强制造成混淆，无法通过编码消除

5.3 信道编码定理三大核心结论

1. C 是可靠传输的严格极限
2. 码长无限长才能逼近极限（工程有限码长必有损耗）
3. 编码不改变信道容量，只逼近极限



六、工程延伸与现代应用

6.1 解释现代编码

- Turbo码、LDPC码、Polar码 都是逼近香农极限的编码
- 5G Polar 码正是理论上最贴合信道编码定理的构造码

6.2 定理指导工程设计

- 速率必须低于容量才能可靠通信
- 信噪比决定容量，容量决定最大传输速率
- 误码率降低只能靠：更长码长、更优编码、更高信噪比

6.3 理论局限性

- 证明是存在性证明，不给出具体编码构造
- 极限需要无限码长，工程只能逼近无法达到



七、总结（报告结语）

1. 信道编码定理从理论上严格区分可可靠传输区与不可传输区
2. 通过 AEP 随机编码证明正向可达，通过费诺不等式证明反向不可达
3. 确立了信道容量是通信系统的绝对上限
4. 是现代所有纠错编码、移动通信、存储系统的理论根基