信息论与编码重点

admin管理员组

文章数量:1533095

2024年3月26日发(作者：)

信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行讲究的科学，

它设计信息度量、信息特性、信息传输率、信道容量、干扰对信息传输的影响等方面的知

识。

信息是各种事物运动的状态状态变化方式。信息是抽象的意识，它是看不见摸不到的。

消息是具体的，它载荷信息，但他不是物理性的。信号是消息的物理体现。

信号是信息的载体在通信系统中，传送的本质内容是信息，发送端需将信息表示称具

体的消息，再将消息载至信号上，才能在实际的信号系统中传输。

一般来说，通信系统的性能指标主要是有效性、可靠性、安全性、经济性。

符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不相同。不

确定度是信号源符号固有的，不管符号是否发出，而自信息量是信源符号发出后给予收信

者的。为了消除该符号的不确定度，接受者需要获得信息量。

冗余度来自两个方面：一是信源符号的相关性，相关程度越大，则信源的实际熵越小，

越趋于极限熵H∞（X）；反之，相关程度越小，信源实际熵就增大。二是信源符号分布的

不均匀性，当等概率分布时，信源熵最大。

根据信道中所受噪声种类的不同，可分为随机差错信道和突发差信道。在随机差错信

道中，噪声随机独立地影响每个传输码元，如以高斯白噪声为主体的信道；另一类噪声干

扰的影响则是前后相关的，错误成串出现，这样的信道称为突发差错信道。

信道中平均每个符号所能传送的信息量定义为信道的信息传输率R ，即R=I（X；

Y)=H(X)—H（X/Y)bit/符号。信道容量C=max I（X；Y) ，max下面有p( ai )

信源发出的消息一般要通过信道来传输，因此要求信源的传输与信道的输入匹配。（1）

符号匹配：信源输入的符号必须是信道能够传送的符号，即要求信源符号集就是信号的入

口符号集或入口符号集的子集，这是实现信息传输的必要条件，可在信源与信道之间加入

编码器予以实现，也可以在信源压缩编码时一步完成。（2）信息匹配：对于某一信道，只

有当输入符号的概率分布p(x)满足以定条件时才能达到其信道容量C，也就是说只有特定

的信源才能使某一信道的信息传输率到达最大。一般情况下，信源与信道连接时，其信息

传输率R=I（X;Y）并未达到最大，即信道没被充分利用。当信源与信道连接时。若信息传

输率达到了信源容量。则称此信源与信道达到匹配；否则认为信道有冗余。信道冗余度定

义为信道绝对冗余度=C—I（X;Y)，其中C是该信道的信道容量，Ｉ（Ｘ；Ｙ）是信源通

过该信道通过实际传输的平均信息量。信道绝对冗余度=1—I（X;Y) / C。

信道容量定义为C=maxI（X;Y）。它表示信道的最大传输能力，反映信道本身的特性，

应该与信源无关。但由于平均互信息量的信源的特性有关，为了排除信源特性对信道的影

响。采用的做法是在所有的信源中以那个能够使平均互信息量达到最大的信源为参考，从

而使信道容量仅仅与信道特性有关，信道不同，信息容量亦不同。

信息率失真函数R（D）=min/PD I(X；Y）。它是保真度条件下信源信息量可被压缩

的最低限度，反映信源本身的特性，应该与信道无关。同样地，由于平均互信息量与信道

的特性有关，在这里信道即为有失真的信源编码器，为了排除信源编码器的特性对信息率

失真函数的影响，采用的做法是在所有的编码器中以那个能够使平均互信息量达到最小的

编码器为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，R（D）亦不同。

对信道容量和信息失真率函数作这种处理是为引入它们的目的服务的。

引入C，是为了解决所在信道中传送的最大信息量到底有多大的问题，他给出了信道

可能传输的最大信息量，是无差错传输的上限。在第六章将会看到，为了得到错误概率任

意小的传输，应该采用信道编码。引入C的概念后，说明其信息传输率无限接近于C而又

使具有任意小错误传输率的信道编码是存在的，可见引入C能够为信道编码服务，或者说

为提高通信的可靠性服务。

引入R（D），是为了解决在允许失真度D的条件下，信源编码到底能压缩到什么程度

的问题，它给出了保真度条件下信源信息率可被压缩的最低限度，可见引入它能够为信源

的压缩编码服务，或者说为提高通信的有效性服务。

由于信源符号之间存在分布不均和相关性，使得信源存在冗余度，信源编码的主要任

务是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一

定的方法把信源输出符号序列变换为最短码字的方法。信源编码的基本途径有两个：使序

列中的各个符号尽可能地互相独立，即解除相关性；使编码中各个符号出现的概率尽可能

地相等，即概率均匀化。

信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码定理，前

者是可逆编码的基础。可逆是指信源符号转换为代码后，可从代码无失真地恢复原信源符

号，当已知信源符号的概率特性时，可计算它的符号熵，这表示每个信源符号所载有的信

息量。编码定理不但证明了必定存在一种编码方法，可使代码的平均长度，可任意接近但

不低于符号熵，而且还阐明达到这目标的途径，就是使概率与码长匹配。无失真编码或可

逆编码只适用于离散信源。对于连续信源，编程代码后就无法无失真的恢复原来的连续值，

因为后者的取值可有无限多个。此时只能根据率失真编码定理在失真受限制的情况下进行

限失真编码。

单个符号变长码定理：若离散无记忆信源的符号熵为H(X)，每个信源符号用m进制

码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度K满足下列不等式H

（X） / log

m≤

ḱ

log

m+1

离散平稳无记忆序列变长编码定理：对于平均

符号熵为HL （X）的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率ḱ

满足不等式HL（X）≤ḱ

<

HL（X）+ԑ

如果是二元信源，则对于任意小的ԑ>0，每一个信源符号的平均码长满足R（D）≤ḱ

<

R

（D）+ԑ，该定理指出，在失真限度内使信息率任意接近R（D）的编码方法存在。然而，

要使信息率小于R（D），平均失真一定会超过失真度D。

从功能角度讲，差错码分为两类：一类用于发现差错，叫检错码，另一类要求能自动

纠正差错，叫纠错码。按照对信息序列的处理方法有分组码和卷积码两种。

差错控制系统的分类：向前纠错，反馈重发，混合纠错。

一定存在某种编码方式满足Pe

定理，用文字叙述，其内涵式：只要传信率R小于信道容量C，总存在一种信道码（及解

码器）并以所要求的任意小的差错概率实现可靠的通信。信道编码逆定理其内涵是信道容

量C是可靠通信系统传信率R的上边界，如果R>C就不可能有任何一种编码能使差错率

任意小。

另一种思路是从概念上分析纠错编码的基本定理，可以纠错能力的获取归结为两条：

一条是利用冗余度另一条上噪声均化（随机化、概念化）。冗余度就是在信息流中插入冗余

比特，这些冗余比特与信息比特之间存在着特定相关性。这样即使在传播过程中个别信息

受损，也可以利用相关性从其他未受损的等冗余度比特中推测出受损比特的原貌，保证了

信息的可靠性。

噪声均化的方法有三种：增加码长N，卷积，交错（交织）

密码体制必须满足三个要求：对所有的密钥、加密和解密都必须迅速有效，体制必须

容易使用，体制安全性必须只依赖于密钥的保密性，而不依赖算法E或D的保密性。根据

加密时对明文数据的处理方式不同，可以把密码分为换位密码和替代密码两类。换位密码

是对数据中的字符或更小的单位重新组织，但并不改变它们的本身。替代密码与此相反，

它改变数据中的字符，但不改变它们之间的相对位置。

在网络通信中，主要的安全防护措施被称为安全业务。通用的安全业务有两种：认证

业务，访问控制业务，保密业务，数据完整性业务，不可否认业务。

本文标签： 信源信道符号信息编码