admin管理员组

文章数量:1533913

2024年3月26日发(作者：)

2.5信源冗余度

如果信源不是平稳的，极限熵就不一定

存在，于是只好先容忍误差，假设它是平稳

的，并计算足够大时的条件概率：

p(X

N

/X

N1

)

再计算出来近似地代替极限熵。如果信源符

合马尔可夫信源的条件，就可以进一步用阶

马尔可夫信源的熵来代替，要比小得多，显

然记忆长度决定 相对的误差。最简单的情

况是m=1，即以何种概率发符号仅与前一个

符号有关，这是一阶马尔可夫信源，其熵为：

H

2

H

11

H(X2/X1)

当m=0时，由于信源符号间的相关性为零，

故信源变成离散无记忆信源，如果进一步假

定信源是符号等概率分布的，则信源变成理

想的离散无记忆等概信源。但是一般信源既

不是无记忆的，也不是等概率的，故信源熵

没有达到可能的最大值，也就是说信源有冗

余度。

[例2.5.1]以二元信源为例，该信源有两个符

号0,1，如果信源符号等概率分布，且符号

之间无相关性，则其信源熵达最大值，即：

H

max

(X)=1比特/符号。

原本发送12个比特的信息量只要12个

符号就够了，其中3个符号是多用的，这就

是冗余或剩余，从某种意义上讲是一个浪

费。

2.5.1冗余度的定义

从上面的分析可知，信源实际熵与理论上可

达到的最大熵之间有差距，而山农将此定义

为冗余度。

１．相对熵

２．冗余度

３．信息变差

显然这三种定义均代表了信源的冗余程度。

[例2.5.2]求[例2.5.1]的相对熵、冗余度和信

息变差。

本文标签： 信源记忆符号概率分布定义

版权声明：本文标题：2.5信源冗余度 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1711427012a309187.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。