admin管理员组文章数量:1530842
2024年3月26日发(作者：)
北京邮电大学电信工程学院 《通信原理II》 Lecture Notes-1-2006/02/14
信源的剩余度（冗余度）
信源的输出是一个随机序列
{
X
1
,X
2
,",X
L
,"
}
。不妨假设这是一个平稳序列，并假设
X
i
的样本空间是大小为N的有限集合，也就是说
X
i
是N进制的。
考虑这个信源的二进制表示问题。最简单的方法是把每个符号表示为
log
2
N
个比特。
这个值叫
H
0
(
X
)
。
如果信源不等概，熵一定比
log
2
N
小，就是说有办法把信源表示成二进制比特流，使
得平均每个符号最少只需要
H
(
X
i
)
个比特。记这个值为
H
1
(
X
)
。
如果已知序列之间存在相关性，则实际每符号的信息还要少。如果当前符号
X
k
和前一
符号
X
k−
1
相关，则当前符号新增加的信息量只是
H
(
X
k
|
X
k
−
1
)
，这个记为
H
2
(
X
)
。显然
还和前前一个符号
X
k
−
2
相
如果当前符号
X
k
和除前一符号
X
k
−
1
有关外，
H
2
(
X
)
≤
H
1
(
X
)
。
关，则当前符号新增加的信息量只是
H
(
X
k
|X
k−1
,X
k−2
)
，这个记为
H
3
(
X
)
。显然
H
3
(
X
)
≤
H
2
(
X
)
。如此无穷下去，如果我们知道过去无穷时间内的符号和当前符号的相
关性，则当前符号新增加的信息量是
H
∞
(
X
)
=limH
(
X
L
|X
L−1
,",X
1
)
≤"≤H
2
(
X
)
≤H
1
(
X
)
≤H
0
(
X
)
L→∞
对于L个符号，其总信息量是
H
(
X
1
,X
2
,",X
L
)
，平均到每个符号的信息量是
1
H
(
X
1
,
X
2
,
"
,
X
L
)
。如果
L
是无穷大，则平均每符号的信息量就是每一个符号新增加的
L
信息量，即有
1
H
(
X
1
,
X
2
,
"
,
X
L
)
=
lim
H
∞
(
X
)
=
lim
H
(
X
L
|
X
L−1
,
"
,
X
1
)
=H
∞
(
X
)
L→∞
L
L→∞L→∞
lim
这就是(7.3.19)式。它可以严格证明（证明从略）。
一个无限长信源序列真正包含的信息量每符号只有
H
∞
(
X
)
这么多，但用最简单的方法
表示时平均每符号需要
H
0
(
X
)
个比特，冗余了
H
0
(
X
)
−H
∞
(
X
)
比特，冗余的程度为
H
0
(
X
)
−H
∞
(
X
)
H
∞
(
X
)
，称此为冗余度或者相对剩余度。又称
η
=
为信源效率。
R=
H
0
(
X
)
H
0
(
X
)
我们举例来说明这些结果的含义。设有一篇文章有10万汉字。假设汉字共有8000个，
则这篇文章表达成二进制需要
10×log
2
8000≈162kByte
，但如果汉字的冗余度是68%，
那么我们可以指望用大约52kByte来保存这篇文章。
4
1/1
欢迎访问北邮通信原理学习与考研网
下载更多北邮通信原理复习资料
北京邮电大学电信工程学院 《通信原理II》 Lecture Notes-2-2006/02/21
预测编码
信源的输出是一个随机序列
{
X
1
,X
2
,",X
L
,"
}
，这个序列一般是存在相关性的。为了
高效地表示这个信源，可将其变换为另一个序列
{
Y
1
,Y
2
,",Y
L
,"
}
，这个新序列不相关或者
相关度很低，这样我们再对这个序列进行逐符号编码，就等提高效率。
这样做的一种方法是变换编码，它将
{
X
n
}
通过某种线性变换成为
{
Y
n
}
。另一种方法是
预测编码。
由于
X
n
和先前的
X
n−1
,X
n−2
,
"
相关，故此，已知
X
n−1
,X
n−2
,
"
时，可先对
X
n
进行预
ˆ
，则
X=X
ˆ
+
ε
，称
ε
为预测误差。已知
X,X,
"
时，
X
所
测，设此预测值为
X
nnnnnn−1n−2n
新增进的信息量只在
ε
n
中，故此若只对
ε
n
进行编码，就可以提高效率。
ˆ
是用
X
n−1
,X
n−2
,
"
预测
X
n
的任何方法都可称为预测算法。通常采用线性预测，即
X
n
X
n−1
,X
n−2
,
"
的线性组合，这样的算法的实际实现就是图7.10.2。
采用预测器后，我们只需传输误差
ε
n
。假设过去的
X
n−1
,X
n−2
,
"
对收端是已知的，则
ˆ
，再用传过来的
ε
就可以恢复出
X
。
接收端可以用相同的预测器得到相同的预测值
X
nnn
ˆ
，传输误差。发端预测出
X
收发两端总可以约定好第一个样值
X
0
（一般是0）
1
ˆ
。收端也可以预测出相同的
X
ˆ
（预测器相同，初始值相同，预测结果自然相
ε
1
=
X
1
−
X
11
同），如果传输无误，收端就能正确得到
X
1
。再这样继续下去，所有的
{
X
n
}
都可以通过传
输
{
ε
n
}
得到。接收端的预测器如图7.10.3右侧所示，它的输入是先前已经恢复出的样值。
预测编码主要用于传输模拟量，此时必然要进行量化。收端得到的是
ε
n
的量化值
u
n
，
版权声明：本文标题：通原——杨鸿文老师课件第7-8章 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1711385697a307099.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论