admin管理员组

文章数量:1530516

2024年3月26日发(作者：)

第10讲 信源编码的性能指标

1. 无失真信源编码的冗余度压缩原理

为了压缩冗余度，必须改造信源输出符号的统计特性。一方面要尽量提高任一时刻输出

符号的概率分布的均匀性，另一方面要尽量消除前后输出符号的统计相关性。因此，无失

真信源编码的实质是将信源尽可能地改造为均匀分布的无记忆信源。这种信源的通信效率是

最大的。改造后的新信源是由原信源和编码器共同组成的，称为编码后的信源。设f是信源

S的一个编码，X是编码后的信源，则三者之间的关系表示如下

f

S X

信源编码f所用的码元可以与信源S的符号不同，一般是某个信道的输入符号。

从数据处理这个角度来看，编码f是一个数据处理器，输入信源S的数据，输出信源X的数

据。从通信的角度看，编码f是一个信道，输入信源S的数据，输出信源X的数据。

无失真信源编码的目的是无损压缩，即用尽可能少的数据表示数据中的所有信息，不能破坏

数据原有信息。这相当于提高信息传输效率，使之接近于1。因此，度量无失真编码的压缩

性能可以看编码后信息传输效率，称为编码效率。编码效率越接近于1，无损压缩性能越好。

下面介绍信源编码的5个性能指标，包括平均码长、码率、编码效率、编码冗余度和压缩率。

2. 平均码长

平均码长是信源编码的一个关键的性能指标。在已知信源熵的前提下，根据平均码长，

可以计算出无损压缩编码的码率和编码效率。

定义2.1 设f是一个N-分组码，各码字的码长分别记为

l

i

,1iq

，对应的N长分组的概

率为

p

i

，则f的平均码长定义为

1

L

N

pl (码元/信源)

ii

i1

q

注：在有的教材中，当平均码长的单位转化为“比特/信源”时，称为编码速率。本课程用

不到这个概念。

讨论：用平均码长估计编码后的数据长度

设S是一个离散无记忆信源，

f:SC

是信源S的一个编码，其平均码长为

L

。令

ss

1

s

2

s

n

是一个信源序列。假设用f对该数据进行编码，试估计编码后码元序列的长度。

对于信源数据

ss

1

s

2

s

n

，我们令L

i

表示信源符号s

i

所对应的码字f(s

i

)的长度，则编

码后的数据长度为

L

1

+L

2

++L

n

。我们把L

i

视为随机变量，则对于任何i，我们有

E[L

i

]L

。

1 / 6

因为S是离散无记忆的，所以{L

i

}是独立同分布随机序列。根据辛钦大数定理，我们有

1

（L

1

+L

2

+

n

P

+L

n

)L

这表明，编码后的数据长度可以估计为

nL

，并且n越大，这个估计的越精确、可信。我们

把上述结论推广如下。

定理2.2 （无失真编码的数据长度定理）设S是具有AEP性质的信源，f是S的一个平均码

长为

L

的无失真N-分组码。假设在编码f下，某数据在编码前的长度为n信源，在编码后

的长度为m码元，则

m

P

L (n)

n

意义：信源序列长度n越大，编码后所得的码元序列的长度越有可能近似于

nL (码元)

。

3. 码率和编码效率

定义3.1 码率（code rate）：编码后的信息传输率H

∞

(X)，记为R，单位是“比特/码元”。

下列定理给出了无失真编码的码率计算公式。

定理3.2 设S是具有AEP性质的信源，f是信源S的无失真编码。若S的熵率为H

∞

，f的平

均码长为

L

，

则f的码率为

R

H

L

证明：记编码后的信源为X。根据定义，X的熵率为码率R。用S

k

, X

k

分别表示信源S和X

所产生的信源序列中的第k个符号。根据渐近等分性定理，

1

I(S

1

S

2

n

P

S

n

)H

(1)

由于S具有渐近等分割性，易知X也具有渐近等分割性。于是我们有

1

I(X

1

X

2

m

其中

X

1

X

2

P

X

m

)R (2)

X

m

为

S

1

S

2

S

n

经编码后的码元序列，故有

S

n

)I(X

1

X

2

X

m

)

.

I(S

1

S

2

根据依概率收敛的性质，由（1）和(2)得

m

P

H



.

nR

码

2 / 6

本文标签： 编码信源数据效率长度

版权声明：本文标题：第10讲 信源编码的性能指标 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1711426673a309170.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。