信息论编码论文

第一篇：信息论编码论文

信息论

信息论与编码

信息论概述：

信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。

信息论作为一门科学理论，发端于通信工程。它具有广义和狭义两个概念：

狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；

广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、信息识别和利用的共同规律的科学，即研究语法信息、语义信息和语用信息的科学。

信息是事物及其属性标识的集合。

信息就是信息，信息是物质、能量、信息及其属性的标示。

信息是确定性的增加。即肯定性的确认。

当我们使用一个数据库时，总希望数据库的内容是可靠的、正确的，但由于计算机系统的故障（包括机器故障、介质故障、误操作等），数据库有时也可能遭到破坏，这时如何尽快恢复数据就成为当务之急。如果平时对数据库做了备份，那么此时恢复数据就显得很容易。由此可见，做好数据库的备份是多么的重要，下面笔者就以ORACLE7为例，来讲述一下数据库的备份和恢复。ORACLE 数据库有三种标准的备份方法，它们分别为导出/导入（EXPORT/IMPORT）、冷备份、热备份。导出备份是一种逻辑备份，冷备份和热备份是物理备份。

信息论形成和发展：

人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展作出贡献。

信息论

信息论内容：

信息论内容包括信息熵、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等。

信息量：

信息的度量是信息论研究的基本问题之一。对于应用范围如此广泛的信息提出一个统一的度量是困难的。美国数学家C.E.香农在1948年提出信息熵作为信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外，它给人们的信息量就很多。相反一个大概率事件的出现，如“12月15日北京未下雪”给人们的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有M个可能结果(事件)，或一个信源可能产生M个消息（事件）, 它们出现的概率分别为，则用来度量一次试验或一个消息所给出的平均信息量。当对数取 2为底时,单位为比特；当对数取e为底时,则单位为奈特。H的表达式与熵的表达式差一个负号，故称负熵或信息熵。

信息传输模型：

信息传输系统主要由信源、信道和信宿组成，下图为信息传输系统的基本模型。信源是产生消息的系统。信宿是接受消息的系统，信道则是传输消息的通道。图中编码器、译码器的作用是把消息变换成便于传输的形式。

信源编码：

信源是产生消息（包括消息序列）的源。消息通常是符号序列或时间函数。例如电报系

信息论

统中的消息是由文字、符号、数字组成的报文（符号序列），称为离散消息。电话系统中的消息是语声波形(时间函数)，称为连续消息。消息取值服从一定的统计规律。因此,信源的数学模型是一个在信源符号集中取值的随机变量序列或随机过程。信源编码器将消息变换为一个数字序列(通常为二进制数字序列)。在离散情形,若信源产生M个可能消息,它们出现的概率分别为，每个消息由N个信源符号组成,便可取信源编码与数字序列一一对应。第i个消息对应的数字序列长(数字个数)为li，li相等的称等长编码，否则称变长编码。定义为编码速率，它表征平均每个信源符号要用多少个数字来表示。若取信源译码器为信源编码器的逆变换器，则在无噪信道(信源编码器的输出即为信源译码器的输入)情况下，消息可以正确无误地传送。这时信源编码问题是要找出最小的速率R及其相应的编码。已经证明,对于相当广泛的信源类,当N可以任意大时这个最小极限速率，称为信源的熵率,是信源的一个重要参数。对于固定的N,最优编码就是赫夫曼编码。在连续消息的情形，信息编码器不可能使消息与数字序列一一对应，因此译码也不是编码的逆变换。通常的方法是先对连续消息进行采样和量化，变为离散消息，再将离散消息变换为数字序列。信源译码器先将数字序列逆变换为离散消息，再用内插法求得连续消息。这样一来，即使在无噪信道的情况下，发送消息与接收消息之间也会产生误差，称为消息失真。可以用一个非负函数d(u，v)来度量消息 u，v之间的失真大小。这时信源编码问题是在保证平均失真不超过给定允许极限D 的条件下找出最小速率R 及其相应编码。求解这一问题导致熵推广到失真率函数，信源编码的失真率理论因而得到发展。

信道编码：

信道是传输信息的媒质或通道，如架空明线、同轴电缆、射频波束、光导纤维等。有时为研究方便将发送端和接收端的一部分如调制解调器也划归信道。信息论把信息传送过程中受各种干扰的影响都归入信道中考虑。根据干扰的统计特性,信道有多种模型。最简单的是离散无记忆恒参信道，它可以用信道入口符号集X、出口符号集Y和一组条件概率P(y|x)(x∈X，y∈Y)来描述。若信道输入信号x＝(x1,x2,„,xN),则相应的输出(受扰)信号y＝(y1,y2,„,yN)出现的概率为信道编码器将数字序列每K个一组变换为字长N 的信号（码字），称为分组编码。若数字和信道符号都是二进制的(可用0,1表示)，则R＝K/N 定义为编码速率，它表明每个信道符号表示多少个数字。N-K 称为编码冗余度。信道编码(纠错编码)的基本思想就是增加冗余度以提高可靠性。更确切地说，信道译码器可以利用编码冗余度将受扰信号变换为正确的发送数字序列。重复编码乃一简例。信道编码器将输入数字重复三次, 如将01011变换为***。信道译码器可用门限译码，即先将输入译码器的信道符号每三个一组地相加，再将结果逐个与阈值 2比较,小于阈值2的译为0,否则译为1。这样若受扰信号***虽然错了 5个符号,但译码仍为01011与发送数字序列完全相同。信息论得出的重要结论是:对于一个有噪信道,只要在信道编码中引入足够而有限的冗余度，或等价地说编码速率足够小，就

信息论

能通过信道渐近无误地传送消息。更确切地说，对充分长的数字序列，其接收错误概率可以任意小。信道编码问题是要找出使信道渐近无误地传输消息所能达到的最大编码速率R和相应的编码。已经证明，对于离散无记忆恒参信道，这个最大极限编码速率为它是对X上一切概率分布 p取极大值。p为信道转移概率(条件概率)，的重要参数。

。称为交互信息；C 称为信道容量，是信道信道编码概论：

通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。信息论的内容之一。信道编码大致分为两类 ：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。

数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。

数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。

前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不

信息论

仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。

下面是纠错码的各种类型:

1、RS编码

RS码即里德-所罗门码，它是能够纠正多个错误的纠错码，RS码为（204，188，t=8），其中t是可抗长度字节数，对应的188符号，监督段为16字节(开销字节段）。实际中实施（255，239，t=8）的RS编码，即在204字节（包括同步字节）前添加51个全“0”字节，产生RS码后丢弃前面51个空字节，形成截短的（204，188）RS码。RS的编码效率是：188/204。

2、卷积码

卷积码非常适用于纠正随机错误，但是，解码算法本身的特性却是：如果在解码过程中发生错误，解码器可能会导致突发性错误。为此在卷积码的上部采用RS码块，RS码适用于检测和校正那些由解码器产生的突发性错误。所以卷积码和RS码结合在一起可以起到相互补偿的作用。卷积码分为两种：

(1)基本卷积码:

基本卷积码编码效率为，η＝1/2, 编码效率较低,优点是纠错能力强。

(2)收缩卷积码:

如果传输信道质量较好，为提高编码效率，可以采样收缩截短卷积码。有编码效率为：η＝1/

2、2/

3、3/

4、5/

6、7/8这几种编码效率的收缩卷积码。

编码效率高，一定带宽内可传输的有效比特率增大,但纠错能力越减弱。

3、Turbo码

1993 年诞生的Turbo 码，单片Turbo 码的编码/解码器，运行速率达40Mb/s。该芯片集成了一个32×32 交织器，其性能和传统的RS 外码和卷积内码的级联一样好。所以Turbo码是一种先进的信道编码技术，由于其不需要进行两次编码，所以其编码效率比传统的RS+卷积码要好。

4、交织

在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。为了纠正这些成串发生的比特差错及一些突发错误，可以运用交织技术来分散这些误差，使长串的比特差错变成短串差错，从而可以用前向码对其纠错，例如：在DVB-C系统中，RS(204,188)的纠错能力是8个字节，交织深度为12，那么纠可抗长度为8×12＝96个字节的突发错误。

实现交织和解交织一般使用卷积方式。

交织技术对已编码的信号按一定规则重新排列，解交织后突发性错误在时间上被分散，使其类似于独立发生的随机错误，从而前向纠错编码可以有效的进行纠错，前向纠错码加交积的作用可以理解为扩展了前向纠错的可抗长度字节。纠错能力强的编码一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织深度。

下图是交织的原理图：

一般来说，对数据进行传输时，在发端先对数据进行FEC编码，然后再进行交积处理。在收端次序和发端相反，先做去交积处理完成误差分散，再FEC解码实现数据纠错。另外，从上图可看出，交积不会增加信道的数据码元。

根据信道的情况不同，信道编码方案也有所不同，在DVB-T里由于由于是无线信道且存在多径干扰和其它的干扰，所以信道很“脏”，为此它的信道编码是：RS＋外交积＋卷积

信息论

码＋内交积。采用了两次交积处理的级联编码，增强其纠错的能力。RS作为外编码，其编码效率是188/204（又称外码率），卷积码作为内编码，其编码效率有1/

2、2/

3、3/

4、5/

6、7/8五种（又称内码率）选择，信道的总编码效率是两种编码效率的级联叠加。设信道带宽8MHZ，符号率为6.8966Ms/S，内码率选2/3，16QAM调制，其总传输率是27.586Mbps,有效传输率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保护间隔的插入所造成的开销，有效码率将更低。

在DVB-C里，由于是有线信道，信道比较“干净”，所以它的信道编码是：RS＋交积。一般DVB-C的信道物理带宽是8MHZ，在符号率为6.8966Ms/s，调制方式为64QAM的系统，其总传输率是41.379Mbps,由于其编码效率为188/204，所以其有效传输率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是无线信道，所以它的信道编码是：RS＋交积＋卷积码。也是级联编码。

参考文献

1)2)3)4)5)6)李立萍，张明友．信息论导引．成都：电子科技大学出版社，2005。田宝玉．工程信息论．北京：北京邮电大学出版社，2004。朱雪龙．应用信息论基础．北京：清华大学出版社，2000。李建东，王永茂，胡林敏．最大熵原理及其应用．信息科学。王 栋，朱元甡．最大熵原理在水文水资源科学中的应用．水科学进展，2001，12(3)。[6]董伟民等．最大熵原理在地震重现关系上的应用．地震工程与工程程动，1983，3(4)。

7)冯利华，李凤全．基于最大熵原理的灾害损失分析．数学的实践与认识，2005，35(8)。

第二篇：信息论与编码论文

题 目：

课题论文

信息论在生活中的应用

课程名称： 信息论与编码

学 院：

理学院

专 业： 信息与计算科学

年 级：

2010级

姓 名：

郭小兵（1007010210）学生签名

指导教师：彭长根

2013年4月1日

摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。

关键字：信息论 信息技术

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

一、信息论与编码的应用

信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。

1.1信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

1.2信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

1.3信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。

TD-SCDMA采用了3种信道编码方案以提高信息在无线信道上的传输的可靠性，它们分别是卷积编码、Turbo编码和不编码。

1.4信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

[2]1.5编码技术在调制解调技术中的应用 在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

1.6编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

1.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

二、信息论与编码技术的应用前景

随着Turbo码的研究发展，在3G移动通信系统设计中Turbo码以及Turbo思想越来越多地被用于和其他技术的结合上。例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。实现时将Turbo码与DS—CDMA系统的扩频编码结合起来。接收端先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个的可能性和超过这个最大值时的传输问题；构造性的编码方法以及这些方法能达到的性能界限。

编码方法在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其它信道也有一些结果，但尚不完善。

信息论出现已有30年,并已发展成为一门独立的理论科学,这是由于通讯的理论与工程领域内存在大量积累起来的各方面知识等待综合,另一方面,又有着日益复杂的各种通讯控制等问题要求有适当的方法去解决。也就是说,由于人类生产斗争的实践活动,达到一定的历史阶段,而形成相应的学科。随着信息论学科的发展,又更深刻地预见和指导着通讯与其他工程技术领域的发展。

信息论的作用,同其他任何总结性的理论学科一样,是以一般的形式提出和解决基本问题。它不仅可以用来探讨过去在通讯工程领域中获得的成就,而且可以指出在发展方向中应注意的问题。很多情况下,信息论可以明确指出: 哪些指标是可以达到的,哪些是无法达到的，这为我们的生产实践提供了科学依据。

三、结束语

信息论发展起来以前, 人们对信息系统的理解是比较肤浅的。而现今，随着信息科学的不断发展，信息论的研究, 已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。

本文主要介绍信息论与编码的应用与发展前景，同时简介传统编码方法与现化编码的不同，编码技术在通信技术中的应用及其发展为主。通过这篇学习心得，可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。而我们人类在不停地在揭示自然界无穷奥妙的同时，也可以利用这些奥妙造幸于我们。

【参考文献】

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 张珊珊.信息论的应用[J]．大众科技，143（7）：45-46.2011.[6] 维芬，云娜.信息论基本问题简述[J]．信息与控制，34（1）：7-9.1978.[7] 卢侃.从Shannon信息论到认知信息论[J]．哈尔滨工程大学学报，32（8）：1063-1065.2011

第三篇：信息论与编码

信息论与编码的应用

信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。【关键词】信息论 电子信息工程 通信 网络

一、信息论应用

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多 科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指 导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通 的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型加以深入研究。例如信息论在一下几个方面都得到了广泛的应用。

信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础

信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量 [2]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

编码技术在调制解调技术中的应用

在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

3.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

结 论

信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。信息论方法具有普遍的适用性，因此可以把课上学习的内容和我们的日常生活紧密结合起来，从而提高学习的兴趣。例如，在学习多符号离散信源时，可以和日常生活中大家在电视上见到的摇奖场面联系起来。一台简单的摇奖机，从十个号码球中摇出一个数字号码，可以看作一个单符号离散信源，它有十个符号，从0至9。如果需要摇出七位数的体育彩票号码，这可以看成是一个多符号信源，一次同时发出七个符号，而且是单符号离散信源的7次扩展。又如，在学习汉明距离时，可以和英语学习联系起来。在英语中拼写非常接近的单词很容易混淆或者拼写错误，用信息论的观点来看就是两个码字的汉明距离（不同位的个数）太小，因此抗干扰的能力差。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，信息论对哲学领域也有深远的影响。由此可见，《信息论与编码》的课程对我们至关重要！

参考文献

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 维芬，云娜.信息论基本问题简述[J]．信息与控制.2006

第四篇：信息论与编码教学大纲

《信息论与编码》教学大纲

电子信息工程专业（本科）

课程编号：（）

课程名称：信息论与编码 参考学时：52 其中实验或上机学时：0 说明部分

1．课程性质

本课程是电子信息类专业的技术基础课 2．课程教学的目的及意义

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论和编码》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。

本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。3．教学内容及教学要求

该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。

信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：

了解通信系统各部分的主要组成以及作用、香农的三大编码定理；

掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4.教学重点、难点 教学重点：

信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：

典型序列以及由此推导出的香农三大编码定理及其逆定理。5.教学方法及教学手段

课堂讲学为主，习题讲解为辅。6.教学学材及主要参考书

1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2001年 2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年 3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年 7.其它

考核形式：考试（笔试），教学环境：课堂

本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。

总学时数

课程总学时数： 52 其中，课堂讲授： 46 作业：6

二、正文部分 第一章：绪论

一、教学要求

了解信息论研究对象、目的、发展简史与现状；

了解通信系统的模型以及通信系统各部分的主要组成以及作用

二、教学内容

第一节 信息的概念

知识要点：信息的概念及自信息 第二节 信息论研究的对象、目的和内容 知识要点：信息论研究的对象、目的和内容 第三节：信息论发展简史 知识要点：信息论发展简史

三、本章学时数 2学时

第二章：离散信源及其测度

一、教学要求

了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

二、教学内容

第一节 信源的数学模型及分类

知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质 知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源

知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源

知识要点：马尔可夫信源定义，马尔可夫信源熵 第四节 信息剩余度

知识要点：信息剩余度以及自然语言熵

三、本章学时数 8学时

第三章：离散信道及其信道容量

一、教学要求

了解一般信道容量计算。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

二、教学内容

第一节 信道数学模型及分类

知识要点：信道数学模型及不同的分类，信道矩阵。第二节平均互信息及特点

知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节 信道容量及一般计算方法

知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量

知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。

三、本章学时数 6学时

第四章：无失真信源编码

一、教学要求

了解其它一些无失真信源编码方法。

理解渐近等分割性及典型序列，算术编码方法及具体实现方案；

掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

二、教学内容

第一节 等长码及等长信源编码定理

知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。

第二节 变长码及变长信源编码定理

知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。

第三节 编码方法 知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。

三、本章学时数 10学时

第五章：有噪信道编码

一、教学要求

了解检错码与纠错码的方法。理解渐近等分割性及典型序列。

掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。

二、教学内容

第一节 错误概率与译码规则和编码方法

知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。

第二节 有噪信道编码定理

知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码

知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。

三、本章学时数 10学时

第六章：波形信源和波形信道

一、教学要求

了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。

掌握连续信源和波形信源的信息测度。

二、教学内容

第一节 连续信源和波形信源的信息测度

知识要点：连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。第二节 连续信道和波形信道的分类

知识要点：按噪声统计特性分类，按噪声对信号的作用和功能分类。第三节 连续信道和波形信道的信息传输率

知识要点：单符号连续信道的平均交互信息，连续信道的平均交互信息的特性。第四节 连续信道和波形信道的信道容量

知识要点：单符号高斯加性信道的信道容量，单符号非高斯加性信道的信道容量，多维无记忆高斯加性信道的信道容量。

三、本章学时数 8学时

第七章：限失真信源编码

一、教学要求

了解保真度准则下的信源编码定理

掌握失真度与平均失真度，信息率失真函数与特性，R(D)函数的参数表述及其计算。

二、教学内容

第一节 失真度与平均失真度

知识要点：失真度与平均失真度，D失真许可试验信道。第二节 信息率失真函数与特性

知识要点：信息率失真函数R(D)的定义，离散信源的R(D)函数，高斯连续信源的R(D)函数，R(D)的定义域和单调性等性质。

第三节 信息率失真函数的参量表述与计算

知识要点：信息率失真函数的计算 第四节 保真度准则下的信源编码定理

知识要点：失真限典型序列，失真信源编码定理和编码逆定理，有失真信源编码定理的实用意义。

三、本章学时数 8学时

执笔人：

胡学友

教研室：XXX

系主任审核签名：XXX 5

第五篇：信息论与编码期末考试题

信息论与编码期末考试题

（一）一、判断题.1.当随机变量和相互独立时，条件熵等于信源熵.（）

2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）

3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（）

4.只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（）

5.各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）

6.连续信源和离散信源的熵都具有非负性.（）

7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确

定性就越小，获得的信息量就越小.8.汉明码是一种线性分组码.（）

9.率失真函数的最小值是.（）

10.必然事件和不可能事件的自信息量都是.（）

二、填空题

1、码的检、纠错能力取决于

.2、信源编码的目的是

；信道编码的目的是

.3、把信息组原封不动地搬到码字前位的码就叫做

.4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为和，则成立的条件

..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是

.7、某二元信源，其失真矩阵，则该信源的=

.三、计算题.1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1）

计算接收端的平均不确定度；

（2）

计算由于噪声产生的不确定度；

（3）

计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为.（1）求信源平稳后的概率分布；

（2）求此信源的熵；

（3）近似地认为此信源为无记忆时，符号的概率分布为平

稳分布.求近似信源的熵并与进行比较.3、设码符号为，信源空间为试构造一种三元紧致码.4、设二元线性分组码的生成矩阵为.（1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；

（2）若接收矢量，试计算出其对应的伴随式并按照最小距离译码准则

试着对其译码.（二）

一、填空题

1、信源编码的主要目的是，信道编码的主要目的是。

2、信源的剩余度主要来自两个方面，一是，二是。

3、三进制信源的最小熵为，最大熵为。

4、无失真信源编码的平均码长最小理论极限制为。

5、当

时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为

和。

7、根据是否允许失真，信源编码可分为

和。

8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是

时，信源具有最大熵，其值为值。

9、在下面空格中选择填入数学符号“”或“”

（1）当X和Y相互独立时，H（XY）

H(X)+H(X/Y)

H(Y)+H(X)。

（2）

（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)

0,H(Y/X)

0,I(X;Y)

H(X)。

二、若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、已知信源

（1）用霍夫曼编码法编成二进制变长码；（6分）

（2）计算平均码长;（4分）

（3）计算编码信息率;（2分）

（4）计算编码后信息传输率;（2分）

（5）计算编码效率。（2分）

四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。

如果符号的码元宽度为0.5。计算：

（1）信息传输速率。（5分）

（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。试计算正确传输这些数据最少需要的发送功率P。（5分）

五、一个一阶马尔可夫信源，转移概率为。

(1)

画出状态转移图。(4分)

(2)

计算稳态概率。(4分)

(3)

计算马尔可夫信源的极限熵。(4分)

(4)

计算稳态下,及其对应的剩余度。(4分)

六、设有扰信道的传输情况分别如图所示。

试求这种信道的信道容量。

七、设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。

定义另一个二元随机变量Z=XY(一般乘积)。试计算

(1)

(2)

(3)

(4)

;

八、设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如下图所示。

(1)

计算信源中事件包含的自信息量；

(2)

计算信源的信息熵；

(3)

计算信道疑义度；

(4)

计算噪声熵；

(5)

计算收到消息后获得的平均互信息量。

《信息论基础》参考答案

一、填空题

1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr=

Hr(S)）。

5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。

9、在下面空格中选择填入数学符号“”或“”

（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）

（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)>

0,H(Y/X)=0,I(X;Y)

二、若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

=2bit/自由度

该信源的绝对熵为无穷大。

三、已知信源

（1）用霍夫曼编码法编成二进制变长码；（6分）

（2）计算平均码长;（4分）

（3）计算编码信息率;（2分）

（4）计算编码后信息传输率;（2分）

（5）计算编码效率。（2分）

（1）

编码结果为：

（2）

（3）

（4）其中，（5）

四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。

如果符号的码元宽度为0.5。计算：

（1）信息传输速率。

（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。试计算正确传输这些数据最少需要的发送功率P。

解：

（1）

（2）

五、一个一阶马尔可夫信源，转移概率为。

(1)

画出状态转移图。

(2)

计算稳态概率。

(3)

计算马尔可夫信源的极限熵。

(4)

计算稳态下,及其对应的剩余度。

解：(1)

(2)由公式

有

得

(3)该马尔可夫信源的极限熵为：

(4)在稳态下：

对应的剩余度为

六、设有扰信道的传输情况分别如图所示。

试求这种信道的信道容量。

解：信道传输矩阵如下

可以看出这是一个对称信道，L=4,那么信道容量为

七、设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。

定义另一个二元随机变量Z=XY(一般乘积)。试计算

(1)

(2)

(3)

(4)

;

解：(1)

Z

0

P(Z)

3/4

1/4

(2)

(3)

(4)

八、设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如下图所示。

(6)

计算信源中事件包含的自信息量；

(7)

计算信源的信息熵；

(8)

计算信道疑义度；

(9)

计算噪声熵；

(10)

计算收到消息后获得的平均互信息量。

解：

(1)

(2)

(3)转移概率：

x

y

y1

y2

x1

5/6

1/6

x2

3/4

1/4

联合分布：

x

y

y1

y2

x1

2/3

12/15

4/5

x1

3/20

1/20

1/5

49/60

11/60

1/5

(4)

(5)

(三)一、选择题

1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H(X2)=（）

A、1.75比特/符号；

B、3.5比特/符号；

C、9比特/符号；

D、18比特/符号。

2、信道转移矩阵为，其中两两不相等，则该信道为

A、一一对应的无噪信道

B、具有并归性能的无噪信道

C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：（）

A、互信息量一定不大于C

B、交互熵一定不小于C

C、有效信息量一定不大于C

D、条件熵一定不大于C4、在串联系统中，有效信息量的值（）

A、趋于变大

B、趋于变小

C、不变

D、不确定

5、若BSC信道的差错率为P，则其信道容量为：（）

A、B、C、D、二、填空题

1、(7,4)线性分组码中，接受端收到分组R的位数为____，伴随式S可能的值有____

种,差错图案e的长度为，系统生成矩阵Gs为____

行的矩阵，系统校验矩阵Hs为____

行的矩阵，Gs和Hs满足的关系式是。

2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为。

3、香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满足不等式。

3、设有一个信道，其信道矩阵为，则它是

信道（填对称，准对称），其信道容量是

比特/信道符号。

三、，通过一个干扰信道，接受符号集为，信道转移矩阵为

试求（1）H(X),H(Y),H(XY);

(2)

H(Y|X),H(X|Y);

(3)

I(Y;X)。

(4)该信道的容量C

（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。

计算结果保留小数点后2位,单位为比特/符号。

四、简述平均互信息量的物理意义，并写出对应公式。

五、假设英文字母表(n=26),密钥k=abc，当明文m=familycome时，使用Vigenere密码算法后得到的密文c=？请写出具体的步骤。

六、设有离散无记忆信源，其概率分布如下：

对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。

七、信道编码

现有生成矩阵

1.求对应的系统校验矩阵Hs。

2求该码字集合的最小码字距离d、最大检错能力、最大纠错能力t

max。

2.填写下面的es表

e

s

0000000

0000001

0000010

0000100

0001000

0010000

0100000

1000000

4.现有接收序列为，求纠错译码输出。

5.5.画出该码的编码电路

(四)四、简答题

1.利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。

2.简单介绍哈夫曼编码的步骤

五、计算题

1．某信源含有三个消息，概率分别为p(0)=0.2，p(1)=0.3，p(2)=0.5，失真矩阵为。

求Dmax、Dmin和R

(Dmax)。

2．设对称离散信道矩阵为，求信道容量C。

3．有一稳态马尔可夫信源，已知转移概率为p(S1/

S1)=

2/3，p(S1/

S2)=

1。求：

(1)

画出状态转移图和状态转移概率矩阵。

(2)

求出各状态的稳态概率。

(3)

求出信源的极限熵。

（五）一、填空题

（1）

1948年，美国数学家

发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）

必然事件的自信息是。

（3）

离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的。

（4）

对于离散无记忆信源，当信源熵有最大值时，满足条件为__

_。

（5）

对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是。

（6）

已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出______个码元错误，最多能纠正___个码元错误。

（7）

设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__

__C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（8）

平均错误概率不仅与信道本身的统计特性有关，还与___

__________和___

___有关

二、判断题

（1）

信息就是一种消息。

（）

（2）

信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（）

（3）

概率大的事件自信息量大。

（）

（4）

互信息量可正、可负亦可为零。

（）

（5）

信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。

（）

（6）

对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。

（）

（7）

非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

（）

（8）

信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。

（）

（9）信息率失真函数R(D)是关于平均失真度D的上凸函数.（）

三、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则

P(A)=0.25

p(B)=0.5

p(B|A)=0.75

故

p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375

I(A|B)=-log0.375=1.42bit

五、.黑白气象传真图的消息只有黑色和白色两种，求：

1）

黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

2）

假设黑白消息出现前后有关联，其依赖关系为，，求其熵。

3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。

六、.信源空间为，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。

七.设有一离散信道，其信道传递矩阵为，并设，试分别按最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。1）最小似然译码准则下，有，2）（最大后验概率准则下，有，八.二元对称信道如图。

1）若，求、和；

2）求该信道的信道容量。

解：1）共6分

2），此时输入概率分布为等概率分布。

九、设一线性分组码具有一致监督矩阵

1）求此分组码n=?,k=?共有多少码字？

2）求此分组码的生成矩阵G。

3）写出此分组码的所有码字。

4）若接收到码字（101001），求出伴随式并给出翻译结果。

解：1）n=6,k=3,共有8个码字。（3分）

2）设码字由得

（3分）

令监督位为，则有

（3分）

生成矩阵为

（2分）

3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）

4）由得，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）（1分）

（六）一、概念简答题

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？

二、综合题

1.黑白气象传真图的消息只有黑色和白色两种，求：

1）

黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

2）

假设黑白消息出现前后有关联，其依赖关系为：，，求其熵；

2.二元对称信道如图。；

1）若，求和；

2）求该信道的信道容量和最佳输入分布。

3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。

4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

5.5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。试求：

（1）无差错传输需要的最小输入功率是多少？

（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

答案

一、概念简答题

1.答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有。说明经数据处理后，一般只会增加信息的损失。

5.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。

由得，则

6.答：只要，当N足够长时，一定存在一种无失真编码。

7.答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8.答：1）保真度准则为：平均失真度不大于允许的失真度。

2）因为失真矩阵中每行都有一个0，所以有，而。

二、综合题

1.答：1）信源模型为

2）由得

则

2.答：1）

2），最佳输入概率分布为等概率分布。

3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。

平均码长，编码效率

2）三元码的码字依序为：1，00，02，20，21，22，010，011。

平均码长，编码效率

4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。

2）

6.答：1）无错传输时，有

即则

2）在时，最大熵

对应的输入概率密度函数为

（七）一、名词解释（25道）

1、“本体论”的信息（P3）

2、“认识论”信息（P3）

3、离散信源（11）

4、自信息量（12）

5、离散平稳无记忆信源（49）

6、马尔可夫信源（58）

7、信源冗余度

（66）

8、连续信源

（68）

9、信道容量

（95）

10、强对称信道

（99）

11、对称信道

（101-102）12、多符号离散信道（109）

13、连续信道

（124）

14、平均失真度

（136）

15、实验信道

（138）

16、率失真函数

（139）

17、信息价值率

（163）

18、游程序列

（181）

19、游程变换

（181）

20、L-D编码（184）、21、冗余变换

（184）

22、BSC信道

（189）

23、码的最小距离

（193）24、线性分组码

（195）

25、循环码

（213）

二、填空（100道）

1、在认识论层次上研究信息的时候，必须同时考虑到

形式、含义和效用

三个方面的因素。

2、1948年，美国数学家

香农

发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了

高效、可靠、安全

地交换和利用各种各样的信息。

6、信息的可度量性

是建立信息论的基础。

7、统计度量

是信息度量最常用的方法。

8、熵

是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生

概率的对数

来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用

随机矢量

描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为

其发生概率对数的负值。

12、自信息量的单位一般有

比特、奈特和哈特。

13、必然事件的自信息是

0。

14、不可能事件的自信息量是

∞。

15、两个相互独立的随机变量的联合自信息量等于

两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量

趋于变小。

17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

18、离散平稳有记忆信源的极限熵。

19、对于n元m阶马尔可夫信源，其状态空间共有

nm

个不同的状态。

20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为

log2（b-a）。

21、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。

22、对于限峰值功率的N维连续信源，当概率密度

均匀分布

时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度

高斯分布

时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率

之比。

25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为

3。

26、m元长度为ki，i=1，2，···n的异前置码存在的充要条件是：。

27、若把掷骰子的结果作为一离散信源，则其信源熵为

log26。

28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是

log218（1+2

log23）。

29、若一维随即变量X的取值区间是[0，∞]，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。

30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。

31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续

信道。

32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为

无记忆

信道。

33、具有一一对应关系的无噪信道的信道容量C=

log2n。

34、强对称信道的信道容量C=

log2n-Hni。

35、对称信道的信道容量C=

log2m-Hmi。

36、对于离散无记忆信道和信源的N次扩展，其信道容量CN=

NC。

37、对于N个对立并联信道，其信道容量

CN

=。

38、多用户信道的信道容量用

多维空间的一个区域的界限

来表示。

39、多用户信道可以分成几种最基本的类型：

多址接入信道、广播信道

和相关信源信道。

40、广播信道是只有

一个输入端和多个输出端的信道。

41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为

加性连续信道。

42、高斯加性信道的信道容量C=。

43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是

信息率小于信道容量。

44、信道矩阵代表的信道的信道容量C=

1。

45、信道矩阵代表的信道的信道容量C=

1。

46、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率Ct=

kHz。

47、对于具有归并性能的无燥信道，达到信道容量的条件是

p（yj）=1/m）。

48、信道矩阵代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率Ct=

10kHz。

49、信息率失真理论是量化、数模转换、频带压缩和

数据压缩的理论基础。

50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。

51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就

越大，获得的信息量就越小。

52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率

也越小。

53、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的误差或失真。

54、汉明失真函数

d（xi，yj）=。

55、平方误差失真函数d（xi，yj）=（yj-

xi）2。

56、平均失真度定义为失真函数的数学期望，即d（xi，yj）在X和Y的联合概率空间P（XY）中的统计平均值。

57、如果信源和失真度一定，则平均失真度是

信道统计特性的函数。

58、如果规定平均失真度不能超过某一限定的值D，即：。我们把称为

保真度准则。

59、离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N

倍。

60、试验信道的集合用PD来表示，则PD=。

61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的最小值。

62、平均失真度的下限取0的条件是失真矩阵的每一行至少有一个零元素。

63、平均失真度的上限Dmax取{Dj：j=1，2，···，m}中的最小值。

64、率失真函数对允许的平均失真度是

单调递减和连续的。

65、对于离散无记忆信源的率失真函数的最大值是

log2n。

66、当失真度大于平均失真度的上限时Dmax时，率失真函数R（D）=

0。

67、连续信源X的率失真函数R（D）=。

68、当时，高斯信源在均方差失真度下的信息率失真函数为。

69、保真度准则下的信源编码定理的条件是

信源的信息率R大于率失真函数R（D）。

70、某二元信源其失真矩阵D=，则该信源的Dmax=

a/2。

71、某二元信源其失真矩阵D=，则该信源的Dmin=

0。

72、某二元信源其失真矩阵D=，则该信源的R（D）=

1-H（D/a）。

73、按照不同的编码目的，编码可以分为三类：分别是

信源编码、信道编码和安全编码。

74、信源编码的目的是：

提高通信的有效性。

75、一般情况下，信源编码可以分为

离散信源编码、连续信源编码和相关信源编码。

76、连续信源或模拟信号的信源编码的理论基础是

限失真信源编码定理。

77、在香农编码中，第i个码字的长度ki和p（xi）之间有

关系。

78、对信源进行二进制费诺编码，其编码效率为

1。

79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加

个概率为0的消息。

80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是

香农编码。

81、对于二元序列******1111，其相应的游程序列是

23652457。

82、设无记忆二元序列中，“0”和“1”的概率分别是p0和p1，则“0”游程长度L（0）的概率为。

83、游程序列的熵

等于

原二元序列的熵。

84、若“0”游程的哈夫吗编码效率为η0，“1”游程的哈夫吗编码效率为η1，且η0>η1对应的二元序列的编码效率为η，则三者的关系是

η0>η>η1。

85、在实际的游程编码过程中，对长码一般采取

截断

处理的方法。

86、“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但

C码

必须不同。

87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为

冗余位。

88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个

缩短了的多元序列。

89、L-D编码是一种

分帧传送冗余位序列的方法。

90、L-D编码适合于冗余位

较多或较少的情况。

91、信道编码的最终目的是

提高信号传输的可靠性。

92、狭义的信道编码即：检、纠错编码。

93、BSC信道即：无记忆二进制对称信道。

94、n位重复码的编码效率是

1/n。

95、等重码可以检验

全部的奇数位错和部分的偶数位错。

96、任意两个码字之间的最小汉明距离有称为码的最小距dmin，则dmin=。

97、若纠错码的最小距离为dmin，则可以纠正任意小于等于t=

个差错。

98、若检错码的最小距离为dmin，则可以检测出任意小于等于l=

dmin-1

个差错。

99、线性分组码是同时具有

分组特性和线性特性的纠错码。

100、循环码即是采用

循环移位特性界定的一类线性分组码。

三、判断（50道）

1、必然事件和不可能事件的自信息量都是0

。错

2、自信息量是的单调递减函数。对

3、单符号离散信源的自信息和信源熵都具有非负性。对

4、单符号离散信源的自信息和信源熵都是一个确定值。错

5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对

6、自信息量、条件自信息量和联合自信息量之间有如下关系：

对

7、自信息量、条件自信息量和互信息量之间有如下关系：

对

8、当随即变量X和Y相互独立时，条件熵等于信源熵。对

9、当随即变量X和Y相互独立时，I（X；Y）=H（X）

。错

10、信源熵具有严格的下凸性。错

11、平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。

对

12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。

错

13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。

对

14、N维统计独立均匀分布连续信源的熵是N维区域体积的对数。

对

15、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。

错

16、连续信源和离散信源的熵都具有非负性。

错

17、连续信源和离散信源都具有可加性。

对

18、连续信源和离散信源的平均互信息都具有非负性。

对

19、定长编码的效率一般小于不定长编码的效率。

对

20、若对一离散信源（熵为H（X））进行二进制无失真编码，设定长码子长度为K，变长码子平均长度为，一般>K。

错

21、信道容量C是I（X；Y）关于p（xi）的条件极大值。

对

22、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。

错

23、对于准对称信道，当时，可达到信道容量C。错

24、多用户信道的信道容量不能用一个数来代表。

对

25、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示。错

26、高斯加性信道的信道容量只与信道的信噪有关。

对

27、信道无失真传递信息的条件是信息率小于信道容量。对

28、最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。

错

29、对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。

错

30、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。对

31、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。

错

32、当p（xi）、p（yj/xi）和d（xi，yj）给定后，平均失真度是一个随即变量。

错

33、率失真函数对允许的平均失真度具有上凸性。对

34、率失真函数没有最大值。

错

35、率失真函数的最小值是0

。对

36、率失真函数的值与信源的输入概率无关。错

37、信源编码是提高通信有效性为目的的编码。

对

38、信源编码通常是通过压缩信源的冗余度来实现的。

对

39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。

错

40、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。

对

41、在编m（m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。

对

42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。

错

43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。

错

44、L-D编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。

对

45、狭义的信道编码既是指：信道的检、纠错编码。

对

46、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字c的长度。

错

47、等重码和奇（偶）校验码都可以检出全部的奇数位错。

对

48、汉明码是一种线性分组码。对

49、循环码也是一种线性分组码。

对

50、卷积码是一种特殊的线性分组码。

错

四、简答（20道）

1、信息的主要特征有哪些？（4）

2、信息的重要性质有哪些？（4）

3、简述几种信息分类的准则和方法。（5）

4、信息论研究的内容主要有哪些？（8）

5、简述自信息的性质。（13）

6、简述信源熵的基本性质。（23）

7、简述信源熵、条件熵、联合熵和交互熵之间的关系。（48）

8、信道的分类方法有哪些？（93-94）

9、简述一般离散信道容量的计算步骤。（107）

10、简述多用户信道的分类。（115-116）

11、简述信道编码定理。（128）

12、简述率失真函数的性质。（140-145）

13、简述求解一般离散信源率失真函数的步骤。（146-149）

14、试比较信道容量与信息率失真函数。（164）

15、简述编码的分累及各种编码的目的。（168）

16、简述费诺编码的编码步骤。（170）

17、简述二元哈夫曼编码的编码步骤。（173）

18、简述广义的信道编码的分类及各类编码的作用。（188）

19、简述线性分组码的性质。（196）

20、简述循环码的系统码构造过程。（221）