信息论论文[定稿]

第一篇：信息论论文[定稿]

湖南科技大学课程结课论文

《信息论与编码A》

学院：信息与电气工程学院 专业： 班级： 学号： 姓名：

信息论基础

摘要：从对信息论的一些基础知识汇总，信息的定义，信息论的发展；还有信源与信息熵，信道与信道容量，编码这些关键知识点做一个系统性的回顾，再结合通信领域的知识进行分析。关键字：信息论；

引言：

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。

名称由来：

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

发展简史：

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。

切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。

20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。

由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。

信息的性质：

信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。

基本内容：

传统的通信系统如电报、电话、邮递分别是传送电文信息、语声信息和文字信息的；而广播、遥测、遥感和遥控等系统也是传送各种信息的，只是信息类型不同，所以也属于信息系统。有时，信息必须进行双向传送，例如电话通信要求双向交谈，遥控系统要求传送控制用信息和反向的测量信息等。这类双向信息系统实际上是由两个信息系统构成。所有信息系统都可归纳成如图所示的模型来研究它的基本规律。

信源：信息的源泉或产生待传送的信息的实体，如电活系统中的讲话者，对于电信系统还应包括话筒，它输出的电信号作为含有信息的载体。

信息熵：所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H.Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

信宿：信息的归宿或接受者，在电话系统中这就是听者和耳机，后者把接收到的电信号转换成声音，供听者提取所需的信息。信道：传送信息的通道，如电话通信中包括中继 器在内的同轴电缆系统，卫星通信中地球站的收发信机、天线和卫星上的转发器等。

编码器：在信息论中是泛指所有变换信号的设备，实际上就是终端机的发送部分。它包括从信源到信道的所有设备，如量化器、压缩编码器、调制器等，使信源输出的信号转换成适于信道传送的信号。

译码器：是编码器的逆变换设备，把信道上送来的信号转换成信宿能接受的信号，可包括解调器、译码器、数模转换器等。

哈夫曼码：哈夫曼码是用概率匹配方法进行信源编码。它有两个明显的特点：一是哈夫 曼的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码；二是缩减信源的最后两个码字总是最后一位不同，从而保证了哈夫曼码是即时码

当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。从定量意义上说，应使系统在规定的失真或基本无失真的条件下，传送最大的信息率；或者在规定信息率的条件下，失真最小。计算这最大信息率并证明达到或接近这一值的编译码器是存在的，就是信息论的基本任务。只讨论这样问题的理论可称为仙农信息论般认为信息论的内容尚应更广泛一些，即包括提取信息和保证信息安全的理论。后者就是估计理论、检测理论和密码学。

信息论是建立在概率论基础上而形成的，也就是从信源符号和信道噪声的概率特性出发的。这类信息通常称为语法信息。其实，信息系统的基本规律也应包括语义信息和语用信息。语法信息是信源输出符号的构造或其客观特性所表现与信宿的主观要求无关，而语义则应考虑各符号的意义，同样一种意义，可用不同语言或文字来表示，各种语言所包含的语法信息可以是不同的。一般地说，语义信息率可小于语法信息率；电报的信息率可低于表达同一含义的语声的信息率就是一个例子。更进一步，信宿或信息的接受者往往只需要对他有用的信息，他听不懂的语言是有意义的，但对他是无用的。所以语用信息，即对信宿有用的信息一般又小于语义信息。倘若只要求信息系统传送语义信息或语用信息，效率显然会更高一些。在目前情况下，关于语法信息，已在概率论的基础上建立了系统化的理论，形成一个学科；而语义和语用信息尚不够成熟。因此，关于后者的论述通常称为信息科学或广义信息论，不属于一般信息论的范畴。概括起来，信息系统的基本规律应包括信息的度量、信源特性和信源编码、信道特性和信道编码、检测理论、估计理论以及密码学。

信息与通信：

信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。

第二篇：信息论编码论文

信息论

信息论与编码

信息论概述：

信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。

信息论作为一门科学理论，发端于通信工程。它具有广义和狭义两个概念：

狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；

广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、信息识别和利用的共同规律的科学，即研究语法信息、语义信息和语用信息的科学。

信息是事物及其属性标识的集合。

信息就是信息，信息是物质、能量、信息及其属性的标示。

信息是确定性的增加。即肯定性的确认。

当我们使用一个数据库时，总希望数据库的内容是可靠的、正确的，但由于计算机系统的故障（包括机器故障、介质故障、误操作等），数据库有时也可能遭到破坏，这时如何尽快恢复数据就成为当务之急。如果平时对数据库做了备份，那么此时恢复数据就显得很容易。由此可见，做好数据库的备份是多么的重要，下面笔者就以ORACLE7为例，来讲述一下数据库的备份和恢复。ORACLE 数据库有三种标准的备份方法，它们分别为导出/导入（EXPORT/IMPORT）、冷备份、热备份。导出备份是一种逻辑备份，冷备份和热备份是物理备份。

信息论形成和发展：

人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展作出贡献。

信息论

信息论内容：

信息论内容包括信息熵、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等。

信息量：

信息的度量是信息论研究的基本问题之一。对于应用范围如此广泛的信息提出一个统一的度量是困难的。美国数学家C.E.香农在1948年提出信息熵作为信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外，它给人们的信息量就很多。相反一个大概率事件的出现，如“12月15日北京未下雪”给人们的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有M个可能结果(事件)，或一个信源可能产生M个消息（事件）, 它们出现的概率分别为，则用来度量一次试验或一个消息所给出的平均信息量。当对数取 2为底时,单位为比特；当对数取e为底时,则单位为奈特。H的表达式与熵的表达式差一个负号，故称负熵或信息熵。

信息传输模型：

信息传输系统主要由信源、信道和信宿组成，下图为信息传输系统的基本模型。信源是产生消息的系统。信宿是接受消息的系统，信道则是传输消息的通道。图中编码器、译码器的作用是把消息变换成便于传输的形式。

信源编码：

信源是产生消息（包括消息序列）的源。消息通常是符号序列或时间函数。例如电报系

信息论

统中的消息是由文字、符号、数字组成的报文（符号序列），称为离散消息。电话系统中的消息是语声波形(时间函数)，称为连续消息。消息取值服从一定的统计规律。因此,信源的数学模型是一个在信源符号集中取值的随机变量序列或随机过程。信源编码器将消息变换为一个数字序列(通常为二进制数字序列)。在离散情形,若信源产生M个可能消息,它们出现的概率分别为，每个消息由N个信源符号组成,便可取信源编码与数字序列一一对应。第i个消息对应的数字序列长(数字个数)为li，li相等的称等长编码，否则称变长编码。定义为编码速率，它表征平均每个信源符号要用多少个数字来表示。若取信源译码器为信源编码器的逆变换器，则在无噪信道(信源编码器的输出即为信源译码器的输入)情况下，消息可以正确无误地传送。这时信源编码问题是要找出最小的速率R及其相应的编码。已经证明,对于相当广泛的信源类,当N可以任意大时这个最小极限速率，称为信源的熵率,是信源的一个重要参数。对于固定的N,最优编码就是赫夫曼编码。在连续消息的情形，信息编码器不可能使消息与数字序列一一对应，因此译码也不是编码的逆变换。通常的方法是先对连续消息进行采样和量化，变为离散消息，再将离散消息变换为数字序列。信源译码器先将数字序列逆变换为离散消息，再用内插法求得连续消息。这样一来，即使在无噪信道的情况下，发送消息与接收消息之间也会产生误差，称为消息失真。可以用一个非负函数d(u，v)来度量消息 u，v之间的失真大小。这时信源编码问题是在保证平均失真不超过给定允许极限D 的条件下找出最小速率R 及其相应编码。求解这一问题导致熵推广到失真率函数，信源编码的失真率理论因而得到发展。

信道编码：

信道是传输信息的媒质或通道，如架空明线、同轴电缆、射频波束、光导纤维等。有时为研究方便将发送端和接收端的一部分如调制解调器也划归信道。信息论把信息传送过程中受各种干扰的影响都归入信道中考虑。根据干扰的统计特性,信道有多种模型。最简单的是离散无记忆恒参信道，它可以用信道入口符号集X、出口符号集Y和一组条件概率P(y|x)(x∈X，y∈Y)来描述。若信道输入信号x＝(x1,x2,„,xN),则相应的输出(受扰)信号y＝(y1,y2,„,yN)出现的概率为信道编码器将数字序列每K个一组变换为字长N 的信号（码字），称为分组编码。若数字和信道符号都是二进制的(可用0,1表示)，则R＝K/N 定义为编码速率，它表明每个信道符号表示多少个数字。N-K 称为编码冗余度。信道编码(纠错编码)的基本思想就是增加冗余度以提高可靠性。更确切地说，信道译码器可以利用编码冗余度将受扰信号变换为正确的发送数字序列。重复编码乃一简例。信道编码器将输入数字重复三次, 如将01011变换为***。信道译码器可用门限译码，即先将输入译码器的信道符号每三个一组地相加，再将结果逐个与阈值 2比较,小于阈值2的译为0,否则译为1。这样若受扰信号***虽然错了 5个符号,但译码仍为01011与发送数字序列完全相同。信息论得出的重要结论是:对于一个有噪信道,只要在信道编码中引入足够而有限的冗余度，或等价地说编码速率足够小，就

信息论

能通过信道渐近无误地传送消息。更确切地说，对充分长的数字序列，其接收错误概率可以任意小。信道编码问题是要找出使信道渐近无误地传输消息所能达到的最大编码速率R和相应的编码。已经证明，对于离散无记忆恒参信道，这个最大极限编码速率为它是对X上一切概率分布 p取极大值。p为信道转移概率(条件概率)，的重要参数。

。称为交互信息；C 称为信道容量，是信道信道编码概论：

通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。信息论的内容之一。信道编码大致分为两类 ：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。

数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。

数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。

前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不

信息论

仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。

下面是纠错码的各种类型:

1、RS编码

RS码即里德-所罗门码，它是能够纠正多个错误的纠错码，RS码为（204，188，t=8），其中t是可抗长度字节数，对应的188符号，监督段为16字节(开销字节段）。实际中实施（255，239，t=8）的RS编码，即在204字节（包括同步字节）前添加51个全“0”字节，产生RS码后丢弃前面51个空字节，形成截短的（204，188）RS码。RS的编码效率是：188/204。

2、卷积码

卷积码非常适用于纠正随机错误，但是，解码算法本身的特性却是：如果在解码过程中发生错误，解码器可能会导致突发性错误。为此在卷积码的上部采用RS码块，RS码适用于检测和校正那些由解码器产生的突发性错误。所以卷积码和RS码结合在一起可以起到相互补偿的作用。卷积码分为两种：

(1)基本卷积码:

基本卷积码编码效率为，η＝1/2, 编码效率较低,优点是纠错能力强。

(2)收缩卷积码:

如果传输信道质量较好，为提高编码效率，可以采样收缩截短卷积码。有编码效率为：η＝1/

2、2/

3、3/

4、5/

6、7/8这几种编码效率的收缩卷积码。

编码效率高，一定带宽内可传输的有效比特率增大,但纠错能力越减弱。

3、Turbo码

1993 年诞生的Turbo 码，单片Turbo 码的编码/解码器，运行速率达40Mb/s。该芯片集成了一个32×32 交织器，其性能和传统的RS 外码和卷积内码的级联一样好。所以Turbo码是一种先进的信道编码技术，由于其不需要进行两次编码，所以其编码效率比传统的RS+卷积码要好。

4、交织

在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。为了纠正这些成串发生的比特差错及一些突发错误，可以运用交织技术来分散这些误差，使长串的比特差错变成短串差错，从而可以用前向码对其纠错，例如：在DVB-C系统中，RS(204,188)的纠错能力是8个字节，交织深度为12，那么纠可抗长度为8×12＝96个字节的突发错误。

实现交织和解交织一般使用卷积方式。

交织技术对已编码的信号按一定规则重新排列，解交织后突发性错误在时间上被分散，使其类似于独立发生的随机错误，从而前向纠错编码可以有效的进行纠错，前向纠错码加交积的作用可以理解为扩展了前向纠错的可抗长度字节。纠错能力强的编码一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织深度。

下图是交织的原理图：

一般来说，对数据进行传输时，在发端先对数据进行FEC编码，然后再进行交积处理。在收端次序和发端相反，先做去交积处理完成误差分散，再FEC解码实现数据纠错。另外，从上图可看出，交积不会增加信道的数据码元。

根据信道的情况不同，信道编码方案也有所不同，在DVB-T里由于由于是无线信道且存在多径干扰和其它的干扰，所以信道很“脏”，为此它的信道编码是：RS＋外交积＋卷积

信息论

码＋内交积。采用了两次交积处理的级联编码，增强其纠错的能力。RS作为外编码，其编码效率是188/204（又称外码率），卷积码作为内编码，其编码效率有1/

2、2/

3、3/

4、5/

6、7/8五种（又称内码率）选择，信道的总编码效率是两种编码效率的级联叠加。设信道带宽8MHZ，符号率为6.8966Ms/S，内码率选2/3，16QAM调制，其总传输率是27.586Mbps,有效传输率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保护间隔的插入所造成的开销，有效码率将更低。

在DVB-C里，由于是有线信道，信道比较“干净”，所以它的信道编码是：RS＋交积。一般DVB-C的信道物理带宽是8MHZ，在符号率为6.8966Ms/s，调制方式为64QAM的系统，其总传输率是41.379Mbps,由于其编码效率为188/204，所以其有效传输率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是无线信道，所以它的信道编码是：RS＋交积＋卷积码。也是级联编码。

参考文献

1)2)3)4)5)6)李立萍，张明友．信息论导引．成都：电子科技大学出版社，2005。田宝玉．工程信息论．北京：北京邮电大学出版社，2004。朱雪龙．应用信息论基础．北京：清华大学出版社，2000。李建东，王永茂，胡林敏．最大熵原理及其应用．信息科学。王 栋，朱元甡．最大熵原理在水文水资源科学中的应用．水科学进展，2001，12(3)。[6]董伟民等．最大熵原理在地震重现关系上的应用．地震工程与工程程动，1983，3(4)。

7)冯利华，李凤全．基于最大熵原理的灾害损失分析．数学的实践与认识，2005，35(8)。

第三篇：信息论与编码论文

题 目：

课题论文

信息论在生活中的应用

课程名称： 信息论与编码

学 院：

理学院

专 业： 信息与计算科学

年 级：

2010级

姓 名：

郭小兵（1007010210）学生签名

指导教师：彭长根

2013年4月1日

摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。

关键字：信息论 信息技术

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

一、信息论与编码的应用

信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。

1.1信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

1.2信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

1.3信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。

TD-SCDMA采用了3种信道编码方案以提高信息在无线信道上的传输的可靠性，它们分别是卷积编码、Turbo编码和不编码。

1.4信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

[2]1.5编码技术在调制解调技术中的应用 在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

1.6编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

1.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

二、信息论与编码技术的应用前景

随着Turbo码的研究发展，在3G移动通信系统设计中Turbo码以及Turbo思想越来越多地被用于和其他技术的结合上。例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。实现时将Turbo码与DS—CDMA系统的扩频编码结合起来。接收端先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个的可能性和超过这个最大值时的传输问题；构造性的编码方法以及这些方法能达到的性能界限。

编码方法在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其它信道也有一些结果，但尚不完善。

信息论出现已有30年,并已发展成为一门独立的理论科学,这是由于通讯的理论与工程领域内存在大量积累起来的各方面知识等待综合,另一方面,又有着日益复杂的各种通讯控制等问题要求有适当的方法去解决。也就是说,由于人类生产斗争的实践活动,达到一定的历史阶段,而形成相应的学科。随着信息论学科的发展,又更深刻地预见和指导着通讯与其他工程技术领域的发展。

信息论的作用,同其他任何总结性的理论学科一样,是以一般的形式提出和解决基本问题。它不仅可以用来探讨过去在通讯工程领域中获得的成就,而且可以指出在发展方向中应注意的问题。很多情况下,信息论可以明确指出: 哪些指标是可以达到的,哪些是无法达到的，这为我们的生产实践提供了科学依据。

三、结束语

信息论发展起来以前, 人们对信息系统的理解是比较肤浅的。而现今，随着信息科学的不断发展，信息论的研究, 已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。

本文主要介绍信息论与编码的应用与发展前景，同时简介传统编码方法与现化编码的不同，编码技术在通信技术中的应用及其发展为主。通过这篇学习心得，可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。而我们人类在不停地在揭示自然界无穷奥妙的同时，也可以利用这些奥妙造幸于我们。

【参考文献】

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 张珊珊.信息论的应用[J]．大众科技，143（7）：45-46.2011.[6] 维芬，云娜.信息论基本问题简述[J]．信息与控制，34（1）：7-9.1978.[7] 卢侃.从Shannon信息论到认知信息论[J]．哈尔滨工程大学学报，32（8）：1063-1065.2011

第四篇：信息论修改版

信息论局限性分析以及在光通信中的应用

摘要

从新的角度指出了香农信息论的局限性，这些局限性主要体现在对信息的可靠性和完备性的忽视，通过例子分析进一步说明信息可靠性对于度量信息的重要意义。指出局限性产生的根源在于对信息多重不确定性的忽视，以及对概率值本身存在不确定性的认识不足。后半部分介绍了信息论在光通信领域的一些应用。

关键词：信息论，通信，可靠性，纠错，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小节：信息论的局限性分析 1.引言

香农(Shannon)信息论对通信技术的发展具有深远的影响。但是信息论的应用一直限于通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义、语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者发现信息论的局限性一个重要体现就是忽视信息的可靠性，缺乏对可靠性的度量。

2.香农信息论针对现实问题的局限性

香农对信息的定义，对信息的度量，以及他的信息论，基本上都是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。香农将信息定义为消除不确定性的东西，与他研究通信中的条件熵不增加有密切关系。

现信息论存在如下局限性：第一，信息论没有考虑信息的可靠性问题，而现实中的信息大多数都是不可靠的。而信息的可靠性却是信息价值的前提，比如情报类信息的可靠性就非常重要。信息的可靠性是信息的主要指标，但是信息论没有考虑，仅仅是考虑到信息的不确定性。

第二，信息的完备性问题，信息论并没有考虑信息并不完全发送的情况，而现实中许多信息都是不完全（完备）、片面的，需要融合。在没有更加完备信息的场合下，人们往往权宜地将片面的信息姑且当作全面的信息来对待这一些简单的信道并联和串联可以合为一个信道，比如简单的两个串联信道的信道矩阵可以直接通过相乘而当作一个信道，但是信息论没有考虑信息复杂的多重传递，比如，信息从一个信源传递到中间信宿，而中间信宿又转发给一个最终信宿，而且在这个转换的过程中，信息的表示发生了改变，在这种多重传递的过程中，可能会产生多重不确定性。

第三，现实中的信息往往需要经过这种多重传递，导致多重不确定性。比如，当然如果考虑前面提到的模糊集合等，这种多重不确定性性将更加复杂。信息论没有考虑到信道矩阵的传递概率等参数的复杂性。现实中这种传输特性可能不是确定不变的，而可能是随机变量，甚至可能更加复杂。

第四，信息论中以通信为研究对象，其传输的信号本身是确定的，然而现实中却存在许多不确定性问题。在通信中，定义信息为消除不确定性的东西无可厚非，但是面对本身不确定的信息，我们如果去消除其不确定性。

第五，信息论中的条件相对而言是简单的，而且多是以条件概率来表示的。然而现实中许多中的信息的条件是比较复杂的，比如，给出的条件可能是知识、规律等等，在已知先验概率的情况下，又得知某一个规律，通过这个规律并不能简单得出相应的条件概率来。

第六，信息论用先验概率来表示已知的信息，然而，现实中，许多已知的信息并不是可以用先验概率来表示，比如可能包含未知数，可能是某个约束条件，可能是某个规律，甚至可能是完全未知的。3.实际应用分析

实例1：甲从乙处得到情报：“敌人明天早晨百分之九十九要发动进攻”。此后，甲同样从丙处得到相同的情报。从信息论角度来看，对于问题“敌人明天早晨是否要发动进攻”，不确定性是一样的，因而信息量一样，丙似乎并不提供新的信息。但是人们依然会感觉从丙处得到了信息，这种信息使得甲更加确定“敌人明天早晨百分之九十九要发动进攻”，这一例子进一步说明信息的可靠性应当是一个度量信息的指标。

实例2：当获得消息“所有的事件都是等概率发生的”的时候，对这句话的内容是什么，或者对于问题“所有的事件发生呈现什么样的概率分布”而言，它消除了不确定性。但是对于什么事件将发生情况，不可能是更加确定，信息量不可能增加而只可能是减少。这一点说明信息量仅仅是针对于消息本身的不确定性而言的，而该消息衍生出来的问题的不确定性并不与消息的信息量有必然联系，因此，信息熵这一度量的应用范围也是有限的，并不适合应用在日常的信息问题中。

通过以上的例子分析，暴露出信息论的一些局限性，为挖掘信息论局限性的根源提供了基础。

4.信息论局限性的本质及结论

由以上例子分析可以得出，信息论没有考虑信息的可靠性，而信息的可靠性是一个非常重要的指标。在通信中，由于消息是确定的，因此，不确定性的消除与可靠性的增加有一定的联系。实际上，我们要消除不确定性是很容易的事情，而香农信息论的消除不确定性是以保证信息的可靠性和完备性为基础的，比如利用纠错码纠错，利用后验概率来增强信息的完备性。假如把信息的确定性当作唯一的指标，抛开信息的可靠性问题，则可以随便确定某一事件的概率为1，其余事件的概率为0 就可以了。再假如，我们把信息的确定性当作首要考虑的目标，其次考虑其可靠性，则我们也可以指定概率最大的事件概率为1，其余事件概率为0。这样首先保证了确定性，可靠性也在一定程度上得到了满足。如果如此，信息论和信息处理就变得相当的简单了。显然现实中人们不是这样的。根据以上多处的分析，可靠度是信息的一个首要指标。以上的信息的可靠性、完备性以及经典集合的不切和实际都可以归结为对信息的多重不确定性的忽视，比如，在实例分析中，我们发现不可靠的信息，它的信息表示本身是不固定的，其概率值可能是随机变量，不完备的信息也是类似。对于模糊集和粗糙集之类的非经典集合，则可以认为是某一个集合包含的对象不确定而造成的，比如，在粗糙集中，对象可能属于也可能不属于集合X，对象a 是否属于集合X 就具有随机不确定性。其中一些不确定性与信息论原有的不确定性叠加起来就可能产生多重不确定性。这里的不确定性除了随机不确定性、模糊不确定性，还可能有更多形式的不确定性，包括某些不完全的约束条件造成的不确定性。可见，对信息多重不确定性的忽视是信息论的局限性的重要的根源。对信息可靠性的忽视也是信息论无法广泛应用的重要原因。鉴于所有的信息都很难可靠和完备，所以我们可以将可靠性和完备性问题总归为信息的相对性问题。实际上，现实中人们很难得出完全可靠的信息，只有权宜地采用相对可靠的信息，当有更加可靠的信息的时候，人们会利用更可靠的信息取代先验的信息。由于可靠性也与概率值的不确定性有关系，对信息可靠性的度量也可以借鉴香农对信息不确定性的度量，然而，计算概率的不确定性会比信息熵的计算复杂，因为概率需要满足更多的约束条件。

当然，信息论也与现实信息问题具有很强相似性，信息论的方法很值得在现实的信息问题的研究中（包括信息的可靠性的研究中）借鉴，总而言之，信息论的局限性是源于信息论是针对通信问题的，其模型本身具有的局限性。当然也与概率论的局限性有关系，由于对概率值随机性和多重随机不确定性研究的不足，使得人们容易陷入“概率（包括联合概率分布）就是确定值，而不可能是随机变量”，“给定条件就可以得出条件概率”等思维定势中，而这些思维定势只是适用于现实概率论问题中的一部分。由于信息论的这些限制条件能够较好地满足通信问题，使得它能够在通信领域得到成功的应用，而推广到一般的信息领域则需要针对它的局限性解除相应的约束条件。

第二小节．信息论在光通信中的应用

自香农(C．E．Shannom)提出信息理论以来，信息论已经成为通信理论中重要而又基础的一部分。如今，通信中越来越多的使用光作为传输媒质以及光器件的快速发展，电信道已被光信道所取代。光信道的信息容量的大小已成为人们关心的课题。对此进行分析和比较。

光量子信道的信道容量从信息论的角度可以认为光量子信道是信号和噪声叠加的加性信道。假设在频率

fi时，输人信号产生的平均量子数为xi，噪声产生的平均量子数为ni可得，对于频率，输出信号的平均量子数为

y=x+niii

p(xi)p()p(yi)，ni，假设xi与ni统计独立。设xi，ni，p(yi的概率密度函数为yi且x)i=p(ni)在特定频率 上，光量子信道的平均互信息:

I(y;xi)H(y)H(ni)ii（*）

因为固定时间间隔t，t1/fi，所以单位时间内的平均互信息:

1I(X;Y)I(y;xi)H(Y)H(n)iti0

在f1上，假设接收信号的光量子的离散能谱为Eihfi(h是普朗克常数).由于热辐射，光量子的波动服从Gibb分布

p(ni)1exp[hfi/kT]exp[nihfi/kT]

2H(n)Kt/3hln2 可得，光量子的波动引起的噪声熵:信号最大熵：

H(Y)p(y)logp(y)dfii03hln2yi0

C由式（*）可得光量子信道容量：

2kTe2Kt3hln2[(16hs1/2)1]kT

6hs12当hfkT,即信噪比(kT)时，光量子信道的信道容量极限值为：

C光量子=2S1/2)ln23h

(1)

(6hs12当信噪比很小(kT)时，光量子信道的信道容量极限值为

C经典=SN0ln2

(2)

此式正是由香农公式得到的信道容量极限值式，其中N0KT。

结论

从以上分析可看出，对于光量子信道来言，当频率很高时，信道容量的极限值是式(1)，而不是式(2)。只有当信噪比很低时，光量子信道的极限值才等于香农信道容量公式的极限值。因此，对于窄带的光量子信道，带宽ff（中心频率)时，可计算得光量子信道的极限值就等于香农信道容量公式。

参考文献

[1]朱雪龙著．应用信息论基础．清华大学出版社.[2]傅祖芸著．信息论基础理论与应用．电子工业出版社，2001(8).[3]陶纯堪，陶纯匡著．光学信息论．科学出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].钟义信．信息科学原理[M]．福州：福建人民出版社，1988． [6].鲁晨光．广义信息论[M]．中国科技大学出版社，1993.[7].王勇，香农信息定义分析与改进[OL]，www.xiexiebang.com, 2007年11月.

第五篇：信息论简答题总结

一：数据处理定理：

（1）：I(X;Z)<=I(X;Y)表明从Z所得到的关于X的信息量小于等于从Y得到的关于X的信息量。如果把Y-->Z看作数据处理系统，那么通过数据处理后，虽然可以满足我们的某种要求，但是从信息量来看，处理后会损失一部分信息，最多保持原有的信息，也就是说，对接收到的数据Y进行处理后，绝不会减少关于X的不确定性。这个定理称为数据处理定理。二：即时码，唯一可译码（充要条件）（1）：一个唯一可译码成为即时码的充要条件是时钟任何一个码字都不是其他码字的前缀。这个很好理解，因为如果没有一个码字是其他码字的前缀，则在接受到一个相当于一个完整码字的符号序列后便可以立即译码，而无须考虑其后的码符号。反过来说，如果有一个码字是其他码字的前缀，假设Wj是Wj的前缀，则在接收到相当于Wj的码符号序列后还不能立即判使之定它是一个完整的码字，若想正确译码，还必须参考后续后续的码符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任何一个码字都不是其他的码字的前缀。三：香农定理：

（1）第一定理：要做到无失真信源编码，每个信源符号平均所需最少得的r元码符号数就是信源的熵值（以r进制单位为信息量单位）

（2）第二定理：设有一个离散无记忆平稳信道，其信道容量为C。当信息传输率RC，则无论取多大，也找不到一种编码，使译码错误概率PE任意小。四：差错控制和译码规则

(1）选择译码函数F（yi）=x*，使之满足条件p（x*/yi）>=p（xi/yi）称为最大后验概率译码规则，又称为最小错误概率准则，最优译码，最佳译码。

（2）选择译码函数F（yi）=x*，使之满足条件p（yi/x*）>=p（yi/x*）称为似然译码规则。

五：掌握信息的基本特点：（1）：信息是可以度量，而且它具有不确定性。

六：了解信息论的发展及最新成果：(1）：信息论创立的标志是1948年香农发表的论文。信息论从诞生到现在，虽然只有短短的50多年，但它 的发展对学术界及人类社会的影响是相当广泛和深刻的。如今，信息论的研究内容不仅仅包括通信，而且

包括所有与信息有关的自然和深灰领域，如模式识别，及其翻译，心理学，遗传学，神经生理学，语言学。

七：掌握熵的性质：

（1）对称性，确定性，非负性，扩展性，连续性，递推性，极值性，上凸性

八：掌握互信息及平均互信息的基本概念、定义，性质及其物理意义

（1）概念：互信息I（Xi;Yi)表示某一事件Yi所给出的关于另一个事件Xi的信息，他随Xi和Yi的变化而变化，为了冲整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，定义互信息I（Xi;Yi)在XY的联合概率

空间中的统计平均值为随机变量X和Y间的平均互信息。

（2）定义：条件熵H(X/Y)表示给定随机变量Y后，对随机变量X仍然存在的不确定度。所以Y关于X的平均互

信息是收到Y前后源于X的不确定度减少的量，也就是从Y所获得的关于X的平均信息量。（3）性质:非负性，互易性，平均互信息和各类熵的关系，凸函数性 九：掌握信源编码的基本概念

（1）为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。

十：掌握几种常见的无失真信源编码方法，以及实际应用的其他编码方法（1)香农编码，香农-费诺-埃利斯编码，霍夫曼编码，费诺编码（2）实用编码：游程编码，算术编码，LZW编码 十一：掌握信道的数学模型和分类

（1）数学模型：信道的输入和输出时统计以来关系，信道的特性由{X,P(Y/X),Y}确定 如图示---{X,P(X)}---》信道P（Y/X）---{ Y,P(Y)}--》 十二：掌握信道容量的物理意义

（1）： 信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用抽象的数学模型来描述。

在信息论中，信道通常表示成：{X, P(Y|X), Y}，即信道输入随机变量X、输出随机变量Y以及在输入已知的情况下，输出的条件概率分布 P(Y|X)。

十三：掌握几种译码准则

（1）译码规则的选择准则，最小错误概率译码，最大似然译码准则，费诺不等式 十四：掌握香农第二定理的内容

（1）设有一个离散无记忆平稳信道，其信道容量为C，当信息传输率RC,则无论取多大，也找不到一种编码，是译码错误概率PE任意小。十五：差错控制方式

（1）反馈重传纠错，前向纠错和混合纠错。十六：掌握线性分组码的编码方法

（1）线性分组码的编码方式是江新苑输出序列分组，魅族是肠胃K的信息序列，然后按照一定的编码规则插入n-k位的校验位，校验位是所有信息位的线性组合，组成n长的码子序列

十七：什么是熵（1）：我们用平均自信息量来表征整个信源的不确定度，平均自信息量又称为信息熵。信息熵，简称熵。