信息论发展（精选合集）

第一篇：信息论发展

信息论的发展与现代信息论

现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于 1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过 8 年的努力,1948 年,来自贝尔研究所的 Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949 年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。

信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946 年的计算机和 1947 年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。

世纪 50 年代,信息论向各门学科发起冲击；60 年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息论迈入第二个阶段。我国数学家和信息科学专家在二十世纪五十年代将信息论引进中国,经过六十余年的不懈努力,尤其从二十世纪八十年代中期以来,一批华裔信息论专家在国际学术界崛起,以周炯盘院士为代表,为信息论的发展作出了自己的贡献。到 70 年代,由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题。人们越来越认识到信息的重要性,认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便使它能成为人类各种活动中所碰到的信息问题的基础理论,从而推动其他许多新兴学科进一步发展。

虽然 1948 年香农就发明了信息论,但到 90 年代才找到或者再发现能够逼近香农极限的 turbo 码和 LDPC 码；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的,在实际系统中,这些条件可能不能满足,因而不可能达到香农所得出的一些结论或界限,举一个例子,信源信道分离定理是在数据分组长度无穷大和静态信道条件下得到的,但实际系统中的编码可能会有分组长度和限制,信道也可能是时变的,因而产生出最近较新的所谓联合信源信道编码理论；最后一个是局限是点对点通信的局限性,因为通信的构架存在网络结构和多用户的结构,所以对于网络和多用户的情形,香农并没有更深入的研究,虽然他在 50 年代研究了 two way channel,但并未得出有意义的结果,目前网络信息论或多用户信息论是一个比较活跃的领域,主要的有意义的结论在广播和多址接入信道,但都是退化的情形才成立的结论,更一般的情形,还有一些其他如中继信道等,还有待进一步研究。

参考文献：

叶中行,信息论基础[J],高等教育出版社 卢侃,从 Shannon 信息论到认知信息论[A],哈尔滨工程大学学报,第 32 卷第 8 期.仇佩亮,信息论及其应用［M］,杭州：浙江大学出版社,1999 谢邦荣,彭征明,信息论在作战效能评估中的应用研究 [A] ,北京, 2007 邵军虎,量子 LDPC 纠错码算法及应用方案研究,西安电子科技大学[D] ,2012

汪洋,赵万民,人居环境研究的信息论科学基础及其图谱意象系统[J],2012 PKU CSSCI ,香农信息定义分析与改进[J],2008 年 8 期, 洪洁,范修斌,范明钰,信息论及其在序列密码设计应用中的几点认识[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知识改变命运

第二篇：信息论修改版

信息论局限性分析以及在光通信中的应用

摘要

从新的角度指出了香农信息论的局限性，这些局限性主要体现在对信息的可靠性和完备性的忽视，通过例子分析进一步说明信息可靠性对于度量信息的重要意义。指出局限性产生的根源在于对信息多重不确定性的忽视，以及对概率值本身存在不确定性的认识不足。后半部分介绍了信息论在光通信领域的一些应用。

关键词：信息论，通信，可靠性，纠错，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小节：信息论的局限性分析 1.引言

香农(Shannon)信息论对通信技术的发展具有深远的影响。但是信息论的应用一直限于通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义、语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者发现信息论的局限性一个重要体现就是忽视信息的可靠性，缺乏对可靠性的度量。

2.香农信息论针对现实问题的局限性

香农对信息的定义，对信息的度量，以及他的信息论，基本上都是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。香农将信息定义为消除不确定性的东西，与他研究通信中的条件熵不增加有密切关系。

现信息论存在如下局限性：第一，信息论没有考虑信息的可靠性问题，而现实中的信息大多数都是不可靠的。而信息的可靠性却是信息价值的前提，比如情报类信息的可靠性就非常重要。信息的可靠性是信息的主要指标，但是信息论没有考虑，仅仅是考虑到信息的不确定性。

第二，信息的完备性问题，信息论并没有考虑信息并不完全发送的情况，而现实中许多信息都是不完全（完备）、片面的，需要融合。在没有更加完备信息的场合下，人们往往权宜地将片面的信息姑且当作全面的信息来对待这一些简单的信道并联和串联可以合为一个信道，比如简单的两个串联信道的信道矩阵可以直接通过相乘而当作一个信道，但是信息论没有考虑信息复杂的多重传递，比如，信息从一个信源传递到中间信宿，而中间信宿又转发给一个最终信宿，而且在这个转换的过程中，信息的表示发生了改变，在这种多重传递的过程中，可能会产生多重不确定性。

第三，现实中的信息往往需要经过这种多重传递，导致多重不确定性。比如，当然如果考虑前面提到的模糊集合等，这种多重不确定性性将更加复杂。信息论没有考虑到信道矩阵的传递概率等参数的复杂性。现实中这种传输特性可能不是确定不变的，而可能是随机变量，甚至可能更加复杂。

第四，信息论中以通信为研究对象，其传输的信号本身是确定的，然而现实中却存在许多不确定性问题。在通信中，定义信息为消除不确定性的东西无可厚非，但是面对本身不确定的信息，我们如果去消除其不确定性。

第五，信息论中的条件相对而言是简单的，而且多是以条件概率来表示的。然而现实中许多中的信息的条件是比较复杂的，比如，给出的条件可能是知识、规律等等，在已知先验概率的情况下，又得知某一个规律，通过这个规律并不能简单得出相应的条件概率来。

第六，信息论用先验概率来表示已知的信息，然而，现实中，许多已知的信息并不是可以用先验概率来表示，比如可能包含未知数，可能是某个约束条件，可能是某个规律，甚至可能是完全未知的。3.实际应用分析

实例1：甲从乙处得到情报：“敌人明天早晨百分之九十九要发动进攻”。此后，甲同样从丙处得到相同的情报。从信息论角度来看，对于问题“敌人明天早晨是否要发动进攻”，不确定性是一样的，因而信息量一样，丙似乎并不提供新的信息。但是人们依然会感觉从丙处得到了信息，这种信息使得甲更加确定“敌人明天早晨百分之九十九要发动进攻”，这一例子进一步说明信息的可靠性应当是一个度量信息的指标。

实例2：当获得消息“所有的事件都是等概率发生的”的时候，对这句话的内容是什么，或者对于问题“所有的事件发生呈现什么样的概率分布”而言，它消除了不确定性。但是对于什么事件将发生情况，不可能是更加确定，信息量不可能增加而只可能是减少。这一点说明信息量仅仅是针对于消息本身的不确定性而言的，而该消息衍生出来的问题的不确定性并不与消息的信息量有必然联系，因此，信息熵这一度量的应用范围也是有限的，并不适合应用在日常的信息问题中。

通过以上的例子分析，暴露出信息论的一些局限性，为挖掘信息论局限性的根源提供了基础。

4.信息论局限性的本质及结论

由以上例子分析可以得出，信息论没有考虑信息的可靠性，而信息的可靠性是一个非常重要的指标。在通信中，由于消息是确定的，因此，不确定性的消除与可靠性的增加有一定的联系。实际上，我们要消除不确定性是很容易的事情，而香农信息论的消除不确定性是以保证信息的可靠性和完备性为基础的，比如利用纠错码纠错，利用后验概率来增强信息的完备性。假如把信息的确定性当作唯一的指标，抛开信息的可靠性问题，则可以随便确定某一事件的概率为1，其余事件的概率为0 就可以了。再假如，我们把信息的确定性当作首要考虑的目标，其次考虑其可靠性，则我们也可以指定概率最大的事件概率为1，其余事件概率为0。这样首先保证了确定性，可靠性也在一定程度上得到了满足。如果如此，信息论和信息处理就变得相当的简单了。显然现实中人们不是这样的。根据以上多处的分析，可靠度是信息的一个首要指标。以上的信息的可靠性、完备性以及经典集合的不切和实际都可以归结为对信息的多重不确定性的忽视，比如，在实例分析中，我们发现不可靠的信息，它的信息表示本身是不固定的，其概率值可能是随机变量，不完备的信息也是类似。对于模糊集和粗糙集之类的非经典集合，则可以认为是某一个集合包含的对象不确定而造成的，比如，在粗糙集中，对象可能属于也可能不属于集合X，对象a 是否属于集合X 就具有随机不确定性。其中一些不确定性与信息论原有的不确定性叠加起来就可能产生多重不确定性。这里的不确定性除了随机不确定性、模糊不确定性，还可能有更多形式的不确定性，包括某些不完全的约束条件造成的不确定性。可见，对信息多重不确定性的忽视是信息论的局限性的重要的根源。对信息可靠性的忽视也是信息论无法广泛应用的重要原因。鉴于所有的信息都很难可靠和完备，所以我们可以将可靠性和完备性问题总归为信息的相对性问题。实际上，现实中人们很难得出完全可靠的信息，只有权宜地采用相对可靠的信息，当有更加可靠的信息的时候，人们会利用更可靠的信息取代先验的信息。由于可靠性也与概率值的不确定性有关系，对信息可靠性的度量也可以借鉴香农对信息不确定性的度量，然而，计算概率的不确定性会比信息熵的计算复杂，因为概率需要满足更多的约束条件。

当然，信息论也与现实信息问题具有很强相似性，信息论的方法很值得在现实的信息问题的研究中（包括信息的可靠性的研究中）借鉴，总而言之，信息论的局限性是源于信息论是针对通信问题的，其模型本身具有的局限性。当然也与概率论的局限性有关系，由于对概率值随机性和多重随机不确定性研究的不足，使得人们容易陷入“概率（包括联合概率分布）就是确定值，而不可能是随机变量”，“给定条件就可以得出条件概率”等思维定势中，而这些思维定势只是适用于现实概率论问题中的一部分。由于信息论的这些限制条件能够较好地满足通信问题，使得它能够在通信领域得到成功的应用，而推广到一般的信息领域则需要针对它的局限性解除相应的约束条件。

第二小节．信息论在光通信中的应用

自香农(C．E．Shannom)提出信息理论以来，信息论已经成为通信理论中重要而又基础的一部分。如今，通信中越来越多的使用光作为传输媒质以及光器件的快速发展，电信道已被光信道所取代。光信道的信息容量的大小已成为人们关心的课题。对此进行分析和比较。

光量子信道的信道容量从信息论的角度可以认为光量子信道是信号和噪声叠加的加性信道。假设在频率

fi时，输人信号产生的平均量子数为xi，噪声产生的平均量子数为ni可得，对于频率，输出信号的平均量子数为

y=x+niii

p(xi)p()p(yi)，ni，假设xi与ni统计独立。设xi，ni，p(yi的概率密度函数为yi且x)i=p(ni)在特定频率 上，光量子信道的平均互信息:

I(y;xi)H(y)H(ni)ii（*）

因为固定时间间隔t，t1/fi，所以单位时间内的平均互信息:

1I(X;Y)I(y;xi)H(Y)H(n)iti0

在f1上，假设接收信号的光量子的离散能谱为Eihfi(h是普朗克常数).由于热辐射，光量子的波动服从Gibb分布

p(ni)1exp[hfi/kT]exp[nihfi/kT]

2H(n)Kt/3hln2 可得，光量子的波动引起的噪声熵:信号最大熵：

H(Y)p(y)logp(y)dfii03hln2yi0

C由式（*）可得光量子信道容量：

2kTe2Kt3hln2[(16hs1/2)1]kT

6hs12当hfkT,即信噪比(kT)时，光量子信道的信道容量极限值为：

C光量子=2S1/2)ln23h

(1)

(6hs12当信噪比很小(kT)时，光量子信道的信道容量极限值为

C经典=SN0ln2

(2)

此式正是由香农公式得到的信道容量极限值式，其中N0KT。

结论

从以上分析可看出，对于光量子信道来言，当频率很高时，信道容量的极限值是式(1)，而不是式(2)。只有当信噪比很低时，光量子信道的极限值才等于香农信道容量公式的极限值。因此，对于窄带的光量子信道，带宽ff（中心频率)时，可计算得光量子信道的极限值就等于香农信道容量公式。

参考文献

[1]朱雪龙著．应用信息论基础．清华大学出版社.[2]傅祖芸著．信息论基础理论与应用．电子工业出版社，2001(8).[3]陶纯堪，陶纯匡著．光学信息论．科学出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].钟义信．信息科学原理[M]．福州：福建人民出版社，1988． [6].鲁晨光．广义信息论[M]．中国科技大学出版社，1993.[7].王勇，香农信息定义分析与改进[OL]，www.xiexiebang.com, 2007年11月.

第三篇：信息论简答题总结

一：数据处理定理：

（1）：I(X;Z)<=I(X;Y)表明从Z所得到的关于X的信息量小于等于从Y得到的关于X的信息量。如果把Y-->Z看作数据处理系统，那么通过数据处理后，虽然可以满足我们的某种要求，但是从信息量来看，处理后会损失一部分信息，最多保持原有的信息，也就是说，对接收到的数据Y进行处理后，绝不会减少关于X的不确定性。这个定理称为数据处理定理。二：即时码，唯一可译码（充要条件）（1）：一个唯一可译码成为即时码的充要条件是时钟任何一个码字都不是其他码字的前缀。这个很好理解，因为如果没有一个码字是其他码字的前缀，则在接受到一个相当于一个完整码字的符号序列后便可以立即译码，而无须考虑其后的码符号。反过来说，如果有一个码字是其他码字的前缀，假设Wj是Wj的前缀，则在接收到相当于Wj的码符号序列后还不能立即判使之定它是一个完整的码字，若想正确译码，还必须参考后续后续的码符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任何一个码字都不是其他的码字的前缀。三：香农定理：

（1）第一定理：要做到无失真信源编码，每个信源符号平均所需最少得的r元码符号数就是信源的熵值（以r进制单位为信息量单位）

（2）第二定理：设有一个离散无记忆平稳信道，其信道容量为C。当信息传输率RC，则无论取多大，也找不到一种编码，使译码错误概率PE任意小。四：差错控制和译码规则

(1）选择译码函数F（yi）=x*，使之满足条件p（x*/yi）>=p（xi/yi）称为最大后验概率译码规则，又称为最小错误概率准则，最优译码，最佳译码。

（2）选择译码函数F（yi）=x*，使之满足条件p（yi/x*）>=p（yi/x*）称为似然译码规则。

五：掌握信息的基本特点：（1）：信息是可以度量，而且它具有不确定性。

六：了解信息论的发展及最新成果：(1）：信息论创立的标志是1948年香农发表的论文。信息论从诞生到现在，虽然只有短短的50多年，但它 的发展对学术界及人类社会的影响是相当广泛和深刻的。如今，信息论的研究内容不仅仅包括通信，而且

包括所有与信息有关的自然和深灰领域，如模式识别，及其翻译，心理学，遗传学，神经生理学，语言学。

七：掌握熵的性质：

（1）对称性，确定性，非负性，扩展性，连续性，递推性，极值性，上凸性

八：掌握互信息及平均互信息的基本概念、定义，性质及其物理意义

（1）概念：互信息I（Xi;Yi)表示某一事件Yi所给出的关于另一个事件Xi的信息，他随Xi和Yi的变化而变化，为了冲整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，定义互信息I（Xi;Yi)在XY的联合概率

空间中的统计平均值为随机变量X和Y间的平均互信息。

（2）定义：条件熵H(X/Y)表示给定随机变量Y后，对随机变量X仍然存在的不确定度。所以Y关于X的平均互

信息是收到Y前后源于X的不确定度减少的量，也就是从Y所获得的关于X的平均信息量。（3）性质:非负性，互易性，平均互信息和各类熵的关系，凸函数性 九：掌握信源编码的基本概念

（1）为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。

十：掌握几种常见的无失真信源编码方法，以及实际应用的其他编码方法（1)香农编码，香农-费诺-埃利斯编码，霍夫曼编码，费诺编码（2）实用编码：游程编码，算术编码，LZW编码 十一：掌握信道的数学模型和分类

（1）数学模型：信道的输入和输出时统计以来关系，信道的特性由{X,P(Y/X),Y}确定 如图示---{X,P(X)}---》信道P（Y/X）---{ Y,P(Y)}--》 十二：掌握信道容量的物理意义

（1）： 信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用抽象的数学模型来描述。

在信息论中，信道通常表示成：{X, P(Y|X), Y}，即信道输入随机变量X、输出随机变量Y以及在输入已知的情况下，输出的条件概率分布 P(Y|X)。

十三：掌握几种译码准则

（1）译码规则的选择准则，最小错误概率译码，最大似然译码准则，费诺不等式 十四：掌握香农第二定理的内容

（1）设有一个离散无记忆平稳信道，其信道容量为C，当信息传输率RC,则无论取多大，也找不到一种编码，是译码错误概率PE任意小。十五：差错控制方式

（1）反馈重传纠错，前向纠错和混合纠错。十六：掌握线性分组码的编码方法

（1）线性分组码的编码方式是江新苑输出序列分组，魅族是肠胃K的信息序列，然后按照一定的编码规则插入n-k位的校验位，校验位是所有信息位的线性组合，组成n长的码子序列

十七：什么是熵（1）：我们用平均自信息量来表征整个信源的不确定度，平均自信息量又称为信息熵。信息熵，简称熵。

第四篇：信息论上机实验报告

华中科技大学文华学院

信息论上机实验报告

专业年级：10级通信工程** 学号：1001******** 姓名：** 指导教师：***

2012年 04月30日

目录 等长编码.........................2 1.1 求信源的熵...................2 1.2 求等长码码长.................2 1.3 求等长长等编码...............3 1.4 等长编码全部源代码...........3 1.5MATLAB仿真及其截图..........5 2霍夫曼编码.......................6 2.1 霍夫曼编码源代码.............6 2.2MATLAB仿真及其截图..........9 3游程编码.........................9 3.1 游程编码源代码...............9 3.2 MATLAB仿真及其截图..........11 4 学习心得........................12 5 参考书籍........................14

for i=1:1: 4;s=i;t=lc;for j=1:1:lc;if s>power(2,t)/2;A(i,lc-t+1)=1;s=s-power(2,t)/2;else A(i,lc-t+1)=0;end t=t-1;end end 1.4全部源代码

s=[0.25,0.25,0.25,0.25];len=size(s,2);if sum(s)~=1 error('s is not a complete set');end h=0;for i=1:1:len h=h-s(i)*log(s(i))/log(2);

结果：h=

2、lc=

2、A=00 01 10 11 1.5 MATLAB仿真及其截图

2、霍夫曼编码

2.1霍夫曼编码源代码

T(t-1)=r;T(t)=0;T=fliplr(sort(T));t=t-1;end B;%输出编码表

END1=sym('[0,1]');%给最后一列的元素编码 END=END1;t=3;d=1;for j=n-2:-1:1%从倒数第二列开始依次对各列元素编码 for i=1:t-2 if i>1 & B(i,j)==B(i-1,j)d=d+1;else d=1;end B(B(n,j+1),j+1)=-1;temp=B(:,j+1);

x=find(temp==B(i,j));END(i)=END1(x(d));

2.2MATLAB仿真及其截图

3、游程编码

3.1、游程编码源代码 I=checkerboard(10,2);[m,n]=size(I);J=[];for i=1:m

压缩图像大小：

Name Size Bytes Class J 1x400 3200 double array 图像压缩比：4 3.2 MATLAB仿真及其截图

就直接向他们求教，虽然有些时候他们也不一定能解答出来，但最少也能给我一些提示。最后有时候也靠自己，慢慢的想，慢慢的翻资料一遍一遍的输入，校正，最后就做出来了。虽然有些题目我也不知道自己的对不对，但是通过自己动手把它做出结果了我就觉得有收获了。

Matlab的课比较少，课堂上学到的东西也不是特别的多，但是通过实验，我自学了许多东西，也完成了学习任务，同时也锻炼了自己的个人能力

2012/5/3

314-

第五篇：信息论与编码

信息论与编码的应用

信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。【关键词】信息论 电子信息工程 通信 网络

一、信息论应用

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多 科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指 导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通 的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型加以深入研究。例如信息论在一下几个方面都得到了广泛的应用。

信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础

信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量 [2]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

编码技术在调制解调技术中的应用

在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

3.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

结 论

信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。信息论方法具有普遍的适用性，因此可以把课上学习的内容和我们的日常生活紧密结合起来，从而提高学习的兴趣。例如，在学习多符号离散信源时，可以和日常生活中大家在电视上见到的摇奖场面联系起来。一台简单的摇奖机，从十个号码球中摇出一个数字号码，可以看作一个单符号离散信源，它有十个符号，从0至9。如果需要摇出七位数的体育彩票号码，这可以看成是一个多符号信源，一次同时发出七个符号，而且是单符号离散信源的7次扩展。又如，在学习汉明距离时，可以和英语学习联系起来。在英语中拼写非常接近的单词很容易混淆或者拼写错误，用信息论的观点来看就是两个码字的汉明距离（不同位的个数）太小，因此抗干扰的能力差。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，信息论对哲学领域也有深远的影响。由此可见，《信息论与编码》的课程对我们至关重要！

参考文献

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 维芬，云娜.信息论基本问题简述[J]．信息与控制.2006