浅谈信息论及其应用（合集五篇）

第一篇：浅谈信息论及其应用

浅谈信息论及其应用

摘要

本文主要研究了信息论的起源、信息论的分类、信息论研究的主要内容以及信息论在现实生活中的运用，信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。主要介绍信息论在数据压缩、密码学、统计及信号处理中的应用。

关键字：信息论数据压缩密码学

一、信息论的起源

随着社会的发展，科学技术的不断进步，近些年信息论，控制论和系统论被作为一种新的理论方法，在社会科学各个领域中被加以尝试和运用。信息反馈控制机制稳定性等大量新概念和新名词被人们所接受，并涌进许多传统的社会科学领域这是一场方法论的革命，为社会科学各个领域带来了朝气。

信息论最早是美国研究所（信息论之父）克劳德·申农提出[1]，他于1948年10月发表于贝尔系统技术学报上的论文《通信的数学原理》作为现代信息论研究的开端。

二、信息论的定义与分类

（一）定义[2]

1.申农认为信息论是：通讯的基本问题就是精确地或近似地在一端复现在另一端所挑选的信号。

2.信息论是关于信息的本质和传送规律的科学理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴科学。

（二）分类

1.狭义信息论：是用统计学的方法研究通讯系统中存在的信息传递和处理的规律的科学。

2.广义信息论：是用数学和其他有关科学的方法研究一切现实系统中存在的信息传递、处理识别和利用的共同规律的科学。

三、信息论研究的基本内容

实际通信系统比较复杂，但是任何通信系统都可以抽象为信息源发送机信道接收机收信者，因此，通信过程中信息的定量表示信源和信宿信道和信道容量编码和译码等方面的问题，就构成了信息论的基本内容。信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域这两个方面又由信息传输定理信源信道隔离定理相互联系[3]。

1.信息。从广义上讲，信息是指不同物质在运动过程中发出的各种信号；从狭义上讲，信息是指各种物质在运动过程中发出的映出来的数据。指令消息情报图象信号等对于信息的定义，目前学术界还没有一个一致的看法，信息论的创始人申农认为，信息就是用以消除随机的不定性的东西；控制论的创始人维纳认为，信息是人与环境相互交换内容的名称，也可以叫负商。

信息依赖于物质和能量，但是它与物质和能量有明显的区别，它不是独立的实体，它不会由于输送和摄取而消耗，也不会因为无人问津而增殖；信息的作用与物质的多寡也没有必然的联系，而且在许多情况下，信息的作用是物质和能量所不能代替的可以说信息既不是物质，也不是意识，而是物质联系的形式。

2.信息量。它是信息多少的量度许多科学家对信息进行深入的研究以后，发现事件的信息量与事件出现的概率有密切的关系：事件发生的概率大，信息量就越小；反之，事件发生的概率就越小，信息量就越大。例如：池塘周围的护栏越密，小孩或大人掉进池塘的可能性就越少；反之则反[4]。

3.信源和信宿。信源即消息的来源消息一般以符号的形式发出，通常就有随即性信源是多方面的，自然界的一切物体都可以成为信源如：人在碰见歹徒时会发出救命的声音，这对于其他人来说是一种信息狗看见陌生人就会发出汪汪的叫声，告诉主人有朋友来了或者有盗贼入侵草儿绿了，预示着春天来了由此可见，信息的发出者不仅仅是人类所具有的特质，而且其他动物。植物等也具有这一功能如果信源发出的信号是确定的，即是事先知道的，就不会传输任何信息如果符号的出现是时刻变化的随机事件，就可以用随机变量来表示以随机变量来研究信息，是信息论的一个基本思想。

信宿是信息的接收者，它能够接收消息，并使消息再现，达到通讯的目的信宿可以是人，也可以是机器。例如：我们看电视，电视是信息的发出者，人从电视上了解各种各样的信息，人就是信宿；电视相对于各个电视台来说，也是一个信宿，即信息的接收者。

4.信道和信道容量在信源和信宿之间存在着传递信息的通道，其主要任务是传输信息和存储信息。信源发出的信息必须进行编码，使之能转化成为能在信道中传输的信号信道容量是指信道传输信息的多少以及速度。通讯速度的大小并不完全取决于信道的性质，它还随信源性质和编码方法而改变。

5.编码和译码。“码”是一个符号表达和将这些符号排列起来所必须遵守的一些约定。运用这些符号，遵守相应的约定把信息变成信号，这一过程就是编码用符号来表达消息，称为信源编码；将符号转换成为信道所要求的信号，称为信道编码[5]。

在通讯系统里，消息往往要经过几次编码，才能变成适合信道传输的信号当信号系列通过信道输出后，必须经过译码复制成消息，才能送达接收者。译码过程正好与编码过程相反，所以译码就是编码的逆过程。

6.信息方法。所谓信息方法，是指用信息的观察来考察系统的行为结构和功能，通过对信息的获取、传递、存储、加工过程的分析，达到对某个复杂系统运动过程的规律性认识。它不需要对事物的整体结构进行剖析性的分析，而仅仅对信息的流程加以综合考察，就可获得关于系统的整体性知识。

信息方法的主要特点：是完全撇开对象的具体运动形态，把系统的运动过程抽象为信息过程，在不考虑系统内具体物质形态、不打开机器或活体的条件下研究系统与外界之间的输入与输出的关系。这种方法也叫控制论中的黑箱方法。信息与控制信息论方法与控制论方法是紧密相连的没有信息就无所谓控制，控制就是通过信息来实现对系统行为、功能的调整信息方法。也可以说是用信息观点来考察控制系统的行为功能结构的方法信息方法的另一个特点是：它不是为了说明客观对象，而是为了说明客观对象的过程，说明主、客体之间信息交换过程的方式，以达到对控制系统运动过程的规律性认识。如果从物质构成和运动形态来看，生命系统社会系统人造技术系统是极为不同的，但是，他们的运动过程都可以抽象化为一个信息传递、加工、交换的过程。

四、信息论的应用

信息很早就被人们利用，但真正被作为一个科学概念探讨，则是20世纪40年代以后的事，而被作为科学为人们普遍认识和利用则是近几十年的事情。当今世界，信息技术日新月异，在经济社会各领域的应用不断深化，日益深刻地影响着人类社会发展。信息产业已经发展成为当前世界上最大的产业。可以说，在当代高新技术群中，信息技术的发展速度最快，应用最为广泛，对经济社会发展的贡献最为显著。

信息是人类社会互通情报的实践过程中产生的，在当今信息社会中，常把它作为人们认识世界的向导与智慧的源泉，也是社会与社会生产力发展的动力与资源。信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[6]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用。

1.信息论在数据压缩理论中的应用

信息论之父香农在 1948 年发表的论文《通信的数学理论》一文中指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者说不确定性有关[7]。香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比厡数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。不过，哈夫曼所得的编码长度只是对信息熵计算结果的一种近似，还无法真正逼近信息熵的极限。所以尽管哈夫曼编码具有良好的压缩性能，也一直占据重要的地位，还是不断有基于哈夫曼编码的改进算法提出。

算数编码是一种可以成功地逼近信息熵极限的编码方法，它与部分分配预测模型结合，开发了压缩效果近乎完美的压缩算法。算数编码虽然可以获得最短的编码长度，但其本身的复杂性也使得算数编码的任何具体实现在运行时都慢如蜗牛，导致难以满足日常应用的需求。此时，LZ系列算法的优越性很快就在数据压缩领域里体现了出来，LZ系列算法基本解决了通用数据压缩中兼顾速度与压缩效果的难题。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

2.信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现于应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

3.信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量[8]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法,尤其是 Bayes 统计得到广泛的运用。Bayes 计算方法有很多，其中一类是直接应用于后验分布以得到后验均值或后验众数的估计，以及这种估计的渐进方差或其近似。EM 算法就是一种迭代方法,主要用来计算后验分布的众数或极大似然估计。这种方法可以广泛的应用于缺损数据，截尾数据，成群数据，带有讨厌参数的数据等所谓的不完全数据。EM 算法的最大优点是简单和稳定，主要目的是提供一个简单的迭代算法来计算极大似然估计，问题是如此建立的 EM 算法得到的估计序列是否收敛。它的特点与信道容量的递推渐近算法相似，但应用更为广泛。EM算法实现简单，数值计算稳定，存储量小，并具有良好的全局收敛性。EM算法是一种求参数极大似然估计的迭代算法，在处理不完全数据中有重要应用。

信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

4.信息论在信号处理中的应用

信号处理包括数据、影象、语声或其他的信号的处理，从信息论的观点看，信号则是观察客观事物表达其相应信息的技术手段，也就是特定信息的载体[9]。信息是通过信号来表达的，对信息的加工和处理，也就是信号的加工和处理。所有处理过程无非是信源编码，变换，过滤或决策过程，其实变换也是一种编码过程。这些过程中的大部分的信息论基础是信息率失真理论。

譬如数字信号处理，其技术可以归结为以快速傅里叶变换和数字滤波器为核心，以逻电路为基础，以大规模集成电路为手段，利用软硬件来实现各种模拟信号的数字处理，其中要用到信息论中的信号检测、信号变换、信号的调制和解调、信号的运算、信号的传输和信号的交换等。

现在，信息理论与技术不仅直接应用于通信、计算机和自动控制等领域，而且还广泛渗透到生物学、医学、语言学、社会学、经济学和管理学等领域，与这些交叉学科的发展，是信息论的应用范围更加广泛。

五、结束语

信息论是一门非常系统和理论性很强的学科，它涉及到随机过程，概率论与数理统计，线性代数等多门学科。在张老师的细心指导下，我们对信息论这们课的主要理论有了比较深刻的认识，对其中所提到的香农三大定理也由原来的一知半解到现在的融会贯通。这将为我以后的通信课程学习奠定了坚实的理论基础。

张老师在上课过程中曾经多次提到过对香农信息论的局限性。香农信息论在对离散信源的平均信息量等问题解释的还是比较的全面和真实，但是对连续信源来说，有它不足的地方。在现代信息论发展的过程中曾有过许多这方面的专家和学者试图构造另一种较香农信息论更好的理论来描述连续信源。但是，直到现在为止，所提出来的诸多方案中，没有一个是优于香农的。这就是说，信息论的理论体系还有待人们去完善和充实它。所以张老师也寄希望我们能够在这片领域里能够有所发现，弥补香农信息论的缺陷。我相信，凭着我们这样一批朝气蓬勃的年轻人的敢想，敢为，敢拼的进去精神，和陈老师对我们的殷切期望，一定会有有志之士沿着那些科学泰斗们没有走完的道路，继续前进！

参考文献

[1] 陈元生.简述信息论, 控制论, 系统论在现代企业人力资源管理中的应用[J].时代经贸, 2007, 70(5): 108-109.[2] 刘大春主编.科学逻辑与科学方法论名释[M].江西教育出版社, 1997.[3] 王晖主编.科学研究方法论[M].上海财经大学出版社,2004.[4] Adner R, Levinthal D.Technology speciation and the path of emerging technologies[J].Wharton on managing emerging technologies, 2000, 5574.[5] Tushman M L, Anderson P.Technological discontinuities and organizational environments[J].Administrative science quarterly, 1986: 439-465.[6] 曹雪虹, 张宗橙.信息论与编码[M].清华大学出版社有限公司, 2004.[7] 周叶林.科学研究中的信息论及其应用[J].今日南国(理论创新版), 2009, 5: 118.[8] 沈世镒, 吴忠华.信息论基础与应用[M].高等教育出版社, 2004.[9] 周荫清.信息理论基础[M].北京航空航天大学出版社, 2006.

第二篇：信息论修改版

信息论局限性分析以及在光通信中的应用

摘要

从新的角度指出了香农信息论的局限性，这些局限性主要体现在对信息的可靠性和完备性的忽视，通过例子分析进一步说明信息可靠性对于度量信息的重要意义。指出局限性产生的根源在于对信息多重不确定性的忽视，以及对概率值本身存在不确定性的认识不足。后半部分介绍了信息论在光通信领域的一些应用。

关键词：信息论，通信，可靠性，纠错，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小节：信息论的局限性分析 1.引言

香农(Shannon)信息论对通信技术的发展具有深远的影响。但是信息论的应用一直限于通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义、语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者发现信息论的局限性一个重要体现就是忽视信息的可靠性，缺乏对可靠性的度量。

2.香农信息论针对现实问题的局限性

香农对信息的定义，对信息的度量，以及他的信息论，基本上都是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。香农将信息定义为消除不确定性的东西，与他研究通信中的条件熵不增加有密切关系。

现信息论存在如下局限性：第一，信息论没有考虑信息的可靠性问题，而现实中的信息大多数都是不可靠的。而信息的可靠性却是信息价值的前提，比如情报类信息的可靠性就非常重要。信息的可靠性是信息的主要指标，但是信息论没有考虑，仅仅是考虑到信息的不确定性。

第二，信息的完备性问题，信息论并没有考虑信息并不完全发送的情况，而现实中许多信息都是不完全（完备）、片面的，需要融合。在没有更加完备信息的场合下，人们往往权宜地将片面的信息姑且当作全面的信息来对待这一些简单的信道并联和串联可以合为一个信道，比如简单的两个串联信道的信道矩阵可以直接通过相乘而当作一个信道，但是信息论没有考虑信息复杂的多重传递，比如，信息从一个信源传递到中间信宿，而中间信宿又转发给一个最终信宿，而且在这个转换的过程中，信息的表示发生了改变，在这种多重传递的过程中，可能会产生多重不确定性。

第三，现实中的信息往往需要经过这种多重传递，导致多重不确定性。比如，当然如果考虑前面提到的模糊集合等，这种多重不确定性性将更加复杂。信息论没有考虑到信道矩阵的传递概率等参数的复杂性。现实中这种传输特性可能不是确定不变的，而可能是随机变量，甚至可能更加复杂。

第四，信息论中以通信为研究对象，其传输的信号本身是确定的，然而现实中却存在许多不确定性问题。在通信中，定义信息为消除不确定性的东西无可厚非，但是面对本身不确定的信息，我们如果去消除其不确定性。

第五，信息论中的条件相对而言是简单的，而且多是以条件概率来表示的。然而现实中许多中的信息的条件是比较复杂的，比如，给出的条件可能是知识、规律等等，在已知先验概率的情况下，又得知某一个规律，通过这个规律并不能简单得出相应的条件概率来。

第六，信息论用先验概率来表示已知的信息，然而，现实中，许多已知的信息并不是可以用先验概率来表示，比如可能包含未知数，可能是某个约束条件，可能是某个规律，甚至可能是完全未知的。3.实际应用分析

实例1：甲从乙处得到情报：“敌人明天早晨百分之九十九要发动进攻”。此后，甲同样从丙处得到相同的情报。从信息论角度来看，对于问题“敌人明天早晨是否要发动进攻”，不确定性是一样的，因而信息量一样，丙似乎并不提供新的信息。但是人们依然会感觉从丙处得到了信息，这种信息使得甲更加确定“敌人明天早晨百分之九十九要发动进攻”，这一例子进一步说明信息的可靠性应当是一个度量信息的指标。

实例2：当获得消息“所有的事件都是等概率发生的”的时候，对这句话的内容是什么，或者对于问题“所有的事件发生呈现什么样的概率分布”而言，它消除了不确定性。但是对于什么事件将发生情况，不可能是更加确定，信息量不可能增加而只可能是减少。这一点说明信息量仅仅是针对于消息本身的不确定性而言的，而该消息衍生出来的问题的不确定性并不与消息的信息量有必然联系，因此，信息熵这一度量的应用范围也是有限的，并不适合应用在日常的信息问题中。

通过以上的例子分析，暴露出信息论的一些局限性，为挖掘信息论局限性的根源提供了基础。

4.信息论局限性的本质及结论

由以上例子分析可以得出，信息论没有考虑信息的可靠性，而信息的可靠性是一个非常重要的指标。在通信中，由于消息是确定的，因此，不确定性的消除与可靠性的增加有一定的联系。实际上，我们要消除不确定性是很容易的事情，而香农信息论的消除不确定性是以保证信息的可靠性和完备性为基础的，比如利用纠错码纠错，利用后验概率来增强信息的完备性。假如把信息的确定性当作唯一的指标，抛开信息的可靠性问题，则可以随便确定某一事件的概率为1，其余事件的概率为0 就可以了。再假如，我们把信息的确定性当作首要考虑的目标，其次考虑其可靠性，则我们也可以指定概率最大的事件概率为1，其余事件概率为0。这样首先保证了确定性，可靠性也在一定程度上得到了满足。如果如此，信息论和信息处理就变得相当的简单了。显然现实中人们不是这样的。根据以上多处的分析，可靠度是信息的一个首要指标。以上的信息的可靠性、完备性以及经典集合的不切和实际都可以归结为对信息的多重不确定性的忽视，比如，在实例分析中，我们发现不可靠的信息，它的信息表示本身是不固定的，其概率值可能是随机变量，不完备的信息也是类似。对于模糊集和粗糙集之类的非经典集合，则可以认为是某一个集合包含的对象不确定而造成的，比如，在粗糙集中，对象可能属于也可能不属于集合X，对象a 是否属于集合X 就具有随机不确定性。其中一些不确定性与信息论原有的不确定性叠加起来就可能产生多重不确定性。这里的不确定性除了随机不确定性、模糊不确定性，还可能有更多形式的不确定性，包括某些不完全的约束条件造成的不确定性。可见，对信息多重不确定性的忽视是信息论的局限性的重要的根源。对信息可靠性的忽视也是信息论无法广泛应用的重要原因。鉴于所有的信息都很难可靠和完备，所以我们可以将可靠性和完备性问题总归为信息的相对性问题。实际上，现实中人们很难得出完全可靠的信息，只有权宜地采用相对可靠的信息，当有更加可靠的信息的时候，人们会利用更可靠的信息取代先验的信息。由于可靠性也与概率值的不确定性有关系，对信息可靠性的度量也可以借鉴香农对信息不确定性的度量，然而，计算概率的不确定性会比信息熵的计算复杂，因为概率需要满足更多的约束条件。

当然，信息论也与现实信息问题具有很强相似性，信息论的方法很值得在现实的信息问题的研究中（包括信息的可靠性的研究中）借鉴，总而言之，信息论的局限性是源于信息论是针对通信问题的，其模型本身具有的局限性。当然也与概率论的局限性有关系，由于对概率值随机性和多重随机不确定性研究的不足，使得人们容易陷入“概率（包括联合概率分布）就是确定值，而不可能是随机变量”，“给定条件就可以得出条件概率”等思维定势中，而这些思维定势只是适用于现实概率论问题中的一部分。由于信息论的这些限制条件能够较好地满足通信问题，使得它能够在通信领域得到成功的应用，而推广到一般的信息领域则需要针对它的局限性解除相应的约束条件。

第二小节．信息论在光通信中的应用

自香农(C．E．Shannom)提出信息理论以来，信息论已经成为通信理论中重要而又基础的一部分。如今，通信中越来越多的使用光作为传输媒质以及光器件的快速发展，电信道已被光信道所取代。光信道的信息容量的大小已成为人们关心的课题。对此进行分析和比较。

光量子信道的信道容量从信息论的角度可以认为光量子信道是信号和噪声叠加的加性信道。假设在频率

fi时，输人信号产生的平均量子数为xi，噪声产生的平均量子数为ni可得，对于频率，输出信号的平均量子数为

y=x+niii

p(xi)p()p(yi)，ni，假设xi与ni统计独立。设xi，ni，p(yi的概率密度函数为yi且x)i=p(ni)在特定频率 上，光量子信道的平均互信息:

I(y;xi)H(y)H(ni)ii（*）

因为固定时间间隔t，t1/fi，所以单位时间内的平均互信息:

1I(X;Y)I(y;xi)H(Y)H(n)iti0

在f1上，假设接收信号的光量子的离散能谱为Eihfi(h是普朗克常数).由于热辐射，光量子的波动服从Gibb分布

p(ni)1exp[hfi/kT]exp[nihfi/kT]

2H(n)Kt/3hln2 可得，光量子的波动引起的噪声熵:信号最大熵：

H(Y)p(y)logp(y)dfii03hln2yi0

C由式（*）可得光量子信道容量：

2kTe2Kt3hln2[(16hs1/2)1]kT

6hs12当hfkT,即信噪比(kT)时，光量子信道的信道容量极限值为：

C光量子=2S1/2)ln23h

(1)

(6hs12当信噪比很小(kT)时，光量子信道的信道容量极限值为

C经典=SN0ln2

(2)

此式正是由香农公式得到的信道容量极限值式，其中N0KT。

结论

从以上分析可看出，对于光量子信道来言，当频率很高时，信道容量的极限值是式(1)，而不是式(2)。只有当信噪比很低时，光量子信道的极限值才等于香农信道容量公式的极限值。因此，对于窄带的光量子信道，带宽ff（中心频率)时，可计算得光量子信道的极限值就等于香农信道容量公式。

参考文献

[1]朱雪龙著．应用信息论基础．清华大学出版社.[2]傅祖芸著．信息论基础理论与应用．电子工业出版社，2001(8).[3]陶纯堪，陶纯匡著．光学信息论．科学出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].钟义信．信息科学原理[M]．福州：福建人民出版社，1988． [6].鲁晨光．广义信息论[M]．中国科技大学出版社，1993.[7].王勇，香农信息定义分析与改进[OL]，www.xiexiebang.com, 2007年11月.

第三篇：信息论发展

信息论的发展与现代信息论

现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于 1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过 8 年的努力,1948 年,来自贝尔研究所的 Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949 年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。

信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946 年的计算机和 1947 年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。

世纪 50 年代,信息论向各门学科发起冲击；60 年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息论迈入第二个阶段。我国数学家和信息科学专家在二十世纪五十年代将信息论引进中国,经过六十余年的不懈努力,尤其从二十世纪八十年代中期以来,一批华裔信息论专家在国际学术界崛起,以周炯盘院士为代表,为信息论的发展作出了自己的贡献。到 70 年代,由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题。人们越来越认识到信息的重要性,认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便使它能成为人类各种活动中所碰到的信息问题的基础理论,从而推动其他许多新兴学科进一步发展。

虽然 1948 年香农就发明了信息论,但到 90 年代才找到或者再发现能够逼近香农极限的 turbo 码和 LDPC 码；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的,在实际系统中,这些条件可能不能满足,因而不可能达到香农所得出的一些结论或界限,举一个例子,信源信道分离定理是在数据分组长度无穷大和静态信道条件下得到的,但实际系统中的编码可能会有分组长度和限制,信道也可能是时变的,因而产生出最近较新的所谓联合信源信道编码理论；最后一个是局限是点对点通信的局限性,因为通信的构架存在网络结构和多用户的结构,所以对于网络和多用户的情形,香农并没有更深入的研究,虽然他在 50 年代研究了 two way channel,但并未得出有意义的结果,目前网络信息论或多用户信息论是一个比较活跃的领域,主要的有意义的结论在广播和多址接入信道,但都是退化的情形才成立的结论,更一般的情形,还有一些其他如中继信道等,还有待进一步研究。

参考文献：

叶中行,信息论基础[J],高等教育出版社 卢侃,从 Shannon 信息论到认知信息论[A],哈尔滨工程大学学报,第 32 卷第 8 期.仇佩亮,信息论及其应用［M］,杭州：浙江大学出版社,1999 谢邦荣,彭征明,信息论在作战效能评估中的应用研究 [A] ,北京, 2007 邵军虎,量子 LDPC 纠错码算法及应用方案研究,西安电子科技大学[D] ,2012

汪洋,赵万民,人居环境研究的信息论科学基础及其图谱意象系统[J],2012 PKU CSSCI ,香农信息定义分析与改进[J],2008 年 8 期, 洪洁,范修斌,范明钰,信息论及其在序列密码设计应用中的几点认识[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知识改变命运

第四篇：信息论论文[定稿]

湖南科技大学课程结课论文

《信息论与编码A》

学院：信息与电气工程学院 专业： 班级： 学号： 姓名：

信息论基础

摘要：从对信息论的一些基础知识汇总，信息的定义，信息论的发展；还有信源与信息熵，信道与信道容量，编码这些关键知识点做一个系统性的回顾，再结合通信领域的知识进行分析。关键字：信息论；

引言：

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。

名称由来：

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

发展简史：

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。

切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。

20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。

由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。

信息的性质：

信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。

基本内容：

传统的通信系统如电报、电话、邮递分别是传送电文信息、语声信息和文字信息的；而广播、遥测、遥感和遥控等系统也是传送各种信息的，只是信息类型不同，所以也属于信息系统。有时，信息必须进行双向传送，例如电话通信要求双向交谈，遥控系统要求传送控制用信息和反向的测量信息等。这类双向信息系统实际上是由两个信息系统构成。所有信息系统都可归纳成如图所示的模型来研究它的基本规律。

信源：信息的源泉或产生待传送的信息的实体，如电活系统中的讲话者，对于电信系统还应包括话筒，它输出的电信号作为含有信息的载体。

信息熵：所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H.Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

信宿：信息的归宿或接受者，在电话系统中这就是听者和耳机，后者把接收到的电信号转换成声音，供听者提取所需的信息。信道：传送信息的通道，如电话通信中包括中继 器在内的同轴电缆系统，卫星通信中地球站的收发信机、天线和卫星上的转发器等。

编码器：在信息论中是泛指所有变换信号的设备，实际上就是终端机的发送部分。它包括从信源到信道的所有设备，如量化器、压缩编码器、调制器等，使信源输出的信号转换成适于信道传送的信号。

译码器：是编码器的逆变换设备，把信道上送来的信号转换成信宿能接受的信号，可包括解调器、译码器、数模转换器等。

哈夫曼码：哈夫曼码是用概率匹配方法进行信源编码。它有两个明显的特点：一是哈夫 曼的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码；二是缩减信源的最后两个码字总是最后一位不同，从而保证了哈夫曼码是即时码

当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。从定量意义上说，应使系统在规定的失真或基本无失真的条件下，传送最大的信息率；或者在规定信息率的条件下，失真最小。计算这最大信息率并证明达到或接近这一值的编译码器是存在的，就是信息论的基本任务。只讨论这样问题的理论可称为仙农信息论般认为信息论的内容尚应更广泛一些，即包括提取信息和保证信息安全的理论。后者就是估计理论、检测理论和密码学。

信息论是建立在概率论基础上而形成的，也就是从信源符号和信道噪声的概率特性出发的。这类信息通常称为语法信息。其实，信息系统的基本规律也应包括语义信息和语用信息。语法信息是信源输出符号的构造或其客观特性所表现与信宿的主观要求无关，而语义则应考虑各符号的意义，同样一种意义，可用不同语言或文字来表示，各种语言所包含的语法信息可以是不同的。一般地说，语义信息率可小于语法信息率；电报的信息率可低于表达同一含义的语声的信息率就是一个例子。更进一步，信宿或信息的接受者往往只需要对他有用的信息，他听不懂的语言是有意义的，但对他是无用的。所以语用信息，即对信宿有用的信息一般又小于语义信息。倘若只要求信息系统传送语义信息或语用信息，效率显然会更高一些。在目前情况下，关于语法信息，已在概率论的基础上建立了系统化的理论，形成一个学科；而语义和语用信息尚不够成熟。因此，关于后者的论述通常称为信息科学或广义信息论，不属于一般信息论的范畴。概括起来，信息系统的基本规律应包括信息的度量、信源特性和信源编码、信道特性和信道编码、检测理论、估计理论以及密码学。

信息与通信：

信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。

第五篇：信息论上机实验报告

华中科技大学文华学院

信息论上机实验报告

专业年级：10级通信工程** 学号：1001******** 姓名：** 指导教师：***

2012年 04月30日

目录 等长编码.........................2 1.1 求信源的熵...................2 1.2 求等长码码长.................2 1.3 求等长长等编码...............3 1.4 等长编码全部源代码...........3 1.5MATLAB仿真及其截图..........5 2霍夫曼编码.......................6 2.1 霍夫曼编码源代码.............6 2.2MATLAB仿真及其截图..........9 3游程编码.........................9 3.1 游程编码源代码...............9 3.2 MATLAB仿真及其截图..........11 4 学习心得........................12 5 参考书籍........................14

for i=1:1: 4;s=i;t=lc;for j=1:1:lc;if s>power(2,t)/2;A(i,lc-t+1)=1;s=s-power(2,t)/2;else A(i,lc-t+1)=0;end t=t-1;end end 1.4全部源代码

s=[0.25,0.25,0.25,0.25];len=size(s,2);if sum(s)~=1 error('s is not a complete set');end h=0;for i=1:1:len h=h-s(i)*log(s(i))/log(2);

结果：h=

2、lc=

2、A=00 01 10 11 1.5 MATLAB仿真及其截图

2、霍夫曼编码

2.1霍夫曼编码源代码

T(t-1)=r;T(t)=0;T=fliplr(sort(T));t=t-1;end B;%输出编码表

END1=sym('[0,1]');%给最后一列的元素编码 END=END1;t=3;d=1;for j=n-2:-1:1%从倒数第二列开始依次对各列元素编码 for i=1:t-2 if i>1 & B(i,j)==B(i-1,j)d=d+1;else d=1;end B(B(n,j+1),j+1)=-1;temp=B(:,j+1);

x=find(temp==B(i,j));END(i)=END1(x(d));

2.2MATLAB仿真及其截图

3、游程编码

3.1、游程编码源代码 I=checkerboard(10,2);[m,n]=size(I);J=[];for i=1:m

压缩图像大小：

Name Size Bytes Class J 1x400 3200 double array 图像压缩比：4 3.2 MATLAB仿真及其截图

就直接向他们求教，虽然有些时候他们也不一定能解答出来，但最少也能给我一些提示。最后有时候也靠自己，慢慢的想，慢慢的翻资料一遍一遍的输入，校正，最后就做出来了。虽然有些题目我也不知道自己的对不对，但是通过自己动手把它做出结果了我就觉得有收获了。

Matlab的课比较少，课堂上学到的东西也不是特别的多，但是通过实验，我自学了许多东西，也完成了学习任务，同时也锻炼了自己的个人能力

2012/5/3

314-