第一篇：信息论概述与机械工程中的信息论
信息论概述与机械工程中的信息论
摘要
信息论是一门新兴学科，是在长期的通信工程实践中，与通信技术、概率论、随机过程和数理统计相结合逐步发展起来的一门学科。信息论中主要的概念包括信息，自信息，互信息和信息熵。本文介绍了信息论的产生和发展，简要介绍了信息论几个主要概念的定义和推导，重点介绍了信息熵，最后讨论了信息论相关知识在机械工程专业的应用。
关键词：信息论，信息熵，机械工程专业
第一章 绪论
§1-1 引言
人类的社会生活是不能离开信息的，人类不仅时刻需要从自然界获得信息，而且人与人之间也需要进行通讯，交流信息，离开信息，人类就不能生存。人们获得信息的方式有两种；一种是直接的，即通过自己的感觉器官，耳闻、目睹、鼻嗅、口尝、体触等直接了解外界情况；一种是间接的，即通过语言、文字、信号„„等等传递消息而获得信息。在人类社会的早期，只应用语言手势直接交流信息，但随着社会的进步，尤其是科学水平的进步，传统的信息获取方式已经不能满足人类的发展要求，人类开始探索快速有效地获取信息的方法，从而导致了一门新的学科——信息论的诞生。
§1-2 信息论
信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门学科。1-2-1 信息论的诞生和发展
信息论的创始人是美贝尔电话研究所的数学家香农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年香农发表的《通讯的数学理论》一文，成为信息论诞生的标志。
其实，1922年卡松就提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。香农创立信息论，实际是在前人研究的基础上完成的。
在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域，也成为信息论的重要著作[1]。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。1-2-2 信息论的发展现状
信息论近期发展的主要特点是向多学科结合方向发展，其重要的发展方向有如下几种：
（1）信息论与密码学
通信中的安全与保密问题是通信编码问题的又一种表示形式，由香农提出的保密系统模型仍然是近代密码学的基本模型。
（2）算法信息论与分形数学
由于香农熵，柯尔莫哥洛夫与豪斯道夫位数的等价性在理论上已经得到证明，从而使信息论，计算机科学与分形理论都找到了他们的汇合点。
（3）信息论在统计与智能计算中的应用
信息论与统计理论的结合已经有许多突出的成果出现。其主要特点是统计理论正在从线性问题转向非线性问题，信息的度量可以作为研究非线性问题的工具，如果用交互信息来取代统计中的相关系数，更能发现二维随机变量的相互依赖程度。
智能计算中的信息统计问题，信息量与统计存在许多本质的联系，在微分流形中，Fisher信息矩阵式Kullback-Laiber熵的偏微分，由此关系而引出的信息几何理论是智能计算的基础[2]。
§1-3 自信息与互信息
香农在《通信的数学理论》引言部分就提出“通信中的基本问题就是在某一点精确或近似的再生另一点选择的信息”。未解决这一问题，他在这篇论文中开创性的利用概率论、数理统计、随机过程建立了通信系统的数学模型，提出了自信息、互信息、信息熵等概念，这一部分我们将重点讨论自信息与互信息，信息熵留待下一部分具体描述。1-3-1 自信息
用I（xi）=log（1/pi）表示信源发出的符号xi的自信息。自信息具有两个含义：当符号xi输出前，表示符号xi被输出的不确定性；当符号xi输出后，表示符号xi所含有的信息量[3]。1-3-2 互信息
互信息有三个不同角度的定义。
从信源出发的定义：站在信源一端，当信源没有发送时，信息发送方对信宿收到符号yi的不确定度是I（yi）；而当信源发送符号xi后，信息发送方对信宿收到符号yi的不确定度是I（yi|xi），从这个意义上定义互信息。
从信宿出发对互信息的定义：站在信宿一端，当没有接收时，信息接收方对信源发送符号xi的不确定度是I（yi）；而当信宿接收到符号yi，信息接收方对信源发送符号xi的不确定度是I（yi|xi），从这个意义上定义互信息。
从整个系统出发对互信息的定义：如果从整个系统的全局出发，通信前，信源发送随机变量X和信宿接收随机变量Y之间没有任何关联关系，即X，Y统计独立：P（xi，yi）= P（xi）·P（yi）
此时，有关符号xi和符号yi的联合自信息量： I’（xi yi）=log[1/ P（xi）P（yi）]=I（xi）+I（yi）
通信后，信源发送随机变量X和信宿接收随机变量Y之间由信道的统计性相联系，其联合概率密度：
P（xi，yi）= P（xi）·P（yi |xi）= P（yi）·P（xi |yi）此时有关于符号xi和符号yi的联合自信息量： I（xi yi）=log[1/ P（xi）·P（yi |xi）]=log[1/ P（yi）·P（xi |yi）]
通信后的互信息量，等于前后不确定度的差。事实上，以上三种互信息的定义是一致的[3]。
§1-4 本文的主要内容
本文的大略概括了信息论的基本知识，介绍了信息论的发展过程，信息论中常见的名词定义，重点介绍了信息熵的概念和推导公式（以离散信源模型为例），以及相关的条件熵，联合熵等概念。并对信息论在机械工程领域的应用做了大概说明。
第二章 信息熵及相关概念推导公式
信息熵是1948年香农(Shannon)在论文“通信的数学理论”中引入的，解决了对信息的量化度量问题。他对信息的定义：事物运动状态或存在方式的不确定性的描述。
在香农一开始寻找信息量定名称时，数学家冯.诺依曼建议称为熵，理由是不定性函数在统计力学中已经用在熵下面了。在热力学中熵是物质系统状态的一个函数，它表示微观粒子之间无规则的排列程度，即表示系统的紊乱度，维纳说：“信息量的概念非常自然地从属于统计学的一个古典概念——熵。
§2-1 信息熵
基于Shannon 创立的信息熵理论,信息是不守恒的、无序的，它可以共享、传递、储存、转换,系统要向有序方向发展必须有负熵的输入[4]。信息和熵有内在的联系，一般地，信息量越大，熵就越小，系统就越有序,结构性就越强；反之，信息量越小，熵就越高，系统就越无序，结构性就越差[5]。信息与熵是一个相反的量，它表示系统获得后无序状态的减少或消除，即消除不定性的大小。
§2-2 信息熵公式推导
离散信源的模型：
定义1[6]：设某一概率系统X中有n个事件（X1，X2，„„，Xi，„„Xn），第i个事件Xi产生的概率为pi（i= 1，2，3，„„n），当事件Xi产生后, 给出的信息量就称为自信息：I（Xi）= log2（1/pi）单位为bit。自信息的数学期望即平均自信息量，它的值称为信息熵，简记为H(X)，则有如下公式：
由公式推导可以得知：（1）信息熵的大小可以用来描述信息系统的平均不确定程度。若某一信息系统中某一知识产生的概率为1，其他事件产生的概率为0，由上式计算后可知，该系统的信息熵H = 0，它就是一个确定系统，不确定度为0。（2）如果某一信息系统中，其等价类是均匀的则表示系统中每一知识产生的分类基数相等，该系统的信息熵具有最大值（在相同对象数的情况下）即该系统的不确定性最大。根据信息熵的定义可知熵值越大看，不确定性就越大。那么，搞清楚它所需要的信息量也就越大[7-8]。
§2-3 条件熵
在信源X输出Xi的条件下，信源Y再输出Yj所能提供的平均信息量[6]，称为条件熵。记为H（Y | X)。条件熵有如下公式：
§2-4 联合熵
两个互相关联的信源X和Y的联合信源的信息熵为信源X的熵加上在X已知条件下信源Y的条件熵,称为X Y的联合熵[6]。符合记为H（X Y）或H（X∪Y）。
公式表达: H（X∪Y）= H（X）+ H（Y|X）
第三章 信息理论在机械工程方面的应用
目前，信息理论在机械工程方面的应用并不普遍，这个结果通过论文搜索就可以看出，大概每搜索6篇有关信息论的论文，只能找到一篇论文与机械工程专业相关。
从目前论文检索情况来看，信息论的应用和它自身的特点有很密切的关系，常应用于信息量大，需要进行信息筛选整理，需要对信息数据进行数理统计工作的领域，土地和城市规划常用到信息论的有关知识。
机械工程方面的应用，一是集中于传感器的信息处理方面。例如视觉，听觉，嗅觉等。这些传感器研究的特点都是有大量信息需要接收，而接收之后必须筛选抛弃或放大部分数据。已经开始初步探索的是机器人的语音识别，主要研究方式依旧是模板匹配，音频对比[9]。
二是在产品检测，测量领域的应用，例如目前的表面粗糙度Ra（算术平均偏差）往往只出检验的结果，而没有考虑检验结果的不确定因素。为了保证Ra测量结果的完整性和有效性，有论文提出了一种表面粗糙度Ra测量不确定度的计算方法。该方法依据表面粗糙度最小二乘检验的基本原理计算检验结果，并根据信息熵与不确定度的关系计算检验结果的不确定度，从而减少产品的误收和误废[10]。
第四章 结论
物质、能量、信息是构成这个世界的三大要素，因此材料科学、能源科学和信息科学构成了世界发展的三大支柱。信息论是信息科学中最基础的理论，由香农在1948年正式提出。信息论中最基础的概念是信息，信息论是一门新兴学科，其中重要的组成概念包括自信息，互信息，信息熵，在此基础上，衍生出其他的相关概念。信息论目前在机械工程领域应用还不是特别普遍，因为信息论本身是基于数理统计的学科，它的研究目的是收集大量信息进行筛选甄别计算，得出整体结论而不是讨论个体情况。信息论的这一特点意味着它将主要用于需接收大量数据的研究领域，包括机器人应用传感器的研究领域，尤其是视觉图像采集，嗅觉，听觉语音辨识等，还有质量检测领域。
参考文献
[1]韩晓平.当能源充满智慧——中国能源网首席信息官.中外企业家，2009（5）
[2]沈世镒.信息论基础与应用.北京，高等教育出版社，2004.15 [3]艾科拜尔.艾合麦提.信息论中关于互信息的三种不同理解的统一性.中小企业管理与科技，2009，（6）：225 [4]姬桂珍，吴承祯，洪伟，朱文华等.武夷山市土地利用结构信息熵动态研究[.安全与环境学报，2004，4(4)：41244.[5]严志强，路汝成.基于信息熵的小城镇土地利用结构变化及其持续利用研究_以广西北流市为例.广西师范学院学报（自然科学版），2008，25（4）：70-74 [6]傅祖芸.信息论基础理论与应用.北京:电子工业出版社，2001 [7]Pawlak Z.Rough sets：probabilistic versus deterministic approach.International Journal of Man-Machine Studies，1998，29：81-95 [8]纪滨.信息熵在粗糙集中衍生的几个概念.计算机技术与发展，2008，18（6）：73-75 [9]俞一彪.基于互信息理论的说话人识别研究.[博士学位论文]，上海大学，2004 [10]钟艳如，郭德伟，黄美发.信息熵原理在表面粗糙度Ra不确定度计算中的应用.机械科学与技术，2009，28（6）：829-833
第二篇：信息论修改版
信息论局限性分析以及在光通信中的应用
摘要
从新的角度指出了香农信息论的局限性，这些局限性主要体现在对信息的可靠性和完备性的忽视，通过例子分析进一步说明信息可靠性对于度量信息的重要意义。指出局限性产生的根源在于对信息多重不确定性的忽视，以及对概率值本身存在不确定性的认识不足。后半部分介绍了信息论在光通信领域的一些应用。
关键词：信息论，通信，可靠性，纠错，概率，光通信。
Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文
第一小节：信息论的局限性分析 1.引言
香农(Shannon)信息论对通信技术的发展具有深远的影响。但是信息论的应用一直限于通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义、语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者发现信息论的局限性一个重要体现就是忽视信息的可靠性，缺乏对可靠性的度量。
2.香农信息论针对现实问题的局限性
香农对信息的定义，对信息的度量，以及他的信息论，基本上都是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。香农将信息定义为消除不确定性的东西，与他研究通信中的条件熵不增加有密切关系。
现信息论存在如下局限性：第一，信息论没有考虑信息的可靠性问题，而现实中的信息大多数都是不可靠的。而信息的可靠性却是信息价值的前提，比如情报类信息的可靠性就非常重要。信息的可靠性是信息的主要指标，但是信息论没有考虑，仅仅是考虑到信息的不确定性。
第二，信息的完备性问题，信息论并没有考虑信息并不完全发送的情况，而现实中许多信息都是不完全（完备）、片面的，需要融合。在没有更加完备信息的场合下，人们往往权宜地将片面的信息姑且当作全面的信息来对待这一些简单的信道并联和串联可以合为一个信道，比如简单的两个串联信道的信道矩阵可以直接通过相乘而当作一个信道，但是信息论没有考虑信息复杂的多重传递，比如，信息从一个信源传递到中间信宿，而中间信宿又转发给一个最终信宿，而且在这个转换的过程中，信息的表示发生了改变，在这种多重传递的过程中，可能会产生多重不确定性。
第三，现实中的信息往往需要经过这种多重传递，导致多重不确定性。比如，当然如果考虑前面提到的模糊集合等，这种多重不确定性性将更加复杂。信息论没有考虑到信道矩阵的传递概率等参数的复杂性。现实中这种传输特性可能不是确定不变的，而可能是随机变量，甚至可能更加复杂。
第四，信息论中以通信为研究对象，其传输的信号本身是确定的，然而现实中却存在许多不确定性问题。在通信中，定义信息为消除不确定性的东西无可厚非，但是面对本身不确定的信息，我们如果去消除其不确定性。
第五，信息论中的条件相对而言是简单的，而且多是以条件概率来表示的。然而现实中许多中的信息的条件是比较复杂的，比如，给出的条件可能是知识、规律等等，在已知先验概率的情况下，又得知某一个规律，通过这个规律并不能简单得出相应的条件概率来。
第六，信息论用先验概率来表示已知的信息，然而，现实中，许多已知的信息并不是可以用先验概率来表示，比如可能包含未知数，可能是某个约束条件，可能是某个规律，甚至可能是完全未知的。3.实际应用分析
实例1：甲从乙处得到情报：“敌人明天早晨百分之九十九要发动进攻”。此后，甲同样从丙处得到相同的情报。从信息论角度来看，对于问题“敌人明天早晨是否要发动进攻”，不确定性是一样的，因而信息量一样，丙似乎并不提供新的信息。但是人们依然会感觉从丙处得到了信息，这种信息使得甲更加确定“敌人明天早晨百分之九十九要发动进攻”，这一例子进一步说明信息的可靠性应当是一个度量信息的指标。
实例2：当获得消息“所有的事件都是等概率发生的”的时候，对这句话的内容是什么，或者对于问题“所有的事件发生呈现什么样的概率分布”而言，它消除了不确定性。但是对于什么事件将发生情况，不可能是更加确定，信息量不可能增加而只可能是减少。这一点说明信息量仅仅是针对于消息本身的不确定性而言的，而该消息衍生出来的问题的不确定性并不与消息的信息量有必然联系，因此，信息熵这一度量的应用范围也是有限的，并不适合应用在日常的信息问题中。
通过以上的例子分析，暴露出信息论的一些局限性，为挖掘信息论局限性的根源提供了基础。
4.信息论局限性的本质及结论
由以上例子分析可以得出，信息论没有考虑信息的可靠性，而信息的可靠性是一个非常重要的指标。在通信中，由于消息是确定的，因此，不确定性的消除与可靠性的增加有一定的联系。实际上，我们要消除不确定性是很容易的事情，而香农信息论的消除不确定性是以保证信息的可靠性和完备性为基础的，比如利用纠错码纠错，利用后验概率来增强信息的完备性。假如把信息的确定性当作唯一的指标，抛开信息的可靠性问题，则可以随便确定某一事件的概率为1，其余事件的概率为0 就可以了。再假如，我们把信息的确定性当作首要考虑的目标，其次考虑其可靠性，则我们也可以指定概率最大的事件概率为1，其余事件概率为0。这样首先保证了确定性，可靠性也在一定程度上得到了满足。如果如此，信息论和信息处理就变得相当的简单了。显然现实中人们不是这样的。根据以上多处的分析，可靠度是信息的一个首要指标。以上的信息的可靠性、完备性以及经典集合的不切和实际都可以归结为对信息的多重不确定性的忽视，比如，在实例分析中，我们发现不可靠的信息，它的信息表示本身是不固定的，其概率值可能是随机变量，不完备的信息也是类似。对于模糊集和粗糙集之类的非经典集合，则可以认为是某一个集合包含的对象不确定而造成的，比如，在粗糙集中，对象可能属于也可能不属于集合X，对象a 是否属于集合X 就具有随机不确定性。其中一些不确定性与信息论原有的不确定性叠加起来就可能产生多重不确定性。这里的不确定性除了随机不确定性、模糊不确定性，还可能有更多形式的不确定性，包括某些不完全的约束条件造成的不确定性。可见，对信息多重不确定性的忽视是信息论的局限性的重要的根源。对信息可靠性的忽视也是信息论无法广泛应用的重要原因。鉴于所有的信息都很难可靠和完备，所以我们可以将可靠性和完备性问题总归为信息的相对性问题。实际上，现实中人们很难得出完全可靠的信息，只有权宜地采用相对可靠的信息，当有更加可靠的信息的时候，人们会利用更可靠的信息取代先验的信息。由于可靠性也与概率值的不确定性有关系，对信息可靠性的度量也可以借鉴香农对信息不确定性的度量，然而，计算概率的不确定性会比信息熵的计算复杂，因为概率需要满足更多的约束条件。
当然，信息论也与现实信息问题具有很强相似性，信息论的方法很值得在现实的信息问题的研究中（包括信息的可靠性的研究中）借鉴，总而言之，信息论的局限性是源于信息论是针对通信问题的，其模型本身具有的局限性。当然也与概率论的局限性有关系，由于对概率值随机性和多重随机不确定性研究的不足，使得人们容易陷入“概率（包括联合概率分布）就是确定值，而不可能是随机变量”，“给定条件就可以得出条件概率”等思维定势中，而这些思维定势只是适用于现实概率论问题中的一部分。由于信息论的这些限制条件能够较好地满足通信问题，使得它能够在通信领域得到成功的应用，而推广到一般的信息领域则需要针对它的局限性解除相应的约束条件。
第二小节．信息论在光通信中的应用
自香农(C．E．Shannom)提出信息理论以来，信息论已经成为通信理论中重要而又基础的一部分。如今，通信中越来越多的使用光作为传输媒质以及光器件的快速发展，电信道已被光信道所取代。光信道的信息容量的大小已成为人们关心的课题。对此进行分析和比较。
光量子信道的信道容量从信息论的角度可以认为光量子信道是信号和噪声叠加的加性信道。假设在频率
fi时，输人信号产生的平均量子数为xi，噪声产生的平均量子数为ni可得，对于频率，输出信号的平均量子数为
y=x+niii
p(xi)p()p(yi)，ni，假设xi与ni统计独立。设xi，ni，p(yi的概率密度函数为yi且x)i=p(ni)在特定频率 上，光量子信道的平均互信息:
I(y;xi)H(y)H(ni)ii（*）
因为固定时间间隔t，t1/fi，所以单位时间内的平均互信息:
1I(X;Y)I(y;xi)H(Y)H(n)iti0
在f1上，假设接收信号的光量子的离散能谱为Eihfi(h是普朗克常数).由于热辐射，光量子的波动服从Gibb分布
p(ni)1exp[hfi/kT]exp[nihfi/kT]
2H(n)Kt/3hln2 可得，光量子的波动引起的噪声熵:信号最大熵：
H(Y)p(y)logp(y)dfii03hln2yi0
C由式（*）可得光量子信道容量：
2kTe2Kt3hln2[(16hs1/2)1]kT
6hs12当hfkT,即信噪比(kT)时，光量子信道的信道容量极限值为：
C光量子=2S1/2)ln23h
(1)
(6hs12当信噪比很小(kT)时，光量子信道的信道容量极限值为
C经典=SN0ln2
(2)
此式正是由香农公式得到的信道容量极限值式，其中N0KT。
结论
从以上分析可看出，对于光量子信道来言，当频率很高时，信道容量的极限值是式(1)，而不是式(2)。只有当信噪比很低时，光量子信道的极限值才等于香农信道容量公式的极限值。因此，对于窄带的光量子信道，带宽ff（中心频率)时，可计算得光量子信道的极限值就等于香农信道容量公式。
参考文献
[1]朱雪龙著．应用信息论基础．清华大学出版社.[2]傅祖芸著．信息论基础理论与应用．电子工业出版社，2001(8).[3]陶纯堪，陶纯匡著．光学信息论．科学出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].钟义信．信息科学原理[M]．福州：福建人民出版社，1988． [6].鲁晨光．广义信息论[M]．中国科技大学出版社，1993.[7].王勇，香农信息定义分析与改进[OL]，www.xiexiebang.com, 2007年11月.
第三篇：信息论与编码
信息论与编码的应用
信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。【关键词】信息论 电子信息工程 通信 网络
一、信息论应用
人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多 科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指 导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通 的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型加以深入研究。例如信息论在一下几个方面都得到了广泛的应用。
信息论在数据压缩理论中的应用
数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。
数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。
数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。
信息论在密码学中的应用
密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。
近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础
信息论在数字移动通信系统中的应用
数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。信息论在统计中的应用
信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量 [2]。
在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。
编码技术在调制解调技术中的应用
在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。
编码技术在快速通信领域中的应用
编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。
3.7信息论在其他领域中的应用
现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。
比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。
结 论
信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。信息论方法具有普遍的适用性，因此可以把课上学习的内容和我们的日常生活紧密结合起来，从而提高学习的兴趣。例如，在学习多符号离散信源时，可以和日常生活中大家在电视上见到的摇奖场面联系起来。一台简单的摇奖机，从十个号码球中摇出一个数字号码，可以看作一个单符号离散信源，它有十个符号，从0至9。如果需要摇出七位数的体育彩票号码，这可以看成是一个多符号信源，一次同时发出七个符号，而且是单符号离散信源的7次扩展。又如，在学习汉明距离时，可以和英语学习联系起来。在英语中拼写非常接近的单词很容易混淆或者拼写错误，用信息论的观点来看就是两个码字的汉明距离（不同位的个数）太小，因此抗干扰的能力差。
由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，信息论对哲学领域也有深远的影响。由此可见，《信息论与编码》的课程对我们至关重要！
参考文献
[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 维芬，云娜.信息论基本问题简述[J]．信息与控制.2006
第四篇：信息论发展
信息论的发展与现代信息论
现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于 1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过 8 年的努力,1948 年,来自贝尔研究所的 Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949 年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。
信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946 年的计算机和 1947 年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。
世纪 50 年代,信息论向各门学科发起冲击；60 年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息论迈入第二个阶段。我国数学家和信息科学专家在二十世纪五十年代将信息论引进中国,经过六十余年的不懈努力,尤其从二十世纪八十年代中期以来,一批华裔信息论专家在国际学术界崛起,以周炯盘院士为代表,为信息论的发展作出了自己的贡献。到 70 年代,由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题。人们越来越认识到信息的重要性,认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便使它能成为人类各种活动中所碰到的信息问题的基础理论,从而推动其他许多新兴学科进一步发展。
虽然 1948 年香农就发明了信息论,但到 90 年代才找到或者再发现能够逼近香农极限的 turbo 码和 LDPC 码；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的,在实际系统中,这些条件可能不能满足,因而不可能达到香农所得出的一些结论或界限,举一个例子,信源信道分离定理是在数据分组长度无穷大和静态信道条件下得到的,但实际系统中的编码可能会有分组长度和限制,信道也可能是时变的,因而产生出最近较新的所谓联合信源信道编码理论；最后一个是局限是点对点通信的局限性,因为通信的构架存在网络结构和多用户的结构,所以对于网络和多用户的情形,香农并没有更深入的研究,虽然他在 50 年代研究了 two way channel,但并未得出有意义的结果,目前网络信息论或多用户信息论是一个比较活跃的领域,主要的有意义的结论在广播和多址接入信道,但都是退化的情形才成立的结论,更一般的情形,还有一些其他如中继信道等,还有待进一步研究。
参考文献：
叶中行,信息论基础[J],高等教育出版社 卢侃,从 Shannon 信息论到认知信息论[A],哈尔滨工程大学学报,第 32 卷第 8 期.仇佩亮,信息论及其应用［M］,杭州：浙江大学出版社,1999 谢邦荣,彭征明,信息论在作战效能评估中的应用研究 [A] ,北京, 2007 邵军虎,量子 LDPC 纠错码算法及应用方案研究,西安电子科技大学[D] ,2012
汪洋,赵万民,人居环境研究的信息论科学基础及其图谱意象系统[J],2012 PKU CSSCI ,香农信息定义分析与改进[J],2008 年 8 期, 洪洁,范修斌,范明钰,信息论及其在序列密码设计应用中的几点认识[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知识改变命运
第五篇：信息论论文[定稿]
湖南科技大学课程结课论文
《信息论与编码A》
学院：信息与电气工程学院 专业： 班级： 学号： 姓名：
信息论基础
摘要：从对信息论的一些基础知识汇总，信息的定义，信息论的发展；还有信源与信息熵，信道与信道容量，编码这些关键知识点做一个系统性的回顾，再结合通信领域的知识进行分析。关键字：信息论；
引言：
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。
名称由来：
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
发展简史：
信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。
切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。
20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。
由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。
信息的性质：
信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。
基本内容：
传统的通信系统如电报、电话、邮递分别是传送电文信息、语声信息和文字信息的；而广播、遥测、遥感和遥控等系统也是传送各种信息的，只是信息类型不同，所以也属于信息系统。有时，信息必须进行双向传送，例如电话通信要求双向交谈，遥控系统要求传送控制用信息和反向的测量信息等。这类双向信息系统实际上是由两个信息系统构成。所有信息系统都可归纳成如图所示的模型来研究它的基本规律。
信源：信息的源泉或产生待传送的信息的实体，如电活系统中的讲话者，对于电信系统还应包括话筒，它输出的电信号作为含有信息的载体。
信息熵：所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H.Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。
信宿：信息的归宿或接受者，在电话系统中这就是听者和耳机，后者把接收到的电信号转换成声音，供听者提取所需的信息。信道：传送信息的通道，如电话通信中包括中继 器在内的同轴电缆系统，卫星通信中地球站的收发信机、天线和卫星上的转发器等。
编码器：在信息论中是泛指所有变换信号的设备，实际上就是终端机的发送部分。它包括从信源到信道的所有设备，如量化器、压缩编码器、调制器等，使信源输出的信号转换成适于信道传送的信号。
译码器：是编码器的逆变换设备，把信道上送来的信号转换成信宿能接受的信号，可包括解调器、译码器、数模转换器等。
哈夫曼码：哈夫曼码是用概率匹配方法进行信源编码。它有两个明显的特点：一是哈夫 曼的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码；二是缩减信源的最后两个码字总是最后一位不同，从而保证了哈夫曼码是即时码
当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。从定量意义上说，应使系统在规定的失真或基本无失真的条件下，传送最大的信息率；或者在规定信息率的条件下，失真最小。计算这最大信息率并证明达到或接近这一值的编译码器是存在的，就是信息论的基本任务。只讨论这样问题的理论可称为仙农信息论般认为信息论的内容尚应更广泛一些，即包括提取信息和保证信息安全的理论。后者就是估计理论、检测理论和密码学。
信息论是建立在概率论基础上而形成的，也就是从信源符号和信道噪声的概率特性出发的。这类信息通常称为语法信息。其实，信息系统的基本规律也应包括语义信息和语用信息。语法信息是信源输出符号的构造或其客观特性所表现与信宿的主观要求无关，而语义则应考虑各符号的意义，同样一种意义，可用不同语言或文字来表示，各种语言所包含的语法信息可以是不同的。一般地说，语义信息率可小于语法信息率；电报的信息率可低于表达同一含义的语声的信息率就是一个例子。更进一步，信宿或信息的接受者往往只需要对他有用的信息，他听不懂的语言是有意义的，但对他是无用的。所以语用信息，即对信宿有用的信息一般又小于语义信息。倘若只要求信息系统传送语义信息或语用信息，效率显然会更高一些。在目前情况下，关于语法信息，已在概率论的基础上建立了系统化的理论，形成一个学科；而语义和语用信息尚不够成熟。因此，关于后者的论述通常称为信息科学或广义信息论，不属于一般信息论的范畴。概括起来，信息系统的基本规律应包括信息的度量、信源特性和信源编码、信道特性和信道编码、检测理论、估计理论以及密码学。
信息与通信：
信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。
点击咨询 