信息论基础-理论教学大纲

第一篇：信息论基础-理论教学大纲

《信息论基础》课程教学大纲

课程编号：（0531305）课程名称：信息论基础

参考学时：48

其中实验或上机学时：0 先修课及后续课：

先修课：概率论、信号与系统

后续课：通信原理、数字图像处理、语音信号处理

说明部分

1．课程性质

本课程是电子信息类专业的技术基础课 2．课程教学的目的及意义

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。

本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。3．教学内容及教学要求 教学内容：

该课程是电子信息工程、信息安全工程专业的专业基础课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。

信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：

了解通信系统各部分的主要组成以及作用、香农的三大编码定理；

掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4.教学重点、难点 教学重点：

信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：

典型序列以及由此推导出的香农三大编码定理即逆定理。

5.教学方法及教学手段

课堂讲学为主，习题讲解为辅。6.教学学材及主要参考书

1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2011年 2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年 3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年

二、正文部分 第一章：绪论

一、教学要求

了解信息论研究对象、目的、发展简史与现状；

了解通信系统的模型以及通信系统各部分的主要组成以及作用

二、教学内容

第一节 信息的概念

知识要点：信息的概念及自信息 第二节 信息论研究的对象、目的和内容 知识要点：信息论研究的对象、目的和内容 第三节：信息论发展简史 知识要点：信息论发展简史

三、本章学时数

2学时

第二章：离散信源及其测度

一、教学要求

了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

二、教学内容

第一节 信源的数学模型及分类

知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质

知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源

知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。

第四节 马尔可夫信源

知识要点：马尔可夫信源定义，马尔可夫信源熵 第五节 信息剩余度

知识要点：信息剩余度以及自然语言熵

三、本章学时数

10学时

第三章：离散信道及其信道容量

一、教学要求

了解一般信道容量计算。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

二、教学内容

第一节 信道数学模型及分类

知识要点：信道数学模型及不同的分类，信道矩阵。第二节平均互信息及特点

知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节 信道容量及一般计算方法

知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量

知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。

三、本章学时数

8学时

第四章：无失真信源编码

一、教学要求

了解其它一些无失真信源编码方法。

理解渐近等分割性及典型序列，算术编码方法及具体实现方案；

掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

二、教学内容

第一节 等长码及等长信源编码定理

知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。

第二节 变长码及变长信源编码定理

知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。

第三节 编码方法

知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。

三、本章学时数

10学时

第五章：有噪信道编码

一、教学要求

了解检错码与纠错码的方法。理解渐近等分割性及典型序列。

掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。

二、教学内容

第一节 错误概率与译码规则和编码方法

知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。

第二节 有噪信道编码定理

知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码

知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。

三、本章学时数

14学时

第六章：总复习

一、教学要求

总结掌握信息论基础课程学所内容

二、本章学时数

2学时

总学时48学时

第一章 第二章 第三章 第四章 第五章 第六章 绪论

2学时 离散信源及其测度

10学时 离散信道及其信道容量

8学时 无失真信源编码

12学时 有噪信道编码

14学时 复习

2学时

考核方案：

期末考试60%；考核形式：考试（闭卷笔试），教学环境：课堂 作业与提问10%； 学习笔记10%；平时测验20% 4

作业和提问10％：提问采用随堂随机形式，主要围绕学生的实践能力培养，由于本课程没有实验，如信道容量的计算，信源和信道编码等的程序实现，采取在课堂上布置思考题，让学生课后思考算法实现的步骤，然后在课堂上简述。

学习笔记10％：主要是考查学生参与学习的过程，包括课后搜集整理资料的过程与撰写简要的综述能力。

平时测验20％：随堂测验，不定期抽取重要知识点检测学生掌握情况，2～3次，根据学生对知识的掌握情况，次数可以酌情变化，根据测试批改的结果，对典型错误进行详细讲解。主要考察学生的分析问题和解决问题的能力，选取的测试内容主要包括信源熵和信道容量的计算、具体的信源编码，信道的纠错编码和纠错能力的计算等，加深对课堂理论知识的理解。

期末考试60％：卷面100分，采取笔试闭卷形式，规定卷面55分以上，总评才可以合格。题型主要有，问答、填空、判断、作图、计算和证明等形式，其中基本难度题分值约为50％，中等难度题约40％，较难题量约为10％。

教研室：

电子信息教研室

执笔人：

系主任审核签名： 谭敏

编写时间2005.2

修改时间2014.1

第二篇：信息论与编码教学大纲

《信息论与编码》教学大纲

电子信息工程专业（本科）

课程编号：（）

课程名称：信息论与编码 参考学时：52 其中实验或上机学时：0 说明部分

1．课程性质

本课程是电子信息类专业的技术基础课 2．课程教学的目的及意义

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论和编码》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。

本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。3．教学内容及教学要求

该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。

信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：

了解通信系统各部分的主要组成以及作用、香农的三大编码定理；

掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4.教学重点、难点 教学重点：

信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：

典型序列以及由此推导出的香农三大编码定理及其逆定理。5.教学方法及教学手段

课堂讲学为主，习题讲解为辅。6.教学学材及主要参考书

1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2001年 2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年 3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年 7.其它

考核形式：考试（笔试），教学环境：课堂

本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。

总学时数

课程总学时数： 52 其中，课堂讲授： 46 作业：6

二、正文部分 第一章：绪论

一、教学要求

了解信息论研究对象、目的、发展简史与现状；

了解通信系统的模型以及通信系统各部分的主要组成以及作用

二、教学内容

第一节 信息的概念

知识要点：信息的概念及自信息 第二节 信息论研究的对象、目的和内容 知识要点：信息论研究的对象、目的和内容 第三节：信息论发展简史 知识要点：信息论发展简史

三、本章学时数 2学时

第二章：离散信源及其测度

一、教学要求

了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

二、教学内容

第一节 信源的数学模型及分类

知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质 知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源

知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源

知识要点：马尔可夫信源定义，马尔可夫信源熵 第四节 信息剩余度

知识要点：信息剩余度以及自然语言熵

三、本章学时数 8学时

第三章：离散信道及其信道容量

一、教学要求

了解一般信道容量计算。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

二、教学内容

第一节 信道数学模型及分类

知识要点：信道数学模型及不同的分类，信道矩阵。第二节平均互信息及特点

知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节 信道容量及一般计算方法

知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量

知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。

三、本章学时数 6学时

第四章：无失真信源编码

一、教学要求

了解其它一些无失真信源编码方法。

理解渐近等分割性及典型序列，算术编码方法及具体实现方案；

掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

二、教学内容

第一节 等长码及等长信源编码定理

知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。

第二节 变长码及变长信源编码定理

知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。

第三节 编码方法 知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。

三、本章学时数 10学时

第五章：有噪信道编码

一、教学要求

了解检错码与纠错码的方法。理解渐近等分割性及典型序列。

掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。

二、教学内容

第一节 错误概率与译码规则和编码方法

知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。

第二节 有噪信道编码定理

知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码

知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。

三、本章学时数 10学时

第六章：波形信源和波形信道

一、教学要求

了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。

掌握连续信源和波形信源的信息测度。

二、教学内容

第一节 连续信源和波形信源的信息测度

知识要点：连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。第二节 连续信道和波形信道的分类

知识要点：按噪声统计特性分类，按噪声对信号的作用和功能分类。第三节 连续信道和波形信道的信息传输率

知识要点：单符号连续信道的平均交互信息，连续信道的平均交互信息的特性。第四节 连续信道和波形信道的信道容量

知识要点：单符号高斯加性信道的信道容量，单符号非高斯加性信道的信道容量，多维无记忆高斯加性信道的信道容量。

三、本章学时数 8学时

第七章：限失真信源编码

一、教学要求

了解保真度准则下的信源编码定理

掌握失真度与平均失真度，信息率失真函数与特性，R(D)函数的参数表述及其计算。

二、教学内容

第一节 失真度与平均失真度

知识要点：失真度与平均失真度，D失真许可试验信道。第二节 信息率失真函数与特性

知识要点：信息率失真函数R(D)的定义，离散信源的R(D)函数，高斯连续信源的R(D)函数，R(D)的定义域和单调性等性质。

第三节 信息率失真函数的参量表述与计算

知识要点：信息率失真函数的计算 第四节 保真度准则下的信源编码定理

知识要点：失真限典型序列，失真信源编码定理和编码逆定理，有失真信源编码定理的实用意义。

三、本章学时数 8学时

执笔人：

胡学友

教研室：XXX

系主任审核签名：XXX 5

第三篇：信息论修改版

信息论局限性分析以及在光通信中的应用

摘要

从新的角度指出了香农信息论的局限性，这些局限性主要体现在对信息的可靠性和完备性的忽视，通过例子分析进一步说明信息可靠性对于度量信息的重要意义。指出局限性产生的根源在于对信息多重不确定性的忽视，以及对概率值本身存在不确定性的认识不足。后半部分介绍了信息论在光通信领域的一些应用。

关键词：信息论，通信，可靠性，纠错，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小节：信息论的局限性分析 1.引言

香农(Shannon)信息论对通信技术的发展具有深远的影响。但是信息论的应用一直限于通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义、语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者发现信息论的局限性一个重要体现就是忽视信息的可靠性，缺乏对可靠性的度量。

2.香农信息论针对现实问题的局限性

香农对信息的定义，对信息的度量，以及他的信息论，基本上都是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。香农将信息定义为消除不确定性的东西，与他研究通信中的条件熵不增加有密切关系。

现信息论存在如下局限性：第一，信息论没有考虑信息的可靠性问题，而现实中的信息大多数都是不可靠的。而信息的可靠性却是信息价值的前提，比如情报类信息的可靠性就非常重要。信息的可靠性是信息的主要指标，但是信息论没有考虑，仅仅是考虑到信息的不确定性。

第二，信息的完备性问题，信息论并没有考虑信息并不完全发送的情况，而现实中许多信息都是不完全（完备）、片面的，需要融合。在没有更加完备信息的场合下，人们往往权宜地将片面的信息姑且当作全面的信息来对待这一些简单的信道并联和串联可以合为一个信道，比如简单的两个串联信道的信道矩阵可以直接通过相乘而当作一个信道，但是信息论没有考虑信息复杂的多重传递，比如，信息从一个信源传递到中间信宿，而中间信宿又转发给一个最终信宿，而且在这个转换的过程中，信息的表示发生了改变，在这种多重传递的过程中，可能会产生多重不确定性。

第三，现实中的信息往往需要经过这种多重传递，导致多重不确定性。比如，当然如果考虑前面提到的模糊集合等，这种多重不确定性性将更加复杂。信息论没有考虑到信道矩阵的传递概率等参数的复杂性。现实中这种传输特性可能不是确定不变的，而可能是随机变量，甚至可能更加复杂。

第四，信息论中以通信为研究对象，其传输的信号本身是确定的，然而现实中却存在许多不确定性问题。在通信中，定义信息为消除不确定性的东西无可厚非，但是面对本身不确定的信息，我们如果去消除其不确定性。

第五，信息论中的条件相对而言是简单的，而且多是以条件概率来表示的。然而现实中许多中的信息的条件是比较复杂的，比如，给出的条件可能是知识、规律等等，在已知先验概率的情况下，又得知某一个规律，通过这个规律并不能简单得出相应的条件概率来。

第六，信息论用先验概率来表示已知的信息，然而，现实中，许多已知的信息并不是可以用先验概率来表示，比如可能包含未知数，可能是某个约束条件，可能是某个规律，甚至可能是完全未知的。3.实际应用分析

实例1：甲从乙处得到情报：“敌人明天早晨百分之九十九要发动进攻”。此后，甲同样从丙处得到相同的情报。从信息论角度来看，对于问题“敌人明天早晨是否要发动进攻”，不确定性是一样的，因而信息量一样，丙似乎并不提供新的信息。但是人们依然会感觉从丙处得到了信息，这种信息使得甲更加确定“敌人明天早晨百分之九十九要发动进攻”，这一例子进一步说明信息的可靠性应当是一个度量信息的指标。

实例2：当获得消息“所有的事件都是等概率发生的”的时候，对这句话的内容是什么，或者对于问题“所有的事件发生呈现什么样的概率分布”而言，它消除了不确定性。但是对于什么事件将发生情况，不可能是更加确定，信息量不可能增加而只可能是减少。这一点说明信息量仅仅是针对于消息本身的不确定性而言的，而该消息衍生出来的问题的不确定性并不与消息的信息量有必然联系，因此，信息熵这一度量的应用范围也是有限的，并不适合应用在日常的信息问题中。

通过以上的例子分析，暴露出信息论的一些局限性，为挖掘信息论局限性的根源提供了基础。

4.信息论局限性的本质及结论

由以上例子分析可以得出，信息论没有考虑信息的可靠性，而信息的可靠性是一个非常重要的指标。在通信中，由于消息是确定的，因此，不确定性的消除与可靠性的增加有一定的联系。实际上，我们要消除不确定性是很容易的事情，而香农信息论的消除不确定性是以保证信息的可靠性和完备性为基础的，比如利用纠错码纠错，利用后验概率来增强信息的完备性。假如把信息的确定性当作唯一的指标，抛开信息的可靠性问题，则可以随便确定某一事件的概率为1，其余事件的概率为0 就可以了。再假如，我们把信息的确定性当作首要考虑的目标，其次考虑其可靠性，则我们也可以指定概率最大的事件概率为1，其余事件概率为0。这样首先保证了确定性，可靠性也在一定程度上得到了满足。如果如此，信息论和信息处理就变得相当的简单了。显然现实中人们不是这样的。根据以上多处的分析，可靠度是信息的一个首要指标。以上的信息的可靠性、完备性以及经典集合的不切和实际都可以归结为对信息的多重不确定性的忽视，比如，在实例分析中，我们发现不可靠的信息，它的信息表示本身是不固定的，其概率值可能是随机变量，不完备的信息也是类似。对于模糊集和粗糙集之类的非经典集合，则可以认为是某一个集合包含的对象不确定而造成的，比如，在粗糙集中，对象可能属于也可能不属于集合X，对象a 是否属于集合X 就具有随机不确定性。其中一些不确定性与信息论原有的不确定性叠加起来就可能产生多重不确定性。这里的不确定性除了随机不确定性、模糊不确定性，还可能有更多形式的不确定性，包括某些不完全的约束条件造成的不确定性。可见，对信息多重不确定性的忽视是信息论的局限性的重要的根源。对信息可靠性的忽视也是信息论无法广泛应用的重要原因。鉴于所有的信息都很难可靠和完备，所以我们可以将可靠性和完备性问题总归为信息的相对性问题。实际上，现实中人们很难得出完全可靠的信息，只有权宜地采用相对可靠的信息，当有更加可靠的信息的时候，人们会利用更可靠的信息取代先验的信息。由于可靠性也与概率值的不确定性有关系，对信息可靠性的度量也可以借鉴香农对信息不确定性的度量，然而，计算概率的不确定性会比信息熵的计算复杂，因为概率需要满足更多的约束条件。

当然，信息论也与现实信息问题具有很强相似性，信息论的方法很值得在现实的信息问题的研究中（包括信息的可靠性的研究中）借鉴，总而言之，信息论的局限性是源于信息论是针对通信问题的，其模型本身具有的局限性。当然也与概率论的局限性有关系，由于对概率值随机性和多重随机不确定性研究的不足，使得人们容易陷入“概率（包括联合概率分布）就是确定值，而不可能是随机变量”，“给定条件就可以得出条件概率”等思维定势中，而这些思维定势只是适用于现实概率论问题中的一部分。由于信息论的这些限制条件能够较好地满足通信问题，使得它能够在通信领域得到成功的应用，而推广到一般的信息领域则需要针对它的局限性解除相应的约束条件。

第二小节．信息论在光通信中的应用

自香农(C．E．Shannom)提出信息理论以来，信息论已经成为通信理论中重要而又基础的一部分。如今，通信中越来越多的使用光作为传输媒质以及光器件的快速发展，电信道已被光信道所取代。光信道的信息容量的大小已成为人们关心的课题。对此进行分析和比较。

光量子信道的信道容量从信息论的角度可以认为光量子信道是信号和噪声叠加的加性信道。假设在频率

fi时，输人信号产生的平均量子数为xi，噪声产生的平均量子数为ni可得，对于频率，输出信号的平均量子数为

y=x+niii

p(xi)p()p(yi)，ni，假设xi与ni统计独立。设xi，ni，p(yi的概率密度函数为yi且x)i=p(ni)在特定频率 上，光量子信道的平均互信息:

I(y;xi)H(y)H(ni)ii（*）

因为固定时间间隔t，t1/fi，所以单位时间内的平均互信息:

1I(X;Y)I(y;xi)H(Y)H(n)iti0

在f1上，假设接收信号的光量子的离散能谱为Eihfi(h是普朗克常数).由于热辐射，光量子的波动服从Gibb分布

p(ni)1exp[hfi/kT]exp[nihfi/kT]

2H(n)Kt/3hln2 可得，光量子的波动引起的噪声熵:信号最大熵：

H(Y)p(y)logp(y)dfii03hln2yi0

C由式（*）可得光量子信道容量：

2kTe2Kt3hln2[(16hs1/2)1]kT

6hs12当hfkT,即信噪比(kT)时，光量子信道的信道容量极限值为：

C光量子=2S1/2)ln23h

(1)

(6hs12当信噪比很小(kT)时，光量子信道的信道容量极限值为

C经典=SN0ln2

(2)

此式正是由香农公式得到的信道容量极限值式，其中N0KT。

结论

从以上分析可看出，对于光量子信道来言，当频率很高时，信道容量的极限值是式(1)，而不是式(2)。只有当信噪比很低时，光量子信道的极限值才等于香农信道容量公式的极限值。因此，对于窄带的光量子信道，带宽ff（中心频率)时，可计算得光量子信道的极限值就等于香农信道容量公式。

参考文献

[1]朱雪龙著．应用信息论基础．清华大学出版社.[2]傅祖芸著．信息论基础理论与应用．电子工业出版社，2001(8).[3]陶纯堪，陶纯匡著．光学信息论．科学出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].钟义信．信息科学原理[M]．福州：福建人民出版社，1988． [6].鲁晨光．广义信息论[M]．中国科技大学出版社，1993.[7].王勇，香农信息定义分析与改进[OL]，www.xiexiebang.com, 2007年11月.

第四篇：信息论发展

信息论的发展与现代信息论

现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于 1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过 8 年的努力,1948 年,来自贝尔研究所的 Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949 年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。

信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946 年的计算机和 1947 年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。

世纪 50 年代,信息论向各门学科发起冲击；60 年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息论迈入第二个阶段。我国数学家和信息科学专家在二十世纪五十年代将信息论引进中国,经过六十余年的不懈努力,尤其从二十世纪八十年代中期以来,一批华裔信息论专家在国际学术界崛起,以周炯盘院士为代表,为信息论的发展作出了自己的贡献。到 70 年代,由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题。人们越来越认识到信息的重要性,认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便使它能成为人类各种活动中所碰到的信息问题的基础理论,从而推动其他许多新兴学科进一步发展。

虽然 1948 年香农就发明了信息论,但到 90 年代才找到或者再发现能够逼近香农极限的 turbo 码和 LDPC 码；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的,在实际系统中,这些条件可能不能满足,因而不可能达到香农所得出的一些结论或界限,举一个例子,信源信道分离定理是在数据分组长度无穷大和静态信道条件下得到的,但实际系统中的编码可能会有分组长度和限制,信道也可能是时变的,因而产生出最近较新的所谓联合信源信道编码理论；最后一个是局限是点对点通信的局限性,因为通信的构架存在网络结构和多用户的结构,所以对于网络和多用户的情形,香农并没有更深入的研究,虽然他在 50 年代研究了 two way channel,但并未得出有意义的结果,目前网络信息论或多用户信息论是一个比较活跃的领域,主要的有意义的结论在广播和多址接入信道,但都是退化的情形才成立的结论,更一般的情形,还有一些其他如中继信道等,还有待进一步研究。

参考文献：

叶中行,信息论基础[J],高等教育出版社 卢侃,从 Shannon 信息论到认知信息论[A],哈尔滨工程大学学报,第 32 卷第 8 期.仇佩亮,信息论及其应用［M］,杭州：浙江大学出版社,1999 谢邦荣,彭征明,信息论在作战效能评估中的应用研究 [A] ,北京, 2007 邵军虎,量子 LDPC 纠错码算法及应用方案研究,西安电子科技大学[D] ,2012

汪洋,赵万民,人居环境研究的信息论科学基础及其图谱意象系统[J],2012 PKU CSSCI ,香农信息定义分析与改进[J],2008 年 8 期, 洪洁,范修斌,范明钰,信息论及其在序列密码设计应用中的几点认识[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知识改变命运

第五篇：信息论论文[定稿]

湖南科技大学课程结课论文

《信息论与编码A》

学院：信息与电气工程学院 专业： 班级： 学号： 姓名：

信息论基础

摘要：从对信息论的一些基础知识汇总，信息的定义，信息论的发展；还有信源与信息熵，信道与信道容量，编码这些关键知识点做一个系统性的回顾，再结合通信领域的知识进行分析。关键字：信息论；

引言：

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。

名称由来：

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

发展简史：

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。

切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。

20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。

由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。

信息的性质：

信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。

基本内容：

传统的通信系统如电报、电话、邮递分别是传送电文信息、语声信息和文字信息的；而广播、遥测、遥感和遥控等系统也是传送各种信息的，只是信息类型不同，所以也属于信息系统。有时，信息必须进行双向传送，例如电话通信要求双向交谈，遥控系统要求传送控制用信息和反向的测量信息等。这类双向信息系统实际上是由两个信息系统构成。所有信息系统都可归纳成如图所示的模型来研究它的基本规律。

信源：信息的源泉或产生待传送的信息的实体，如电活系统中的讲话者，对于电信系统还应包括话筒，它输出的电信号作为含有信息的载体。

信息熵：所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H.Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

信宿：信息的归宿或接受者，在电话系统中这就是听者和耳机，后者把接收到的电信号转换成声音，供听者提取所需的信息。信道：传送信息的通道，如电话通信中包括中继 器在内的同轴电缆系统，卫星通信中地球站的收发信机、天线和卫星上的转发器等。

编码器：在信息论中是泛指所有变换信号的设备，实际上就是终端机的发送部分。它包括从信源到信道的所有设备，如量化器、压缩编码器、调制器等，使信源输出的信号转换成适于信道传送的信号。

译码器：是编码器的逆变换设备，把信道上送来的信号转换成信宿能接受的信号，可包括解调器、译码器、数模转换器等。

哈夫曼码：哈夫曼码是用概率匹配方法进行信源编码。它有两个明显的特点：一是哈夫 曼的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码；二是缩减信源的最后两个码字总是最后一位不同，从而保证了哈夫曼码是即时码

当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。从定量意义上说，应使系统在规定的失真或基本无失真的条件下，传送最大的信息率；或者在规定信息率的条件下，失真最小。计算这最大信息率并证明达到或接近这一值的编译码器是存在的，就是信息论的基本任务。只讨论这样问题的理论可称为仙农信息论般认为信息论的内容尚应更广泛一些，即包括提取信息和保证信息安全的理论。后者就是估计理论、检测理论和密码学。

信息论是建立在概率论基础上而形成的，也就是从信源符号和信道噪声的概率特性出发的。这类信息通常称为语法信息。其实，信息系统的基本规律也应包括语义信息和语用信息。语法信息是信源输出符号的构造或其客观特性所表现与信宿的主观要求无关，而语义则应考虑各符号的意义，同样一种意义，可用不同语言或文字来表示，各种语言所包含的语法信息可以是不同的。一般地说，语义信息率可小于语法信息率；电报的信息率可低于表达同一含义的语声的信息率就是一个例子。更进一步，信宿或信息的接受者往往只需要对他有用的信息，他听不懂的语言是有意义的，但对他是无用的。所以语用信息，即对信宿有用的信息一般又小于语义信息。倘若只要求信息系统传送语义信息或语用信息，效率显然会更高一些。在目前情况下，关于语法信息，已在概率论的基础上建立了系统化的理论，形成一个学科；而语义和语用信息尚不够成熟。因此，关于后者的论述通常称为信息科学或广义信息论，不属于一般信息论的范畴。概括起来，信息系统的基本规律应包括信息的度量、信源特性和信源编码、信道特性和信道编码、检测理论、估计理论以及密码学。

信息与通信：

信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。