信息论与编码

第一篇：信息论与编码

信息论与编码的应用

信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。【关键词】信息论 电子信息工程 通信 网络

一、信息论应用

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多 科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指 导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通 的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型加以深入研究。例如信息论在一下几个方面都得到了广泛的应用。

信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础

信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量 [2]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

编码技术在调制解调技术中的应用

在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

3.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

结 论

信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。信息论方法具有普遍的适用性，因此可以把课上学习的内容和我们的日常生活紧密结合起来，从而提高学习的兴趣。例如，在学习多符号离散信源时，可以和日常生活中大家在电视上见到的摇奖场面联系起来。一台简单的摇奖机，从十个号码球中摇出一个数字号码，可以看作一个单符号离散信源，它有十个符号，从0至9。如果需要摇出七位数的体育彩票号码，这可以看成是一个多符号信源，一次同时发出七个符号，而且是单符号离散信源的7次扩展。又如，在学习汉明距离时，可以和英语学习联系起来。在英语中拼写非常接近的单词很容易混淆或者拼写错误，用信息论的观点来看就是两个码字的汉明距离（不同位的个数）太小，因此抗干扰的能力差。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，信息论对哲学领域也有深远的影响。由此可见，《信息论与编码》的课程对我们至关重要！

参考文献

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 维芬，云娜.信息论基本问题简述[J]．信息与控制.2006

第二篇：信息论与编码教学大纲

《信息论与编码》教学大纲

电子信息工程专业（本科）

课程编号：（）

课程名称：信息论与编码 参考学时：52 其中实验或上机学时：0 说明部分

1．课程性质

本课程是电子信息类专业的技术基础课 2．课程教学的目的及意义

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论和编码》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。

本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。3．教学内容及教学要求

该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。

信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：

了解通信系统各部分的主要组成以及作用、香农的三大编码定理；

掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4.教学重点、难点 教学重点：

信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：

典型序列以及由此推导出的香农三大编码定理及其逆定理。5.教学方法及教学手段

课堂讲学为主，习题讲解为辅。6.教学学材及主要参考书

1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2001年 2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年 3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年 7.其它

考核形式：考试（笔试），教学环境：课堂

本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。

总学时数

课程总学时数： 52 其中，课堂讲授： 46 作业：6

二、正文部分 第一章：绪论

一、教学要求

了解信息论研究对象、目的、发展简史与现状；

了解通信系统的模型以及通信系统各部分的主要组成以及作用

二、教学内容

第一节 信息的概念

知识要点：信息的概念及自信息 第二节 信息论研究的对象、目的和内容 知识要点：信息论研究的对象、目的和内容 第三节：信息论发展简史 知识要点：信息论发展简史

三、本章学时数 2学时

第二章：离散信源及其测度

一、教学要求

了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

二、教学内容

第一节 信源的数学模型及分类

知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质 知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源

知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源

知识要点：马尔可夫信源定义，马尔可夫信源熵 第四节 信息剩余度

知识要点：信息剩余度以及自然语言熵

三、本章学时数 8学时

第三章：离散信道及其信道容量

一、教学要求

了解一般信道容量计算。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

二、教学内容

第一节 信道数学模型及分类

知识要点：信道数学模型及不同的分类，信道矩阵。第二节平均互信息及特点

知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节 信道容量及一般计算方法

知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量

知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。

三、本章学时数 6学时

第四章：无失真信源编码

一、教学要求

了解其它一些无失真信源编码方法。

理解渐近等分割性及典型序列，算术编码方法及具体实现方案；

掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

二、教学内容

第一节 等长码及等长信源编码定理

知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。

第二节 变长码及变长信源编码定理

知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。

第三节 编码方法 知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。

三、本章学时数 10学时

第五章：有噪信道编码

一、教学要求

了解检错码与纠错码的方法。理解渐近等分割性及典型序列。

掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。

二、教学内容

第一节 错误概率与译码规则和编码方法

知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。

第二节 有噪信道编码定理

知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码

知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。

三、本章学时数 10学时

第六章：波形信源和波形信道

一、教学要求

了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。

掌握连续信源和波形信源的信息测度。

二、教学内容

第一节 连续信源和波形信源的信息测度

知识要点：连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。第二节 连续信道和波形信道的分类

知识要点：按噪声统计特性分类，按噪声对信号的作用和功能分类。第三节 连续信道和波形信道的信息传输率

知识要点：单符号连续信道的平均交互信息，连续信道的平均交互信息的特性。第四节 连续信道和波形信道的信道容量

知识要点：单符号高斯加性信道的信道容量，单符号非高斯加性信道的信道容量，多维无记忆高斯加性信道的信道容量。

三、本章学时数 8学时

第七章：限失真信源编码

一、教学要求

了解保真度准则下的信源编码定理

掌握失真度与平均失真度，信息率失真函数与特性，R(D)函数的参数表述及其计算。

二、教学内容

第一节 失真度与平均失真度

知识要点：失真度与平均失真度，D失真许可试验信道。第二节 信息率失真函数与特性

知识要点：信息率失真函数R(D)的定义，离散信源的R(D)函数，高斯连续信源的R(D)函数，R(D)的定义域和单调性等性质。

第三节 信息率失真函数的参量表述与计算

知识要点：信息率失真函数的计算 第四节 保真度准则下的信源编码定理

知识要点：失真限典型序列，失真信源编码定理和编码逆定理，有失真信源编码定理的实用意义。

三、本章学时数 8学时

执笔人：

胡学友

教研室：XXX

系主任审核签名：XXX 5

第三篇：信息论与编码教案汇总[范文]

赣南师范学院物理与电子信息工程学院

教

案

授课教师：朱赟 授课对象：电子信息工程 授课学期：第六学期 总学时：32学时

使用教材：电子工业出版社《信息论与纠错编码》张丽华

第次课教案

教学组织

一、自我介绍:略

二、课程介绍：

1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。编码技术是信息论的重要分支的基础。它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。

2、知识要求：通过一个学期的学习要达到如下要求: 1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。4)掌握伪随机码的基本概念，m序列码的产生及应用。

先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。

3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。

4、考试成绩计算方法：

平时成绩 30%（主要包括作业和出勤）期终考试 70%

课程性质:

学科基础课：

①电子信息类专业基础课

②研究生考试课程 6 进度安排 4学分

32理论学时

16周 2学时/周 7 学习方法与注意事项 1、学习、目的、方法 2、课程框架（理清）3、听课与笔记 4、实用方法与公式 5、预习与复习（书、笔记）6、作业（多练习）教材及参考书 教材: 信息论与纠错编码 张丽华 电子工业出版社 参考书: [1] 王新梅等编著，《纠错码-原理与方法》（修订版），西安电子科技大学出版社，2001 年。

[2] 张宗橙编著，《纠错编码原理和应用》，电子工业出版社，2004年。[3] [日]江藤良纯等主编，《纠错编码原理及应用》，科学出版社，2004年。[4] [美]S.林著，陈太一译，《纠错编码入门》，人民邮电出版社，1976年。[5] 姜丹编著，《信息论与编码》，中国科学技术大学出版社，2001年。主要内容

（1）信息及信息的度量

（2）离散信源及信源熵,离散信道及信道容量（3）信源编码定理和信道编码定理

（4）平均失真测度和信息率失真函数,率失真编码定理（5）线性分组码（6）循环码和卷积码

三 授课.一、讲授内容

第一章 信息论基础

1.1信息的概念 1.2数字通信系统 1.3 信源及其数学模型

二、教学目的及要求

要求学生明确本课程的学习目的及要求，初步了解本课程的特点及学习方法，掌握信息的基本概念和特点，了解信息论研究的对象、目的和内容，了解信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果，激发学习信息论与编码的兴趣与热情。要求学生掌握信源的基本概念和特点及信源的描述，掌握离散无记忆信源、离散有记忆信源与马尔可夫信源的特点与描述方法。

三、教学重点

本课程的特点及学习方法、信息的基本概念与特点，信息论的主要研究对象、目的和内容。信源的分类，离散信源与连续信源，无记忆信源与有记忆信源，马尔可夫信源。

四、教学难点

如何理解信息的概念、信息论及编码技术，有记忆信源，马尔可夫信源。

五、本讲计划学时及时间分配

计划2个学时，主讲信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果。课程导入5分钟；本课程的学习目的、要求及方法介绍20分钟；信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果讲授55分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：主要介绍本课程的教学内容、教学重点与难点、考核方式及教材与参考书。

新课讲解：第一章

信息论基础 1.1信息的概念 1.2数字通信系统 1.3 信源及其数学模型 小结：

本次课主要对信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果进行讲解，给学生对《信息论与编码》这门课程有初步印象。对无记忆信源、有记忆信源、马尔可夫信源进行详细讲解，并对其中重难点进行总结概括。

七、课外学习辅导安排及作业布置

1、信息、信号、消息的定义是什么？三者的关系如何？

2、寻找阅读和信息论与编码发展的有关资料。

3、通信系统的各个主要组成部分是什么？

八、其他 无

第次课教案

一、讲授内容

第2章 信息的度量

2.1 自信息量和互信息量

二、教学目的及要求

要求学生掌握自信息量、离散信源熵、互信息的概念及其求解方法，了解数据处理中信息的变化方式，熟悉并掌握熵的一些基本性质。

三、教学重点

自信息量、离散信源熵、互信息的概念及其求解方法、数据处理中信息的变化方式、熵的性质。

四、教学难点

离散信源熵、互信息的概念及其求解方法、熵的性质。

五、本讲计划学时及时间分配

计划2个学时，主讲离散信源熵和互信息的基本概念和特点。课程导入5分钟；自信息量概念及其求解方法介绍10分钟；离散信源熵的概念及其求解方法讲授15分钟，互信息的概念及其求解方法讲授25分钟，数据处理中信息的变化方式讲授10分钟，熵的性质讲授15分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的重点进行复习，简单介绍本次课的主要内容，并提出问题：信息可否度量？信息量如何来量测？ 小结：

本次课主要对自信息量、离散信源熵、互信息、数据处理中信息的变化与熵的性质进行讲解，最好对其中涉及到的重难点进行总结概括。

七、课外学习辅导安排及作业布置 教材P41 2-3

第次课教案

一、讲授内容

第2章 信息的度量

2.2 离散集的平均自信息量

二、教学目的及要求

要求学生掌握离散序列信源熵的概念与求解方法，掌握离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。

三、教学重点

离散序列信源熵的概念与求解方法、离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。

四、教学难点

离散有记忆信源的序列熵的概念、特点与求解方法。

五、本讲计划学时及时间分配

计划2个学时，主讲离散序列信源熵。课程导入5分钟；离散序列信源熵的概念与求解方法介绍20分钟；离散无记忆信源的序列熵的基本概念、特点与求解方法讲授25分钟，离散有记忆信源的序列熵的概念、特点与求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本次课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的重点进行复习，简单介绍本次课的基本内容，问题的提出：a．如何描述离散无记忆序列信源的序列熵？b。如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏信源）的序列熵？ 小结

本次课主要对离散无记忆信源的序列熵、离散有记忆信源的序列熵进行详细讲解，最好对其中涉及到的重难点进行总结概括。

七、课外学习辅导安排及作业布置 教材P41 2-4

八、其他 无

第次课教案

一、讲授内容

第2章 信息的度量

2.3 离散集的平均互信息量

二、教学目的及要求

要求学生掌握连续信源熵和互信息的基本概念，掌握幅度连续的单个符号信源熵的求解方法，了解波形信源熵的求解方法已经最大熵定理。

三、教学重点

连续信源熵和互信息的基本概念、幅度连续的单个符号信源熵的求解方法、波形信源熵的求解方法已经最大熵定理。

四、教学难点

波形信源熵的求解方法已经最大熵定理。

五、本讲计划学时及时间分配

计划2个学时，主讲连续信源熵和互信息。课程导入5分钟；幅度连续的单个符号信源熵概念及求解方法介绍25分钟；波形信源熵的概念及求解方法讲授25分钟，最大熵定理的讲解25分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的重点进行复习，简单介绍本次课的主要内容。小结：

本次课主要对幅度连续的单个符号信源熵、波形信源熵、最大熵定理进行讲解，最后对涉及到的重难点知识进行总结概括。

七、课外学习辅导安排及作业布置 教材P43 2-20

八、其他 无

第次课教案

一、讲授内容

第1章 信息论基础 1.4 信道及其数学模型

二、教学目的及要求

要求学生掌握信道的基本概念，了解信道的分类，掌握信道参数与信道容量的定义及其求解方法。

三、教学重点

信道的基本概念、信道的分类、信道参数与信道容量的定义及其求解方法。

四、教学难点

信道参数与信道容量的定义及其求解方法

五、本讲计划学时及时间分配

计划2个学时，信道的基本概念。课程导入5分钟；信道的基本概念阐述10分钟；信道的分类讲授15分钟；信道参数的概念讲解20分钟；信道容量的定义及其求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。小结：

本次课首先介绍了本章的主要内容，并对3.1小节进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置 教材P68 3-1

八、其他 无

第次课教案

一、讲授内容

第4章 离散信道的信道容量 4.1 信道容量的定义

4.2 离散无记忆信道容量的计算 4.3 组合信道的容量

二、教学目的及要求

要求学生掌握离散单个符号信道及其容量的基本概念，无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道的信道容量定义及其求解方法。

三、教学重点

无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道的信道容量定义及其求解方法。

四、教学难点

对称DMC信道、准对称DMC信道与一般DMC信道的新的容量定义及其求解方法。

五、本讲计划学时及时间分配

计划2个学时，主讲离散单个符号信道及其容量的基本概念。课程导入5分钟；无干扰离散信道的信道容量阐述15分钟；对称DMC信道的信道容量讲授25分钟；准对称DMC信道的信道容量讲解25分钟；一般DMC信道的信道容量定义及其求解方法讲授15分钟；课堂练习及课后习题讲解10分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。小结：

本次课主要介绍了离散单个符合信道及其容量的概念，并对无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道分别进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置 教材P68 3-4

第次课教案

一、讲授内容

第6章 率失真编码

6.1 失真测度与平均失真 6.2 信息率失真函数R（D）6.3 率失真函数的计算 6.4 率失真信源编码定理

二、教学目的及要求

要求学生掌握平均失真和信息率失真函数的基本概念，掌握失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

三、教学重点

失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

四、教学难点

信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

五、本讲计划学时及时间分配

计划2个学时，主讲平均失真和信息率失真函数的基本概念。课程导入5分钟；失真函数的概念及其计算方法讲解15分钟；平均失真的概念与计算方法讲授20分钟；信息率失真函数R(D)的概念与计算方法讲解20分钟；信息率失真函数的性质讲授15分钟；信息率失真函数与信道容量的比较讲解10分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

失真在传输中是不可避免的，如何用数学方法来描述失真，并且降低失真显得格外重要。小结：

本次课主要对失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的性质、信息率失真函数与信道容量的比较分别进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置 教材P82 4-1

八、其他

第次课教案

一、讲授内容

第3章 离散信源无失真编码 3.1 概述

3.2 等长码及等长编码定理

二、教学目的及要求

要求学生了解信源编码的内容，掌握信源编码的定义，掌握无失真信源编码的内容：定长编码原理、变长编码原理。

三、教学重点

信源编码的定义、无失真信源编码的内容：定长编码原理、变长编码原理。

四、教学难点

无失真信源编码的内容：定长编码原理、变长编码原理。

五、本讲计划学时及时间分配

计划2个学时，主讲信源编码的定义、无失真信源编码的内容：定长编码原理、变长编码原理、最佳编码原理。课程导入5分钟；信源编码的定义讲解20分钟；无失真信源编码讲授20分钟；定长编码原理讲解20分钟；变长编码原理讲授20分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：怎样才能做到尽可能不失真而又快速的传递信息呢？首先需要解决一个问题：在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息，这就要引入信源编码。小结：

本次课主要对信源编码的定义，无失真信源编码的内容进行详细介绍，总结其中的重点与难点。

以课堂练习为主，教材P115 5-2

八、其他 无

第次课教案

一、讲授内容

第3章 离散信源无失真编码 3.4 变长码的编码方法

二、教学目的及要求

要求学生了解信源编码的内容，掌握信源编码的定义，最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码。

三、教学重点

最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码。

四、教学难点

最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码

五、本讲计划学时及时间分配

计划2个学时，主讲信源编码的定义、无失真信源编码的第三个内容：最佳变长编码原理。课程导入5分钟；信源编码的定义复习10分钟；无失真信源编码复习15分钟；最佳变长编码原理以及常用的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码讲授50分钟；课堂练习与习题讲解15分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：最佳码：对于某一信源和某一码符号集来说，若有一唯一可译码，其平均码长K小于所有其他唯一可译码的平均长度。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。小结：

本次课主要对最佳变长编码及实现最佳变长编码的三种方法进行详细介绍，总结其中的重点与难点。

以课堂练习为主，教材P115 5-7

八、其他 无

第次课教案

一、讲授内容

第3章 离散信源无失真编码 3.3 变长码及变长码编码定理

二、教学目的及要求

要求学生掌握限失真编码定理的内容，掌握常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。

三、教学重点

限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。

四、教学难点

常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。

五、本讲计划学时及时间分配

计划2个学时，主讲限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。课程导入5分钟；限失真编码定理讲解20分钟；常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码讲解55分钟；课堂练习与习题讲解15分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的主要知识点进行复习，对本次课的主要内容进行简单介绍。小结：

本次课主要对限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P115 5-14

第次课教案

一、讲授内容

第5章 有噪信道编码 5.1 信道编码的基本概念 5.2 译码规则及错误概率 5.3 信道编码定理

5.4 费诺引理及信道编码逆定理

二、教学目的及要求

要求学生掌握有扰离散信道的编码定理，掌握差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。

三、教学重点

有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随即编码、信道编码定理。

四、教学难点

差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。

五、本讲计划学时及时间分配

计划2个学时，主讲有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。课程导入5分钟；有扰离散信道的编码定理讲解20分钟；差错和差错控制系统分类讲解15分钟；矢量空间与码空间讲授15分钟；随机编码讲授15分钟；信道编码定理讲授15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

信道编码的目的是为了改善通信系统的传输质量，对不同类型的信道，要对症下药，设计不同类型的信道编码，才能收到良好效果。小结：

本次课主要对有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-

1、6-2

八、其他 无

第次课教案

一、讲授内容

第7章 线性分组码

7.1 纠错码的基本概念

7.3 线性分组码的编码

二、教学目的及要求

要求学生掌握纠错编码码的基本原理与分析方法（纠错编码的基本思路）、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码

三、教学重点

纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码。

四、教学难点

纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码。

五、本讲计划学时及时间分配 计划2个学时，主讲纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码。课程导入5分钟；纠错编码码的基本原理与分析方法讲解25分钟；纠错译码的基本原理与分析方法讲解20分钟；最优译码讲授20分钟；最大似然译码讲授15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

检错与纠错原理：一旦1→0，0→1，接收端无法发现错误，插入1位监督码后具有检出1位错码的能力，但不能予以纠正。在只有1位错码的情况下，可以判决哪位是错码并予以纠正，可以检出2位或2位以下的错码。小结：

本次课对纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码内容进行详细介绍，总结其中的重点与难点。

以课堂练习为主，教材P202 6-12

八、其他 无

第次课教案

一、讲授内容

第7章 线性分组码

7.4 线性码的纠检错能力

7.5 标准阵列和译码 7.6 汉明码

二、教学目的及要求

要求学生掌握线性分组码的编码原理，以及线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码，了解分组码的扩展、缩短与循环冗余校验。

三、教学重点

线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码、分组码的扩展、缩短与循环冗余校验。

四、教学难点

码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码、分组码的扩展、缩短与循环冗余校验。

五、本讲计划学时及时间分配

计划2个学时，主讲线性分组码的编码原理与特点。课程导入5分钟；线性分组码的生成矩阵与校验矩阵讲解20分钟；伴随式与标准阵列译码讲解15分钟；码距、纠错能力、MDC码及重量谱讲授15分钟；完备码、循环码、BCH码与RS码讲授25分钟；分组码的扩展、缩短与循环冗余校验讲解15分钟；本节课知识点总结5分钟。

六、实施步骤

课程引入：对上次课主要知识点进行复习，并对本次课的主要内容进行简单介绍。小结：

本次课主要对线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码，分组码的扩展、缩短与循环冗余校验进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-13

八、其他 无

第次课教案

一、讲授内容 第9章 卷积码

9.1 卷积码基本概念

9.2 卷积码的数学描述

二、教学目的及要求

要求学生掌握卷积码的基本概念和描述方法，掌握卷积码的最大似然译码——维比特算法，了解卷积码的性能与距离特点。

三、教学重点

卷积码的基本概念和描述方法、卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点。

四、教学难点

卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点。

五、本讲计划学时及时间分配 计划2个学时，主讲卷积码的基本概念和描述方法、卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点。课程导入5分钟；卷积码的基本概念和描述方法讲解30分钟；卷积码的最大似然译码——维比特算法讲授35分钟；分组码的扩展、卷积码的性能与距离特点讲解15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

课程引入：对上次课主要知识点进行复习，并对本次课的主要内容进行简单介绍。小结：

本次课主要对卷积码的基本概念和描述方法、卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-

16、6-17

八、其他 无第次课教案

一、讲授内容

第六章 信道编码总复习与习题讲解

二、教学目的及要求

要求学生掌握有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理。

三、教学重点

有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理。

四、教学难点

有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理

五、本讲计划学时及时间分配 计划2个学时，主讲有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理。课程导入5分钟；有扰离散信道的编码定理总结15分钟；纠错编码和译码的基本原理与分析方法总结20分钟，线性分组码的基本概念的编码原理总结15分钟；卷积码的基本概念和描述方剂以及最大似然译码原理总结20分钟；课堂练习及课后习题讲解20分钟，本节课知识点总结5分钟。

六、实施步骤 课程引入：

由于信道编码在整个编码中的地位相当重要，因此对第六章的全部知识点要求做全面总结。第六章总复习：

有扰离散信道的编码定理；

纠错编码和译码的基本原理与分析方法； 线性分组码的基本概念的编码原理；

卷积码的基本概念和描述方剂以及最大似然译码原理。小结：

本次课主要对有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理等第六章的重要知识点进行总复习与习题讲解。

七、课外学习辅导安排及作业布置 课堂练习为主，P202 6-

6、6-8

八、其他 无

第四篇：信息论与编码论文

题 目：

课题论文

信息论在生活中的应用

课程名称： 信息论与编码

学 院：

理学院

专 业： 信息与计算科学

年 级：

2010级

姓 名：

郭小兵（1007010210）学生签名

指导教师：彭长根

2013年4月1日

摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。

关键字：信息论 信息技术

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

一、信息论与编码的应用

信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。

1.1信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

1.2信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

1.3信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。

TD-SCDMA采用了3种信道编码方案以提高信息在无线信道上的传输的可靠性，它们分别是卷积编码、Turbo编码和不编码。

1.4信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

[2]1.5编码技术在调制解调技术中的应用 在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

1.6编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

1.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

二、信息论与编码技术的应用前景

随着Turbo码的研究发展，在3G移动通信系统设计中Turbo码以及Turbo思想越来越多地被用于和其他技术的结合上。例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。实现时将Turbo码与DS—CDMA系统的扩频编码结合起来。接收端先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个的可能性和超过这个最大值时的传输问题；构造性的编码方法以及这些方法能达到的性能界限。

编码方法在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其它信道也有一些结果，但尚不完善。

信息论出现已有30年,并已发展成为一门独立的理论科学,这是由于通讯的理论与工程领域内存在大量积累起来的各方面知识等待综合,另一方面,又有着日益复杂的各种通讯控制等问题要求有适当的方法去解决。也就是说,由于人类生产斗争的实践活动,达到一定的历史阶段,而形成相应的学科。随着信息论学科的发展,又更深刻地预见和指导着通讯与其他工程技术领域的发展。

信息论的作用,同其他任何总结性的理论学科一样,是以一般的形式提出和解决基本问题。它不仅可以用来探讨过去在通讯工程领域中获得的成就,而且可以指出在发展方向中应注意的问题。很多情况下,信息论可以明确指出: 哪些指标是可以达到的,哪些是无法达到的，这为我们的生产实践提供了科学依据。

三、结束语

信息论发展起来以前, 人们对信息系统的理解是比较肤浅的。而现今，随着信息科学的不断发展，信息论的研究, 已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。

本文主要介绍信息论与编码的应用与发展前景，同时简介传统编码方法与现化编码的不同，编码技术在通信技术中的应用及其发展为主。通过这篇学习心得，可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。而我们人类在不停地在揭示自然界无穷奥妙的同时，也可以利用这些奥妙造幸于我们。

【参考文献】

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 张珊珊.信息论的应用[J]．大众科技，143（7）：45-46.2011.[6] 维芬，云娜.信息论基本问题简述[J]．信息与控制，34（1）：7-9.1978.[7] 卢侃.从Shannon信息论到认知信息论[J]．哈尔滨工程大学学报，32（8）：1063-1065.2011

第五篇：信息论编码论文

信息论

信息论与编码

信息论概述：

信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。

信息论作为一门科学理论，发端于通信工程。它具有广义和狭义两个概念：

狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；

广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、信息识别和利用的共同规律的科学，即研究语法信息、语义信息和语用信息的科学。

信息是事物及其属性标识的集合。

信息就是信息，信息是物质、能量、信息及其属性的标示。

信息是确定性的增加。即肯定性的确认。

当我们使用一个数据库时，总希望数据库的内容是可靠的、正确的，但由于计算机系统的故障（包括机器故障、介质故障、误操作等），数据库有时也可能遭到破坏，这时如何尽快恢复数据就成为当务之急。如果平时对数据库做了备份，那么此时恢复数据就显得很容易。由此可见，做好数据库的备份是多么的重要，下面笔者就以ORACLE7为例，来讲述一下数据库的备份和恢复。ORACLE 数据库有三种标准的备份方法，它们分别为导出/导入（EXPORT/IMPORT）、冷备份、热备份。导出备份是一种逻辑备份，冷备份和热备份是物理备份。

信息论形成和发展：

人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展作出贡献。

信息论

信息论内容：

信息论内容包括信息熵、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等。

信息量：

信息的度量是信息论研究的基本问题之一。对于应用范围如此广泛的信息提出一个统一的度量是困难的。美国数学家C.E.香农在1948年提出信息熵作为信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外，它给人们的信息量就很多。相反一个大概率事件的出现，如“12月15日北京未下雪”给人们的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有M个可能结果(事件)，或一个信源可能产生M个消息（事件）, 它们出现的概率分别为，则用来度量一次试验或一个消息所给出的平均信息量。当对数取 2为底时,单位为比特；当对数取e为底时,则单位为奈特。H的表达式与熵的表达式差一个负号，故称负熵或信息熵。

信息传输模型：

信息传输系统主要由信源、信道和信宿组成，下图为信息传输系统的基本模型。信源是产生消息的系统。信宿是接受消息的系统，信道则是传输消息的通道。图中编码器、译码器的作用是把消息变换成便于传输的形式。

信源编码：

信源是产生消息（包括消息序列）的源。消息通常是符号序列或时间函数。例如电报系

信息论

统中的消息是由文字、符号、数字组成的报文（符号序列），称为离散消息。电话系统中的消息是语声波形(时间函数)，称为连续消息。消息取值服从一定的统计规律。因此,信源的数学模型是一个在信源符号集中取值的随机变量序列或随机过程。信源编码器将消息变换为一个数字序列(通常为二进制数字序列)。在离散情形,若信源产生M个可能消息,它们出现的概率分别为，每个消息由N个信源符号组成,便可取信源编码与数字序列一一对应。第i个消息对应的数字序列长(数字个数)为li，li相等的称等长编码，否则称变长编码。定义为编码速率，它表征平均每个信源符号要用多少个数字来表示。若取信源译码器为信源编码器的逆变换器，则在无噪信道(信源编码器的输出即为信源译码器的输入)情况下，消息可以正确无误地传送。这时信源编码问题是要找出最小的速率R及其相应的编码。已经证明,对于相当广泛的信源类,当N可以任意大时这个最小极限速率，称为信源的熵率,是信源的一个重要参数。对于固定的N,最优编码就是赫夫曼编码。在连续消息的情形，信息编码器不可能使消息与数字序列一一对应，因此译码也不是编码的逆变换。通常的方法是先对连续消息进行采样和量化，变为离散消息，再将离散消息变换为数字序列。信源译码器先将数字序列逆变换为离散消息，再用内插法求得连续消息。这样一来，即使在无噪信道的情况下，发送消息与接收消息之间也会产生误差，称为消息失真。可以用一个非负函数d(u，v)来度量消息 u，v之间的失真大小。这时信源编码问题是在保证平均失真不超过给定允许极限D 的条件下找出最小速率R 及其相应编码。求解这一问题导致熵推广到失真率函数，信源编码的失真率理论因而得到发展。

信道编码：

信道是传输信息的媒质或通道，如架空明线、同轴电缆、射频波束、光导纤维等。有时为研究方便将发送端和接收端的一部分如调制解调器也划归信道。信息论把信息传送过程中受各种干扰的影响都归入信道中考虑。根据干扰的统计特性,信道有多种模型。最简单的是离散无记忆恒参信道，它可以用信道入口符号集X、出口符号集Y和一组条件概率P(y|x)(x∈X，y∈Y)来描述。若信道输入信号x＝(x1,x2,„,xN),则相应的输出(受扰)信号y＝(y1,y2,„,yN)出现的概率为信道编码器将数字序列每K个一组变换为字长N 的信号（码字），称为分组编码。若数字和信道符号都是二进制的(可用0,1表示)，则R＝K/N 定义为编码速率，它表明每个信道符号表示多少个数字。N-K 称为编码冗余度。信道编码(纠错编码)的基本思想就是增加冗余度以提高可靠性。更确切地说，信道译码器可以利用编码冗余度将受扰信号变换为正确的发送数字序列。重复编码乃一简例。信道编码器将输入数字重复三次, 如将01011变换为***。信道译码器可用门限译码，即先将输入译码器的信道符号每三个一组地相加，再将结果逐个与阈值 2比较,小于阈值2的译为0,否则译为1。这样若受扰信号***虽然错了 5个符号,但译码仍为01011与发送数字序列完全相同。信息论得出的重要结论是:对于一个有噪信道,只要在信道编码中引入足够而有限的冗余度，或等价地说编码速率足够小，就

信息论

能通过信道渐近无误地传送消息。更确切地说，对充分长的数字序列，其接收错误概率可以任意小。信道编码问题是要找出使信道渐近无误地传输消息所能达到的最大编码速率R和相应的编码。已经证明，对于离散无记忆恒参信道，这个最大极限编码速率为它是对X上一切概率分布 p取极大值。p为信道转移概率(条件概率)，的重要参数。

。称为交互信息；C 称为信道容量，是信道信道编码概论：

通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。信息论的内容之一。信道编码大致分为两类 ：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。

数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。

数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。

前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不

信息论

仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。

下面是纠错码的各种类型:

1、RS编码

RS码即里德-所罗门码，它是能够纠正多个错误的纠错码，RS码为（204，188，t=8），其中t是可抗长度字节数，对应的188符号，监督段为16字节(开销字节段）。实际中实施（255，239，t=8）的RS编码，即在204字节（包括同步字节）前添加51个全“0”字节，产生RS码后丢弃前面51个空字节，形成截短的（204，188）RS码。RS的编码效率是：188/204。

2、卷积码

卷积码非常适用于纠正随机错误，但是，解码算法本身的特性却是：如果在解码过程中发生错误，解码器可能会导致突发性错误。为此在卷积码的上部采用RS码块，RS码适用于检测和校正那些由解码器产生的突发性错误。所以卷积码和RS码结合在一起可以起到相互补偿的作用。卷积码分为两种：

(1)基本卷积码:

基本卷积码编码效率为，η＝1/2, 编码效率较低,优点是纠错能力强。

(2)收缩卷积码:

如果传输信道质量较好，为提高编码效率，可以采样收缩截短卷积码。有编码效率为：η＝1/

2、2/

3、3/

4、5/

6、7/8这几种编码效率的收缩卷积码。

编码效率高，一定带宽内可传输的有效比特率增大,但纠错能力越减弱。

3、Turbo码

1993 年诞生的Turbo 码，单片Turbo 码的编码/解码器，运行速率达40Mb/s。该芯片集成了一个32×32 交织器，其性能和传统的RS 外码和卷积内码的级联一样好。所以Turbo码是一种先进的信道编码技术，由于其不需要进行两次编码，所以其编码效率比传统的RS+卷积码要好。

4、交织

在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。为了纠正这些成串发生的比特差错及一些突发错误，可以运用交织技术来分散这些误差，使长串的比特差错变成短串差错，从而可以用前向码对其纠错，例如：在DVB-C系统中，RS(204,188)的纠错能力是8个字节，交织深度为12，那么纠可抗长度为8×12＝96个字节的突发错误。

实现交织和解交织一般使用卷积方式。

交织技术对已编码的信号按一定规则重新排列，解交织后突发性错误在时间上被分散，使其类似于独立发生的随机错误，从而前向纠错编码可以有效的进行纠错，前向纠错码加交积的作用可以理解为扩展了前向纠错的可抗长度字节。纠错能力强的编码一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织深度。

下图是交织的原理图：

一般来说，对数据进行传输时，在发端先对数据进行FEC编码，然后再进行交积处理。在收端次序和发端相反，先做去交积处理完成误差分散，再FEC解码实现数据纠错。另外，从上图可看出，交积不会增加信道的数据码元。

根据信道的情况不同，信道编码方案也有所不同，在DVB-T里由于由于是无线信道且存在多径干扰和其它的干扰，所以信道很“脏”，为此它的信道编码是：RS＋外交积＋卷积

信息论

码＋内交积。采用了两次交积处理的级联编码，增强其纠错的能力。RS作为外编码，其编码效率是188/204（又称外码率），卷积码作为内编码，其编码效率有1/

2、2/

3、3/

4、5/

6、7/8五种（又称内码率）选择，信道的总编码效率是两种编码效率的级联叠加。设信道带宽8MHZ，符号率为6.8966Ms/S，内码率选2/3，16QAM调制，其总传输率是27.586Mbps,有效传输率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保护间隔的插入所造成的开销，有效码率将更低。

在DVB-C里，由于是有线信道，信道比较“干净”，所以它的信道编码是：RS＋交积。一般DVB-C的信道物理带宽是8MHZ，在符号率为6.8966Ms/s，调制方式为64QAM的系统，其总传输率是41.379Mbps,由于其编码效率为188/204，所以其有效传输率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是无线信道，所以它的信道编码是：RS＋交积＋卷积码。也是级联编码。

参考文献

1)2)3)4)5)6)李立萍，张明友．信息论导引．成都：电子科技大学出版社，2005。田宝玉．工程信息论．北京：北京邮电大学出版社，2004。朱雪龙．应用信息论基础．北京：清华大学出版社，2000。李建东，王永茂，胡林敏．最大熵原理及其应用．信息科学。王 栋，朱元甡．最大熵原理在水文水资源科学中的应用．水科学进展，2001，12(3)。[6]董伟民等．最大熵原理在地震重现关系上的应用．地震工程与工程程动，1983，3(4)。

7)冯利华，李凤全．基于最大熵原理的灾害损失分析．数学的实践与认识，2005，35(8)。