科研与教学相互促进,提升信息论与编码课程教学质量

第一篇：科研与教学相互促进,提升信息论与编码课程教学质量

科研与教学相互促进，提升信息论与编码课程教学质量

摘要：促进科研和信息论与编码课程课堂教学和实践教学环节相结合，以科研成果丰富信息论与编码课程教学内容，以创新课题培养学生通信工程实践能力。通过科研教学相互促进，努力提升信息论与编码课程教学质量和人才培养质量。关键词：信息论；编码理论；创新课题；教学质量

信息论与编码理论是在长期通信工程实践和理论研究基础上发展起来的，阐释的信息传输、处理、存储和控制规律的学科。信息论为编码提供理论基础，编码在信息论的基础上指导工程实践，二者理论上前后相承。它的主要目的是提高通信系统的可靠性、稳定性、有效

[1]性和认证性，以便达到通信系统的最优化。国内高等院校，特别是与信息技术相关的学科，如通信工程、信息工程、信息与计算等专业，纷纷开设信息论与编码课程。信息论与编码课程不仅涉及到通信方面的基础专业知识，而且还运用了理工科学生所学的大部分数学知识，包括概率论、随机过程与数理统计等。学生在学习过程中显得非常抽象和接收非常困难。导致学生形成畏难情绪，学习积极性受挫。如何将科学研究和信息论与编码课程课教学有机结合起来，使科研促教学，教学助科研，推动教学与科研共同发展，是提高信息论与编码课程

[2,3]教学质量和本科生人才培养质量的重要命题。

一、以科研促进课堂教学，提升应用型人才培养质量

目前，信息论与编码课程基本承袭以理论教学为主的传统教育观念，在面向本科生进行教学时存在公式推导过多、理论性过强等问题。研究发现，讲授过程中，如果不能具体联系实际中的应用，学生容易因为内容枯燥，弄不清该课程的学习目的而失去学习兴趣。同时，如果教师的理论讲解占据课堂绝大多数时间，非常容易造成让学生感觉到就是理论课，没什么用处。

为了解决这些问题, 我们在信息论与编码课程教学过程中，注重基本概念和基础理论，突出对主要定理的理解，适当简化甚至省略那些繁琐枯燥的数学定理证明过程。香农信息论是课程的核心内容，其中无失真变长信源编码定理、有噪信道编码定理和保真度准则下的限失真信源编码定理等定理是教学主线。基于这些定理，可以将教学内容分成基本概念、信源、信道、信源编码和信道编码等五大部分。在完成基本概念的教学后，要求学生围绕信息论与编码理论及其应用，进行文献搜集和阅读，了解信息领域的尖端技术，然后指导学生撰写文献综述报告。以此来增强学生对本学科的了解和对本学科的兴趣。

我们在信息论与编码课程教学过程中，让学生了解科研中的思路、方法和对策，让学生参与科研项目中的一些简单编程任务。例如让学生用matlab或C语言，来编写程序，实现自适应Huffman编码。在设计基于ARM920T的网络摄像视频监控系统中，摄像头获取的模拟视频信号要经过TLC5510A芯片进行A/D转换，再经过MB86H56芯片中的压缩软件H264压缩。这样不仅可以提高课堂教学对学生的吸引力，也可以拓宽学生视野和开启学生的创新意识。对教师而言，由于科研是自己亲力亲为，对过程理解透彻和体会深刻。因此，讲起来会有声有色，可以很好的和书本中的理论知识融合。

[作者简介]：文国知(1973-),男，湖北省罗田县人，博士。长期从事信号处理与控制，检测等方面的一线教学科研。Email: wwenguozhi@163.com 投稿：中国科教创新导刊

二、科研成果进课堂，丰富教学内容和培养学生工程分析能力 另一方面，信息理论和编码技术是在不断发展的，在课堂教学中适量融入具体的、最新的科研成果，让科研的新动态反映到教学之中。像Turbo码、LDPC码、多天线MIMO系统、稀疏编码和压缩感知编码技术等。在讲授这些新技术时，不从理论上作过多分析，重点讲述新技术的用途和影响。

比如Turbo码，在CDMA系统多用户检测中，将Turbo码及SCCC码结合，通过更新、交换外部信息，可以使其达到单用户的性能[4]。在DS-CDMA系统中，利用Turbo码输出信息反馈给多用户作先验信息，可以增强多用户的性能[5]。以承载多媒体业务为目的的第三代移动通信(IMT-2000)，Turbo码是其信道编码方案之一。在宇航和卫星通信领域，Turbo码为其核心技术。Turbo码能使宇航飞行器和卫星发射信号的功率极大降低，同时又使接收性能提高。在高清晰度数字电视的传输系统中，Turbo码也被看好。它能使大量的数字信号准确无误地传输，真正做到高清晰度。比如压缩感知技术利用信号稀疏的可压缩性进行采样，突破了奈奎斯特抽样定理的限制，已被应用到超光谱成像、地理数据分析、雷达和通信领域。

通过多方面介绍信息理论和编码技术，可以帮助学生对这些技术原理有更好的认知和理解，而且有利于培养学生的科学和工程思维方法、价值观和创新精神，也是应对知识高速更新的举措，在兴趣的驱使下学生就会乐于探寻新的知识。

三、科研成果进实践教学，让学生获得理论的实际训练机会

信息论与编码是一门理论和实践紧密结合的课程。将科研工作与学生的信息论与编码实践教学有机结合，可以达到培养从事信息技术研究和开发的应用型人才的目的。我们长期致力于电子信息综合实验室的建设，一些大型设备，如程控电话，通信原理综合实验平台等，可以让学生对信息的产生、传输和处理规律等进行验证。有些小型设备，老师可以提出研发思路，指导学生来完成。如光电报警器，光电编码器，网络摄像视频监控系统，智能小车等。同时，在信息仿真实验室，开发一些设计简单有效而学生通过一定努力就能完成的实验。比如利用C语言或Matlab对给定离散信源进行Shannon编码，Fano编码，Huffman编码，游程编码和冗余位编码，实现线性分组码的编码译码，计算离散信源熵，计算信道容量等。鼓励学生对常用VCD，DVD等格式的视频信号编码进行仿真。通过比较各种不同的编程方法与理论仿真结果，可以激发学生的学习热情。

实践教学是高等教育教学体系中实现人才培养目标的重要环节。科研进课堂教学和让学生参与科研工作，不仅使课堂教学更丰富多彩，使学生的理论知识更扎实，更能培养学生创新能力、实践能力和思维能力，使学生的综合素质得到极大的提高。参考文献

[1] 傅祖芸，赵建中编著.信息论与编码[M](第1版).北京：电子工业出版社，2006.[2] 郎东格，包妍.信息论与编码教学改革的探讨[J].中国电力教育，2010(34): 72~73.[3] 沈希忠.信息论与编码教学改革[J].中国科教创新导刊.2012(11): 186~187.[4] Z.L.Qin, K.E.Gunawan.Iterative multiuser detection for asynchronous CDMA with concatenated convolutional coding [J].IEEE J.Select.Areascommun.2001, 19(9): 1784~1791.[5] J.M.Hsu, C.L.Wang.A low complexity iterative multiuser receiver for turbo-coded DS-CDMA system.[J].IEEE J.Select.Areascommun.2001, 19(9): 1775~1782.

第二篇：信息论与编码

信息论与编码的应用

信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。【关键词】信息论 电子信息工程 通信 网络

一、信息论应用

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多 科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指 导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通 的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型加以深入研究。例如信息论在一下几个方面都得到了广泛的应用。

信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础

信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量 [2]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

编码技术在调制解调技术中的应用

在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

3.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

结 论

信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。信息论方法具有普遍的适用性，因此可以把课上学习的内容和我们的日常生活紧密结合起来，从而提高学习的兴趣。例如，在学习多符号离散信源时，可以和日常生活中大家在电视上见到的摇奖场面联系起来。一台简单的摇奖机，从十个号码球中摇出一个数字号码，可以看作一个单符号离散信源，它有十个符号，从0至9。如果需要摇出七位数的体育彩票号码，这可以看成是一个多符号信源，一次同时发出七个符号，而且是单符号离散信源的7次扩展。又如，在学习汉明距离时，可以和英语学习联系起来。在英语中拼写非常接近的单词很容易混淆或者拼写错误，用信息论的观点来看就是两个码字的汉明距离（不同位的个数）太小，因此抗干扰的能力差。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，信息论对哲学领域也有深远的影响。由此可见，《信息论与编码》的课程对我们至关重要！

参考文献

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 维芬，云娜.信息论基本问题简述[J]．信息与控制.2006

第三篇：信息论与编码教学大纲

《信息论与编码》教学大纲

电子信息工程专业（本科）

课程编号：（）

课程名称：信息论与编码 参考学时：52 其中实验或上机学时：0 说明部分

1．课程性质

本课程是电子信息类专业的技术基础课 2．课程教学的目的及意义

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论和编码》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。

本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。3．教学内容及教学要求

该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。

信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：

了解通信系统各部分的主要组成以及作用、香农的三大编码定理；

掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4.教学重点、难点 教学重点：

信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：

典型序列以及由此推导出的香农三大编码定理及其逆定理。5.教学方法及教学手段

课堂讲学为主，习题讲解为辅。6.教学学材及主要参考书

1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2001年 2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年 3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年 7.其它

考核形式：考试（笔试），教学环境：课堂

本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。

总学时数

课程总学时数： 52 其中，课堂讲授： 46 作业：6

二、正文部分 第一章：绪论

一、教学要求

了解信息论研究对象、目的、发展简史与现状；

了解通信系统的模型以及通信系统各部分的主要组成以及作用

二、教学内容

第一节 信息的概念

知识要点：信息的概念及自信息 第二节 信息论研究的对象、目的和内容 知识要点：信息论研究的对象、目的和内容 第三节：信息论发展简史 知识要点：信息论发展简史

三、本章学时数 2学时

第二章：离散信源及其测度

一、教学要求

了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

二、教学内容

第一节 信源的数学模型及分类

知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质 知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源

知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源

知识要点：马尔可夫信源定义，马尔可夫信源熵 第四节 信息剩余度

知识要点：信息剩余度以及自然语言熵

三、本章学时数 8学时

第三章：离散信道及其信道容量

一、教学要求

了解一般信道容量计算。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

二、教学内容

第一节 信道数学模型及分类

知识要点：信道数学模型及不同的分类，信道矩阵。第二节平均互信息及特点

知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节 信道容量及一般计算方法

知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量

知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。

三、本章学时数 6学时

第四章：无失真信源编码

一、教学要求

了解其它一些无失真信源编码方法。

理解渐近等分割性及典型序列，算术编码方法及具体实现方案；

掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

二、教学内容

第一节 等长码及等长信源编码定理

知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。

第二节 变长码及变长信源编码定理

知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。

第三节 编码方法 知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。

三、本章学时数 10学时

第五章：有噪信道编码

一、教学要求

了解检错码与纠错码的方法。理解渐近等分割性及典型序列。

掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。

二、教学内容

第一节 错误概率与译码规则和编码方法

知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。

第二节 有噪信道编码定理

知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码

知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。

三、本章学时数 10学时

第六章：波形信源和波形信道

一、教学要求

了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。

掌握连续信源和波形信源的信息测度。

二、教学内容

第一节 连续信源和波形信源的信息测度

知识要点：连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。第二节 连续信道和波形信道的分类

知识要点：按噪声统计特性分类，按噪声对信号的作用和功能分类。第三节 连续信道和波形信道的信息传输率

知识要点：单符号连续信道的平均交互信息，连续信道的平均交互信息的特性。第四节 连续信道和波形信道的信道容量

知识要点：单符号高斯加性信道的信道容量，单符号非高斯加性信道的信道容量，多维无记忆高斯加性信道的信道容量。

三、本章学时数 8学时

第七章：限失真信源编码

一、教学要求

了解保真度准则下的信源编码定理

掌握失真度与平均失真度，信息率失真函数与特性，R(D)函数的参数表述及其计算。

二、教学内容

第一节 失真度与平均失真度

知识要点：失真度与平均失真度，D失真许可试验信道。第二节 信息率失真函数与特性

知识要点：信息率失真函数R(D)的定义，离散信源的R(D)函数，高斯连续信源的R(D)函数，R(D)的定义域和单调性等性质。

第三节 信息率失真函数的参量表述与计算

知识要点：信息率失真函数的计算 第四节 保真度准则下的信源编码定理

知识要点：失真限典型序列，失真信源编码定理和编码逆定理，有失真信源编码定理的实用意义。

三、本章学时数 8学时

执笔人：

胡学友

教研室：XXX

系主任审核签名：XXX 5

第四篇：信息论与编码教案汇总[范文]

赣南师范学院物理与电子信息工程学院

教

案

授课教师：朱赟 授课对象：电子信息工程 授课学期：第六学期 总学时：32学时

使用教材：电子工业出版社《信息论与纠错编码》张丽华

第次课教案

教学组织

一、自我介绍:略

二、课程介绍：

1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。编码技术是信息论的重要分支的基础。它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。

2、知识要求：通过一个学期的学习要达到如下要求: 1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。4)掌握伪随机码的基本概念，m序列码的产生及应用。

先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。

3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。

4、考试成绩计算方法：

平时成绩 30%（主要包括作业和出勤）期终考试 70%

课程性质:

学科基础课：

①电子信息类专业基础课

②研究生考试课程 6 进度安排 4学分

32理论学时

16周 2学时/周 7 学习方法与注意事项 1、学习、目的、方法 2、课程框架（理清）3、听课与笔记 4、实用方法与公式 5、预习与复习（书、笔记）6、作业（多练习）教材及参考书 教材: 信息论与纠错编码 张丽华 电子工业出版社 参考书: [1] 王新梅等编著，《纠错码-原理与方法》（修订版），西安电子科技大学出版社，2001 年。

[2] 张宗橙编著，《纠错编码原理和应用》，电子工业出版社，2004年。[3] [日]江藤良纯等主编，《纠错编码原理及应用》，科学出版社，2004年。[4] [美]S.林著，陈太一译，《纠错编码入门》，人民邮电出版社，1976年。[5] 姜丹编著，《信息论与编码》，中国科学技术大学出版社，2001年。主要内容

（1）信息及信息的度量

（2）离散信源及信源熵,离散信道及信道容量（3）信源编码定理和信道编码定理

（4）平均失真测度和信息率失真函数,率失真编码定理（5）线性分组码（6）循环码和卷积码

三 授课.一、讲授内容

第一章 信息论基础

1.1信息的概念 1.2数字通信系统 1.3 信源及其数学模型

二、教学目的及要求

要求学生明确本课程的学习目的及要求，初步了解本课程的特点及学习方法，掌握信息的基本概念和特点，了解信息论研究的对象、目的和内容，了解信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果，激发学习信息论与编码的兴趣与热情。要求学生掌握信源的基本概念和特点及信源的描述，掌握离散无记忆信源、离散有记忆信源与马尔可夫信源的特点与描述方法。

三、教学重点

本课程的特点及学习方法、信息的基本概念与特点，信息论的主要研究对象、目的和内容。信源的分类，离散信源与连续信源，无记忆信源与有记忆信源，马尔可夫信源。

四、教学难点

如何理解信息的概念、信息论及编码技术，有记忆信源，马尔可夫信源。

五、本讲计划学时及时间分配

计划2个学时，主讲信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果。课程导入5分钟；本课程的学习目的、要求及方法介绍20分钟；信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果讲授55分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：主要介绍本课程的教学内容、教学重点与难点、考核方式及教材与参考书。

新课讲解：第一章

信息论基础 1.1信息的概念 1.2数字通信系统 1.3 信源及其数学模型 小结：

本次课主要对信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果进行讲解，给学生对《信息论与编码》这门课程有初步印象。对无记忆信源、有记忆信源、马尔可夫信源进行详细讲解，并对其中重难点进行总结概括。

七、课外学习辅导安排及作业布置

1、信息、信号、消息的定义是什么？三者的关系如何？

2、寻找阅读和信息论与编码发展的有关资料。

3、通信系统的各个主要组成部分是什么？

八、其他 无

第次课教案

一、讲授内容

第2章 信息的度量

2.1 自信息量和互信息量

二、教学目的及要求

要求学生掌握自信息量、离散信源熵、互信息的概念及其求解方法，了解数据处理中信息的变化方式，熟悉并掌握熵的一些基本性质。

三、教学重点

自信息量、离散信源熵、互信息的概念及其求解方法、数据处理中信息的变化方式、熵的性质。

四、教学难点

离散信源熵、互信息的概念及其求解方法、熵的性质。

五、本讲计划学时及时间分配

计划2个学时，主讲离散信源熵和互信息的基本概念和特点。课程导入5分钟；自信息量概念及其求解方法介绍10分钟；离散信源熵的概念及其求解方法讲授15分钟，互信息的概念及其求解方法讲授25分钟，数据处理中信息的变化方式讲授10分钟，熵的性质讲授15分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的重点进行复习，简单介绍本次课的主要内容，并提出问题：信息可否度量？信息量如何来量测？ 小结：

本次课主要对自信息量、离散信源熵、互信息、数据处理中信息的变化与熵的性质进行讲解，最好对其中涉及到的重难点进行总结概括。

七、课外学习辅导安排及作业布置 教材P41 2-3

第次课教案

一、讲授内容

第2章 信息的度量

2.2 离散集的平均自信息量

二、教学目的及要求

要求学生掌握离散序列信源熵的概念与求解方法，掌握离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。

三、教学重点

离散序列信源熵的概念与求解方法、离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。

四、教学难点

离散有记忆信源的序列熵的概念、特点与求解方法。

五、本讲计划学时及时间分配

计划2个学时，主讲离散序列信源熵。课程导入5分钟；离散序列信源熵的概念与求解方法介绍20分钟；离散无记忆信源的序列熵的基本概念、特点与求解方法讲授25分钟，离散有记忆信源的序列熵的概念、特点与求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本次课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的重点进行复习，简单介绍本次课的基本内容，问题的提出：a．如何描述离散无记忆序列信源的序列熵？b。如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏信源）的序列熵？ 小结

本次课主要对离散无记忆信源的序列熵、离散有记忆信源的序列熵进行详细讲解，最好对其中涉及到的重难点进行总结概括。

七、课外学习辅导安排及作业布置 教材P41 2-4

八、其他 无

第次课教案

一、讲授内容

第2章 信息的度量

2.3 离散集的平均互信息量

二、教学目的及要求

要求学生掌握连续信源熵和互信息的基本概念，掌握幅度连续的单个符号信源熵的求解方法，了解波形信源熵的求解方法已经最大熵定理。

三、教学重点

连续信源熵和互信息的基本概念、幅度连续的单个符号信源熵的求解方法、波形信源熵的求解方法已经最大熵定理。

四、教学难点

波形信源熵的求解方法已经最大熵定理。

五、本讲计划学时及时间分配

计划2个学时，主讲连续信源熵和互信息。课程导入5分钟；幅度连续的单个符号信源熵概念及求解方法介绍25分钟；波形信源熵的概念及求解方法讲授25分钟，最大熵定理的讲解25分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的重点进行复习，简单介绍本次课的主要内容。小结：

本次课主要对幅度连续的单个符号信源熵、波形信源熵、最大熵定理进行讲解，最后对涉及到的重难点知识进行总结概括。

七、课外学习辅导安排及作业布置 教材P43 2-20

八、其他 无

第次课教案

一、讲授内容

第1章 信息论基础 1.4 信道及其数学模型

二、教学目的及要求

要求学生掌握信道的基本概念，了解信道的分类，掌握信道参数与信道容量的定义及其求解方法。

三、教学重点

信道的基本概念、信道的分类、信道参数与信道容量的定义及其求解方法。

四、教学难点

信道参数与信道容量的定义及其求解方法

五、本讲计划学时及时间分配

计划2个学时，信道的基本概念。课程导入5分钟；信道的基本概念阐述10分钟；信道的分类讲授15分钟；信道参数的概念讲解20分钟；信道容量的定义及其求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。小结：

本次课首先介绍了本章的主要内容，并对3.1小节进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置 教材P68 3-1

八、其他 无

第次课教案

一、讲授内容

第4章 离散信道的信道容量 4.1 信道容量的定义

4.2 离散无记忆信道容量的计算 4.3 组合信道的容量

二、教学目的及要求

要求学生掌握离散单个符号信道及其容量的基本概念，无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道的信道容量定义及其求解方法。

三、教学重点

无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道的信道容量定义及其求解方法。

四、教学难点

对称DMC信道、准对称DMC信道与一般DMC信道的新的容量定义及其求解方法。

五、本讲计划学时及时间分配

计划2个学时，主讲离散单个符号信道及其容量的基本概念。课程导入5分钟；无干扰离散信道的信道容量阐述15分钟；对称DMC信道的信道容量讲授25分钟；准对称DMC信道的信道容量讲解25分钟；一般DMC信道的信道容量定义及其求解方法讲授15分钟；课堂练习及课后习题讲解10分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。小结：

本次课主要介绍了离散单个符合信道及其容量的概念，并对无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道分别进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置 教材P68 3-4

第次课教案

一、讲授内容

第6章 率失真编码

6.1 失真测度与平均失真 6.2 信息率失真函数R（D）6.3 率失真函数的计算 6.4 率失真信源编码定理

二、教学目的及要求

要求学生掌握平均失真和信息率失真函数的基本概念，掌握失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

三、教学重点

失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

四、教学难点

信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

五、本讲计划学时及时间分配

计划2个学时，主讲平均失真和信息率失真函数的基本概念。课程导入5分钟；失真函数的概念及其计算方法讲解15分钟；平均失真的概念与计算方法讲授20分钟；信息率失真函数R(D)的概念与计算方法讲解20分钟；信息率失真函数的性质讲授15分钟；信息率失真函数与信道容量的比较讲解10分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

失真在传输中是不可避免的，如何用数学方法来描述失真，并且降低失真显得格外重要。小结：

本次课主要对失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的性质、信息率失真函数与信道容量的比较分别进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置 教材P82 4-1

八、其他

第次课教案

一、讲授内容

第3章 离散信源无失真编码 3.1 概述

3.2 等长码及等长编码定理

二、教学目的及要求

要求学生了解信源编码的内容，掌握信源编码的定义，掌握无失真信源编码的内容：定长编码原理、变长编码原理。

三、教学重点

信源编码的定义、无失真信源编码的内容：定长编码原理、变长编码原理。

四、教学难点

无失真信源编码的内容：定长编码原理、变长编码原理。

五、本讲计划学时及时间分配

计划2个学时，主讲信源编码的定义、无失真信源编码的内容：定长编码原理、变长编码原理、最佳编码原理。课程导入5分钟；信源编码的定义讲解20分钟；无失真信源编码讲授20分钟；定长编码原理讲解20分钟；变长编码原理讲授20分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：怎样才能做到尽可能不失真而又快速的传递信息呢？首先需要解决一个问题：在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息，这就要引入信源编码。小结：

本次课主要对信源编码的定义，无失真信源编码的内容进行详细介绍，总结其中的重点与难点。

以课堂练习为主，教材P115 5-2

八、其他 无

第次课教案

一、讲授内容

第3章 离散信源无失真编码 3.4 变长码的编码方法

二、教学目的及要求

要求学生了解信源编码的内容，掌握信源编码的定义，最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码。

三、教学重点

最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码。

四、教学难点

最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码

五、本讲计划学时及时间分配

计划2个学时，主讲信源编码的定义、无失真信源编码的第三个内容：最佳变长编码原理。课程导入5分钟；信源编码的定义复习10分钟；无失真信源编码复习15分钟；最佳变长编码原理以及常用的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码讲授50分钟；课堂练习与习题讲解15分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：最佳码：对于某一信源和某一码符号集来说，若有一唯一可译码，其平均码长K小于所有其他唯一可译码的平均长度。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。小结：

本次课主要对最佳变长编码及实现最佳变长编码的三种方法进行详细介绍，总结其中的重点与难点。

以课堂练习为主，教材P115 5-7

八、其他 无

第次课教案

一、讲授内容

第3章 离散信源无失真编码 3.3 变长码及变长码编码定理

二、教学目的及要求

要求学生掌握限失真编码定理的内容，掌握常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。

三、教学重点

限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。

四、教学难点

常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。

五、本讲计划学时及时间分配

计划2个学时，主讲限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。课程导入5分钟；限失真编码定理讲解20分钟；常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码讲解55分钟；课堂练习与习题讲解15分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

对上次课的主要知识点进行复习，对本次课的主要内容进行简单介绍。小结：

本次课主要对限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P115 5-14

第次课教案

一、讲授内容

第5章 有噪信道编码 5.1 信道编码的基本概念 5.2 译码规则及错误概率 5.3 信道编码定理

5.4 费诺引理及信道编码逆定理

二、教学目的及要求

要求学生掌握有扰离散信道的编码定理，掌握差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。

三、教学重点

有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随即编码、信道编码定理。

四、教学难点

差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。

五、本讲计划学时及时间分配

计划2个学时，主讲有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。课程导入5分钟；有扰离散信道的编码定理讲解20分钟；差错和差错控制系统分类讲解15分钟；矢量空间与码空间讲授15分钟；随机编码讲授15分钟；信道编码定理讲授15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

信道编码的目的是为了改善通信系统的传输质量，对不同类型的信道，要对症下药，设计不同类型的信道编码，才能收到良好效果。小结：

本次课主要对有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-

1、6-2

八、其他 无

第次课教案

一、讲授内容

第7章 线性分组码

7.1 纠错码的基本概念

7.3 线性分组码的编码

二、教学目的及要求

要求学生掌握纠错编码码的基本原理与分析方法（纠错编码的基本思路）、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码

三、教学重点

纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码。

四、教学难点

纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码。

五、本讲计划学时及时间分配 计划2个学时，主讲纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码。课程导入5分钟；纠错编码码的基本原理与分析方法讲解25分钟；纠错译码的基本原理与分析方法讲解20分钟；最优译码讲授20分钟；最大似然译码讲授15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下： 课程引入：

检错与纠错原理：一旦1→0，0→1，接收端无法发现错误，插入1位监督码后具有检出1位错码的能力，但不能予以纠正。在只有1位错码的情况下，可以判决哪位是错码并予以纠正，可以检出2位或2位以下的错码。小结：

本次课对纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法——最优译码与最大似然译码内容进行详细介绍，总结其中的重点与难点。

以课堂练习为主，教材P202 6-12

八、其他 无

第次课教案

一、讲授内容

第7章 线性分组码

7.4 线性码的纠检错能力

7.5 标准阵列和译码 7.6 汉明码

二、教学目的及要求

要求学生掌握线性分组码的编码原理，以及线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码，了解分组码的扩展、缩短与循环冗余校验。

三、教学重点

线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码、分组码的扩展、缩短与循环冗余校验。

四、教学难点

码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码、分组码的扩展、缩短与循环冗余校验。

五、本讲计划学时及时间分配

计划2个学时，主讲线性分组码的编码原理与特点。课程导入5分钟；线性分组码的生成矩阵与校验矩阵讲解20分钟；伴随式与标准阵列译码讲解15分钟；码距、纠错能力、MDC码及重量谱讲授15分钟；完备码、循环码、BCH码与RS码讲授25分钟；分组码的扩展、缩短与循环冗余校验讲解15分钟；本节课知识点总结5分钟。

六、实施步骤

课程引入：对上次课主要知识点进行复习，并对本次课的主要内容进行简单介绍。小结：

本次课主要对线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码，分组码的扩展、缩短与循环冗余校验进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-13

八、其他 无

第次课教案

一、讲授内容 第9章 卷积码

9.1 卷积码基本概念

9.2 卷积码的数学描述

二、教学目的及要求

要求学生掌握卷积码的基本概念和描述方法，掌握卷积码的最大似然译码——维比特算法，了解卷积码的性能与距离特点。

三、教学重点

卷积码的基本概念和描述方法、卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点。

四、教学难点

卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点。

五、本讲计划学时及时间分配 计划2个学时，主讲卷积码的基本概念和描述方法、卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点。课程导入5分钟；卷积码的基本概念和描述方法讲解30分钟；卷积码的最大似然译码——维比特算法讲授35分钟；分组码的扩展、卷积码的性能与距离特点讲解15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

课程引入：对上次课主要知识点进行复习，并对本次课的主要内容进行简单介绍。小结：

本次课主要对卷积码的基本概念和描述方法、卷积码的最大似然译码——维比特算法、卷积码的性能与距离特点进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-

16、6-17

八、其他 无第次课教案

一、讲授内容

第六章 信道编码总复习与习题讲解

二、教学目的及要求

要求学生掌握有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理。

三、教学重点

有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理。

四、教学难点

有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理

五、本讲计划学时及时间分配 计划2个学时，主讲有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理。课程导入5分钟；有扰离散信道的编码定理总结15分钟；纠错编码和译码的基本原理与分析方法总结20分钟，线性分组码的基本概念的编码原理总结15分钟；卷积码的基本概念和描述方剂以及最大似然译码原理总结20分钟；课堂练习及课后习题讲解20分钟，本节课知识点总结5分钟。

六、实施步骤 课程引入：

由于信道编码在整个编码中的地位相当重要，因此对第六章的全部知识点要求做全面总结。第六章总复习：

有扰离散信道的编码定理；

纠错编码和译码的基本原理与分析方法； 线性分组码的基本概念的编码原理；

卷积码的基本概念和描述方剂以及最大似然译码原理。小结：

本次课主要对有扰离散信道的编码定理、纠错编码和译码的基本原理与分析方法、线性分组码的基本概念的编码原理，卷积码的基本概念和描述方剂以及最大似然译码原理等第六章的重要知识点进行总复习与习题讲解。

七、课外学习辅导安排及作业布置 课堂练习为主，P202 6-

6、6-8

八、其他 无

第五篇：信息论与编码论文

题 目：

课题论文

信息论在生活中的应用

课程名称： 信息论与编码

学 院：

理学院

专 业： 信息与计算科学

年 级：

2010级

姓 名：

郭小兵（1007010210）学生签名

指导教师：彭长根

2013年4月1日

摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。

关键字：信息论 信息技术

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

一、信息论与编码的应用

信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。

1.1信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

1.2信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

1.3信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。

TD-SCDMA采用了3种信道编码方案以提高信息在无线信道上的传输的可靠性，它们分别是卷积编码、Turbo编码和不编码。

1.4信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

[2]1.5编码技术在调制解调技术中的应用 在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

1.6编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

1.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

二、信息论与编码技术的应用前景

随着Turbo码的研究发展，在3G移动通信系统设计中Turbo码以及Turbo思想越来越多地被用于和其他技术的结合上。例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。实现时将Turbo码与DS—CDMA系统的扩频编码结合起来。接收端先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个的可能性和超过这个最大值时的传输问题；构造性的编码方法以及这些方法能达到的性能界限。

编码方法在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其它信道也有一些结果，但尚不完善。

信息论出现已有30年,并已发展成为一门独立的理论科学,这是由于通讯的理论与工程领域内存在大量积累起来的各方面知识等待综合,另一方面,又有着日益复杂的各种通讯控制等问题要求有适当的方法去解决。也就是说,由于人类生产斗争的实践活动,达到一定的历史阶段,而形成相应的学科。随着信息论学科的发展,又更深刻地预见和指导着通讯与其他工程技术领域的发展。

信息论的作用,同其他任何总结性的理论学科一样,是以一般的形式提出和解决基本问题。它不仅可以用来探讨过去在通讯工程领域中获得的成就,而且可以指出在发展方向中应注意的问题。很多情况下,信息论可以明确指出: 哪些指标是可以达到的,哪些是无法达到的，这为我们的生产实践提供了科学依据。

三、结束语

信息论发展起来以前, 人们对信息系统的理解是比较肤浅的。而现今，随着信息科学的不断发展，信息论的研究, 已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。

本文主要介绍信息论与编码的应用与发展前景，同时简介传统编码方法与现化编码的不同，编码技术在通信技术中的应用及其发展为主。通过这篇学习心得，可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。而我们人类在不停地在揭示自然界无穷奥妙的同时，也可以利用这些奥妙造幸于我们。

【参考文献】

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 张珊珊.信息论的应用[J]．大众科技，143（7）：45-46.2011.[6] 维芬，云娜.信息论基本问题简述[J]．信息与控制，34（1）：7-9.1978.[7] 卢侃.从Shannon信息论到认知信息论[J]．哈尔滨工程大学学报，32（8）：1063-1065.2011