20100511181325 - 信息论与编码精品课程__ 首页

第一篇：20100511181325 - 信息论与编码精品课程__ 首页

专科专业主要课程

一、报关与国际货运：函授、业余（夜大）

主要课程：英语、数据库基础、电子商务、会计与财务管理、供应链管理、进出口单证、货运经营学、国际贸易、货运配送管理与运作、海关管理信息系统、海关法学、货物学、西方经济学、集装箱运输实务、国际货运与海关监控、报关原理及实务等。

二、材料工程技术：函授

主要课程：计算机基础、工程力学、材料热力学、材料科学基础、金属材料学、非金属材料学、材料热处理、塑性加工学、金属熔炼与铸造、压加成型设备、压力加工车间设计、材料性能检测技术、测试技术及数据处理、异型管加工技术等。

三、电气自动化技术：函授

主要课程：邓小平理论、高等数学、英语、计算机基础、电路分析、电机拖动、电力电子技术、自动控制理论、电力工程、微机原理及应用、微机控制技术、PLC原理及应用、单片机原理及应用、检测技术等。

四、电子商务：函授、业余（夜大）

主要课程：电子商务英语、进出口业务、网络设计与管理、网络数据库技术、管理信息系统、国际商务、电子商务概论、市场营销学、计算机信息安全、网络营销、客户关系管理、电子商务技术、电子银行等。

五、法律事务：函授

主要课程：法理学、中国法制史、宪法、行政法与行政诉讼法、刑法、刑事诉讼法、民法、民事诉讼法、经济法、商法、知识产权法、国际经济法、国际私法、合同法、计算机基础、WTO规则及相关法律等。

六、房地产经营与估价：函授

主要课程：房地产开发与经营、房地产投资分析、房地产评估、建筑监理、房地产法律、房地产经济学、建筑成本概预算、房地产估价、电气设备与管理、环境卫生管理及规划、给水排水设施及管理、公共关系学等。

七、给排水工程技术：函授

主要课程：计算机基础、应用写作、企业管理、工程制图、数据库、大学物理、物理实验、化工原理、理论力学、材料力学、结构力学、水力学、CAD辅助设计、给水排水物理化学、建筑工程测量、给排水工程设计等。

八、工程造价：函授、业余（夜大）

主要课程：英语、高等数学、建设制图、工程力学、房屋建筑学、施工技术与组织、建筑材料、建筑会计、工程经济与项目评价、工程项目与合同管理、工程建设定额与预算、工程造价管理、计算机应用软件及信息系统、建筑工程测量等。

九、工商企业管理：函授、业余（夜大）

主要课程：英语、会计学、统计学、经济学、企业经营战略、管理信息系统、市场营销学、国际贸易与金融、人力资源管理、计算机技术、税法、管理学、行政法学、商务谈判、广告学等。

十、工业环保与安全技术：函授

主要课程：流体力学、环保设备防腐、污水处理工艺、无机化学、分析化学、物理化学、水化学、微生物学、安全工程学、安全监测与监控、灾害防治理论与技术、矿井通风、系统安全工程、环境学导论、工程热力学、防尘技术、废水及废气治理等。

十一、公共事务管理：函授

主要课程：宏观经济理论和政策、经济数学、行政组织学、管理学原理、地方政府学、商业与政府、社会学、财政与税收、行政法与行政诉讼法、政治学原理、财政与金融、行政管理学、公共关系学、西方政治制度、管理信息系统、计算机技术、WTO规则相关知识等。

十二、供用电技术：函授

主要课程：电力网及电力系统、电力系统继电操作、电力系统自动装置、高电压技术、安全用电、负荷监控与计费现代化、电力计量及电工、用电监察、电工工艺、电机与电器维修、电路原理、电机原理、输电线路结构与基础、计算机技术等。

十三、国际贸易实务：函授、业余（夜大）

主要课程：国际贸易、政治经济学、会计学基础、财政与金融、国际金融、公共关系学、企业管理、外贸英语、电子商务概论、中国对外贸易概论、客户关系管理、电子商务解决方案、电子商务物流管理、网上支付与电子银行、国际结算等。

十四、汉语：函授

主要课程：现代汉语、写作、文学概论、形式逻辑、中国现代文学史、中国当代文学史、中国古代文学史、中国文化概论、中国秘书史、语言学概论、外国文学、外国文学史等。

十五、会计电算化：函授、业余（夜大）

主要课程：英语、会计原理、经济数学、财务会计、成本会计、财务管理、管理会计、审计学、统计学、财政与金融、经济法、计算机基础、数据库、财务软件开发及应用、会计电算化、会计模拟实践、电子商务等。

十六、机电一体化技术：函授、业余（夜大）

主要课程：机械制图、工程力学、公差与技术测量、电工与电子学、机械原理、机械设计、微机原理与接口技术、数控技术与应用、流体传动与控制、机电传动控制、自动控制原理、工程热力学、液压传动、PLC原理及应用、电机与拖动基础等。

十七、计算机信息管理：函授、业余（夜大）

主要课程：英语、经济数学、计算机技术、国民经济统计、信息数据库及应用、计算机网络、信息科学基础、管理信息系统、OFFICE办公软件、数据结构、汇编语言、现代编程技术、软件工程、管理学原理、市场营销学、信息系统分析与设计、计算机辅助图形图像设计、计算机机房管理等。

十八、计算机应用技术：函授

主要课程：计算机原理、数据结构、数据库、操作系统、汇编语言、计算机网络、微机原理与接口技术、微机检测与维护、编译原理、软件工程、离散数学、数字电路与逻辑设计、高级语言程序设计、网页设计与制作、Windows编程技术等。

十九、建筑工程技术：函授

主要课程：画法几何、建筑制图、建筑施工、建筑材料、建筑工程测量、钢筋混凝土及砖石结构、房地产经营与开发、土木工程施工、素描、水彩、建筑力学、建筑结构、城市规划原理、建筑设计、住宅建筑设计、计算机辅助图形设计等。

二十、金融保险：函授

主要课程：政治经济学、西方经济学、财政学、货币银行学、证券投资学、保险学、商业银行业务管理、中央银行业务管理、投资银行理论与实务、国际金融等。

二十一、经济管理：函授、业余（夜大）

主要课程：政治经济学、经济法、审计学、统计学、财政与金融、国际金融与贸易、管理学原理、市场营销学、企业战略、财务管理、公文写作、计算机基础、数据库、中国税法、广告学、企业生产管理、现代推销技术、保险学概论、管理心理学等。

二十二、酒店管理：函授

主要课程：酒店管理概论、旅游学概论、酒店经济学、酒店资源学、消费心理学、酒店市场学、前厅接待与运转、公关与礼仪、酒店文化、酒店财务管理、市场营销、电子商务、中外民俗等。

二十三、矿山资源开发与管理：函授

主要课程：矿业工程学、企业管理学、计算机应用基础、英语、机械制图、生产管理、采矿新技术、选矿新技术、地质勘测新技术、会计学原理、计算机辅助设计、测量学、运输与提升、通风与安全、井巷工程、爆破工程、矿床开采、矿山机械与设备、岩体力学、管理经济学、管理心理学等。

二十四、矿物加工技术：函授

主要课程：选矿学、粉体工程、矿石学、化学选矿、无机化学、物理化学、分析化学、有机化学、化工原理、冶金原理、选矿厂设计、矿物材料加工学、矿物加工试验研究方法、冶金设备、有色金属冶金学、钢铁冶金学、现代冶金技术及计算机技术等。

二十五、旅游管理：函授

主要课程：公关与礼仪、导游基础知识、旅游学概论、旅游经济学、旅游资源学、旅游心理学、旅游市场学、旅游资源规划管理、旅游法规、旅行社经营管理、旅游文化学、旅游财务管理、数据库基础、中外民俗、旅游英语等。

二十六、模具设计与制造：函授

主要课程：金属学及热处理、金属塑性成型原理、金属塑性成型设备修理、冲压工艺及模具设计、注塑工艺及模具设计、挤压工艺及模具设计、模具制造工艺学、电加工技术、工程力学、电子电工技术、机械制图（含CAD）、机械设计基础、机械制造工艺学、模具CAD/CAM、互换性与技术测量、模具检测与维修、公差配合与技术测量等。

二十七、汽车运用与维修 / 汽车检测与维修技术：函授

主要课程：电工技术、汽车电子控制技术、汽车构造、汽车电气设备、汽车经济学、道路交通法、汽车运用、发动机原理与故障诊断、汽车构造与性能检测、汽车维修、汽车运输企业管理、汽车喷涂与装潢工艺等。

二十八、热能动力设备与应用：函授

主要课程：工程热力学、工程流体力学、电路与电子技术、微机原理与应用、自动控制基础、环境工程概论，热、机、电一体化，单片机模糊逻辑控制、能源工程与管理、热系统设计及优化、新能源技术及应用、传热传质学、机械振动和噪声学、热能与动力工程基础等。

二十九、人力资源管理：函授、业余（夜大）

主要课程：计算机基础、企业管理、数据库基础、应用写作、政治经济学、管理学原理、管理心理学、管理经济学、组织行为学、营销管理、人才资源开发与管理、文书档案管理、秘书学、劳动就业概论、人才学、人事行政学、劳动力市场管理、招聘与录用、绩效管理等。

三

十、商务英语：业余（夜大）

主要课程：基础英语、英语口语、商务英语、商贸英语写作、国际贸易、英语精读、英语泛读、外贸函电、计算机基础、数据库、涉外秘书实务与英语、高级英语阅读、外贸业务、市场营销、国际金融等。

三

十一、市场营销：函授、业余（夜大）

主要课程：西方经济学、市场营销、市场研究、消费者行为学、营销沟通、商务谈判、财政与金融、统计学、消费心理学、广告学、现代推销技术、营销渠道管理及创新、国际营销管理和电子商务与网络营销等。

三

十二、数控技术：函授

主要课程：模拟电子技术、数字电子技术、机械设计基础、自动控制原理、工程力学、单片机原理及应用、智能仪器设计基础、误差理论及数据处理、计算机控制技术、机电传动控制、机械故障分析学、数据机床编程与加工、数控铣床编程与加工、可编程PLC、数控机床与编程、传感器、模具设计等。

三

十三、通信技术：函授

主要课程：电路分析基础、低频电子线路、脉冲与数字电路、C语言、通信原理、程控交换原理、计算机通信网基础、数据通信网络、信号同步与检测技术、移动通信、接入网技术、多媒体通信、编码原理及应用等。

三

十四、文秘：函授

主要课程：大学语文、应用文写作、秘书学概论、办公自动化原理及应用、行政管理学、公共关系学、公共政策、行政组织学、管理学原理、信息管理概论、WTO规则及相关知识等。三

十五、物流管理：函授、业余（夜大）

主要课程：经济数学、数据库基础及应用、应用写作、现代物流学概论、物流配送管理与运作、西方经济学、公共关系学、管理学原理、管理经济学、供应链管理、生产管理、办公自动化、客户关系学、现代仓储运作与管理、物流信息管理、物流成本管理、广告学、电子商务、应用统计学、报关原理及实务等。

三

十六、物业管理：函授

主要课程：政治经济学、建筑制图、数据库基础、应用写作、管理学原理、电气设备与管理、物业管理、物业管理法规、给水排水设施及管理、建筑结构、房地产经营管理、物业环境管理、物业管理实务、制冷与空气调节、建筑电气与控制、电梯原理及维护、环境卫生管理及规划等。

三

十七、行政管理：函授

主要课程：大学语文、应用文写作、行政学原理、管理学原理、管理心理学、公共政策、行政组织学、社会学理论、地方政府学、信息管理概论、行政法与行政诉讼法、中国税法、政治学原理、当代中国政府与政治等。

三

十八、学前教育：函授、业余（夜大）

主要课程：思想道德教育、幼儿心理学、幼儿教育学、学前卫生学、学前儿童科学教育、幼儿园组织与管理、学前教育研究、办公自动化、学前儿童美术教育、学前儿童音乐教育、学前儿童游艺教育、幼儿园教育评估、法学基础、幼儿英语(口语)、幼儿学前劳动教育等。

三

十九、冶金技术：函授

主要课程：物理化学、冶金原理、冶金传输原理、金属学、冶金设备、有色金属冶金学（含重有色金属，轻金属，稀有金属）、钢铁冶金学、无机化学、机械制图、机械设计基础、有色冶金化工设备、冶金工厂设计、冶金技术经济分析、材料科学导论、现代冶金技术及计算机技术等。

四

十、应用化工技术：函授

主要课程：化学原理、分离工程、精细工程、精细化学品化学、精细有机合成、表面活性剂化学、金属表面处理工程、化工机械制图，稀土金属化合物、化学分析、现代仪器分析、分析仪器、应用电化学、计算机辅助设计、企业管理等。

第二篇：信息论与编码

信息论与编码的应用

信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。【关键词】信息论 电子信息工程 通信 网络

一、信息论应用

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多 科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指 导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通 的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型加以深入研究。例如信息论在一下几个方面都得到了广泛的应用。

信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础

信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量 [2]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

编码技术在调制解调技术中的应用

在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

3.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

结 论

信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。信息论方法具有普遍的适用性，因此可以把课上学习的内容和我们的日常生活紧密结合起来，从而提高学习的兴趣。例如，在学习多符号离散信源时，可以和日常生活中大家在电视上见到的摇奖场面联系起来。一台简单的摇奖机，从十个号码球中摇出一个数字号码，可以看作一个单符号离散信源，它有十个符号，从0至9。如果需要摇出七位数的体育彩票号码，这可以看成是一个多符号信源，一次同时发出七个符号，而且是单符号离散信源的7次扩展。又如，在学习汉明距离时，可以和英语学习联系起来。在英语中拼写非常接近的单词很容易混淆或者拼写错误，用信息论的观点来看就是两个码字的汉明距离（不同位的个数）太小，因此抗干扰的能力差。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，信息论对哲学领域也有深远的影响。由此可见，《信息论与编码》的课程对我们至关重要！

参考文献

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 维芬，云娜.信息论基本问题简述[J]．信息与控制.2006

第三篇：信息论与编码教学大纲

《信息论与编码》教学大纲

电子信息工程专业（本科）

课程编号：（）

课程名称：信息论与编码 参考学时：52 其中实验或上机学时：0 说明部分

1．课程性质

本课程是电子信息类专业的技术基础课 2．课程教学的目的及意义

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论和编码》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。

本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。3．教学内容及教学要求

该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。

信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：

了解通信系统各部分的主要组成以及作用、香农的三大编码定理；

掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4.教学重点、难点 教学重点：

信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：

典型序列以及由此推导出的香农三大编码定理及其逆定理。5.教学方法及教学手段

课堂讲学为主，习题讲解为辅。6.教学学材及主要参考书

1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2001年 2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年 3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年 7.其它

考核形式：考试（笔试），教学环境：课堂

本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。

总学时数

课程总学时数： 52 其中，课堂讲授： 46 作业：6

二、正文部分 第一章：绪论

一、教学要求

了解信息论研究对象、目的、发展简史与现状；

了解通信系统的模型以及通信系统各部分的主要组成以及作用

二、教学内容

第一节 信息的概念

知识要点：信息的概念及自信息 第二节 信息论研究的对象、目的和内容 知识要点：信息论研究的对象、目的和内容 第三节：信息论发展简史 知识要点：信息论发展简史

三、本章学时数 2学时

第二章：离散信源及其测度

一、教学要求

了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

二、教学内容

第一节 信源的数学模型及分类

知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质 知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源

知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源

知识要点：马尔可夫信源定义，马尔可夫信源熵 第四节 信息剩余度

知识要点：信息剩余度以及自然语言熵

三、本章学时数 8学时

第三章：离散信道及其信道容量

一、教学要求

了解一般信道容量计算。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

二、教学内容

第一节 信道数学模型及分类

知识要点：信道数学模型及不同的分类，信道矩阵。第二节平均互信息及特点

知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节 信道容量及一般计算方法

知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量

知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。

三、本章学时数 6学时

第四章：无失真信源编码

一、教学要求

了解其它一些无失真信源编码方法。

理解渐近等分割性及典型序列，算术编码方法及具体实现方案；

掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

二、教学内容

第一节 等长码及等长信源编码定理

知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。

第二节 变长码及变长信源编码定理

知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。

第三节 编码方法 知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。

三、本章学时数 10学时

第五章：有噪信道编码

一、教学要求

了解检错码与纠错码的方法。理解渐近等分割性及典型序列。

掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。

二、教学内容

第一节 错误概率与译码规则和编码方法

知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。

第二节 有噪信道编码定理

知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码

知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。

三、本章学时数 10学时

第六章：波形信源和波形信道

一、教学要求

了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。

掌握连续信源和波形信源的信息测度。

二、教学内容

第一节 连续信源和波形信源的信息测度

知识要点：连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。第二节 连续信道和波形信道的分类

知识要点：按噪声统计特性分类，按噪声对信号的作用和功能分类。第三节 连续信道和波形信道的信息传输率

知识要点：单符号连续信道的平均交互信息，连续信道的平均交互信息的特性。第四节 连续信道和波形信道的信道容量

知识要点：单符号高斯加性信道的信道容量，单符号非高斯加性信道的信道容量，多维无记忆高斯加性信道的信道容量。

三、本章学时数 8学时

第七章：限失真信源编码

一、教学要求

了解保真度准则下的信源编码定理

掌握失真度与平均失真度，信息率失真函数与特性，R(D)函数的参数表述及其计算。

二、教学内容

第一节 失真度与平均失真度

知识要点：失真度与平均失真度，D失真许可试验信道。第二节 信息率失真函数与特性

知识要点：信息率失真函数R(D)的定义，离散信源的R(D)函数，高斯连续信源的R(D)函数，R(D)的定义域和单调性等性质。

第三节 信息率失真函数的参量表述与计算

知识要点：信息率失真函数的计算 第四节 保真度准则下的信源编码定理

知识要点：失真限典型序列，失真信源编码定理和编码逆定理，有失真信源编码定理的实用意义。

三、本章学时数 8学时

执笔人：

胡学友

教研室：XXX

系主任审核签名：XXX 5

第四篇：信息论与编码论文

题 目：

课题论文

信息论在生活中的应用

课程名称： 信息论与编码

学 院：

理学院

专 业： 信息与计算科学

年 级：

2010级

姓 名：

郭小兵（1007010210）学生签名

指导教师：彭长根

2013年4月1日

摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。

关键字：信息论 信息技术

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

一、信息论与编码的应用

信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。

1.1信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

1.2信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

1.3信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。

TD-SCDMA采用了3种信道编码方案以提高信息在无线信道上的传输的可靠性，它们分别是卷积编码、Turbo编码和不编码。

1.4信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

[2]1.5编码技术在调制解调技术中的应用 在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。

1.6编码技术在快速通信领域中的应用

编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。在20世纪70到80年代的代数码，如BCH码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。

1.7信息论在其他领域中的应用

现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。

比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。我们不难看出，信息论在很多领域都有所应用。

二、信息论与编码技术的应用前景

随着Turbo码的研究发展，在3G移动通信系统设计中Turbo码以及Turbo思想越来越多地被用于和其他技术的结合上。例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。实现时将Turbo码与DS—CDMA系统的扩频编码结合起来。接收端先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个的可能性和超过这个最大值时的传输问题；构造性的编码方法以及这些方法能达到的性能界限。

编码方法在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其它信道也有一些结果，但尚不完善。

信息论出现已有30年,并已发展成为一门独立的理论科学,这是由于通讯的理论与工程领域内存在大量积累起来的各方面知识等待综合,另一方面,又有着日益复杂的各种通讯控制等问题要求有适当的方法去解决。也就是说,由于人类生产斗争的实践活动,达到一定的历史阶段,而形成相应的学科。随着信息论学科的发展,又更深刻地预见和指导着通讯与其他工程技术领域的发展。

信息论的作用,同其他任何总结性的理论学科一样,是以一般的形式提出和解决基本问题。它不仅可以用来探讨过去在通讯工程领域中获得的成就,而且可以指出在发展方向中应注意的问题。很多情况下,信息论可以明确指出: 哪些指标是可以达到的,哪些是无法达到的，这为我们的生产实践提供了科学依据。

三、结束语

信息论发展起来以前, 人们对信息系统的理解是比较肤浅的。而现今，随着信息科学的不断发展，信息论的研究, 已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。

本文主要介绍信息论与编码的应用与发展前景，同时简介传统编码方法与现化编码的不同，编码技术在通信技术中的应用及其发展为主。通过这篇学习心得，可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。而我们人类在不停地在揭示自然界无穷奥妙的同时，也可以利用这些奥妙造幸于我们。

【参考文献】

[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004． [2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004． [3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社.2010 [4] 傅祖芸.信息论—基础理论与应用[M]．北京：电子工业出版社．2004． [5] 张珊珊.信息论的应用[J]．大众科技，143（7）：45-46.2011.[6] 维芬，云娜.信息论基本问题简述[J]．信息与控制，34（1）：7-9.1978.[7] 卢侃.从Shannon信息论到认知信息论[J]．哈尔滨工程大学学报，32（8）：1063-1065.2011

第五篇：信息论编码论文

信息论

信息论与编码

信息论概述：

信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。

信息论作为一门科学理论，发端于通信工程。它具有广义和狭义两个概念：

狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；

广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、信息识别和利用的共同规律的科学，即研究语法信息、语义信息和语用信息的科学。

信息是事物及其属性标识的集合。

信息就是信息，信息是物质、能量、信息及其属性的标示。

信息是确定性的增加。即肯定性的确认。

当我们使用一个数据库时，总希望数据库的内容是可靠的、正确的，但由于计算机系统的故障（包括机器故障、介质故障、误操作等），数据库有时也可能遭到破坏，这时如何尽快恢复数据就成为当务之急。如果平时对数据库做了备份，那么此时恢复数据就显得很容易。由此可见，做好数据库的备份是多么的重要，下面笔者就以ORACLE7为例，来讲述一下数据库的备份和恢复。ORACLE 数据库有三种标准的备份方法，它们分别为导出/导入（EXPORT/IMPORT）、冷备份、热备份。导出备份是一种逻辑备份，冷备份和热备份是物理备份。

信息论形成和发展：

人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展作出贡献。

信息论

信息论内容：

信息论内容包括信息熵、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等。

信息量：

信息的度量是信息论研究的基本问题之一。对于应用范围如此广泛的信息提出一个统一的度量是困难的。美国数学家C.E.香农在1948年提出信息熵作为信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生，如“唐山发生七级以上大地震”使人们感到意外，它给人们的信息量就很多。相反一个大概率事件的出现，如“12月15日北京未下雪”给人们的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有M个可能结果(事件)，或一个信源可能产生M个消息（事件）, 它们出现的概率分别为，则用来度量一次试验或一个消息所给出的平均信息量。当对数取 2为底时,单位为比特；当对数取e为底时,则单位为奈特。H的表达式与熵的表达式差一个负号，故称负熵或信息熵。

信息传输模型：

信息传输系统主要由信源、信道和信宿组成，下图为信息传输系统的基本模型。信源是产生消息的系统。信宿是接受消息的系统，信道则是传输消息的通道。图中编码器、译码器的作用是把消息变换成便于传输的形式。

信源编码：

信源是产生消息（包括消息序列）的源。消息通常是符号序列或时间函数。例如电报系

信息论

统中的消息是由文字、符号、数字组成的报文（符号序列），称为离散消息。电话系统中的消息是语声波形(时间函数)，称为连续消息。消息取值服从一定的统计规律。因此,信源的数学模型是一个在信源符号集中取值的随机变量序列或随机过程。信源编码器将消息变换为一个数字序列(通常为二进制数字序列)。在离散情形,若信源产生M个可能消息,它们出现的概率分别为，每个消息由N个信源符号组成,便可取信源编码与数字序列一一对应。第i个消息对应的数字序列长(数字个数)为li，li相等的称等长编码，否则称变长编码。定义为编码速率，它表征平均每个信源符号要用多少个数字来表示。若取信源译码器为信源编码器的逆变换器，则在无噪信道(信源编码器的输出即为信源译码器的输入)情况下，消息可以正确无误地传送。这时信源编码问题是要找出最小的速率R及其相应的编码。已经证明,对于相当广泛的信源类,当N可以任意大时这个最小极限速率，称为信源的熵率,是信源的一个重要参数。对于固定的N,最优编码就是赫夫曼编码。在连续消息的情形，信息编码器不可能使消息与数字序列一一对应，因此译码也不是编码的逆变换。通常的方法是先对连续消息进行采样和量化，变为离散消息，再将离散消息变换为数字序列。信源译码器先将数字序列逆变换为离散消息，再用内插法求得连续消息。这样一来，即使在无噪信道的情况下，发送消息与接收消息之间也会产生误差，称为消息失真。可以用一个非负函数d(u，v)来度量消息 u，v之间的失真大小。这时信源编码问题是在保证平均失真不超过给定允许极限D 的条件下找出最小速率R 及其相应编码。求解这一问题导致熵推广到失真率函数，信源编码的失真率理论因而得到发展。

信道编码：

信道是传输信息的媒质或通道，如架空明线、同轴电缆、射频波束、光导纤维等。有时为研究方便将发送端和接收端的一部分如调制解调器也划归信道。信息论把信息传送过程中受各种干扰的影响都归入信道中考虑。根据干扰的统计特性,信道有多种模型。最简单的是离散无记忆恒参信道，它可以用信道入口符号集X、出口符号集Y和一组条件概率P(y|x)(x∈X，y∈Y)来描述。若信道输入信号x＝(x1,x2,„,xN),则相应的输出(受扰)信号y＝(y1,y2,„,yN)出现的概率为信道编码器将数字序列每K个一组变换为字长N 的信号（码字），称为分组编码。若数字和信道符号都是二进制的(可用0,1表示)，则R＝K/N 定义为编码速率，它表明每个信道符号表示多少个数字。N-K 称为编码冗余度。信道编码(纠错编码)的基本思想就是增加冗余度以提高可靠性。更确切地说，信道译码器可以利用编码冗余度将受扰信号变换为正确的发送数字序列。重复编码乃一简例。信道编码器将输入数字重复三次, 如将01011变换为***。信道译码器可用门限译码，即先将输入译码器的信道符号每三个一组地相加，再将结果逐个与阈值 2比较,小于阈值2的译为0,否则译为1。这样若受扰信号***虽然错了 5个符号,但译码仍为01011与发送数字序列完全相同。信息论得出的重要结论是:对于一个有噪信道,只要在信道编码中引入足够而有限的冗余度，或等价地说编码速率足够小，就

信息论

能通过信道渐近无误地传送消息。更确切地说，对充分长的数字序列，其接收错误概率可以任意小。信道编码问题是要找出使信道渐近无误地传输消息所能达到的最大编码速率R和相应的编码。已经证明，对于离散无记忆恒参信道，这个最大极限编码速率为它是对X上一切概率分布 p取极大值。p为信道转移概率(条件概率)，的重要参数。

。称为交互信息；C 称为信道容量，是信道信道编码概论：

通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。信息论的内容之一。信道编码大致分为两类 ：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。

数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。

数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。

前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不

信息论

仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。

下面是纠错码的各种类型:

1、RS编码

RS码即里德-所罗门码，它是能够纠正多个错误的纠错码，RS码为（204，188，t=8），其中t是可抗长度字节数，对应的188符号，监督段为16字节(开销字节段）。实际中实施（255，239，t=8）的RS编码，即在204字节（包括同步字节）前添加51个全“0”字节，产生RS码后丢弃前面51个空字节，形成截短的（204，188）RS码。RS的编码效率是：188/204。

2、卷积码

卷积码非常适用于纠正随机错误，但是，解码算法本身的特性却是：如果在解码过程中发生错误，解码器可能会导致突发性错误。为此在卷积码的上部采用RS码块，RS码适用于检测和校正那些由解码器产生的突发性错误。所以卷积码和RS码结合在一起可以起到相互补偿的作用。卷积码分为两种：

(1)基本卷积码:

基本卷积码编码效率为，η＝1/2, 编码效率较低,优点是纠错能力强。

(2)收缩卷积码:

如果传输信道质量较好，为提高编码效率，可以采样收缩截短卷积码。有编码效率为：η＝1/

2、2/

3、3/

4、5/

6、7/8这几种编码效率的收缩卷积码。

编码效率高，一定带宽内可传输的有效比特率增大,但纠错能力越减弱。

3、Turbo码

1993 年诞生的Turbo 码，单片Turbo 码的编码/解码器，运行速率达40Mb/s。该芯片集成了一个32×32 交织器，其性能和传统的RS 外码和卷积内码的级联一样好。所以Turbo码是一种先进的信道编码技术，由于其不需要进行两次编码，所以其编码效率比传统的RS+卷积码要好。

4、交织

在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。为了纠正这些成串发生的比特差错及一些突发错误，可以运用交织技术来分散这些误差，使长串的比特差错变成短串差错，从而可以用前向码对其纠错，例如：在DVB-C系统中，RS(204,188)的纠错能力是8个字节，交织深度为12，那么纠可抗长度为8×12＝96个字节的突发错误。

实现交织和解交织一般使用卷积方式。

交织技术对已编码的信号按一定规则重新排列，解交织后突发性错误在时间上被分散，使其类似于独立发生的随机错误，从而前向纠错编码可以有效的进行纠错，前向纠错码加交积的作用可以理解为扩展了前向纠错的可抗长度字节。纠错能力强的编码一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织深度。

下图是交织的原理图：

一般来说，对数据进行传输时，在发端先对数据进行FEC编码，然后再进行交积处理。在收端次序和发端相反，先做去交积处理完成误差分散，再FEC解码实现数据纠错。另外，从上图可看出，交积不会增加信道的数据码元。

根据信道的情况不同，信道编码方案也有所不同，在DVB-T里由于由于是无线信道且存在多径干扰和其它的干扰，所以信道很“脏”，为此它的信道编码是：RS＋外交积＋卷积

信息论

码＋内交积。采用了两次交积处理的级联编码，增强其纠错的能力。RS作为外编码，其编码效率是188/204（又称外码率），卷积码作为内编码，其编码效率有1/

2、2/

3、3/

4、5/

6、7/8五种（又称内码率）选择，信道的总编码效率是两种编码效率的级联叠加。设信道带宽8MHZ，符号率为6.8966Ms/S，内码率选2/3，16QAM调制，其总传输率是27.586Mbps,有效传输率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保护间隔的插入所造成的开销，有效码率将更低。

在DVB-C里，由于是有线信道，信道比较“干净”，所以它的信道编码是：RS＋交积。一般DVB-C的信道物理带宽是8MHZ，在符号率为6.8966Ms/s，调制方式为64QAM的系统，其总传输率是41.379Mbps,由于其编码效率为188/204，所以其有效传输率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是无线信道，所以它的信道编码是：RS＋交积＋卷积码。也是级联编码。

参考文献

1)2)3)4)5)6)李立萍，张明友．信息论导引．成都：电子科技大学出版社，2005。田宝玉．工程信息论．北京：北京邮电大学出版社，2004。朱雪龙．应用信息论基础．北京：清华大学出版社，2000。李建东，王永茂，胡林敏．最大熵原理及其应用．信息科学。王 栋，朱元甡．最大熵原理在水文水资源科学中的应用．水科学进展，2001，12(3)。[6]董伟民等．最大熵原理在地震重现关系上的应用．地震工程与工程程动，1983，3(4)。

7)冯利华，李凤全．基于最大熵原理的灾害损失分析．数学的实践与认识，2005，35(8)。