2018年深度学习教学大纲(审核)

第一篇：2018年深度学习教学大纲(审核)

《深度学习》教学大纲

适用专业： 学 时 数： 课 程 号： 信息类 32

课程性质： 学 分 数： 开课学期： 大纲审核人：

公选课 2 春季 谢鹏寿 大纲执笔人： 赵宏

一、课程的地位和教学目标

深度学习技术促进了人工智能在图像识别、语音识别、自然语言处理等领域的突破，成为实现人工智能的重要技术之一。本课程采用Google开源软件TensorFlow作为深度学习技术实现的平台，讲解全连接神经网络、自编码器和多层感知机、卷积神经网络、循环神经网络等的设计与实现，以及网络训练过程中的数据处理、网络调优与超参数设置，并介绍深度强化学习和网络模型可视化、多GPU并行与分布式处理技术。通过本课程学习使学生掌握深度学习技术并能够应用该技术解决实际问题。

二、课程教学内容和基本要求

（一）深度学习技术和平台概述（4学时）教学重点、难点：

教学重点：深度学习技术，深度学习的平台，TensoFlow； 教学难点：TensorFlow； 教学内容和基本要求

1、掌握部分：TensorFlow平台构建；

2、理解部分：深度学习技术原理；

3、了解部分：Caffe，Neon，Torch等平台；

（二）全连接神经网络（4学时）教学重点、难点：

教学重点：全连接神经网络设计，训练数据预处理，网络调优和超参数设置； 教学难点：损失函数、激活函数； 教学内容和基本要求

1、掌握部分：全连接神经网络设计与训练；

2、理解部分：网络调优和超参数设置；

3、了解部分：训练过程可视化；

（三）自编码器和多层感知机（4学时）教学重点、难点： 教学重点：自编码器设计，多层感知机设计； 教学难点：目标优化函数设置； 教学内容和基本要求

1、掌握部分：自编码器设计和多层感知机设计与训练；

2、理解部分：目标优化函数设置；

3、了解部分：自编码器设计和多层感知机的拓展应用；

（四）卷积神经网络（6学时）教学重点、难点：

教学重点：卷积神经网络设计； 教学难点：卷积运算原理； 教学内容和基本要求

1、掌握部分：卷积神经网络设计与训练；

2、理解部分：Pooling技术和Dropout技术；

3、了解部分：LRN技术；

（五）循环神经网络（6学时）教学重点、难点：

教学重点：循环神经网络设计； 教学难点：双向LSTM网络； 教学内容和基本要求

1、掌握部分：循环神经网络设计与训练；

2、理解部分：LSTM网络；

3、了解部分：网络欠拟合和过拟合处理方法；

（六）深度强化学习（4学时）教学重点、难点：

教学重点：策略网络和估值网络设计； 教学难点：奖励和估值设计； 教学内容和基本要求

1、掌握部分：策略网络和估值网络设计与训练；

2、理解部分：奖励和估值设计；

3、了解部分：Alpha Go的实现；

（七）多GPU并行与分布式处理技术（4学时）教学重点、难点：

教学重点：GPU的配置； 教学难点：GPU间通信； 教学内容和基本要求

1、掌握部分：GPU的配置；

2、理解部分：GPU内存使用策略和GPU间通信；

3、了解部分：TPU；

三、课内练习环节的教学内容及基本要求、课时分配和场地

（一）网络模型设计与简单训练（2学时）。要求学生自行设计网络模型并进行简单训练。

（二）训练数据预处理（2学时）。要求学生按照网络模型要求对训练数据进行预处理并将数据分为训练数据与测试数据。

（三）教学场地能够以较快速度接入互联网，方便教学中快速访问网络资源。

四、本课程教学建议

（一）要求学生完成各种网络的设计并进行训练和调优；

（二）要求学生针对具体应用设计网络，处理数据，训练和优化网络，并得到与其他方法相比的较好结果。

五、本课程评价方式

考试（综测）

六、建议教材和教学参考书

（一）Ian Goodfellow等著，赵申剑等译.深度学习[M].北京：人民邮电出版社，2017.（二）黄文坚，唐源.TensorFlow实战[M].北京：电子工业出版社, 2017.（三）郑泽宇，梁博文，顾思宇.TensorFlow：实战Google深度学习框架（第2版）[M].北京：电子工业出版社, 2018.（四）吴岸城.神经网络与深度学习[M].北京：电子工业出版社, 2016.（五）邓力，俞栋.深度学习方法及应用[M].北京：机械工业出版社, 2016.

第二篇：10-法学专业教学大纲审核报告

法学专业教学大纲审核报告

按照学校要求，法学专业依据学校修改意见，参照提供的模版，对教学大纲进行了完善和修改。目前就审核情况总结如下：

1、本专业用的理论教学大纲应完成45份，40份经不同程度修改后合格，另外5份报告,包括:《物权法》《经济法》《科技法》《中国律师学》）《票据法》主要一、四部分格式不规范;《经济法》《科技法》《中国律师学》）《票据法》“课程地位”内容不符合要求，修改后仍存在问题。

2、应完成实习教学大纲9份，经修改后基本规范。

3、为国贸专业、信管专业、电子商务专业各提供1门课程的理论教学大纲，经修改后均已完成。

法学专业教研室2012、10

第三篇：审核计划学习

审核计划的制订 质量管理 2007-11-13 12:33:29 阅读85 评论0字号：大中小 订

阅

审核计划的制订

审核计划包括审核计划和审核活动计划(审核大纲)。审核计划是审核策划的始端也是总纲，审核活动计划则是按照审核计划安排具体实施。

组织审核计划的内容可包括：审核目的、范围、审核准则、审核组成员及分工、主 要审核活动的时间安排、首末次会议时间等。组织的审核计划应以文件形式颁发，审核活动计划应有审核组长签名和总经理的批准。

●目的(1)保证内部审核的实施有计划地进行。

(2)便于管理、监督和控制内部审核。

●要点

(1)组织内部审核计划可包括质量管理体系、过程和服务的审核。

(2)质量管理体系审核应在年内对所有部门和过程全部覆盖，并突出关键部门、过程。

(3)过程质量审核应在年内对所有关键过程、特殊过程全部覆盖，还可考虑问题较多、比较薄弱的过程。

●考虑因素

(1)落实组织审核组织。

(2)组织审核范围。

(3)认证机构及有关法规的要求。

(4)质量管理体系文件关于内部审核的要求。

(5)审核的频次等。

●类型

(1)集中式审核工作计划

主要特点是：

①在某计划时间内安排的集中式审核。每次审核可针对全部适用过程及相关部门，也可针对某些过程或部门；

②审核后的纠正行动及跟踪在限定时间内完成；

③审核的时机大多为：新建质量管理体系运行后;质量管理体系有重大变化时;发生 重大事故时;外部质量审核前;领导认为需要时。

(2)滚动式审核工作计划

滚动式审核一般在通过第三方质量管理体系认证后被采用。

主要特点是：

①审核持续时间较长；

②审核和审核后的纠正行动及其跟踪陆续展开；

③在一个审核时期内应保证所有适用过程及相关部门得到审核；

④重要的过程和部门可安排多频次审核。

(3)审核活动计划

审核活动计划是对本次审核活动的具体安排，应形成文件，由审核组长制订并经主管/管理 者批准。

审核活动计划应明确审核的目的和范围，审核依据的文件(标准、手册及程序等)，审核组成 员名单及分工情况，审核日期和地点，受审核部门，首次会议、末次会议的安排，各主要质量审核活动的时间安排，审核报告日期等。

审核活动计划还应体现本次审核所采用的主要方法，如是操作流程法，还是选择部门法，或 是选择过程法等。

(4)跟踪审核计划

对纠正措施的实施过程及结果应进行跟踪审核，必要时该类审核活动也应制订计划，但其范 围、对象将被限制在前次审核的不合格项方面。

(5)临时性审核计划

临时性审核是指审核计划安排以外的审核。该类审核往往是由于特殊情况或特殊要求而 提出的。

●编制审核计划注意事项

(1)审核计划可按部门或活动(过程)来编写，不再以要素来编写，一般更侧重于按部门审核。审核计划一般应写明拟审核的职能部门、场

所，最好注明应审核哪些相应的活动或过程。过程可以包括产品实现过程和其支持过程(即管理过程)。审核也可以以过程为主审核，此时 则应注明审核哪些相关的职能部门。为此，审核组长应事先熟悉被审核方的质量管理体系文件及部门在相应过程或活动中的职责。受审核方如能提供部门和过程(活动)的职能分配表则更为理想。

(2)审核计划的具体内容应与受审核方的规模和复杂程度相适应。在制订审核计划时 应考虑在对质量有较大影响的过程或活动以及承担较重要职能的部门安排较多的时间，应确保在有 效的时间内完成有效的审核。

(3)在编制内审计划时，若采用滚动式审核，则相应要素应改为相应的过程或活 动，应在一个审核周期内确保对产品实现过程和支持过程的全面覆盖。对于主要的过程和活动，如 管理职责、资源管理、产品的实现过程、测量分析和改进等，每次审核时均应考虑到，对于其子过程则可以考虑抽样。

(4)审核组分工时应注意把具备专业能力的审核员安排在产品实现过程或产品的测量 过程的审核上，以确保审核有效进行。

(5)审核计划中应强调安排对领导层的审核。

2000版标准对最高管理者的承诺和职责进一步予以重视，这些承诺和职责通常反映在组织的 质量方针、质量手册、质量管理体系文件中，并在相关过程和活动中体现。因此对最高管理者的承诺，自身的质量意识和对质量管理体系

及职责的理解，审核时应予充分了解，对最高 管理者的审核或座谈应在审核计划中予以明确并给予足够的时间。

第四篇：深度学习（写写帮整理）

深度学习:让学生语文核心素养落地生根

纵观当下小学教育，依然存在一些问题:学科教学单一，教学模式化，知识碎片化，学习浅显化等等。尤其是语文学习，一篇一篇课文，一节一节语文课，学习机械化、技术化，一学期一学期看不清楚语文能力的提升。为了给学生创设更加广阔的学习天地，培养学生终身学习的能力，造就学生现在和未来必需的语文素养，我们必须研究、实践深度学习。

一、深度学习视角下的语文核心素养培养

“核心素养”，其实就是要回答“培养什么样的人”这一教育的根本问题。笔者认为应包含三个层次:学科特色核心素养、跨学科的共通素养以及自我发展素养。从学科的角度来看，学科素养是主干部分。从教学的角度来看，是从“学科教学”转变为“学科教育”，从“知识本位”向“素养引领”的转变，旨在彰显育人价值，探索深度学习，让学生健康发展、幸福成长。这也是践行《中国学生发展核心素养》精神，将发展学生核心素养落实到语文学科教学之中，进行深度实践的重要举措。

（一）语文核心素养的内涵

核心素养的根本是促进学生形成稳定的人格，促进人的全面发展，培养适应社会需要的人才。因此，核心素养的培养与形成必须关注人格的四层要素:志向(愿望、兴趣、理想、信念等)、经验(知识、技能、熟练、习惯等)、反映(情绪、思考、体悟、感情、意志、记忆等)、气质(性别特质、年龄特质、身体变化等)。北京清华附小提出学生发展的五大核心素养:身体健康、成志于学、天下情怀、审美雅趣和学会改变。笔者所在学校提出:宽和心态、问学精神、和谐融通、审美情趣、学会改变。这一切，最终都指向培养“全面发展的人”。小学语文素养是以小学语文能力为核心的综合素养，是指小学生具有比较稳定的、最基本的、适应时代发展要求的听说读写能力，在语文方面表现出来的文学、文章等学识修养和文风、情趣等人格修养。语文学科核心素养包括语言建构与运用、思维发展与提升、审美鉴赏与创造、文化传承和理解。笔者认为，学生年龄越小，越应当去学科化，培养共同素养。随着年级升高，语文核心素养逐渐细化。

（二）深度学习的内涵

深度学习是相对于浅层学习而言的，与浅层学习进行比较，在诸多方面都有较大差异，如:学习的状况，记忆的方式，思维的层次，等等。深度学习是一种自主、批判式的学习方式，关注学生的理解、思维过程。它通常是个人在与他人分享学习和互动中发生的，其形成的知识是可迁移的，包括学科内容的知识及如何用这些知识来解决问题。国内提出的问学课堂、助学课堂、导学课堂等，在一定程度上都体现了深度学习的理念。美国课程学家拉尔夫・泰勒曾说:“学习是通过学生的主动行为而发生，学生的学习取决于他自己做了什么，而不是教师做了什么。”深度学习更注重学生对知识的理解与运用，提升学习力、思维力、表达力，使得学习成为有意义的过程。语文的深度学习，旨在让学生在语言的海洋里感受多元的文化，接受情感熏陶，在阅读与实践中体验、思索，做一个完整的人。

（三）深度学习与素养提升的关联

深度学习基于真实的问题与情境，倡导自主、合作、探究的学习，培养学生思辨能力，关注学习的全过程，培养学生一生有用的带得走的能力。深度学习能促进学生语文素养的快速提升。在深度学习的视角下，教师创造性地使用语文教科书，从学生的视野出发，构建一个具有丰富文化内涵与多元思维方式的语文课程，进而推动学生在语文学习中的自主探究和自我体验，让学生在生活中学习语言、运用语言和发展语言。这种摸索、探究、积累、体悟，自我发展与超越的学习过程，是促进学生语文素养发展的有力抓手。教师还可以引导学生把合作性动手探究活动和阅读文本、写调查研究报告以及小组讨论、专家指导结合起来，把学习引向广阔的自然和社会生活实践，学生综合能力、语文素养必然大大提升。

二、深度学习与语文核心素养的相融相通(一)深度学习的原则

康德说:“教育是由个体自我设计、自我选择、自我构建、自我评价的过程，是自我能力的发展，它体现着社会意志和教育者与受教育者平等自由地、审慎严肃地共同探究的机理”，深度学习旨在让学生达到深层的学习水平。

1.问学有机结合:不代替学生思维。“发明千千万，起问在一点。”“问”为“学”指明了方向，是“学”的思维起点;“学”是对“问”的探索，是经历解惑的过程，能够促进思维的发展，催生人的智慧，获得解惑的快乐。问学相融，相辅相成，螺旋上升，同构共生。“问学”既是提问，更是一种思维品质，是合乎儿童天性、顺应儿童发展的一种学习方式。鼓励学生提出问题，带着问题学习，是深度学习的关键。学生在学习的过程中，还会不断产生新的问题，这些真实的问题是学生的关注点所在，他们必然邀请同伴合作互助解决，甚至进图书馆、博物馆查阅资料，向教师、专家等咨询请教……问学，学生的思辨能力、自主学习能力、合作能力均能得以提升。

2.探究深度推进:不代替学生学习。语文学习的核心是培养学生的思维能力和语言表达能力。苏教版小语教材一篇篇有价值的经典课文，尤其是那些文质兼美、能为学生精神打底的优秀课文，必须使用好。如《只拣儿童多处行》《望月》《黄果树瀑布》等，仅一两个课时是远远不够的，需要一周甚至更长的时间。这就要靠教师创造性地拓展、加深，把短课变为长课，甚至空间变换。教师要多为学生搭建学习、探究的平台，给学生分组，设计评价量表，督促学生全员参与，深度探究，合作前行。教师要站在一定的高度上，理性地调整学生生成性问题的方向，以促进学生的自主性和创造性得到充分的发挥，让学生在探究中不断提升语文素养，形成能力。

3.全心自主学习:不代替学生成长。学习不仅是教师向学生传授知识的过程，而且是学生建构自己的知识和能力的过程。语文学习不是只给学生一个个答案，而应当让学生总结自己的思维过程。教师主体性行为的合理让渡，为学生主体性成长提供了空间，教师不再“以教代学”。原来本该由学生自己承担的学习行为，比如自学、质疑、合作等到回归学生本体，学生自己去动脑思考、动手操作、动眼观察，对学生的学习能力、意志品质和情操陶冶都有积极的影响。教师对每个个体都要关照到，让他们参与到深度学习中去，全面得到成长。

(二)建立与核心素养契合的语文学习架构

课程是学校提供给学生在校期间，得以获取知识、能力、人格及学习经历等一切活动的总和。教师应当成为课程的开发者、使用者，用课程促进学生的生活体验，满足学生理智生活、情感生活、审美生活、道德生活的需要。为此，必须建构与素养提升契合的语文学习。建议从三方面着手:

1.提供深广的学习内容:让学习丰富起来。学校教育的目的，是培养有理想、有道德、有文化、身心健康的人，其价值是为了学生的终生学习奠基。教学目的就是使得学生在日常的生活和教学生活两个世界中，彰显个性成长与生命成长，增强对幸福生活的敏感，收获对自然、人生与社会的独特理解，为学生一生的幸福奠基。为此，教师必须转变教育观、课程观、教学观、评价观、学生观、教师观，把语文的浅层学习与深度学习，项目学习与主题学习等有机结合，培养学生必备的共有素养，同时关注学生差异，彰显学生的个性。

2.追求幸福、自由、智慧的学习，让学情真正发生。幸福、自由、智慧这三者，分别是对学生在道德学习活动、审美学习活动、认知学习活动中的终极关怀。首先，“立德树人”第一，引领学生认识到幸福的真谛就是精神世界的丰盈，由他律到自律，团结合作，追求卓越。其次，“自由”是审美学习活动的终极追求。体味、感受、体验……丰富情感，陶冶性情，让学生自由徜徉、欣赏、创造。最后，乃是“智慧”，教育学生优秀传统文化的诵读记忆固然必要，更多的还是要发展和创造，从要学，走向会学，乃至学成。

3.教师行为的合理让渡:让学生成为自己。建构主义理论告诉我们:学习过程不是学习者被动地接受知识，而是积极地建构知识的过程。在小学语文学习中，教师虽然是学生学习活动的组织者和引导者，但应激发学生学习的兴趣，培养他们自主学习的意识和习惯，引导他们掌握语文学习的方法，为学生创设有利于自主、合作、探究学习的环境。学生是学习的主体，是成长和发展的内因，教师应尊重他们的个体差异，鼓励学生选择适合自己的学习方式，健康地成长。

三、语文深度学习的支架与建构

语文课程最终会留给学生弥足珍贵的东西，这种东西一定是深藏在课程核心的、赖以影响学生后续发展的精神财富，语文的深度学习便是如此。

（一）深度学习支架建构的基本流程:

发现问题、确立专题→下发量表、自主学习→驱动问题、深度学习→完成量表、细致指导→成果展示、项目反思。

教师与学生一同阅读教材，发现问题，师生共同拟定一个学年的语文深度学习专题内容;下发设计的深度学习总表、单项评价量表、过程及成效考核表(见表1、2、3);学生自主学习、合作学习，在同伴互助、教师引领、专家指导下深度学习，并完成各项量表;完成各项汇报材料，进行成果展示，同时撰写学习反思，促进深度学习再度发生。

由三张表可以看出，深度学习关注的是培养学生的创新能力与实践能力，更多关注知识、技能和态度的综合表现，以整合的方式推升学生的语文素养。素养可学、可评、可测，可提升。在活动中让学生学会求知、学会发展、学会合作，既训练了运用语文的技能，同时陶冶人性，促进生命个体成长。

(二)深度学习的具体设计与实施

深度学习要在教材基础上加以选择。因此，教师要依托教材，带领学生共同选择，确立研究主题。

1.设计过程。开学初，先让学生整体阅读苏教版五年级教材。教师精选具有典型性和范例性的内容，学生从中选择感兴趣的内容、存在问题较多的内容。苏教版五年级教材共有53篇课文，其中《精读与略读》《神奇的克隆》等23篇课文让学生自读自悟即可;《望月》《水》等30篇课文需要精读。师生最终确定开展深度学习共6个专题:“珍惜水资源”“走向大自然”“月亮的研究”“长征行”“追寻一个名人”“说名道姓”。这6个专题学习时间不一，短则一周，长则贯穿一个学期。每一专题学习都以解决实际问题的逻辑顺序为主线，组织教学内容。如以“追寻一个名人”系列活动为例，凡教材中涉及的作家高尔基、萧红、冰心或者课文主人公钱学森、诺贝尔、法布尔、海伦・凯勒……以及《中外名人故事》中选择的爱因斯坦、钱学森、乔布斯等均可选择。确定研究主题后，指导学生在活动中持续学习，教师、专家等进行协助、帮助、扶助。

2.整合教材，实施深度学习。

(1)根据儿童发展需求，整合取舍现行教材。根据儿童发展需求选择教材，删减增修。保留文质兼美，富有童趣的文本精读，补充优秀的文学作品。细读文本，让学生感受人性的温暖，感悟语文的温度，转化为精神力量，转化为自己的智慧。如，增加20首古词，20篇小古文，阅读《童心里的诗篇》50首小诗，必读书目《三十六计》《海底两万里》等6部。

(2)利用儿童生活资源，充实优化课程内容。课堂只是小天地，课外乃为大课堂。优秀的文学作品可以引导学生不断充实精神生活，完善自我人格，提升人生境界。学习一篇课文带动几篇，或者学习一篇课文带出一本甚至多本专著。通过比较阅读，拓展阅读，有效充实课程内容。带领学生走向广阔的生活之路，阅读之旅，实践之程，才能刺激学生发展和创造的能量，成为他自己。

(3)合理改进学习方式，共建动态共生课程。“一事一物皆课程”。我们把课程视为师生、教材、环境等协调运作的动态生长过程。在学校系列成长课程的基础上，设臵班本课程，如:《两河读书乐》《秀秀成语》《校园小向导》等。让读写课、演讲课、表演课成为常态，激发学生责任感、使命感，发展潜能，提升创造力。

具体操作如下:

第一阶段，阅读苏教版五年级教材，先学习《朝代歌》，了解不同时期出现的名人(时间4周)。

第二阶段，细读文本(课文)，寻找作品或专著，进行阅读、摘抄等(臵于大背景下的阅读，时间2个月左右，地点自选)。

第三阶段，提出问题，搜集资料，开展活动。通过讲故事、看电影、写感想、开演讲会、写研究报告、表演、参观、访谈等促进学习(时间1月)。

第四阶段，整理研究成果，汇报、展示，互相评价，撰写学习心得，提出新的问题(时间2周)。这样的设计与实施，真正关注了儿童成长，一切以学生为中心，强调学生对知识的主动探索、主动发现和知识意义的主动建构。注重学生对语文学习的独特理解、质疑、应用上来，这种动态的运作过程，适用于不同学生的发展，真正通过深度学习，促进每一个学生语文素养的提升。我们应该让学生思考，我要成为一个什么人，我将来想做什么。想通了、坚定了，学习就会成为自觉行为。

语文的世界是丰富多彩的，它不仅使得学生得到语文训练，同时唤醒学生的情操与心灵、生命与人格，唤醒学生的主体性与创造力，唤醒学生生命成长的自觉。未来，教育者还需为深度学习的发生提供必要的资源和技术的支撑资源，这是进行深度学习的基础和关键，没有学习资源，深度学习就无从谈起。深度学习——培养学生语文素养的应然之道。语文深度学习的探索依然在路上……

第五篇：深度学习讲稿

卷积神经网络是受灵长类动物视觉神经机制的启发而设计的一种具有深度学习能力的人工神经网络。卷积神经网络属于深度学习架构，其釆用了局部连接、权值共享和子釆样操作，使得需要训练的权值参数减少，因此，卷积神经网络可以在层数较多的情况下，仍然具有良好的表现。除此之外，卷积神经网络还有平移、缩放不变性等诸多优点。卷积神经网络在模拟人类视觉方面效果显著，当输入是图像时，卷积神经网络的这个优点表现的会更为明显，因为图像可以直接作为卷积神经网络的输入，有效地避免了传统算法中的特征提取和数据重建过程，提高了算法效率。卷积神经网络的学习方式，在一般情况下，会釆用有监督的学习或者逐层无监督学习方式。逐层无监督学习存在训练繁琐，时间较长，且训练得到的特征与具体任务不相关等问题；而有监督的学习存在梯度弥散，训练样本不足等问题。

下面我讲一下卷积神经网络的结构。卷积层是卷积神经网络的核心组成部分，其具有局部连接和权值共享特征。卷积层所完成的行为就是前一层的一个或者多个特征图作为输入与一个或者多个卷积核进行卷积操作，产生一个或者多个输出。为了使神经网络具有非线性的拟合性能，须要将得到的结果输入一个非线性的激活函数，通过该函数映射后最终得到卷积层的输出特征图。左图是卷积的示意图。

子采样层的作用是对卷积层输出的特征图进行采样，如右图所示，采样层是以采样区域的大小为步长来进行扫描采样，而不是连续的。每个子区域经过子采样之后，对应输出特征图中的一个神经元，神经元的值有一个计算公式在这里我就不赘述了。

经过卷积神经网络逐层提取到的特征可以输入任何对于权值可微的分类器。这样使得整个卷积神经网络可以采用梯度下降法等基于梯度的算法进行全局训练。下面我们详细介绍一下在卷积神经网络和其他神经网络中都使用比较广泛的softmax分类器和在分类任务中表现优秀的支持向量机。Softmax分类器其原理来源于softmax回归模型，而softmax模型是将logistic回归模型推广到多分类问题上得到的，Softmax 分类器属于有监督的分类器，但是很多时候，该分类器也可以和深度学习模型或者是无监督学习模型一起连接使用。

支持向量机是一种有监督的学习方法（分类器），与模式识别、计算机视觉有着紧密的联系，已广泛地应用于统计分类以及回归分析。

支持向量机属于线性分类器，其优点是能够同时实现最大化几何边缘区与最小化经验误差，因此支持向量机也被称为最大边缘区分类器（maximal margin classifier)。

对于卷积神经网络的训练，包括人工神经网络的训练，经过多年的发展，主要有三种方式，即完全有监督方式[29,30]完全无监督方式[31]和有监督与无监督方式相结合的方式。

有监督学习是属于机器学习中的一种学习方法，可以从已标记的训练集样本中学习到映射函数。在有监督的学习中，每一个训练样本都包括一个输入对象（通常是以向量的形式表示）和一个理想的输出值，该理想输出值也被称为监督信号。监督学习算法通过对数据分析，进而学习到一个映射函数，该函数能用于映射新的数据样本。一个理想的情况是，对于新的数据样本，该映射函数能正确的给出其类别标签。

在卷积神经网络中，通常采用有监督的方法直接进行训练，有监督的方法最常用 的是基于梯度的方法。一般采用的是批处理随机梯度下降法。与有监督学习相对应的是无监督学习，无监督学习并不要求输入的训练数据带有标签，其主要目的在于从无标签的数据中找到隐藏的、更加抽象的结构。

在模式识别和计算机视觉领域，采用无监督学习算法来提取特征已经有很长时间的 应用历史了。无监督学习的方法，如稀疏自动编码机、限制玻尔兹曼机、高斯混合模型、主成分分析和k均值等在计算机视觉领域都有着 大量的应用。

可将具体的无监督学习算法看做一个黑盒子，其功能是从数据中学习到可以将输入数据映射为一个新的特征向量的映射关系。

卷积神经网络采用上述框架进行逐层无监督学习，有效解决了训练样本不足的问题。

随着机器学习的迅速发展，无监督学习算法也越来越多，在卷积神经网络的发展方面，今后的可能的发展方向是研究更加适合在卷积神经网络中使用的无监督学习算法，改进传统神经网络的学习方式，以提升其性能。

由于深度网络可以无监督地从数据中学习到特征，而这种学习方式也符合人类感知世界的机理，因此当训练样本足够多的时候通过深度网络学习到的特征往往具有一定的语义特征，并且更适合目标和行为的识别。

应用部分

虚拟人脑是谷歌2012年研发出来的基于深度学习的具有自动学习能力的人工智能项目。它采用1000台计算机共 16000个计算节点，利用Youtube网站上的视频作为训练集，花费3天的时间训练出9层的深度自编码器网络。其训练出来的深度神经网络已经可以模拟一些人脑的功能。

2010年开始的大规模视觉识别比赛(ILSVRC)是在ImageNet数据库上进行的有关视觉目标识别的比赛。ImageNet 有超过 10000000 幅图像，超过1000个类别，是目前公开的最大的视觉数据库，因此在这个数据库上进行的比赛反映了目前计算机识别技术的最高水平。

图像的分类和标注是计算机视觉中的两个重要问题。图像分类指的是对图像内容作整体的描述，例如给定一幅图像判断它属于“海滩”、“厨房”、“卧室”等预先定义好的类别中的哪一类;而图像的标注指的是对于图像中包含的内容作出判断，例如一幅图像中是否包含“天空”、“汽车”“，树木”等预先定义好的内容。很显然，这两个问题是相关的，虽然对于这两类问题，都有很多方法来解决各自的问题，但是却只有很少的工作尝试同时解决这两类问题两类问题，目前最流行的方法是使用LDA来进行建模。

最近，有一批科学家提出使用基于神经自回归分布估计器的监督性神经自回归分布主题模型来同时处理图像分类和标注问题。这个算法是一种基于NADE的监督性主题模型，它使用“前向—反向”两步进行优化，在其优化过程中不存在像 LD一样的难于计算的归一化因子，因此整个模型可以准确地和有效地求解。文献表明这个模型在同时解决图像分类和标注问题中优于其他主题模型，并且会学习到具有语义特征的“主题”，就是这幅图里面展示的。

[58]

。对于这