个人移动智能终端与中职语文课程整合研究（含5篇）

第一篇：个人移动智能终端与中职语文课程整合研究

个人移动智能终端与中职语文课程整合研究

摘要：在个人移动网络化时代，能够随时随地买卖支付，分享传递信息，展示特别自我，每个人随时随地都成为了网络的一份子。在个人与网络如此紧密联系的前提下，中职语文教学面临着与中职学生手中的个人移动智能终端（手机，平板电脑等）激烈竞争的严重困境。因此，加强个人移动智能终端与中职语文课程内容的全面整合，给中职语文教学改革带来了前所未有的新思路。个人移动智能终端与中职语文教学环节、教学方法、教学内容的整合具有重大意义，经过整合、组合、相互融合，在整体优化的基础上产生聚集效应，激发学生的学习热情、拓宽学习渠道、提升教师的课堂教学技能，对推动中职语文教学改革和提高中职学生的语言运用能力具有一定的现实价值，从而高效完成中职语文的课程任务。关键词：个人移动网络终端； 中职语文； 整合

在个人移动网络化时代，个人移动智能终端渗透到了社会生活的各个方面，对于教育的影响也日渐深入。中职语文作为一门公共基础课程，如何实现与个人移动智能终端的有效整合对于提升中职学生的综合能力有着重要意义。

一、个人移动智能终端与中职语文课程整合的内涵

移动终端作为简单通信设备伴随移动通信发展已有几十年的历史。移动终端或者叫个人移动通信终端是指可以在移动中使用的计算机设备，广义的讲包括手机、笔记本、平板电脑、POS机甚至包括车载电脑。但是大部分情况下是指手机或者具有多种应用功能的智能手机以及平板电脑。自2007年开始，智能化引发了移动终端基因突变，从根本上改变了终端作为移动网络末梢的传统定位。个人移动智能终端几乎在一瞬之间转变为互联网业务的关键入口和主要创新平台，新型媒体、电子商务和信息服务平台，互联网资源、移动网络资源与环境交互资源的最重要枢纽，其操作系统和处理器芯片甚至成为当今整个ICT产业的战略制高点。移动智能终端引发的颠覆性变革揭开了移动互联网产业发展的序幕，开启了一个新的技术产业周期。随着个人移动智能终端的持续发展，其影响力将比肩收音机、电视和互联网(PC)，成为人类历史上第4个渗透广泛、普及迅速、影响巨大、深入至人类社会生活方方面面的终端产品。

“教育教学中的整合就是运用系统科学方法，在教育学、心理学和教育技术学等教育理论和学习理论指导下的教学资源和教学要素的有机结合:在整合过程中要协调教育教学系统中教师、中职生、教育内容和教学媒体等教学诸元素的作用、联系和相互之间的影响，使整个教学系统保持协调一致，维持整体过程或结果，从而产生聚集效应” ［1］。整合的目的在于发挥个人移动智能终端的特点与优势，帮助教师开展高效的教学活动，从而提高教学效率，实现中职学生能力水平的提升。

基于学者的研究，作者认为中职语文教学课堂上不应该排斥个人移动智能终端的使用，个人移动智能终端与中职语文课程的整合，是指根据中职语文的课程特点，充分开发个人移动智能终端的优势，从而高效完成中职语文课程的教学任务。

二、个人移动智能终端与中职语文课程整合的意义

当前的中职语文教学地位十分尴尬，首先大部分中职学生在小学初中的语文学习时期没有打好基础，在中职语文学习期间缺乏信心动力，其次部分班主任及辅导员在教学督导宣传过程中消极宣传“文化课无用论”,另外部分学校对于文化课与专业课教学管理的区别对待，以及甚至忽视管理，让语文，数学，英语，德育，职业指导，心理健康等课程变成部分专业课程老师的兼职课程。此种情况在民办中职学校屡见不鲜。鉴于以上原因，中职语文教学质量良莠不齐。面临这种困境，我们迫切培养学生的语文学习兴趣，发挥语文的教育功能。个人移动智能终端为中职语文课程提供了物质平台和教学环境，个人移动智能终端与语文课程的整合应用，代表了当今语文教学的发展趋势。

（一）激发学生的学习兴趣

爱因斯坦说过:“兴趣是最好的老师。”学生对所学的内容感兴趣，才会激发内在的学习动力，个人移动智能终端，能提供大量的图、文、声、像信息，为学生提供多种感官的综合刺激，充分调动学生的学习热情。语文教材中的许多作品文字优美，意境丰富，例如，在语文课《致橡树》中，就可以让学生用个人移动智能终端自主搜索相关的朗诵音频，然后相互比较，模仿朗诵，最终感受文学的优美。

（二）拓宽学习渠道

语文是一门知识综合性很强的学科，网络丰富的资源、数字化图书馆、电子读物等，为学生提供丰富的信息知识，跨越了学习语文知识的时空限制。通过个人移动智能终端，学生可以获取多样的资料，在课上或在电脑上与老师、同学进行在线交流、讨论，对大量的信息进行分析、加工，然后根据自身的需要加以充分的利用。在这个过程中，学生的语文综合能力得到了培养和提高。

（三）促进教师与学生的交流

在个人移动智能环境下，语文教师可以即时与学生交流个人智能终端的共享信息导入新课。在无形中拉近老师与学生的距离，在不断的交流与碰撞过程中，学生不断学习到了知识技能，而且学会了自主筛选信息的自主学习能力。

三、个人移动智能终端与中职语文课程整合的路径

（一）个人移动智能终端与中职语文教学环节的整合

首先，教师在上课前，利用个人移动智能终端查阅与教学相关的各类素材，如诗歌、散文、短评等，做好充分的授课准备，并且把自己准备的内容运用网络使学生共享。其次，在教学之中，利用网络和多媒体信息量大、图文并茂、方便快速的技术性能，帮助学生学习字词，分析语言，理解文章，收到事半功倍的效果。如在学习古代文学这部分时，由于这些知识在现实交际中使用很少，同时缺乏相应的生活场景铺垫。因此，为了更好地理解文章内容，可以引导学生在个人移动智能终端搜索与所学内容相关的文字或图片素材，通过相互交流，彼此沟通，从而在头脑中构建起相应的知识背景，为后续学习打下良好的感性基础。如学习《水浒传》，在让学生掌握相关知识的基础上，让学生欣赏电视剧《水浒传》中的精彩片断，使其观其色、听其音、看其像，如临其境，从而加深对课文的整体理解。

(二)个人移动智能终端与中职语文教学方法的整合

中职语文课本中选取了很多经典作品，诵读是学习这些作品的一个首要方法。可以利用多媒体课件配上优美的背景音乐和适当的图像，营造一种美的氛围，让学生觉得诵读不再枯燥，而是享受，从而使学生乐于学习，在轻松的氛围中提高审美情趣。在充分诵读的基础上，学生可以利用个人移动智能终端查阅相关的资料，如作者生平，写作背景等，加深对作者的了解和对作品的理解，培育学生主动学习的习惯和勇于思考的精神。在获取资料的基础上，进行交流性的学习，网络打破了课堂的时空限制，师生之间的交流更为快捷和广泛，信息反馈也更为及时，提高了教学效率。(三)个人智能终端与中职语文教学内容的整合

1、阅读教学的整合

长期以来，我们的老师还是袭用传统的阅读教学方法，先是阅读预习提示，接下来是作者、背景介绍，然后就是篇章、段落的解析课文。千篇一律，学生听的兴趣索然，教师觉的花了大力气但收效甚微。现代信息技术与阅读教学的整合大大激发了学生的阅读兴趣。

在阅读教学中，运用个人移动智能终端，让学生积极参与到教学过程中，发挥学生学习的内在动力，从而提高教学效率。例如在《静女》鉴赏时，教学内容是掌握《诗经》的基本知识，鉴赏《诗经》中以爱情为主题的诗歌，提高鉴赏诗歌的能力。教学过程如下：（1）学生可以迅速从个人移动网络终端，查找《诗经》的相关知识，用幻灯片的形式向师生展示。（2）配乐朗诵《静女》，并辅以画面。（3）播放一段视频并展示一些图片，让学生对当时的伦理道德风尚有所了解。（4）提出问题，《静女》写一对青年男女幽会的情景。你认为哪个地方的描写最具有生活情趣？为什么男青年喜欢姑娘送的这些礼物？（5）能力拓展:有兴趣的同学可试着把《静女》改写成五言诗或七言诗或现代诗，你对当代人的爱情有怎样的理解。（6）相互交流与评价，学生将自己的作品在同学之间，甚至在个人上进行交流，相互评价。

2、写作教学的整合

写作一直是中职语文教学的一大难题，学生没有兴趣，写作时无话可说，难以下笔，教师批改任务繁重，不能与学生进行及时交流，而个人智能终端却可以弥补这些不足。通过创设情境，激发学生的写作热情，同时，网络包罗万象，为学生提供丰富素材，使学生有话可说。而且个人移动智能终端使作文修改十分便捷，省去了抄写的负担，既可小作修改也可大刀阔斧。教师对个别作文的点评，都可公开到全体学生面前，产生平行性教育的效果。对学生作文的成绩评价，可以把点击率和收到的评语数量作为作文成绩的主要依据，实行网上开放化的教学评价。例如写作《我的中职生活》，教学过程如下。（1）创设情境，把教师自己的大学生活讲述给学生，激发他们的写作热情，引导他们从平淡的生活挖掘出精彩，使他们有话可说，有话想说。（2）搜集素材，学生可上网查阅相关素材，拓宽写作思路。（3）完稿，学生把构思好的内容输入到计算机，转化成书面语言。（4）批改，教师进行批改或同学互改交流。最后，把优秀作文放到网上，让学生共享。总之，现代信息技术的运用，给我们的写作教学提供了一个全新的发展领域，它另辟蹊径，打破了传统教学僵化、冷漠的面孔，变得更加生动活泼，更为贴近学生的实际，实为改善写作教学的一条有力途径。

语言学习是一门实践性非常强的课程，需要学生课上课下进行大量的训练，中职语文与个人智能终端现代信息技术的有效整合，不仅把教学活动场所设定在以多媒体和网络为基础的信息化环境中，教师可以利用用于教学的计算机网络，动态、连续地把教学内容发布给学生作为学习资源，还能够以个人移动智能终端为手段，推进课程改革，带动教师团队素质和能力的提高。总之，中职语文教学必须紧扣时代脉搏，做到与时俱进。

参考文献：

［1］荆金奎.信息技术在基础教育中的应用[M].青岛:山东教育出版社，2006：25

第二篇：基于智能移动终端的工厂监控系统设计与实现

基于智能移动终端的工厂监控系统设计与实现

张川 蔡其星

浙江中控技术股份有限公司，浙江杭州，310053

摘要：工业自动化监控系统在各种工业生产领域广泛应用，大大提高了工业生产效率和生产安全性，节省了生产成本。传统的监控系统多为基于专用设备和PC实现，便携性差，价格昂贵。近年来，电力、油气传输、化工等行业对移动数据监控的需求越来越强烈，移动工厂的理念也逐渐形成。针对以上问题，本文设计了能够运行在IOS智能移动终端上的监控系统，利用移动终端远程无线传输、携带方便等优势，实现现场数据远程传输和数据查询，降低产品价格，减少投资成本，提高竞争力。从而，使得移动工厂实施成为可能。

关键字：IOS、监控系统、移动终端、报警推送

Design and Implementation of Plant Monitoring System Based on Intelligent

Mobile Terminal

Chuan Zhang Qixing Cai

Zhejiang SUPCON Technology Co., Ltd., Hangzhou, Zhejiang, 310053

Abstract: Industrial automatic monitoring system is wildly applied in various industry production fields, which largely improves the efficiency and security of industry production and reduces production cost.Most traditional monitoring systems are implemented basing on special device and PC, which have poor portability and high price.Nowadays, industries such as electric power, oil and gas transportation and chemical industry increase their requirements for mobile data monitoring, and the theory of mobile plant is formed gradually.Thus, this article introduces the monitoring system for IOS intelligent mobile terminal.With the advantages of mobile terminal like remote wireless transmission and good portability, it realizes field data remote transmission and data query, reduces product price and investment cost and improves competitiveness.Thereby, the mobile plant implementation can be achieved.Keywords: IOS, monitoring system, mobile terminal, alarm push 引言

现有的工厂数据监控系统多基于PC运行，数据传输基于专用封闭式网络，便携式式差，成本高，难以实现异地数据查看。随着移动网络及智能移动终端硬件设备的日益发展，采用智能移动终端随时随地查看工厂生产实时数据的技术成为研究的热点和趋势。本文对基于移动智能终端的数据监控系统作了初步研究和探讨，设计了一款基于IOS移动终端平台的数据监控系统（SIMField）。实现了无需专用PC，只需通过智能移动终端即可查看工厂生产的实时数据。

本文阐述了移动终端数据监控系统在移动设备中（主要是IOS设备）流程图、报警、报表等功能的设计与实现，利用移动设备独特的图形处理技术进行研究与开发。本系统同时支持与已有运行于PC的监控系统进行数据互联，达到在手机中展示数据和报表的目标，从而满足企业中管理层用户的需求。移动监控系统方案

SIMField系统的主要功能是结合企业的生产监控系统（如SCADA系统，企业生产管理系统等）实现移动式监控，可以跟原有的PC生产监控系统无缝结合，共享数据、报警、流程图、报表等。

系统架构采用B/S系统的一般架构模式，采用Web服务器和浏览器客户端结合的体系结构。Web服务器主要功能是提供数据、文件服务、身份认证服务，通过OPC驱动获取异构系统的数据，移动客户端采用APP内部嵌入WEB页面的技术，从Web服务器获取页面数据。移动终端监控软件设计与实现 3.1 系统网络部署

SIMField系统的网络部署如图3-1所示。

图3-1 网络部署图

上图展现了企业生产监控系统典型的网络架构。其中PIMS[1]指某一实时监控系统，它对生产区上实行监控和生产管理；实时监控系统OPC服务器向第三方系统（如SCADA系统、SIMField服务器）提供实时数据；SIMField服务器对内作为组态转存服务，将PIMS监控系统组态信息（流程图、报表等）进行转存，转换为自身格式组态存档，对外为SIMField移动终端提供数据。移动终端使用Internet公网或内部无线网接入生产监控网络，访问SIMFIeld服务器获取组态信息和实时数据。

SIMField移动服务器在整套系统中的主要作用是数据中转，文件解析，将生产管理系统中的数据和报表、流程图解析为移动设备可以显示的格式。选用OPC作为数据传输协议的目的是保证移动服务器的兼容性。

3.2 数据流图

SIMField服务器接入三方监控系统的组态数据流及实时数据流如图3-2所示。

注[1] PIMS： 企业生产管理系统，在此处用于给移动监控软件提供数据。

图3-2 数据流图

SIMField服务器从三方监控系统获取流程图、报表等组态信息文件，并进行转化为自身特定格式组态信息并存储。通过OPC方式从三方监控系统获取实时监控数据。

3.3 SIMField主要功能模块

3.3.1 服务器管理模块

服务器管理模块实现服务器可视化的管理配置界面，具备数据库设置、报警设置、流程图管理、报表管理、设备管理等功能。界面如图3-3所示。

图3-3 服务器管理配置界面

移动监控服务器的主要功能是为移动设备接入数据，而服务器配置的目的就是为数据接入和管理做一个可视化的配置工具。主要包含的功能是:可以监控和启停数据服务，配置组态和运行环境，设置报警，管理流程图，管理报表，管理设备。

3.3.2 报警模块

由于移动监控一般用于企业管理层，只会关注特别重要的报警点。本系统的报警独立于第三方接入系统，需要专门针对移动设备进行报警配置。报警在服务器进行配置，每一条报警配置都对应一个位号，并且需要输入报警类型、报警临界值、报警等级、报警描述、联系人、联系人号码。报警配置存储到数据库，同时可以进行修改和删除。在服务器上有一个专门处理报警的线程，根据报警配置中的临界值和相应的规则来生成报警。每次新报警产生时放入实时报警队列并且存储到历史报警数据库。

当报警产生时，服务器采用IOS的推送技术，将报警主动推送到IOS移动终端。移动终端在同一个界面中查看实时报警和历史报警。客户端在收到报警推送信息后，登录SIMField客户端软件，对报警信息进行阅读、确认等操作，同时可根据该报警关联的联系方式呼叫报警联系人。报警工作流程如图3-4所示。

图3-4 报警工作流程

3.3.3 监控流程图

SIMField系统的监控动态流程图采用XML标准格式来描述。流程图的图形绘制和动画效果使用第三方库“Raphael.js”，根据不同的浏览器类型，自动采用SVG或者VML来绘制矢量图形，通过JavaScript脚本改变图形对象属性实现图形的动画。流程图模块运行时，周期性从WEB服务器请求获取数据，将获取到的新值转换成流程图对象的动态属性值，然后把属性设置到图形对象，实现图形对象的动态效果。动态流程图运行截图如图3-5所示。

图3-5 流程图效果

3.3.4 报表模块

报表模块从第三方系统中获取报表组态信息，并进行转换，存储，供SIMField移动终端客户端调用，浏览。

运行时，报表模块从SIMField获取数据，根据组态配置动态更新到报表页面中，实现报表数据浏览。

本系统可以支持的报表文件类型有 Word 文档，Excel文档，PowerPoint文档，PDF文档，CSV文档，并且可以扩展支持HTML文档和TXT文档。

3.3.5 用户认证模块

本系统的用户认证方式采用密码和移动终端设备编号结合的方式，服务器管理员将移动终端设备的唯一编码审核后在SIMField服务器上进行注册，并且给该终端设备分配用户名和密码，该终端设备即可通过该用户名、密码登录SIMField监控系统。总结

本文设计的智能终端移动监控系统（SIMField）能够运行于IOS智能移动终端，利用移动终端WIFI或者3G网络，实现现场数据远程传输和数据查询。本系统可以紧密结合传统的工厂监控系统，可以随时随地获得现场运行状况，关键数据，报警信息等。它利用几乎每个人都配备的手机为载体，不但可以让企业管理人员快速及时地获取信息，提高效率，还可以减少网络和报警设备的投资，降低系统的成本，提高竞争力。

参考文献

[1] David Mark，Jack Nutting，Jeff LaMarche.Beginning iOS 5 Development Exploring the iOS SDK.Apress [2] Raphaël Reference 作者简介：

张川,1981年出生，男，浙江浦江人，2003年毕业于浙江大学计算机系，学士学位，工程师，从事工业控制软件开发工作。通讯地址：浙江杭州市滨江区六和路309号A3研发大厅0-*** 电子邮箱： zhangchuan@supcon.com

310053 联系电话： 邮政编码：

第三篇：移动终端的教学应用模式研究

移动终端的教学应用模式研究

在互动学习时代，以iPad为代表的智能移动终端将成为学生的重要学习工具，因此，对智能移动终端的应用模式研究具有重要意义。目前，基于智能移动终端的教学应用模式大致有以下几种：

1.基于快速反馈系统的应用模式

快速反馈系统最早的形式是每个学生手持一个类似遥控器的终端设备（Clicker），教师通过投影仪显示题目，学生使用Clicker选择正确答案，学生的答案可以立即反馈给教师，教师可以快速对学生的答题情况进行统计，这种系统俗称“按按按”。现在这种快速反馈系统在平板电脑上已经得到实现，基于平板电脑的快速反馈系统比Clicker系统具有更加强大的功能和扩展空间，除选择题和判断题外，平板电脑快速反馈系统还可以实现连线题、排序题、拼图题等更加复杂的客观题型的快速反馈。

快速反馈系统可以实现课堂上教师和学生之间基于问题的互动，为教师及时了解课堂教学效果提供了方便，但是快速反馈系统不关注教师的教学方式和学生的学习方式，它只对课堂教学效果进行测试和快速反馈，因此，这种应用模式具有通用性，无论在哪一个学习时代，快速反馈系统都是一种重要而且必要的应用模式。

2.基于备授课平台的应用模式 随着智能移动终端进入课堂，很多公司都不约而同的开发了一种基于平板电脑的备授课平台。教师将教学资源上传到授课平台，上课时，学生登录平台，下载教师提供的课件或学习资料，教师使用平板电脑进行课件的演示，演示画面可以广播到每一个学生终端。一般这种备授课平台都实现了简单的快速反馈、电子举手、学生抢答和随机点名等师生互动功能，为了进一步增加师生互动效果，这种平台还实现了主观题目的答题和上交功能，如拍照上传、图片标注上传、学生课堂作业分享等功能。

“在课堂教学中，通过平板电脑实现教师和学生之间的互动”是这类平台极力要实现的目标，但这是一个应用误区。平板电脑最大的优势是“人机互动”，而不是通过平板电脑实现师生互动，尤其在课堂教学中，教师直接面对学生，师生间的互动没有必要通过平板电脑来实现，教师的教育观察能力才是保证师生互动效果的最重要因素。因此，这种课堂应用模式总会给人一种平板电脑可用可不用的感觉，甚至有时感觉还不如不用。

这种备授课教学平台基本上是按照传统的课堂教学模式设计的，教师在熟悉了平台操作和功能后，就可以很容易地在平台上进行授课，任何一节课都可以使用，实现所谓的“常态化”应用。但实际上这种应用模式依然停留在只读学习时代,技术仍然为教师服务，平板电脑被当成教师的教学工具，而没有成为学生的学习工具，平板电脑的人机互动优势没有得到充分利用，学生的学习方式没有改变，课堂教学模式也没有发生本质变化。

3.基于电子教材的应用模式

电子教材整合了文字，图片，音视频资料，而且具有人机交互性。电子教材充分发挥了平板电脑的人机互动优势，学生在使用平板电脑阅读电子教材时，可以随意放大或缩小文字的大小，使字体更加方便阅读；可以点击插图或视频，对插图进行放大浏览或直接播放视频资料；在电子教材中使用音频技术，可以实现点读机功能的英语教材；学生在做电子教材中的练习题时，完全是一种互动模式，做完题目后，可以立即得到结果反馈。

电子教材直接为学生的自主学习服务，不用纸，不用印刷，不受内容篇幅的限制，具有多媒体和交互性，在纸质教材内容基础上，可以更加全面直观地体现知识内容，改变了学生的阅读方式，提高了学生的阅读兴趣。电子教材对传统的纸质教材是一种革命性的改变，因此，电子教材是智能移动终端不可缺少的应用模式。

4.基于教育APP的人机互动应用模式

基于教育APP的人机互动应用模式是最能体现平板电脑教育价值的应用模式，是真正实现学生一对一互动学习的应用模式，也是最吸引家长为孩子购买平板电脑的应用模式。教育APP的内容比电子教材更加丰富，互动方式也更加吸引学生的学习兴趣。学生的学习过程主要包括新知识的阅读学习、知识的背诵记忆、知识的应用练习和技能的熟练掌握，基于平板电脑的教育APP能够实现每一个过程的一对一互动学习，这种互动学习体验是前所未有的，是对学习方式的革命性改变。

基于教育APP的人机互动应用模式是欧美、香港、新加坡等国家的主流教育应用模式，几乎所有的实验学校都在采用这种模式进行一对一的教学，在美国的App Store中，教育APP数量已经超过十万个，内容可以覆盖K12所有学科。但在中国，这种模式还没有被大多数实验学校认可，其主要原因是国内公司所提供的应用方案几乎都是基于备授课平台的，所有公司都在开发备授课平台，很少有公司开发教育APP。教育APP的数量和质量是决定平板电脑能否真正成为学生的学习工具，并得到普及应用的关键因素，目前国内的教育APP数量和质量远远不能满足学生和教师的需求，大多数学校和家长对教育APP不了解，这种应用现状和观念急需改变。

5.基于网络学习空间的应用模式

电子教材和教育APP充分发挥了平板电脑的人机互动优势，实现了一对一的人机互动学习，但是只靠人机互动是无法解决学生自主学习过程中的所有问题的。学生在学习过程中需要有系统的学习方案指导、需要教师或家长的引导、评价和鼓励，需要学生之间的交流，需要一个共同成长的自主学习氛围，在互动学习时代，这些需求可以通过网络学习空间实现。

网络学习空间的建设和应用在西方发达国家已经积累了丰富的经验，例如美国的可汗学院，以丰富的微视频课程资源、科学精细的知识点分级体系、优秀的互动学习体验、全面的评价管理系统和学习进度管理系统，吸引了上千万的美国中小学生进行在线自主学习，这种学习模式在国外被称为“翻转课堂”。

网络学习空间为学生创造了人机互动、师生互动、家校互动和生生互动的个性化自主学习环境，网络学习空间打破了课堂的界限，实现了课前、课中和课后的一体化学习，随着无线网络和智能移动终端的普及，网络学习空间的互动学习体验更加优秀，智能移动终端和网络学习空间的有机结合，将成为互动学习时代的主流学习方式。

第四篇：智能移动终端公共服务平台为个人信息提供保护

智能移动终端公共服务平台为个人信息提供保护

随着信息技术的广泛应用和互联网的不断普及，个人信息在社会、经济活动中的地位日益凸显。与此同时，滥用个人信息的现象随之出现。近年来，个人信息泄露事件频发，并呈现迅猛发展的态势，2011年底中国互联网更是遭遇了史上最大规模的用户信息泄露事件，多家大型网站的用户数据被泄露，几千万用户账号和密码被公开，给社会秩序和人民切身利益造成严重危害。如何合理利用和有效保护个人信息已成为政府、企业、个人和社会各界广泛关注的热点问题。

个人信息保护由来已久

年 “个人信息保护”纳入工业和信息化部重点工作范畴，工业和信息化部信息安全协调司已续四年委托中国软件评测中心开展相关研究和测评工作；2009年，工业和信息化部杨学山副部长在大连个人信息保护试点工作现场交流会上，要求全面推进个人信息保护工作，此次大会上，来自全国30多家省市的代表讨论了由中国软件评测中心编制的《个人信息保护规范》（草案）； 2010年3月15日，在工业和信息化部指导下，由中国电子信息产业发展研究院主办，中国软件评测中心、北京赛迪网信息技术有限公司共同承办的“第一届中国网站个人信息安全大会”在举办。来自工业和信息化部有关司局的领导，国家信息中心、中国电子学会、中国社会科学院、北京信息产业协会等单位的专家学者以及电子商务、招聘、婚恋、游戏等领域的被测网站代表共150余人参加了会议。

年，在信息安全标准委员会的指导下，由中国软件评测中心牵头制定了国家标准《信息安全技术 公共及商用服务信息系统个人信息保护指南》（全国信息安全标准化技术委员会2011年国家标准编制计划，编号：TC260-BZZXD-WG7-2011018），该标准旨在提高个人信息保护意识，促进个人信息的合理利用，指导和规范利用信息系统处理个人信息的活动，从而推动我国信息服务产业个人信息保护体系的建立。该标准已于12月上旬通过投票表决，目前已进入送审阶段。在“指南”基础上，信息系统个人信息保护标准体系中其它技术、管理和行业标准也已进入计划制定阶段。

年5月，受工业和信息化部信息安全协调司委托，中国软件评测中心邀请个人信息安全相关专家，组成评测专家组，根据国家标准《信息安全技术 公共及商用服务信息系统个人信息保护指南》内容，研究制定了2011年互联网网站个人信息保护政策测评方案和测评指标，并选取电子商务、论坛博客、银行、保险、婚恋、招聘、游戏七类共105家网站进行了个人信息保护政策测评，整个评测工作历经6个月，测评结果整理为《2011年网站个人信息保护政策测评报告》。同时，中国软件评测中心与北京大学互联网安全技术实验室合作，选取Android手机各类热门软件对其个人信息安全状况进行了测试评估，并结合测试结果对当前Android手机软件用户隐私信息安全状况进行了分析形成《2012年Android手机软件个人信息安全报告》。

年3月15日，中国软件评测中心将以“掌握行业动态，增强隐私保护”为主题，举办“2012中国个人信息安全大会”。本届大会得到工业和信息化部领导的支持与指导，是目前国内首屈一指的个人信息保护专题盛会。本届大会诚邀相关行业主管部门、领域专家、参评企业等各界来宾与会，为帮助企业洞察政策导向、参与标准研讨、了解行业个人信息保护态势提供良好的互动交流平台。

智能移动终端公共服务平台提供技术支撑

智能移动终端的个人信息保护具有3个特点：首先，用户基数大，根据CNNIC统计，2011年底中国手机网民数3.56亿；其次，移动互联网应用日益丰富，手机上网、手机支付、手机炒股、手机邮箱和移动商务等业务层出不穷，终端和个人生活的关系日益密切；第三，移动互联网领域普遍采用后向收费模式，应用推广通常是通过应用商店直接在开发者和用户之间发生，缺少第三方质量保障。由此带来了隐私泄露、恶意扣费、涉黄涉非、破坏系统、远程控制等一系列问题，损害了消费者权益，影响了产业的健康发展，同时也给国家的信息安全带来了威胁。个人信息保护是中国软件评测中心在智能移动终端领域关注的众多问题之一。

作为智能移动终端广泛使用的Android系统，由于系统开放性强，众多企业将其作为优先选择，最近几年市场份额上升很快。此外，由于Android系统的开放性，可以便捷地加载第三方应用，应用的质量又参差不齐，导致Android应用的质量问题成为目前业界关注的焦点。对Android系统进行评测只是中国软件评测中心的第一步，未来他们将逐步向IOS、Windows Mobile等系统拓展。

作为工信部电子发展基金支持的第三方公共服务平台--智能移动终端软件公共服务平台是目前中国软件评测中心承建的众多公共服务平台之一，其主要职能定位有四个方面：

第一，作为工信部的一类科研事业单位，首先要做好政府主管部门的决策支撑和技术支撑服务。

第二，面向产业和市场，面向应用软件商店、应用开发企业和个人、终端用户等，提供第三方应用质量测评服务。

第三，在应用开发者和终端用户之间搭建桥梁，提供优秀应用推广服务，营造脱颖而出的氛围，促进产业健康发展。

第四，提供资源共享服务，开放地集成研究院所、安全企业的研究成果，为产业和市场提供开放式的服务。

第五篇：基于移动智能终端的听障儿童言语康复训练系统

基于移动智能终端的听障儿童言语康复训练系统说明书

2017年“挑战杯”吉林省大学生课外学术科技作品竞赛

长春大学作品

基于移动智能终端的听障儿童言语康复

训练系统说明书

团队成员： 侯佳帅、徐杰、陈静哲、李节龙、姜丽敏、王原、任书锐 指导教师： 参赛单位：

史丽娟、赵剑

电子信息工程学院、计算机科学技术学院 吉林省残疾人康复设备及技术科技创新中心

基于移动智能终端的听障儿童言语康复训练系统说明书

目 录

摘 要.........................................................I 第1章 研究背景及意义.........................................1

1.1 研究背景..............................................1 1.2 国内外研究现状........................................2 1.3 研究意义..............................................6 第2章 作品介绍...............................................7

2.1 作品简介..............................................7 2.2 作品设计..............................................7 2.3 作品使用说明..........................................8 2.4 作品性能优化.........................................10 第3章 系统设计及工作原理....................................13

3.1 系统流程.............................................13 3.2 工作原理.............................................14 3.2.1三维模型驱动...................................14 3.2.2发音训练模块...................................18 3.2.3反馈系统.......................................21 第4章 主要创新点............................................23

4.1 相对于传统方式的优势.................................23 4.2 技术的创新点.........................................24 4.3 项目未来优化发展.....................................25 第5章 市场分析..............................................26 团队简介.....................................................28 参考文献.....................................................29 附 件........................................................31

附件目录.................................................31 附件图片.................................................32

基于移动智能终端的听障儿童言语康复训练系统说明书

摘 要

听障儿童由于听力障碍造成言语的缺失，严重影响其认知能力、思维能力的发展，最终将影响其情感和智力的发育。听障儿童的发音器官是正常的，只要对其进行听力补偿并进行及时科学的言语康复，就能让他们走出无声世界，进入有声世界，和正常儿童一样认识事物，发展智力，为以后入学、工作打下基础。当前听障儿童言语康复训练主要采用言语康复训练教师一对一的对听障儿童示范发音过程，听障儿童进行模仿的训练方式。这种训练方式存在主要问题是听障儿童数量多，而言语康复训练教师少，导致部分听障儿童错过最佳言语康复期。随着计算机技术的发展，出现了一些听障儿童言语康复的辅助软件和设备，但由于这些软件和设备还需要大量的专业人员参与而没有得到广泛的有效应用。

为了解决上述传统言语康复训练存在的问题，本作品将面部捕捉技术与三维可视化技术引入听障儿童言语康复训练领域，将面部捕捉技术与三维可视化相结合，建立真实的三维头像模型，并模拟发音器官做出发音动作，为听障儿童展示真实的发音过程，提高听障儿童言语康复训练效果。尤其在手机等移动设备较为普及的今天，本作品将该技术应用于移动智能终端系统中，建立基于移动终端的听障儿童言语康复训练系统。此系统将在移动智能终端系统实现三维虚拟会话头像模拟汉语发音过程，听障儿童应用本系统可以随时随地的自主进行言语康复训练，解决了听障儿童语言康复训练过程中语训教师不足，不能得到及时的康复训练等问题。

关键词：言语康复训练，面部捕捉，三维可视化，移动智能终端

I 基于移动智能终端的听障儿童言语康复训练系统说明书

第1章 研究背景及意义

1.1研究背景

听力障碍是人类残疾类型中的一种，早在《左传》中就有“耳不听无声之和为聋”的说法。中国是世界上听力障碍（简称“听障”）儿童数量最多的国家之一，听障儿童是指由于疾病、药物、噪声、意外事故等影响，造成听觉系统中传音、感音，以及对声音综合分析的各级神经中枢发生异常，引发听力障碍，听不见或听不清周围声音的儿童[1]。2017年5月21日是我国第二十七次全国助残日。据中国残联介绍，我国目前有8500万残疾人（如图1-1所示），每年新增近200万人，有40%的残疾人有康复需求。其中听力残疾2780万人，约占24.16%；言语残疾130万人，约占1.53%，其中听力障碍儿童83.5万，6岁以下听障儿童13.7万，每年新生听障儿童约2.3万（如图1-2所示）。

图1-1 我国残疾人总数

图1-2 我国听障人群现状 /47 基于移动智能终端的听障儿童言语康复训练系统说明书

医学专家指出0～3岁是儿童大脑发育最快的时期，也是学习语言的最关键时期，7岁以前是语言最佳形成期，7～12岁是可塑期[2]。如果错过最佳言语康复训练期，声音信号没有在脑部形成刺激，则严重影响儿童后期的言语发育，且听障儿童在语言发育滞后的同时，还常伴有运动、认知等方面的异常或障碍。在重度和极重度听障儿童中，高达25%的儿童有多重残疾。我国第二次全国残疾人抽样调查显示，在0-6岁听障儿童中，有72%同时伴有其他残疾，直接影响了儿童认知能力、思维能力和记忆能力的发展，这给他们在获取知识上造成一定难度，势必会影响其情感和智力的正常发育。虽然听障儿童听不见或听不清声音，但是他们的发音器官是正常的。听障儿童说出的话一般较难听懂，这主要是因为他们发音方式和发音位置不正确。在听力障碍儿童群体中有残余听力的约占85%以上，只要听力能得到及时的补偿和重建，同时进行科学的言语康复训练，大部分听障儿童是可以掌握有声语言的[3]。据调查，我国听力语言康复事业仍处于发展的初级阶段，听力语言康复服务普及率低，基础薄弱，服务供给及保障能力不足等问题依然十分突出。据全国聋儿康复机构的调查显示，全国有54%的地市级残联没有自己的聋儿康复机构，有59个地市没有一所聋儿康复机构。从全国范围看，残联所属聋儿康复机构只占全国机构总数的30%。国内适龄听障儿童能够有机会进入康复机构进行言语康复训练的仅占听障儿童群体总数的60%，要实现0～6岁听障儿童言语训练健康全覆盖，还有一定距离。本研究主要借助技术手段，针对3～7岁听障儿童，进行言语康复训练，帮助听障儿童学习发音、理解语言，使其提高语言及表达能力，为听障儿童正常的工作、学习、融入社会奠定基础[4]。

1.2国内外研究现状

国内的听障儿童言语康复训练从80年代开始，主要采用传统的康复训练方法，依靠语训教师一对一的进行康复训练。这种训练方式由语训教师发音，听障儿童进行模仿。语训教师在言语训练过程中对听障儿童描述发音的位置，然后示范发音过程中的嘴唇形状及舌部在口腔内的变化过程，听障儿童同步进行模仿，通常此种康复训练的方法称为传统康复训练法。传统康复训练方法主要是让听障儿童通过观察发音过程中的舌、嘴唇等发音器官的位置和动态变化，然后通过不断强化练习发音过程，逐渐感知正确的发音从而完成言语康复训练[5]。这种方法/47 基于移动智能终端的听障儿童言语康复训练系统说明书

在听障儿童言语康复训练中发挥了较大的作用，取得了一定效果，但主要存在的问题是人在发音过程中，内部发音器官不可视，听障儿童年龄较小，看不见内部发音器官的情况下，很难根据语训教师的描述来理解和感知内部发音器官，如舌头的状态和变化过程。因此，需要专人指导，高昂的额外开支使听障儿童家庭因聋致贫，未进行听障康复训练的儿童几乎不能与人交流，学习工作很难，成人后更难自主生活。

（a）听障儿童模仿语训教师口型发音训练

（b）听障儿童感受发音时语训教师的声带震动

图1-3 语训教师指导听障儿童进行言语康复训练

随着科学技术的发展，我们逐渐将聋儿语言康复训练设备用到聋儿语言功能康复训练中。天津市聋儿语言康复中心开发的《聪聪学话》多媒体聋儿语训系统，把语音识别技术和多媒体技术结合起来，配以视觉反馈，利用多变的画面,吸引聋儿的兴趣,让聋儿在游戏中进行呼吸训练、发音训练、单音练习(英文)，并可对聋儿发音实现实时评价，给出发音的波形图和音强、音长和音调等参数，帮助聋儿找到发音存在的问题。此系统还能提供元音、语谱图和共振峰等视觉反馈信息[6]。虽然此系统能在聋儿语言康复过程中发挥一定作用，但它的使用需要专业指导人员的配合，如让聋儿自己读懂这些复杂的语音分析结果是很困难的。另外，此系统没有配备正确的发音指导提示信息，聋儿即使知道自己发音错误，却不知如何改进。

中国科学院深圳先进技术研究院研究员王岚开发的基于中文的三维说话人头像连续发音运动模拟系统[7]为言语康复领域提供了信息化的创新工具，改进了传统的依靠听力和图片进行言语康复训练的模式，同步采集说话人的面部视频和音频录像，以及口腔内部X光录像，标注说话人发音器官运动特征控制点，并建立对应每个因素的特征点数据库，实现发音器官不同类型的变形运动，对于解/47 基于移动智能终端的听障儿童言语康复训练系统说明书

决该领域的发展瓶颈起到了至关重要的作用。随着产业化目标的推进，有听障儿童的家庭将不必再为高昂的培训或治疗费用而担心，低龄患者可以通过客户端，在家人的指导下进行适量适度的持续训练。此系统需要家长的陪同训练。

国内主要是基础训练与针对训练相结合的言语康复方式和听觉口语法。前者康复方法中，基础训练包括发声放松训练与声带协调性训练，目的是为听障儿童声调、语调发音奠定良好的生理基础，其中发声放松训练包括颈部放松训练与声带放松训练，声带协调性训练主要是运用重读治疗法的节奏训练完成。针对性训练包括声调巩固训练、语调整句强化训练和边界调强化训练，主要是结合特定的声调和语调进行语调表达的训练，属于超音段音位的训练，由三个相互独立又包含的内容组成:巩固单、双字调的声调巩固训练；逐字增加句长法和句子升降调训练组合的语调整句强化训练;借助言语测量仪完成边界调强化训练。这一言语康复方法将医学解剖生理学基础与言语测量仪等现代技术辅助手段相结合，是医教结合理念在特殊教育领域上的完美呈现，但该类训练方法对干预实施人员的手法要求较高，需要经过专业的言语语言病理学训练才能发挥该康复方法的作用。后者康复方法适合于人工耳蜗术后或佩带助听器后听觉补偿比较理想的聋儿，主要借助助听设备，将听觉、语言、认知依其自然发展之程序结合起来，在有意义的情境中透过会话式的互动，让听障儿童学习、倾听、会说话。因其十分注重残余听力的运用与口语的表达能力，强调“听”对言语的自我反馈、自我监控以及自我调整，所以必须在没有视觉线索的情形下先行训练听觉能力，否则很难建立起听觉习惯或视听并用的技巧。

在国外，使用较好的“IBMSpeechViewer”、“BoxofTricks”、“OLP”治疗器、MicroVideoCorporation 的VideoVoice[8]。一个比较有影响的系统是IBM可视语言训练系统(IBMSpeechViewer)，其最早源于1983年启动的可视语言计划，现今已适用于12种不同的语言。系统由一个带有彩色显示器的PC机，附带着麦克、放大器和扬声器，能保存和分析用户的语音，然后显示和重放。反馈采用各种图形设计和类似游戏带有选择性回放的功能。程序分为三种不同用途：基本认知，技能培养，语音体系练习以及必要的语音模板模块。这套系统是高性能的实时语音治疗设备，其软件包含13个互动程序，能够帮助听力损伤儿童学会认知和控制浊音发音、定时、音调和响度及发声和韵律。此外，还能协助成人或正/47 基于移动智能终端的听障儿童言语康复训练系统说明书

常听力者学习语言。这些程序涵盖了繁简、难易各个程度的治疗方法。由于系统没有集成训练词汇库或结构性训练设计方案，它要求使用者具备对语音学和传统临床疗法更深层次的理解，才能更高效地发挥系统潜力。

“Box of Tricks”听力损伤儿童教学和训练系统是另一个比较著名的系统，由欧洲“INCO-Copernicus计划”的“SPECO”子计划研发支持。这套训练系统设计适用于四种语言。在能够实时提供语音声学参数反馈的同时，系统还以图形形式显示重要的发音特征。这些被称为“语音图形”的东西可以用清晰娱乐的方式展示。在其帮助下，聋儿很容易区分出不正确发音和参考模板的正确发音。通过观看自己发音的图形并将其与正确发音图形比较，从而学会正确发音。系统包括一个通用的独立于语言的测量工具和数据库编辑器。数据库编辑器可构建针对其它语言不同的模块和词汇库。每种语言都有依赖于语言的语音和图形数据库，一个用于教学和训练元音，另一个用于摩擦音和塞擦音。“BoxofTricks”系统使用户有友好的感觉，非常适用于12岁以下语言和听力损伤儿童。采用预设词汇库、可比较的10岁儿童参照语音、各个音素符号语音图形和针对不识字儿童的提示词汇使用户很方便操纵，但不具备设立特定个体训练练习的治疗内容，训练效果不佳。

“OLP”治疗器是由欧洲生命质量和生活资源管理项目支持的。OLP项目针对儿童构音障碍、颚裂和听力损伤三种病理学来实施研究。项目的目标是应用新的技术方法改进发音器官损伤造成的生活质量的下降，以便在发音方面支持传统的语音治疗方法。这个方案基于儿童最佳发音并与自动语音识别相结合，而且根据每个儿童的具体情况设计方案。OLP疗法遵照为各个等级的治疗设置的时间表，实施量身定做的治疗计划。基于Internet的远程学习OLP治疗系统含有训练词汇库和结构性训练方法，但没配备参照讲话者。运用自动语音识别技术，系统很复杂且耗时。综合评价表明此方法不适合听力损伤儿童的使用，但更适合机能性发音失常的成人患者。

上述国外的聋儿语言康复训练系统设备（如图1-4所示）虽然取得了一定的发展，但多以二维平面的形式进行反馈，对于确认发音准确性和正确性主要依靠第三方教学人员的参与，并没有真正的实现完全依靠人与机器的言语康复训练。/47 基于移动智能终端的听障儿童言语康复训练系统说明书

图1-4语言康复训练系统

综上所述，辅助训练系统，需要专业人员参与，存在时间和场地的限制，且需要高额的费用，并且主要反馈信息集中在音频比对，并无系统的评估过程。如何通过现代计算机技术、信息科学及控制技术等科学技术帮助聋儿及家庭摆脱这些困扰，在减少人工干预情况下自主的进行言语康复是目前康复科学领域一个重要课题[9]。

1.3研究意义

智能化的人机交互是计算机发展的趋势，也是现在的研究热点。人机交互中因为增加了虚拟人物的设计，给人们带来了全新的感觉。尤其增加了虚拟人物的视听结合的语音教学方式比单独的视觉或听觉教学更有助于听障儿童的语言学习。因此，团队在前期的研究中针对听障儿童在言语康复训练过程中语训教师数量无法满足听障儿童言语康复需求，以及传统言语康复训练过程中内部发音器官不可视等问题，将三维会话头像引入听障儿童言语康复领域，采用三维头像模型模拟人的发音动作，辅助康复训练，取得了较好的效果。随着移动设备的普及，智能手机、ipad等移动智能终端逐渐走入家庭，本作品将三维头像技术移植到移动智能终端，开发出一套适用于移动智能终端的听障儿童言语康复训练的系统软件。用惠及广大听障家庭的方法，解决经过听力补偿之后的听障儿童在减少甚至摆脱人工干预的情况下，能够利用可视模型自主的进行言语康复训练的问题，在低廉的成本下听障儿童可随时随地的进行康复训练，符合我国国情的需要，符合国家科技发展规划的要求。/47 基于移动智能终端的听障儿童言语康复训练系统说明书

第2章 作品介绍

2.1作品简介

针对言语训练师不足，训练条件具有局限性，训练费用昂贵等问题，我们利用三维运动捕捉系统建立相应三维模型，将数据传输，加密，音频解析等技术结合，开发出 “基于移动智能终端的听障儿童言语康复训练系统”。系统可在移动智能终端（安装Andriod、IOS系统的智能手机、ipad等设备），实现三维可视化模拟汉语发音。听障儿童可以通过观察三维头像模拟发音过程，一边模仿一边练习。我们作品应用逼真的三维动画效果可以指导听障儿童进行发音训练，对数据的分析，并对听障儿童发音训练进行评估，评估出听障儿童发音的具体情况，因材施教，提供个性化的训练方案，具有显著的训练效果。这种面向听障儿童言语的训练方式，其特征在于：使听障儿童在家，在一切可利用环境下发音训练，并且通过视觉直观看到显示屏幕上的三维头像模拟发音过程和音频波形，一边模仿一边练习，效果显著。

2.2作品设计

为了克服目前语言障碍者学习发音过程中出现的无反馈、单调枯燥等不足。我们提出将三维建模与可视语音技术相结合,建立基于特征坐标点参数驱动的三维头像模型及适合发音学习者康复的三维汉语辅助发音的语音库。并在建立 3D会话头像的基础上, 结合语音识别和图像识别技术对发音进行校正,以达到帮助语言障碍者恢复发音功能即达到语言矫治的目的。发音训练是语言康复的重要环节，听障儿童发音时唇部，舌部以及下颚等面部的动作对于发音的准确性有很大的影响，根据移动终端操作系统的特点，本作品通过事先捕捉的说话时人的面部表情、唇部动作，舌头的状态等三维数据，建立三维动态驱动数据库，用以建立移动终端三维头像表情真实，动作精准，发音准确，协调一致的语言康复训练系统。/47 基于移动智能终端的听障儿童言语康复训练系统说明书

2.3作品使用说明

用户首先进入登录界面，可以选择注册或者登录。如选择注册界面，用户可以根据系统提示信息注册为本系统用户（使用者拥有唯一的登录号，全国联网同步训练情况），然后进入登录界面，输入正确的用户名和密码，进入训练单元。用户通过选择系统中的字母、声母、韵母、声调符、字、词等不同训练单元进入相应单元，然后可选择具体训练内容对应发音项。用户根据自身情况选择某一发音训练项，系统自动进入三维头像模拟发音训练模块。用户点击三维头像模拟发音训练模块中三维头像所在区域，系统播放三维头像发音动画。听障儿童通过反复训练，以达到正确发音目的。用户学习结束后可以选择退出系统，终止学习，也可以选择返回键继续学习其他单元或其他发音项的内容。我们系统前期已经研发的基于Android系统的康复训练系统V1.0版本，该系统已授权软件著作权，该系统相对简单，接下来会对初级版本进行升级，建立相应的更为精确的反馈机制与评分奖励，使其更具有生动有趣性，具有真实感，丰富发音模块，建立更全面的发音康复资源，同时开发基于IOS系统的软件系统。下列图片为CCU听障儿童言语康复训练系统实际APP图片（图2-1到图2-6）。

图2-1 PC机系统登录界面 /47 基于移动智能终端的听障儿童言语康复训练系统说明书

图2-2移动设备系统登录界面图2-3 系统训练库选择界面

图2-4 系统训练素材界面图2-5 系统训练发音界面 /47 基于移动智能终端的听障儿童言语康复训练系统说明书

图2-6系统播放发音过程

本项目康复训练过程就是受训者通过观察了解一个词语的发声过程，然后模拟面部动作和发声，最后进行训练检测，并通过信息反馈给受训者，指导其进行正确训练。即观察—模拟—检测这样一个循环训练过程。其中，结果检测在整个训练系统中是至关重要的，通过音频图像结果的反馈，受训者可以清楚的知道自己的发声和标准发声相比有什么不同。通过语音识别结果的反馈，受训者可以知道自己当前的发声是否正确。通过这样一个训练系统可以帮助听障儿童掌握发音规律，能够为接下来获得言语交流能力打下基础。

2.4 作品性能优化

针对听障儿童的认知特征与正常儿童的差异性[10]（主要表现在以下几个方面），听障儿童训练时存在的一些问题，我们对系统进行了优化设计，如图2-7所示。/47 基于移动智能终端的听障儿童言语康复训练系统说明书

内部发音不直观建立三维面部模型信息反馈不及时多级反馈计算差异注意力无法集中奖励机制、寓教于乐 图2-7系统性能优化

（1）感知活动不完整。听觉的丧失或减退使听障儿童在感知事物的声音属性方面存在一定障碍，不利于形成视听结合的知觉形象，影响了知觉的完整性。针对听障儿童的知觉特征，在设计学习时采用了补偿声音效果、增强视觉效果的设计策略。

（2）无意注意为主，有意注意稳定性差。听障儿童的注意力以无意注意为主，有意注意发展滞后且稳定性差，注意的分配和转移存在一定程度的困难。所以听障儿童的移动智能终端既要能够吸引其无意注意又不能对其有意注意造成障碍，我们对系统界面布局、主题风格、背景 颜色及资源粒度大小等方面进行合理设计。

（3）思维形象化。通常有“十聋九哑”之说，听觉的障碍造成听障儿童言语发展的滞后或丧失，使其思维较长时间停留在形象思维阶段，更加注重事物的外部特征，表现出很大的具体、形象性。而卡通具有丰富多彩的视觉效果，能够形成强烈的视觉冲击力，切合了听障儿童以形象思维为主的认知特征。

（4）词语——逻辑记忆薄弱。听障儿童的记忆以视觉记忆为主。由于很难形成言语表象，听障儿童对文字、词语的理解、记忆比较困难，缺乏逻辑性，“记得慢，忘得快”的现象在听障儿童中时常发生。针对听障儿童记忆的这种特性，设计的移动语音数据要能够重复利用，使听障儿童可以随时复习、时时复习；听障儿童主要以视觉获取信息，对信息无障碍需求主要是：他们对获取文本、图形等视觉信息是没有困难的。

结合听障儿童的认知特征与记忆流图（如图2-8所示），我们采用交互式的设计方式，有利于听障儿童与训练内容的良好交互，对于训练的发生以及训练的效果都有积极的影响。学习是主动的、个性化的学习方式，移动智能终端康复训练系统与听障儿童的交互应该能够保证听障儿童独立、自主地完成有关内容的训/47 基于移动智能终端的听障儿童言语康复训练系统说明书

练。我们操作反馈采用可视化的、振动的形式。提高学习过程的可控性，由于听障儿童的认知水平参差不齐，接受训练知识的快慢程度迥异，因而训练过程的可控性对于听障儿童自主学习显得尤为重要，听障儿童可以选择自己要训练的内容与难易程度，全方位提高记忆效果与训练疗效。

选择语词组织语词语词耳朵耳朵语言模型整合画面眼睛先前知识选择图像眼睛组织图像图像模型多媒体呈现感觉记忆工作记忆长时记忆

图2-8 听障儿童记忆流图

因此本系统的优势体现在以下几个方面：

（1）系统本身具备一对多的教学模式，利用三维模型代替老师，成功的解决康复训练师数量不足的问题。

（2）听障儿童可实行自主独立的训练，解决了依靠专业人员训练的难题。最后我们的移动智能终端，创造出随时随地的训练条件，使听障儿童可在一切环境下进行发音训练，训练效果十分有效。/47 基于移动智能终端的听障儿童言语康复训练系统说明书

第3章 系统设计及工作原理

3.1系统流程

听障儿童言语康复训练系统（如图3-1所示）主要分为三个模块，分别是可视化模块，传输模块，标准语义库。

可视化模块包括三维头像模拟发音和音频文字转语言音频波形，通过采集不同人的语音信息，利用统计原理筛选出与标准发音度匹配的音频，然后对语音进行分帧处理以提取语音的特征参数，建立语音帧与唇形类别的映射关系，数据加载后驱动三维模型发音，同时将训练者的音频文字转为波形。传输模块不仅对音频进行传输，还将特征点以半结构化的XML文件形式进行传输，音频信息与标准语义库进行对比，从而综合评判并反馈结果信息。

图3-1 基于智能移动终端的听障儿童言语康复系统整体流程图 /47 基于移动智能终端的听障儿童言语康复训练系统说明书

3.2 工作原理

3.2.1三维模型驱动

本实验中使用FBX格式的面部模型，该格式文件是MotionBuilder软件所固有的文件格式，在文件兼容性和对象的材质、灯光等方面均高于其他的类型的文件格式[11-12]。

根据 MPEG-4标准，人脸模型上定义了数据在空间上可参考的特征点，将这些特征点可分为不同的区域进行处理，并定义索引来表示特征点所在的区域，所有符合 MPEG-4人脸动画标准[13]的人脸模型均定义了上述所有特征点位置。在本文的研究工作中，使用 3Dmax软件对人脸模型进行构建[14-15]：首先，建立人脸面部模型，定义人脸模型面部骨骼特征点数量；其次，建立骨骼空间结构，在各个特征点之间构建关联，以配置和表达面部骨骼模型运动特性；最后，根据捕获到的面部数据特征点名称建立人脸模型特征点的映射关系，实现对人脸模型骨骼特征点的驱动，从而实现演员面部表情数据驱动虚拟角色面部运动并呈现表演效果。上述过程中的人脸模型在软件默认的工作情况下采用 3DS格式保存，该格式不支持 MotionBuilder对其直接读入和使用。因此，使用 3DMax软件将面部模型进行转换，将其输出为网格格式，以支持使用 MotionBuilder进行三维数据表达，从而构建了 3DMax和 MotionBuilder之间的兼容渠道。选择带有面部表情节点的三维面部模型，根据重建后特征点的位置关系，将特征点与模型的面部表情节点进行映射。根据特征点的映射区域关系，分别建立眼眉、眉角、鼻翼、嘴角、上唇、下唇、眼睛等模型表情节点与数据源间的映射关系，映射关系建立完成后，触发重定向事件，达成数据源成功驱动三维面部模型。通过不同视图，展现出面部模型的正面与侧面[16]，如图3-2所示。/47 基于移动智能终端的听障儿童言语康复训练系统说明书

图3-2三维头像基本模型

采用面部表情捕捉系统对面部表情进行捕捉，该系统由成像模块，标定套件、处理软件、标志套件等组成。通过红外相机完成对面部关键点运动进行捕获与跟踪，追踪精度可达0.1毫米以下，可实时模拟出人脸表情运动。

采集前，需要对红外相机进行相机光学标记，对6个相机的坐标系进行统一，确保数据采集的精准性。外参完成对坐标系的统一，相机内参与二维点坐标计算面部特征点进行三维信息确定。相机标定的目的是为了求出相机的内参和外参。其中，内参包括内参矩阵与畸变系数，外参包括平移向量与旋转向量。利用相机参数，建立世界坐标系到图像像素坐标系之间的转换关系，实现了像素点从二维平面到三维空间中的相互转换，如图3-3所示。

图3-3三维运动捕捉系统

根据模型与重构后特征点之间的映射关系，触发绑定事件，驱动三维面部模型。在利用面部表情捕捉系统进行面部表情采集时，采集者面部需粘贴23个感光标示点（图3-4所示），头部4个用于固定头部相对位置，23个感光标示点可/47 基于移动智能终端的听障儿童言语康复训练系统说明书

捕获正常人在发音时的面部表情，如唇部、两腮、嘴角等部位。通过特征点的运动驱动三维面部模型，与此同时利用摄像机进行音频采集。采集的数据文件以XML文件的形式进行保存（如图3-5所示），XML文件具有半结构化的特点，具有便捷快速性，可以通过节点找寻所需文件。

将捕获到面部标识点的三维数据保存至XML文件中。上述用于记录和呈现面部表情捕捉数据的 XML文件内容项包括：

（a）数据帧采集时间戳节点（数据项的标签名为），其用于保存获取该帧数据的时间信息；

（b）头部位置标定数据节点（数据项的标签名为），对应感光表示点的个数标签名分别为、、和，其用于表示目标对象的头部空间位置；

（c）面部骨骼节点的空间位置坐标（数据项的标签名为