大数据技术与应用专业调研报告版五篇范文

第一篇：大数据技术与应用专业调研报告版

徐州工业职业技术学院 信息与电气工程 学院 大数据技术与应用 专业调研报告 一、调研目的、调研对象、调研方式与实施情况

调研目的：调查社会对大数据技术与应用人才的需求状况，明确专业设置的职业面向、就业岗位和培养规格，明确用人单位对专业人才的知识、能力和素质要求，了解同类学校同类专业学生就业现状，准确进行专业定位，突出专业特色，优化专业集群课程体系，为 2019 级专业人才培养方案修订、课程标准制定、2020年进行专业调整、开设新专业提供科学依据。

调研对象包括相关企业和兄弟院校。调研方式采用直接调研、间接调研、材料搜集、访谈等形式。实施情况：相关专业全体教师在今年上半年对江苏，安徽，山东，上海等地的企业和高职院校进行实地调研，主要调研企业对专业技术技能人才培养的能力需求，调研高职院校大数据技术与应用专业人才培养相关方案，形成了大数据技术与应用专业人才培养调研报告。

二、调研内容

“大数据”是今年达沃斯世界经济论坛的热词之一，与会各界都对云计算、大数据等驱动经济数字化转型因素表达了高度关注。而在年初举办的 2018 拉斯维加斯消费电子展（CES）上，美国消费技术协会总裁兼首席执行官加里·夏皮罗、英特尔首席执行官布莱恩·克尔扎尼奇等都表示，大数据将对人类生活产生深远影响，大数据是未来科技浪潮发展不容忽视的巨大推动力量，2018 年全球大数据产业将得到强劲发展。

近年来，随着互联网和智能硬件的快速普及，数据以爆炸方式增长。据中商产业研究院发布的《2018-2023 年大数据产业发展前景与投资分析报告》数据显示，2016 年，全球大数据产业市场规模为 1403 亿美元，预计到 2020 年将达到10270 亿美元，2014-2020 年间年均复合增长率高达 49%；2016 年，我国大数据产业市场规模为 2485 亿元，预计 2018 年将近6000 亿元。

数据来源：中商产业研究院 据数据统计，目前全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.40%、17.30%、14.70%、12.50%和 7.90%的市场份额。

数据来源：中商产业研究院 据业内人士分析，未来的 IT 产业发展将围绕数据的收集、分析、处理展开，除了专业的 IT 技术和服务外，像 O2O、导航、移动支付等日常 IT 服务背后，都有大数据作为支撑，其本质就是大数据服务。这意味着，目前现有的 IT 技术和服务将向数据化服务演变，这将为 IT 服务业提供新的发展动力。

七大趋势：产业应用将是主旋律

中国科学院、美国电子消费协会的有关专家，他们认为，随着大数据基础设施的不断完善，数据分析和商业智能工具将逐渐成为大数据的主力军。2018 年，全球大数据产业将呈现七大发展趋势，而产业应用将是主旋律。

第一，开源大数据商业化进一步深化。随着闭源软件在数据分析领域的地盘不断缩小，老牌 IT 厂商正在改变商业模式，向开源靠拢，并加大专业服务和系统集成方面的力度，帮助客户向开源的、面向云的分析产品迁移，主要是 Hadoop技术将加速发展。

第二，打包的大数据行业分析应用开拓新市场。随着大数据逐渐走向各个行业，基于行业的大数据分析应用需求也日益增长。未来几年针对特定行业和业务流程的分析应用将会以预打包的形式出现，这将为大数据技术供应商打开新的市场。

第三，大数据细分市场规模进一步增大。大数据相关技术的发展，将会创造出一些新的细分市场。例如，以数据分析和处理为主的高级数据服务、基于社交网络的社交大数据分析等。

第四，大数据推动公司并购的规模和数量进一步提升。因此，在未来几年中，大型 IT 厂商将为了完善自己的大数据产品线进行并购，首先涉及的将是信息管理分析软件厂商、预测分析和数据展现厂商等。

第五，大数据分析的革命性方法出现。今年，大数据分析将出现革命性的新方法，从前的很多算法和基础理论可能会产生理论级别的突破。机器学习继续成为大数据智能分析的核心技术；人工智能和脑科学相结合，成为大数据分析领域的热点。金融、互联网电子商务、健康医疗、城镇化智慧城市领域的应用令人瞩目。

第六，大数据与云计算将深度融合。云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供新的商业价值，大数据技术与云计算技术必有更完美的结合。阿里云计算有限公司总裁胡晓明表示，2018 年将是云计算与产业深度结合的元年。人们将看到各国的基础设施越来越紧密地和云计算结合起来，更多的制造企业和金融机构开始用“云”，云计算将促进科技金融提高效益。

第七，大数据一体机将陆续发布。在未来几年里，数据仓库一体机、NoSQL一体机以及其它一些将多种技术结合的一体化设备将进一步快速发展。据记者了解，中国的华为、浪潮等公司今年将在大数据一体机上有更大的动作。华为 IT服务器产品线总裁邱隆表示：“华为服务器在自身高质量、创新、高性价比的基础上，致力提供一个开放的计算平台，通过和业界主流大数据厂家合作，面向客

户提供最佳性价比的大数据解决方案。”

大数据行业政策导向 2016 年以来，国家政策持续推动大数据产业发展。2016 年“十三五规划”中明确提出实施大数据战略，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。发改委、工信部及农业部、运输部等部委先后颁布相关后续政策，推动大数据产业发展。随着大数据产业的进一步落地，预计未来将有更多部门出台具体政策，推动大数据行业的发展。

大数据产业相关政策 文件名称 发文单位 《大数据产业发展规划 2016-2020》 工信部 《信息产业发展指南》 工信部、发改委 《软件和信息技术服务业产业发展规划》 工信部 《关于促进和规范医疗健康大数据应用发展的指导意见》 国务院 《农业农村大数据试点方案》 农业部 《关于推进交通运输行业数据资源开放共享的实施意见》 交通部 《关于加快中国林业大数据发展的指导意见》 林业局 《生态环境大数据建设总体方案》 环保部 《促进大数据发展三年工作方案》 发改委 《促进国土资源大数据应用发展的实施意见》 国土资源部 《关于促进全国发展改革系统大数据工作的指导意见》 发改委 大数据行业人才需求 大数据人才缺口有多大？ 根据 LinkedIn（领英）发布的《2016 年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。

其中数据分析人才最为稀缺、供给指数最低。同时，数据分析人才跳槽速度也最快，平均跳槽速度为 19.8 个月。

根据麦肯锡咨询公司出具的一份分析报告，预计到 2018 年，大数据或数据工作者的岗位需求将激增，其中大数据科学家的缺口在 14 万到 19 万之间，懂得

利用大数据做决策的分析师和经理的岗位缺口则将达 150 万。

清华大学计算机系教授武永卫去年透露了一组数据：未来 3-5 年，中国需要180 万数据人才，但目前只有约 30 万人。

据职业社交平台 LinkedIn 发布的《2016 年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。

其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为 0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为 19.8 个月。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到 1400 万，而在 BAT 企业招聘的职位里，60%以上都在招大数据人才。

高职院校大数据专业建设现状分析 2016 年教育部对普通高等学校高等职业教育（专科）专业目录进行增补，确定了 2016 年度增补专业共 13 个，其中包括大数据技术与应用专业（专科代码：610215）。

2016 年 62 所高职院校开设“大数据技术与应用”高职专业。

2018 年 1 月 18 日，教育部公布“大数据技术与应用”专业备案和审批结果。已有 270 所高职院校申报开展“大数据技术与应用”专业，其中共有 208 所职业院校获批“大数据技术与应用”专业。根据公布结果分析如下：

“大数据技术与应用”高职专业的设置成为“产学研用”一体化的纽带，很好的体现了《国家中长期教育改革和发展规划纲要》和《国务院办公厅关于深化高等学校创新创业教育改革的实施意见》文件精神的贯彻落实，深入推进产学合作协同育人，汇聚社会资源支持高校专业综合改革和创新创业教育。在大数据相关专业获批之后，高校大数据实训平台建设应成为下一步的重点，推动大数据技术在金融、气象、行政管理等各个领域的具体应用。

新工科与大数据专业建设

“新工科的内涵，是基于国家战略发展新需求、国际竞争新形势、立德树人新要求而提出的我国工程教育改革方向。新工科的内涵是以立德树人为引领，以

应对变化、塑造未来为建设理念，以继承与创新、交叉与融合、协调与共享为主要路径，培养未来多元化、创新型卓越工程人才，具有战略型、创新性、系统化、开放式的特征。新工科建设将阶段推进，需要重点把握学与教、实践与创新创业、本土化与国际化三个任务，关键在于实现立法保障、扩大办学自主权、改革教育评价体系三个突破。”----摘自《新工科建设的内涵与行动》-钟登华 17 年 2 月，教育部在复旦大学召开了高等工程教育发展战略研讨会，与会高校对新时期工程人才培养进行了热烈讨论，共同探讨了新工科的内涵特征、新工科建设与发展的路径选择，并达成了若干共识。年 4 月，教育部在天津大学举行工科优势高校新工科建设研讨会，在研讨的基础上公布了《新工科建设行动路线》，也称新工科建设“天大行动”。年 6 月，新工科研究与实践专家组成立暨第一次工作会议在北京会议中心召开，专家审议并原则通过了《新工科研究与实践项目指南》，形成了新工科建设的“北京指南”。复旦共识、天大行动和北京指南，构成了新工科建设的“三部曲”，是中国高校培养人才的新方向，也是工程教育改革新路径。也是我国高教界在“一带一路”战略、“工业制造 2025”“互联网+”等一系列时代命题面前积极创新、砥砺前行的坚定决心。年 6 月教育部办公厅有关《新工科研究与实践项目指南》中明确提出：“围绕新技术、新产业、新业态和新模式，探索基于现有工科专业改造升级……”其中新技术主要为人工智能、大数据、云计算、物联网等新技术。由此可见，大数据专业的建设也必将推动新工科专业的改造升级。

大数据学科建设的现状分析 由于高校在大数据教育领域的发展时间并不是很长，所以目前高校在大数据专业方向的教学过程中，主要面临以下几个方面的问题：教学资源 高校在实践教学和科研环节缺少配套的实验教学案例及数据集，可联合相关大数据企业，提供企业真实脱敏的数据集和教学案例等系列教学科研资源。人才培养 由于高校教师无法准确把握市场对人才的需求情况，因此，在大数据课程体系设置、人才培养方案制定以及考核评估等方面，需要与企业多方联合，根据市场人才需求，结合大数据行业的用人岗位需求，依据国家教学规范要求和学校原专业的基础和办学定位，多方共同制定人才培养特色方案、专业授课计划以及考核评估标准。实验环境 目前，高校在开设大数据课程方面，缺少综合的大数据教学和实训平台为学

生提供实训教学。由于大数据技术和数据资源更新速度快，平台系统构建较为复杂，因此需要专业的平台建设企业或其他机构提供系统的维护和更新升级，保证大数据课程和实训的顺利开展和实施。师资支撑 高校师资在实践教学方面缺乏一定的项目实战经验，需要与企业开展联合培养，学校组织团队实施公共课和基础课以及基础技术课教学，由企业派驻工程师承担专业核心课程的教学；同时，通过和企业互动合作，可建立双师型师资培养机制，提升师资整体的科研和实践水平。实习实训 在学生学习过程中，动手能力和项目能力较弱，缺少实践环境和实训指导，因此可与大数据企业联合共建大数据实践基地，不仅可以为学生提供良好的实习实践环境和实训项目，同时，由企业工程师和高校教师联合开展实训项目实践，可快速提升学生的整体实践水平。

下面我们从以下几个方面对大数据技术与应用专业进行了调研分析：1 政府发展规划与政策动态。

推动大数据产业持续健康发展，是党中央、国务院作出的重大战略部署，是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前，工业和信息化部正式印发了《大数据产业发展规划（2016－2020 年）》（以下简称《规划》），全面部署“十三五”时期大数据产业发展工作，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。

2016 年 8 月 30 日，江苏省人民政府对外正式公布了“大数据发展行动计划”。根据行动计划，江苏将完善大数据产业生态，在数据采集、整理、分析、发掘、展现、应用等领域突破关键技术，制定发布一批大数据技术标准和应用规范，建立政、产、学、研、金、用联动，大中小企业协调发展的大数据产业体系和公共服务支撑体系，带动相关产业产值超过 1 万亿元。

未来几年，江苏将主要围绕“产业发展”(工业大数据、金融大数据、电网大数据、电子商务大数据、物流大数据、现代农业大数据、经济运行大数据)、“公共服务”(健康医疗大数据、交通旅游大数据、教育服务大数据、人力资源社会保障大数据)、“社会治理”(信用大数据、食品药品大数据、环境保护大数据、国土资源大数据、舆情分析大数据、警务反恐大数据)三个领域，实施 18个重点工程，推广典型应用。2 市场需求和行业发展趋势。

（1）大数据市场需求 大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至 2014 年，全球大数据市场规模已经成长到 300 亿美元的空间，预测到 2017 年全球大数据技术和服务市场的 2018 年的复合年增长率将达到 26.4%，规模达到 415 亿美元，是整个 IT 市场增幅的 6 倍。大数据市场规模在 2020 年有望达到 611.6 亿美元，符合年增长率将达到 26%。

中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。

2014 年，中国大数据市场规模达到 767 亿元，同比增长 27.8%。预计到 2020 年，中国大数据产业规模将达到 8228.81 亿元。

2015-2017 年复合增长率为 51.5%。2014 年，中国大数据应用市场规模为 80.54 亿元，同比增长 3.2%，预计 2015 年市场规模将增长 37.3%，至 110.56 亿元，预计到 2020 年，中国大数据应用市场规模将增长至 5019.58 亿元。

2015-2017 年复合增速为 87.8%。

（2）大数据行业发展趋势 整体来看，2017 年中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了 234 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。

我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平最高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显著提升。

根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据 33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。

大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据；34.2%的企业正在考虑应用大数据，22.9%的企业在未来 1年有应用大数据的计划，仅仅有 7.8%的企业暂不考虑应用大数据。2 兄弟院校

1.基本情况 1）深圳职业技术学院大数据技术与应用专业 【培养目标】掌握大数据类应用、开发、管理和运维等专业技术技能，面向大数据基础类岗位、大数据技术类岗位、大数据销售服务类岗位等领域，能够从事大数据系统运维与管理、数据处理、数据分析、应用系统开发等工作的复合式创新型高素质技术技能人才。

【主干课程】程序设计基础、数据结构、Python 语言及其应用、数据分析技术、数据采集技术、机器学习、网络操作系统（Linux）、网页设计与制作技术、动态 Web 技术（PHP）、Web 框架技术、数据库原理与应用、Oracle 数据库基础及PL/SQL 语言、Oracle 数据库高级管理技术等。

【就业方向】主要面向大数据行业、数据库应用与管理行业，在生产第一线从事大数据分析/开发等工作，面向的主要岗位有数据采集工程师、大数据分析工程师、大数据开发工程师、大数据可视化工程师、大数据运维工程师等。截止到 2018 年 12 月累计有 43 名学生和 2 名教师获得甲骨文（Oracle）认证大师资格证书（OCM 认证），该国际认证证书含金量高。

2）九江职业技术学院大数据技术与应用专业 培养目标：本专业面向新一代信息技术与传统领域融合的“互联网+”新兴产业，培养具备计算机互联网应用能力、具有软件开发、数据采集、数据呈现等专业技能，熟悉淘宝电商精准推送、海量数据采集、个人行为预测等技术的高端技能型人才。

能力结构：企业大数据处理能力、大型数据库管理能力、计算机综合应用能力、软件设计开发能力、软件系统配置与管理能力。

专业师资条件：现有专任教师 8 人，其中副教授 4 人，高级工程师 1 人，讲师 2 人，助教 1 人,1 人获江西省技能大师，1 人获江西省技术能手。全部具有硕士学位，6 人具备“双师”素质,2 人取得软件设计师技术资格，1 人具有企业一线工作经历。

主干课程：Java 程序基础，Python 程序设计，Hadoop平台应用，Spark 生态系统，Linux 系统配置，网页设计，数据库技术，JSP 程序设计等。

3）广州番禺职业技术学院大数据技术与应用专业 专业招生概况 广州番禺职业技术学院大数据技术与应用专业 2018 年面向广东省内高考理科生招生，计划招生 45 人，专业学费每年每生 6410 元。

专业介绍 广州番禺职业技术学院大数据技术与应用专业开设于信息工程学院，本专业人才培养强调实行以素质为基础，以能力为核心，以就业为导向，产学研结合的人才培养模式，积极实施“双证书”制度，大力培养学生的职业技能。

主要课程：大数据采集与处理技术、大数据分析技术、大数据可视化技术、大数据应用开发、Python 编程语言、Hadoop 应用开发等。

毕业生就业方向：大数据分析公司、大数据应用开发企业、大数据设备厂家或集成商、企事业单位和政府信息部门。

4）芜湖职业技术学院大数据技术与应用专业 培养目标 本专业培养适应经济社会发展需要，德、智、体、美全面发展的，具有良好的计算机基础，掌握大数据基本理论、方法与技能，同时了解大数据技术框架和生态系统，能够很好的使用大数据技术，从事大数据系统搭建与运维、大数据获取与存储、大数据应用开发岗位的，有可持续发展能力的高素质技术技能型人才。

专业核心能力 具有较强的计算机操作及应用能力，数据库开发与应用能力，大数据中心的建设与运维能力、大数据应用产品的设计、开发和运用能力，大数据中心的建设与运维能力，计算机软、硬件的安装、调试、维护与故障检测、排除等能力。

主要课程 Python 程序设计、数据库原理与应用、Linux 操作系统基础与应用、Hadoop系统基础、动态 WEB 开发技术、HBase 系统基础与应用、NoSql 技术基础与应用、ETL 工具应用实训、Hive 数据仓库基础与应用、大数据可视化基础与应用、人工智能基础与应用等。

实践条件 本专业拥有中央财政支持的职业教育实训基地，实训条件优越，设备齐全，管理规范。相关的专业实训室有：程序设计实训室、数据库应用开发实训室、软件开发实训室、网页设计实训室、大数据应用开发实训室等。通过实训实习，增强了学生的学习兴趣和实践能力，提高了学生的职业岗位能力和就业竞争力。

学生通过考试，可获得人力资源和社会保障部“计算机程序设计员”职业资格证书、大数据分析员、信息处理技术员、助理企业信息管理师等职业资格证书。此外，还可获得全国计算机水平考试、计算机等级考试、微软、ADOBE 等行业企业认证证书。

就业岗位 学生毕业后可在各类企、事业单位中从事大数据运维和应用开发工作，主要职业范围有：大数据运维技术、信息安全、大数据应用开发技术；还可从事数据管理与维护、人工智能，大数据可视化及分析、网站建设和软件开发等工作。主要就业岗位：大数据系统运维工程师、大数据应用开发工程师、大数据可视化工程师、企业信息资源管理工程师等岗位。

5）温州职业技术学院大数据技术与应用专业 专业招生计划及学费 温州职业技术学院大数据技术与应用专业 2018 年面向浙江省内计划招生 30人，面向安徽、河南、贵州三个省份招生 15 人，共计招生 45 人，专业学费 6600

元。

大数据技术与应用专业介绍 温州职业技术学院大数据技术与应用专业开设于信息技术系，本专业是在大数据、互联网+时代下，结合区域经济发展对信息化人才的需求，对接信息技术产业、依托信息服务行业，与大型软件企业合作，培养具有良好职业道德，能在企事业单位中从事大数据与大型软件的应用、维护与管理等工作的高素质技能型信息化专门人才，也可在软件企业中从事大数据与大型软件的项目实施、技术服务、二次开发等工作的高素质技术型信息化专门人才。

本专业主要有大型软件技术、大数据技术两个培养方向，所有的核心课程均设有综合项目实训环节，即在掌握基础理论知识的前提下，辅以一个引入企业真实案例的综合实训，最终达到强化学生对项目的认知能力、提高解决问题的能力、激发团队合作精神、培养技术自学能力。

办学优势 大数据技术与应用专业在校内建设有大数据技术与应用研发中心、信息技术服务实训室、连锁分销系统展示厅，在校外与金蝶软件温州分公司、温州恒诺信息科技有限公司、温州易天信息科技有限公司等十几家公司建立了校外的实践基地。

6）柳州职业技术学院大数据技术与应用专业 专业特色：本专业是柳职院与武汉百捷集团合作开办的特色专业，立足本地，服务地方经济社会发展，具有良好的职业素质和文化修养，掌握互联网大数据分析相应岗位必备的基础知识和专门知识，具有较强的云计算储存能力，数据分析，网络安全管理与产品策划等能力，能从事如何应用大数据的分析技术有效的解决现实经济问题，如何挖掘对于管理决策发挥重要价值的信息，旨在培养当前社会各行业对大数据与互联网经济需求的高端复合型人才。

主干课程：数据库基础、JAVA 基础、Oracle 数据库、网页前台技术、金融、商务数据挖掘、软件测试、Android 技术、信息处理技术、JAVA 高级程序设计、大数据可视化、云计算概论、数据结构、Hadoop 核心技术等课程。

通过考核可获得的技能等级证书：电子商务师、信息处理技术员、云架构师证书。

初次就业岗位：主要面向电子商务、市场营销、互联网等与大数据应用相关的企业，以及政府数据中心，医药和银行、金融机构等需要收集处理高质量的事业单位。

发展就业岗位：数据规划师、数据工程师、数据架构师、数据分析师、ETL研发、Hadoop 开发、可视化（前端展现）工具开发、信息架构开发、数据仓库

研究、数据科学研究、企业数据管理、数据安全研究等。

7）湖南信息职业技术学院大数据技术与应用专业 专业概况 本专业是学院 2017 年申报，2018 开始招生的专业，专业培养能适应经济社会发展与建设需要的德、智、体、美全面发展的具有良好职业道德和计算机科学基本理论，具有创新精神和较强实践能力，熟悉计算机大数据相关理论知识，具备一定的大数据需求分析和系统设计能力，熟练掌握大数据采集、处理、分析与应用的技术与核心技能，能够承担企业、事业、政府、社会组织等部门的信息管理、信息咨询服务、信息研究等工作，具有大数据分析、处理、挖掘、可视化、大数据系统集成、管理维护等能力的应用型大数据专门技术人才。

专业课程体系

就业方向 学生毕业后能在计算机、移动互联网、电子信息、电子商务技术、电子金融、电子政务、军事、政府机关、房地产、银行等领域从事大数据开发、大数据运维、数据挖掘等方面的工作。

8）湖南科技职业学院大数据技术与应用专业 培养目标：本专业培养适应互联网行业的大数据应用开发工作岗位需要，具有较强的外语应用能力和创新能力、较高综合素质与良好职业素养，了解大数据技术应用框架与其生态系统，掌握大数据采集、清洗、存储、建模、分析等基本技能和大数据应用开发的基本理论、技术和方法，面向电信、零售、银行、金融、政府等机构的高素质劳动者和技术技能人才。

就业方向：IT 企业或互联网企业的大数据应用开发工程师 专业核心课程：Java 开发基础、Java 高级应用、Linux 操作系统、My SQL 数据库、分布式处理系统 Hadoop、分布式数据库 Hbase、数据仓库 Hive、大数据处理 Spark、大数据可视化、大数据应用开发、数据挖掘等。

9）安徽电子信息职业技术学院大数据技术与应用专业 就业方向 主要面向大数据分析、应用、开发、销售、运维、技术支持等职业岗位群，从事大数据运维、大数据清洗与整理、大数据分析、大数据可视化及大数据应用开发等工作。

培养目标 大数据技术与应用专业培养思想政治坚定、德技并修、全面发展，具有一定的科学文化水平、良好的职业道德和工匠精神、掌握大数据分析、应用、技术支持、开发等专业技术技能，具备一定的认知能力、合作能力、创新能力、职业能力等支撑终身发展、适应时代要求的关键能力，具有较强的就业创业能力，面向大数据行业领域，能够从事大数据系统运维、大数据清洗整理、大数据分析、大数据应用开发及大数据可视化展示等工作的高素质技术技能型人才。

主要课程 C 语言程序设计、Excel 数据分析、Java 语言程序设计、Linux 操作系统、计算机网络基础、大数据技术基础、MySQL 数据库技术、Scala 语言编程、Python数据分析技术、大数据系统运维、Hadoop 项目开发技术、Spark 项目开发技术、数据可视化技术、计算机组装与调试实训、大数据项目开发实训、顶岗实习等。

10）南京信息职业技术学院大数据技术与应用专业 培养目标：本专业培养大数据应用技术方面的高级专门技术人才。毕业生品格健全，具有科学的人文精神、创新创业精神和良好的职业道德精神，具备自主学习能力、批判思维能力，能够为地方大数据行业服务。毕业生具有信息科学、管理科学和数据科学基础知识与基本技能，掌握大数据科学与技术所需要的计算机、网络、数据处理等相关学科的基本理论和基础知识，初步具备对各行业大数据的分析、处理能力，能够管理和维护大数据系统。

主干课程：高等数学、概率论与数理统计、Python 编程、Linux 基础、数据库技术、Hadoop 大数据开发技术、数据挖掘与分析、大数据应用、数据分析、数据结构、Java 面向对象程序设计、算法分析与设计、软件工程等。

就业方向：大数据应用软件开发（如 Hadoop 组件应用）、大数据相关应用软件开发（如WEB应用程序）、行业大数据分析与数据库维护（如SQL数据库、MongoDB

数据库）。

11）江苏海事职业技术学院大数据技术与应用专业 大数据技术与应用专业是是新兴的“互联网+”专业，该专业将大数据分析挖掘与处理、移动开发与架构、人软件开发、云计算等前沿技术相结合，并引入企业真实项目演练，依托产学界的雄厚师资，旨在培养具有良好职业道德，德、智、体、美、劳全面发展，能适应电子商务大数据分析与处理和政府、医药、银行数据中心分析管理第一线岗位需要，掌握大数据技术与应用专业必备的基础理论和专业技能，从事各类大数据分析相关的技术支持、大数据分析平台支持和其他大数据相关的技术工作等岗位，并有一定专业创新能力的高素质技能型人才。

核心课程 《高级程序设计基础》、《Hadoop 分布式技术》、《计算机操作系统（Linux）》、《职业资格认证实训》（信息分析师证书和网页设计师证书等）。

就业领域及岗位 本专业的应届毕业生主要面向电子商务、市场营销、互联网等与大数据应用相关的企业，以及政府数据中心，医药和银行、金融机构等需要收集处理高质量大数据的事业单位。同时可以从事大数据分析与应用领域相关产品设备的销售、售后服务、技术咨询、培训等工作。

面向的岗位群有：电商数据运营助理、电商基础数据分析员、电商大数据收集员、电商数据调研员，政府数据中心数据管理、数据分析员等，医药和银行、金融机构等需要数据收集、分析、处理岗位等。

12）常州机电职业技术学院大数据技术与应用专业 专业培养擅长大数据分析、懂得将数据与业务更好结合、达到应用目的的实用型高端人才。毕业生品格健全，具有科学的人文精神、创新创业精神和良好的职业道德精神。全面掌握大数据方向的一些基本理论和技术，熟练掌握大数据采集、存储、处理与分析、传输和应用技术，同时能以所学的知识与技能分析和解决实际问题。

毕业以后能够承担政府、电力、教育、证券、金融、税务、电子商务、信息产业以及其他国民经济部门的大数据分析、数据库管理与维护、大数据应用、商业智能以及系统研发等工作。

13）淮安信息职业技术学院大数据技术与应用专业 培养大数据应用技术方面的高级应用人才。让毕业生掌握大数据科学的基础知识，熟悉大数据技术应用框架，具备大数据采挖掘与分析、大数据系统集成等技能，能胜任电信、零售、金融、政府、电商等大数据应用的高素质劳动者和技术技能人才。

就业方向 主要就业方向为大数据应用方向、大数据运维方向、大数据分析方向、大数据系统集成等。就业岗位（目前成都地区平均薪酬超过 8K）如下：

数据分析师、数据架构师、ETL 应用、Hadoop 开发、大数据集成、可视化（前端展现）应用、数据仓库、数据科学等。

主干课程 《SPSS 分析应用》 《概率论与数理统计》 《大数据可视化基础》 《Python 应用开发》《Storm 技术》 《hive 应用基础》 《大数据离线分析》 《网络爬虫技术》 《Hadoop 系统基础》 《Spark 应用开发》等。

14）苏州工业职业技术学院大数据技术与应用专业 人才培养方向 目前本专业分为两个方向：

大型软件技术方向——能在企事业单位中从事大型软件的应用、维护与管理等工作，也可在软件企业中从事大型软件的项目实施、技术服务、二次开发等技术工作以及大型软件系统产品及服务的推广工作的高素质技术型信息化专门人才。

大数据技术方向——能在企事业单位的信息部门从事大数据系统的应用、维护与管理等工作，也可在软件企业中从事大数据的项目实施、技术服务、二次开发等技术工作以及大数据产品及服务的推广工作的高素质技术型信息化专门人才。

以大数据技术与应用教学实训环境为基础，引入多种 ERP 系统与大数据软件等真实案例，邀请企业的相关专家对学生进行实战培训和指导。培养学生“工匠”精神，用“心”为学生创造就业机会。

同时，继续与多家著名大型软件企业密切合作，每年都为学生提供几十个与专业对口的社会实践机会，使学生提前了解就业环境，提前对接企业，通过暑期社会实践，提前与实习企业达成了就业意向。共建校企共享场地，提供社会服务，建设校企实训基地。

15）河南工业职业技术学院大数据技术与应用专业 大数据技术与应用专业培养掌握计算机技术、Java 开发、数据库、Linux操作系统等知识，具备分布式存储、分布式计算框架等技术，熟悉大数据处理和分析技术，从事大数据分析、数据库管理与维护、大数据应用、商业智能以及系统研发等工作的高技能人才。毕业生面向政府、电力、教育、证券、金融、税务、电子商务、信息产业以及其他国民经济部门等云计算和大数据平台建设与服务企业就业。

主干课程：Python 语言、Java 开发、大数据分析、分布式计算平台、数据库系统及应用。

2.主要内容 （1）国内外已开设相关专业的兄弟院校调研 云的时代已全面到来！现在，越来越多的大中型企业正将基础架构向云端加速迁移，小微企业和个人开发者更是将云作为基础设施的首选。随着云的能力不断提升，在 DT 时代，绝大多数的计算与数据服务都会在云端完成。面对这一发展趋势，除了需要在技术不断将计算能力提升之外，云计算、大数据方面的专业人才缺失，也成为了整个生态面临的严峻挑战！站在互联网“风口”上的大数据，直接催热了大学里的大数据专业。

国外除了在大数据的概念上的研究外，重点放在技术研究。美国政府六个部门启动的大数据研究计划中，绝大多数研究项目都是应对大数据带来的技术挑战，重视的是数据工程而不是数据科学，主要考虑大数据分析算法和系统的效率。2015 年 9 月，国务院发布了《促进大数据发展行动纲要》，已经将大数据应用上升到了国家战略的层面，将数据视为“国家基础性战略资源”，号召政府部门对数据的开发共享。国内在大数据研究领域的重点在大数据与云计算、数据挖掘，并行计算和分布式处理，应用式主要集中在地理信息系统,大数据在商品零售、金融等领域的应用已经非常广泛，而在法律领域，其实也有许多可挖掘、可利用、可产生价值的地方。

阿里云大学联合慧科教育实施“阿里云大学合作计划”，在全国高校合作开设云计算与数据科学方向专业，并向高校开放阿里云计算、大数据、工程师以及生态圈伙伴等资源。未来三年，阿里云与慧科将在全国 100 所高校完成专业课程开设，通过“互联网+教育”的模式覆盖 300 所大学的云计算与数据科学教育，培养和认证 5 万名云计算和数据科学工作者。北京航空航天大学、浙江大学、复旦大学、上海交通大学、西安交通大学、南京大学、武汉大学、华南理工大学在内的首批 8 所高校，正式落户阿里云大学合作计划 AUCP。据国外著名职业人士社交网站 LinkedIn 公布的 2014 年最受雇主喜欢、最炙手可热的 25 项技能，统计分析和数据挖掘技能位列榜首。研究机构 Gartner 预测，2015 年，全球将新增 440 万个与大数据相关的工作岗位，25%的组织将设立首席数据官职位。目前高校专业设置与社会需求出现落差，成为中国大数据发展的瓶颈。

（2）兄弟院校学科专业建设情况 1）大数据领域三个大的技术方向：

方向一：Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)大数据开发方向

方向二：数据挖掘、数据分析&机器学习方向 方向三：大数据运维&云计算方向 2）课程设置 大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式 Hadoop 集群的搭建和基准测试、分布式 Hbase 集群的搭建和基准测试、实现一个基于、Mapreduce 的并行算法、部署 Hive 并实现一个的数据操作等等，实际提升企业解决实际问题的能力。核心课程：程序设计基础、数据结构、数据库原理与应用、概率论与数理统计、高等代数、应用统计学、面向对象程序设计、算法设计与分析、数据库原理及应用、大数据分析应用平台 Hadoop、大数据处理、数据可视化原理与方法、数据挖掘等以及相应的项目与实训课程。

3）核心技术(1)大数据与 Hadoop 生态系统。详细介绍分析分布式文件系统 HDFS、集群文件系统 ClusterFS 和 NoSQLDatabase 技术的原理与应用;分布式计算框架Mapreduce、分布式数据库 HBase、分布式数据仓库 Hive。

(2)关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。

(3)分 布 式 数 据 处 理。

详 细 介 绍 分 析 Map/Reduce 计 算 模 型 和HadoopMap/Reduce 技术的原理与应用。

(4)海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash,JaccardandCosinesimilarity，TF-IDF 数据挖掘算法–聚类算法;以及数据挖掘技术在行业中的具体应用。

(5)物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。

(6)文件系统(HDFS)。详细介绍 HDFS 部署，基于 HDFS 的高性能提供高吞吐量的数据访问。

(7)NoSQL。详细介绍 NoSQL 非关系型数据库系统的原理、架构及典型应用。3 企业公司

1.基本情况 序号 号 企业名称 企业类型 业务范围 企业地址

山大地纬软件股份有限公司 国企 国家规划布局内重点软件企业、国家火炬计划重点高新技术企业,是国内领先的智慧人社、智能用电、智慧政务、智慧健康信息化解决方案提供商和服务运营商。

济南市经十东路33688 号港兴一路300 号

山东 旗帜软件股份有限公司 国企 致力于政务人力资源软件产品开发和解决方案提供，是国内领先的组织干部、人事编制、资格考试和公务员考试行业软件产品和解决方案提供商 济南市高新区天辰大街 2177 号联合财富广场 2 号楼 18 层

山东正中信息技术股份有限公司 国企 正中信息先后为多个国家重大信息系统工程建设项目提供咨询、监理服务，是国家电子政务和信息系统工程咨询、监理相关标准制定的倡导者与积极参与者，为电子政务、公安交警、智慧城市、民生保障、公共事业等领域信息化发展发挥了重要作用。

山东省济南市历下区科院路 19 号

山东国子软件股份有限公司 上市 国内领先的资产管理软件开发服务商和SOA 架构中间件应用解决方案提供商 济南市高新区舜风路 101 号齐鲁文化创意基地5号楼4单元

神思电子技术股份有限公司 上市集团 是身份识别解决方案的提供商和服务商，专业从事身份认证终端和行业应用软件的研发、生产、销售与服务;逐步升级为在身份识别相关领域提供具备人工智能特征的行业解决方案的一 站式国际化服务提供商 山东省济南市高新区神思科技园

山东万佳云计算信息科技有限公司 股份制 公司主营浪潮服务器、存储、浪潮信息安全产品、PCM UPS、天融信全线产品等。

济南市历下区工业南路 104 号

武汉噢易云计算股份有限公司 司 上市 致力于云计算产品研发、云计算规划实施、云计算综合服务的高科技企业;主要产品有噢易云计算管理平台(OS-Easy Cloud)、噢易服务器虚拟化（OS-Easy vServer）、噢易教育桌面云（OS-Easy E-VDI），为教育、公安、法院、社保、医疗等行业提供私有云、云数据中心、云机房、云实验室、移动办公等行业云解决方案。

关山大道 465 号光谷创意大厦 C 座 17层

山东云管家数据科技有限公司 司 上市 是阿里云在山东区的云计算服务商，为行业客户提供上云、用云、管云，一站式服务。作为阿里云授权中心，阿里云钻石级合作伙伴、授权服务中心、授权赋能中心、区域服务中心,公司业务分为云服务咨询、云方案实施、云赋能培训、云合联盟体系四大板块。现已服务 10000 家企业收获到云计算的技术红利。

山东省青岛市市北区威海路 312 号

深圳讯方技术股份有限公司 上市 致力于为大型的通讯设备制造商、电信运营商和学校提供工程技术服务、软件技术服务和教学合作服务。主营业务有：为运营商提供工程安装调测服务、为政企提供信息化集成服务、为高校提供信息教学解决方案、校园信息化建设、华为授权培训中心推广建设、软件外包服务等 济南高新区鲁商国奥城

北京国电海通科技发展有限公司 股份制 国家火炬计划软件产业基地骨干企业、北京市高新技术企业和双软企业;公司专注于电力行业信息化建设与服务，面向电力行业发输变配等多个环节，形成系列产品和解决方案。业务范围涵盖配网生产管理、物联网应用、低压检测诊断设备开发、信息化咨询规划及决策支持等，同时支持能统推但细节可定制的软件研发。

济南市市中区华景苑 14 号楼 1601

青岛依 蓝云计算有限公司 集团 是一家以品牌策划、场景应用和云安全服务为主的创新型科技企业 青岛市海信南岭风情别墅区2号楼9栋

山东众志电子有限公司 有限责任公司 信息化综合解决方案的提供商，专业从事系统集成、网络监控、软件开发与应用、企事业信息化管理和音视频等业务 历城区王舍人街道万科新里程 20 号楼

银澎云计算股份有限公司 上市 国内领先的云计算产品和服务提供商，公司拥有多项创新核心技术优势，荣获工信部颁发的多方通信服务牌照的云计算服务商，先后获得“德勤高科技高成长中国 50 强”、“电子政务推荐品牌”、“视频会议软件全能之星”、“中国 IT 市场最具成长性产品”，并通过国家高新技术企业认证、双软认证、ISO9001 认证、CMMI3 认证、国家电网安全评测等。

高新开发区

戈尔特西斯科技（济南）有限公司 外企 公司主要承接世界顶级证券交易市场(包括NASDAQ, NYSE, CME, TSX, NYSE Euronext, LSE, DBG, OMX, TSE, OSE, HKEx)的金融数据研究分析和投资交易等。

高新区银荷大厦

山东正云信息技术有限公司 有限责任公司 致力于促进超算-云计算技术、大数据-人工智能技术与制造业深度融合，努力成为制造业及实体经济创新的加速器和高端的国家制造业创新中心。

济南市高新区大正路

江苏三希科技股份有限公司 股份制 公司业务涵盖环保信息化软件开发、工业过程自动化控制建设、系统集成、数据采集与传输设备供应、运营维护、信息系统咨询与服务、技术支持与外包业务，是国内环保信息化行业的领军企业。

汉峪金谷

山东联科云计算股份有限公司 司 上市 一家提供云计算和大数据分析方向产品和服务的高新技术企业。公司拥有世界最...

第二篇：文献3-大数据技术与应用

大数据技术与应用*

【摘要】：随着互联网技术的飞速发展，特别是近年来云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来.数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用大数据已经成为普遍关注的话题.大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生.对大数据的产生背景和基本概念进行剖析,并对大数据的主要应用作简单对比.在此基础上,阐述大数据处理的基本框架,并就云计算技术对于大数据时代数据管理所产生的作用进行分析.最后归纳总结大数据时代所面临的新挑战。【关键字】：大数据

发展趋势 应用 机遇和挑战

一、大数据时代的背景

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”

二、什么是大数据

大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。

（一）大数据的4V特征

大量化(Volume)：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。

多样化(Variety)：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。

快速化(Velocity)：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现

软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。价值（Value）：大量的不相关信息，浪里淘沙却又弥足珍贵。对未来趋势与模式的可预测分析，深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）

三、大数据时代对生活、工作的影响

大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。

“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。

大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。

四、大数据时代的发展方向、趋势

根据ESM国际电子商情针对2013年大数据应用现状和趋势的调查显示：被调查者最关注的大数据技术中，排在前五位的分别是大数据分析（12.91%）、云数据库（11.82%）、Hadoop（11.73%）、内存数据库（11.64%）以及数据安全（9.21%）。Hadoop已不再是人们心目中仅有的大数据技术，而大数据分析成为最被关注的技术。从中可以看出，人们对大数据的了解已经逐渐深入，关注的技术点也越来越多。既然大数据分析是最被关注的技术趋势，那么大数据分析中的哪项功能是最重要的呢?从下图可以看出，排在前三位的功能分别是实时分析(21.32%)、丰富的挖掘模型(17.97%)和可视化界面(15.91%)。2012年也曾做过类似的调查，当时选择丰富的挖掘模型(27.22%)比实时分析(19.88%)多7.34%。短短一年时间内，企业对实时分析的需求激增，成就了很多以实时分析为创新技术的大数据厂商。从调查结果可以看出：企业在未来一两年中有迫切部署大数据的需求，并且已经从一开始的基础设施建设，逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时，大数据还面临人才的缺乏的挑战，需要企业和高校联合起来，培养数据领域的复合型人才，帮助企业打赢这场“数据战”。

五、大数据的应用

（一）行业拓展者，打造大数据行业基石

你IBM：IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）;业务事件处理；IBM Mashup Center的计量，监测，和商业化服务（MMMS）。IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析。软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案 微软：2011年1月与惠普（具体而言是HP数据库综合应用部门）合作目标是开发了一系列

能够提升生产力和提高决策速度的设备。

EMC：EMC 斩获了纽交所和Nasdaq；大数据解决方案已包括40多个产品。

Oracle：Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。

（二）大数据促进了政府职能变革

重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析。一方面大数据的应用促进了政府职能变革，另一方面政府投入将形成示范效应，大大推动大数据的发展。

（三）打造“智慧城市”

美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式” ；中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”

（四）未来，改变一切

未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。

数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。

六、机遇和挑战

大数据赋予了我们洞察未来的能力，但同时诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！更多的隐私、安全性问题：我们的隐私被二次利用了。多少密码和账号是因为“社交网络”流出去的？

眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护。

第三篇：大数据时代下数据挖掘技术与应用

大数据时代下数据挖掘技术与应用

【摘要】人类进入信息化时代以后，短短的数年时间，积累了大量的数据，步入了大数据时代，数据技术也就应运而生，成为了一种新的主流技术。而研究数据挖掘技术的理念、方法以及应用领域，将对我国各个领域的未来带来更多的机遇和挑战。本文就大数据时代下数据挖掘技术与应用进行探究。

【关键词】大数据，数据挖掘，互联网

数据挖掘是一门新兴的学科，它诞生于20世纪80年代，主要面向商业应用的人工只能研究领域。从技术角度来看，数据挖掘就是从大量的复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值和知识的过程。从商业角度来说，数据挖掘就是从庞大的数据库中抽取、转换、分析一些潜在规律和价值，从中获取辅助商业决策的关键信息和有用知识。

1.数据挖掘的基本分析方法

分析方法是数据挖掘的核心工作，通过科学可靠的算法才能实现数据的挖掘，找出数据中潜在的规律，通过不同的分析方法，将解决不同类型的问题。目前常用的方法有聚类分析、特征数据分析法、关联性分析等。

1.1聚类分析法。简单来说聚类分析就是通过将数据对象进行聚类分组，然后形成板块，将毫无逻辑的数据变成了有联系性的分组数据，然后从其中获取具有一定价值的数据内容进行进一步的利用。由于这种分析方法不能够较好的就数据类别、属性进行分类，所以聚类分析法一般都运用心理学、统计学、数据识别等方面。

1.2特征性数据分析法。网络数据随着信息时代的到来变成了数据爆炸式，其数据资源十分广泛并且得到了一定的普及，如何就网络爆炸式数据进行关于特性的分类就成为了当下数据整理分类的主要内容。此外还有很多方法都是通过计算机来进行虚拟数据的分类，寻找数据之间存在的普遍规律性完成数据的特性分析从而进行进一步分类。

1.3关联性分析法。有时数据本身存在一定的隐蔽性使得很难通过普通的数据分析法进行数据挖掘和利用，这就需要通过关联性分析法完成对于数据信息的关联性识别，来帮助人力完成对于数据分辨的任务，这种数据分析方法通常是带着某种目的性进行的，因此比较适用于对数据精准度相对较高的信息管理工作。

2.数据挖掘技术的应用

数据挖掘技术的具体流程就是先通过对于海量数据的保存，然后就已有数据中进行分析、整理、选择、转换等，数据的准备工作是数据挖掘技术的前提，也是决定数据挖掘技术效率及质量的主要因素。在完成数据准备工作后进一步对数据进行挖掘，然后对数据进行评估，最后实现运用。因此，数据挖掘能够运用到很多方面。如数据量巨大的互联网行业、天文学、气象学、生物技术，以及医疗保健、教育教学、银行、金融、零售等行业。通过数据挖掘技术将大数据融合在各种社会应用中，数据挖掘的结果参与到政府、企业、个人的决策中，发挥数据挖掘的社会价值，改变人们的生活方式，最大化数据挖掘的积极作用。以教育行业为例，探究数据挖掘技术在高校教育教学活动中的应用。

2.1在高校管理中的应用。数据挖掘技术在高校管理的内容主要包括：高校招生录取工作、贫困生选定以及优秀生评定等。高校每年的招生工作是学校可持续发展的重要环节，直接影响到高校教学质量以及发展情况。比如数据挖掘技术在高校管理中的应用主要是对学生高考成绩、志愿填报、以及生源来源地等多方面信息进行整理分类汇总。具体步骤是通过进行数据的收集和预处理，建立相关数据模型，采用分类算法，提取和挖掘对用户有用的信息，然后进行数据挖掘的数据存储形式。目前高校数据挖掘技术应用的范围比较广泛，由于高校管理内容比较复杂，因此在其管理内容的每个小部分也开始利用数据挖掘技术进行管理，比如学生成绩管理，课堂教学评价系统等。

2.2在高校课堂教学评价中的应用。数据挖掘技术在高校课堂教学评价系统中的应用主要也是利用关联分析法。首先先对数据进行预处理工作，数据的预处理是数据挖掘技术的关键步骤，并且直接影响着数据挖掘技术的应用效率。数据预处中要将教师的基本信息、教师教授课程以及教师的职称、学历、学生信息以及学生课表相关信息进行数据初始记录。对于教师的评价内容根据高校自身的条件和需求而定，学校教学评价管理部门登录学校教务系统后，将学生所选择的选项对应转换为教师的分值，通过计算机计算总分后得出教师的学期得分。学生对于教师教学的评价在一定程度上也反映了自己的学习情况，如对教师的评价为零分，则说明学生也否定了自己的学习效果。2.3在高校学生信息管理系统中的应用。高校学生信息管理系统中管理要素主要是学校的领导、任课教师、学生以及家长。系统的功能要包括：对不同的用户设置不同的使用权限；对学生的基本信息以及学生浏览管理网站的记录要做到明确记录；各个学院不同专业的学生课程要能准确公布并允许学生根据实际情况修改；成绩管理要能实现大批量添加及修改；还有比如评优活动、党务管理等具体功能。数据挖掘技术在高校学生信息管理系统中的应用主要是利用决策树的方法。学生信息管理的基本数据就是学生入学时填写的基本信息表，内容包括学生的姓名、学号、考勤以及学习成绩等，这些都是学生特有的属性，学生信息管理利用决策树方法就是将学生的这些属性作为决策元素，监理不同的决策节点，实现对学生全方位的考核和评价，完整的了解到每位学生的具体信息。

2.4高校图书馆信息系统中的应用。数据挖掘技术最基本的应用就是通过对现有的数据进行分析来了解学校图书馆现有资源利用情况，为图书馆的未来建设提供可靠数据。数据挖掘技术能够使图书馆资源得到极大程度的优化整合。比如数据挖掘技术可以对检索记录进行整理，将手工数据转变为电子数据记录。其最大的优势就是利用数据挖掘技术更加全面的分析总结数据库资源，帮助图书馆管理人员对于图书馆信息的补充和调整，还能够为高校图书馆的馆藏工作建设提供有效的引导。数据挖掘还能应用于图书馆的多媒体数字资源，多媒体数据挖掘技术能够更为快捷和准确的为读者提供相应的服务。

3.结语

数据挖掘技术是近几年新产生的网络技术，可是它的广泛应用性受到了很多公司以及研究人员的喜爱。这些年来，伴随着时间的推移以及网络技术的不断发展大数据挖掘技术不断的被更新，开发，而且在金融、管理、教学等行业中都得到了广泛的应用。我相信随着网络技术的不断发展，大数据挖掘技术的应用面将会越来越广。

【参考文献】

[1] 董彩云，曲守宁.数据挖掘及其在高校教学系统中的应用 [J].济南大学学报（自然科学版），2004（1）： 65-68.[2] 陆川，王静静.数据挖掘技术在高校教学管理中的应用研究[J].北京：电脑开发与应用，2009，3.[3]《中国电子科学研究院学报》编辑部.大数据时代[J].中国电子科技研究院学报，2013（01）：41-43.[4]魏娟，梁静国.基于数据挖掘技术的企业客户关系管理（CRM）[J].商业研究，2005（07）.

第四篇：拟新增大数据技术及应用专业的申请报告

拟新增大数据技术及应用专业的申请报告

近几年来，互联网行业发展风起云涌，而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。为了更好服务宿迁地方经济的发展，推动宿迁新的经济增长点，主动适应地方经济社会发展的需求，推动校企合作的发展，解决人才紧缺的问题，江苏城市职业技术学院/宿迁办学点现申请新增大数据技术及应用专业。

一、开设背景分析

当今社会已经进入了大数据的时代，大数据的应用正在逐步从互联网、金融扩展到教育、政务、交通物流、医疗健康等各大社会和经济领域,，深刻影响中国未来社会和经济的发展进程。这些发展促使我们快速进入了大数据时代。截止到目前，人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别，数据将逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代，专业的大数据人才必将成为人才市场上的香饽饽。当下，大数据从业人员的两个主要趋势是：

1、大数据领域从业人员的薪资将继续增长；

2、大数据人才供不应求。

二、目前大数据技术及应用专业行业人才需求和培养情况

1、行业现状（人才缺口巨大）

今天，越来越多的行业对大数据应用持乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业，比如百度、腾讯、淘宝、新浪等公司已经成为标准。而像电信、金融、能源这些传统行业，越来越多的用户开始尝试或者考虑怎么样使用大数据解决方案，来提升自己的业务水平。在“大数据”背景之下，精通“大数据”的专业人才将成为企业最重要的业务角色，“大数据”从业人员薪酬持续增长，人才缺口巨大。

全球最顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据领域的工作需求急剧扩大，工作岗位激增。大数据科学家的缺口将在14万到19万之间，而懂得利用大数据做决策的分析师及经理的岗位缺口预计可能达到150万。

2、企业需求

如果说2015年是“大数据元年”的话，那么2016年就是大数据产业真正爆发的一年。如今，2017年我国大数据产业发展已初具规模，但在人才市场上缺乏综合掌握数学、统计学、计算机等相关学科及应用领域知识的综合性数据科学人才，特别是缺乏既熟悉行业业务又掌握大数据技术与管理的综合型人才。企业需要的大数据人才，从个人素质方面，需要以下能力：

良好的数据敏感度，能从海量数据提炼核心结果。对统计、数学建模有强烈的兴趣和钻研精神。

良好的学习能力、团队协作能力、逻辑思维能力、分析能力。擅长与商业伙伴的交流沟通，具有优秀的报告讲解能力及沟通能力。

工作高效，有条理，细致，态度积极，责任心强，能够承受较强工作压力。在专业技能方面，需要以下能力：

熟悉数理统计、数据分析、数据挖掘等基础知识，熟知常用算法。熟练使用SAS、SPSS、R、Excel等统计分析软件。精通至少一门编程语言（C、Java、Python、shell）。了解数据结构和算法设计。熟悉Linux操作系统开发环境。

三、开办大数据技术及应用专业的条件和理由

1.增设大数据技术与应用专业是适应大数据时代形势发展的需要 当今时代，数据资源被视为是一种国家基础性战略资源，数据科学成为推动经济转型发展新动力，重塑国家竞争优势的新机遇和提升政府治理能力的新途径。2015 年 8 月 31 日，国务院印发了《促进大数据发展行动纲要》（国发[2015]50 号），系统部署我国的大数据发展工作。

2.增设大数据技术与应用专业是为了满足江苏省电子商务产业经济发展对数据科学人才的需求当下的江苏，正处于电子商务产业经济发展的高速阶段，2015年底，省政府召开新闻发布会发布《关于大力发展电子商务加快培育经济新动力的实施意见》，力争到2020年，全省电子商务交易额超过4.5万亿元，其中网络零售额超过1.4万亿元。为了实现这一目标，未来5年，全省将通过创建100个江苏省电子商务示范基地、100个江苏省电子商务创客中心等一系列举措全力推动电子商务发展提速。目前，就宿迁市而言，宿豫区电子商务产业园、京东商城宿迁分公司、湖滨新区的保险小镇等一系列大型企业无不需要实现“应用、数据、产业”三位一体协手并进,推动大数据产业集聚发展，这些企业的行业云及大数据平台正在加快建设。为解决急需的数据科学人才问题，2017年初，在江苏省发布的《江苏省大数据发展行动计划》中明确鼓励高校设置数据科学与大数据技术相关专业,重点培养具有数理统计、数据挖掘、大数据管理与分析等知识和技能的复合型人才。因此，数据科学与大数据技术专业的设立将满足江苏省经济社会发展对数据科学人才的需求。

3.师资力量

我系具有雄厚的师资力量，教师对工作精益求精，能胜任主干专业理论教学，掌握本职工作基础理论，能运用理论指导实践、解决问题，是一支具有较高理论水平、较强实践能力、热爱本专业教育工作、工作认真细致、积极主动、有奉献精神、热心高等职业技术教育的师资队伍。

教师们积极投身教育教学研究和实践，努力提高学术水平和综合素质，形成了一支由学科带头人、中青年骨干教师为中坚力量，热爱教育事业、团结互助、爱岗敬业、知识结构新、创新能力强、实践能力过硬的“双师型”专业教师队伍。目前，专业共有校内专任教师11人，其中高级职称4人。整个教师队伍的年龄、职称、学历、能力等结构合理，形成了有良好发展前景的学术梯队。无论从职称到年龄，专业教师结构十分合理，符合高等职业学校专业设置标准规定的要求。

综上，大数据技术及应用专业具有开设的可行性，符合社会对该人才的需要，江苏城市职业技术学院/宿迁办学点在原有专业基础上，已经具备开设该专业的能力，故将此专业列为2018年新增专业申报。

负责人签字： 申请日期：

公章：

第五篇：邮政大数据技术应用可行性分析

邮政大数据技术应用可行性分析

摘 要：随着当前各行业信息化的发展，邮政行业各类信息化系统积累了海量的业务数据，这些数据分散在不同的业务领域。由于业务的扩展，数据呈现出几何级地快速增长趋势，并且明显表现出数据量庞大、数据类型多样、价值密度低等特点。传统的数据分析处理方式已经无法满足行业需求。通过引入针对大数据的数据采集、数据处理、数据存储及管理、数据分析与挖掘等技术，可以有效地解决对海量业务数据的分析、价值挖掘问题，进而通过对大数据技术的应用，达到对客户需求的精准把控、对现有业务流程的优化、对业务发展趋势的预判等目的，最终实现对整个邮政行业发展的促进效果。

关键词：邮政 大数据 可行性 应用

中图分类号：TP27 文献标识码：A 文章编号：1672-3791（2017）11（b）-0010-02

认识大数据

大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有如下特点。

1.1 数据量大

一组数据的计量单位转换比例：1T=1000G、1P=1000T、1E=1000000T、1Z=1000000000T。上述各种单位都是大数据的常用衡量单位。

1.2 类型繁多

大数据包含的不只有普通意义上的结构化数据，还有各种非结构化数据，如音频、视频、地理位置、网络文章等。

1.3 价值密度低

互联网，尤其是移动互联网的普及，越来越多的联网设备参与到数据的生产过程，特别是随着物联网的广泛应用，信息感应收集无处不在。产生的海量数据真正附带使用价值的只是很少一部分。所以对大数据中有价值数据的筛选过滤是应用大数据的必要环节。

1.4 高速数据处理

既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息?o法通过及时处理反馈有效信息，那将是得不偿失的。大数据技术的典型应用场景

当前，大数据技术迅速发展，正在向各行业渗透，例如银行业。银行业本质上就是要面向客户提供金融服务，通过对数据的分析，可以更准确地把握客户需求，有针对性地研发金融产品，提供金融服务。一方面面对不同区域，差异化管理。通过分析不同区域人群的差异化数据，量身制定符合各区域需求的管理措施；另一方面，针对不同客户，实行差别化产品和服务。通过对大数据的分析挖掘，得出客户喜好，向客户推荐符合其个人喜好的金融产品，实现精准营销。大数据技术在邮政行业的应用

邮政业务结合使用大数据技术的与银行业相比，邮政行业业务类别较多，涉及到寄递、电商、金融等三个方向。各业务方向当前独立运营，虽然也积累了大量的数据，但这些数据却只是单独分布在各自领域，还有很大一部分潜在价值未被发掘。

3.1 成立针对大数据应用的机构

很多现代企业都成立了自己的大数据应用方面的组织机构，专门负责企业大数据应用的开发，旨在提升自身的企业竞争力。对邮政企业而言，同样具备建立相应研究机构的条件。首先，邮政企业积累了海量的数据资源，亟待利用。其次，邮政多年来的信息化建设以及深入的业务应用模式，对业务数据的深入应用方面积累了丰富的经验。最后，邮政庞大的机构人员队伍中储备了大量的数据应用技术、信息应用技术、业务经营分析、统计学等方面的专业人才。

3.2 规范数据标准，提升数据质量

3.2.1 梳理数据来源渠道，规范数据准入标准

邮政企业内部业务种类繁多，相应的业务信息化系统也较多，产生的业务数据模式也各有差异。在此类数据上应用大数据技术，必须对数据的产生渠道进行规范化梳理，尤其是对组织机构、客户信息、地理位置信息等核心基础信息的采集，必须要求按照统一的格式规范进行。

3.2.2 夯实原有数据质量，拓展数据来源

邮政现有各类应用系统产生的数据业务完整性差、业务相关性较差，各个业务系统之间数据可借鉴性较差，需要就上述问题从技术层面、管理层面进行完善和加强。同时增多数据来源渠道，丰富业务数据的种类。

3.3 破除企业内专业壁垒，打造大数据平台

3.3.1 杜绝信息孤岛

邮政行业业务种类丰富，各业务类别之间差异较大，结果导致数据应用时，各业务类别难以突破本专业壁垒，汲取其它专业数据，助力本专业业务发展。信息的孤岛化现象比较严重。

3.3.2 打造大数据平台

（1）数据采集。

大数据平台制定统一的数据采集规范，各专业依据该规范重构自己的业务数据，并推送到大数据平台，实现各业务数据的格式统一。同时要保证业务数据推送、汇总过程中的安全。

（2）数据存储。

将各业务方向业务系统数据进行统一管理，数据归集存储，以实现节省成本、提高数据利用率、降低机房能耗等目的。按照规则对数据进行分类，同时利用过滤和去重技术，减少数据的存储总量，并加入标签，利于数据的检索。

（3）数据处理。

邮政各业务方向数据自身复杂度较高，数据来源和结构多样，不同业务流程之间数据交互度高，造成传统方法难以描述、衡量。相关人员只有通过业务关联进行语义分析，进而挖掘综合信息；而专业技术人员需要利用专业手段衡量、处理，并得出所需的数据报表并产出有价值的分析报告。

（4）数据应用。

可以基于大数据平台构建数据可视化应用系统，根据实际业务需求，定制不同的数据可视化展现方式，为不同业务人员提供个性化的数据分析、趋势预判可视化展现。

3.4 加强大数据应用，服务企业经营理念

（1）基于客户行为分析的产品与服务营销。

整理统计邮政业务中用户的消费记录，发掘客户消费潜力和消费习惯，并制定对应策略进行精准营销。

（2）基于客户评价的产品与服务提升。

注重收集整理各业务方面客户反馈的评价信息，根据评价信息发掘产品、服务中存在的问题，通过修正和完善问题，使产品和服务更加符合用户需求。

（3）基于数据分析的广告投放，加大营销宣传效果。

基于数据分析结果进行广告投放，避免毫无依据的盲目投放。

（4）基于数据分析的产品定价。

综合参考同类产品定价数据，并实时统计价格走势，通过大数据技术实现价格走势预判，为产品定价提供预判依据。

（5）基于客户异常行为的客户流失预测。

收集整理客户行为数据时，重视异常情况的发现与形成原因分析。深入了解底层需求，掌握市场动态，并做出准确的市场预测，预算出客户流失带来的收益损失，及时反馈市场经营部门，以便制定可行的应对措施，降低风险，预估风险。

（6）基于环境数据的外部形势分析。

对于企业外部的数据信息加强收集与整理，全面掌握社会市场动态，了解市场发展走势，正确估计市场形势。做好企业相应的分析与预警。

（7）企业管理数据的应用分析。

做好企业经营生产大数据应用的同时，也要对管理数据进行采集与整理，包括财务管理、人事管理等数据信息等方面。结语

总而言之，邮政正处在集约化、信息化、标准化、现代化进程中，对大数据的分析、挖掘对于企业管理体制优化，精准把握市场机会，实现产业转型和升级，实现科学的良性的可持续发展具有重要意义。

参考文献

[1] 谷斌.论大数据背景下的邮政数据分析与整合[J].邮政研究，2014（6）：10-12.[2] 赵国栋.大数据时代的历史机遇-产业变革与数据科学[J].中国科技信息，2013（19）：100-101.[3]（英）维克托?迈尔-舍恩伯格，肯尼思?库克耶.大数据时代：生活、工作与思维的大变革[M].浙江人民出版社，2012.