大数据及其在城市智能交通系统中的应用综述_陆化普_百度概要

时间:2019-05-14 02:45:36下载本文作者:会员上传
简介:写写帮文库小编为你整理了多篇相关的《大数据及其在城市智能交通系统中的应用综述_陆化普_百度概要》,但愿对你工作学习有帮助,当然你在写写帮文库还可以找到更多《大数据及其在城市智能交通系统中的应用综述_陆化普_百度概要》。

第一篇:大数据及其在城市智能交通系统中的应用综述_陆化普_百度概要

第 15卷 第 5期 2015年 10月 交通运输系统工程与信息

Journal of Transportation Systems Engineering and Information Technology V ol.15No.5 October 2015 文章编号:1009-6744(2015 05-0045-08中图分类号:U491.1文献标志码:A 大数据及其在城市智能交通系统中的应用综述 陆化普 *, 孙智源, 屈闻聪

(清华大学 交通研究所, 北京 100084 摘 要:大数据给城市智能交通系统的技术发展与应用革新带来了机遇和挑战.从交 通大数据的基本概念、交通大数据带来的问题和大数据驱动的数学建模方法等方面, 阐 述了交通大数据给智能交通系统带来的变革.为了深入理解交通大数据的内涵, 分析交通 大数据的产生背景, 提出了交通大数据的 “ 6V ” 特征, 总结了智能交通系统中大数据的基 本类型.面对交通大数据带来的数据安全、网络通信、计算效率和数据存储等诸多问题, 提 出了应对策略和思路.对数据驱动的建模方法进行了分析, 说明了混合模型的意义.最后, 讨论了大数据驱动的智能交通系统的体系框架.关键词:智能交通;交通大数据;数据驱动;智能交通系统

Big Data and Its Applications in Urban Intelligent Transportation System LU

Hua-pu , SUN

Zhi-yuan , QU Wen-cong

(Institute of Transportation Engineering , Tsinghua University , Beijing 100084, China Abstract:Big data brings both opportunities and challenges to technological development and application innovation of urban intelligent transportation system.Significant changes of ITS, which brought by traffic big data, are shown in three aspects:the concept of traffic big data, problems brought by traffic big data, and big-data-driven based mathematic modeling methods.This paper is intended to deeply understand big data, the background and category of traffic big data are sketched, the “ 6V ” characteristics of traffic big data are proposed, the basic types of traffic big data in ITS are summarized.Strategies and ideas are presented based on the problems of traffic big data, namely, data security, network communication, computational efficiency, and data storage.This paper also analyzes the method of data driven model, and describes the significance of hybrid model.Finally, system framework of ITS based on traffic big data is proposed.Key words:intelligent transportation;traffic big data;data driven;intelligent transportation system 1引 言

随着信息技术、通信技术、计算机技术等的快 速发展, 数字城市(Digital City 与智慧城市(Smart Ctiy 接踵而来.1998年 1月, 美国前副总统戈尔发 表了题为 “数字地球 — —新世纪人类星球之认识(The Digital Earth:Understanding our planet in the 收稿日期:2015-02-04修回日期:2015-08-30录用日期:2015-09-09 基金项目:“ 十二五” 国家科技支撑计划(2014BAG01B04-03;国家自然科学基金(51408023;清华大学苏州汽车研究院(吴 江 返校经费课题(2015WJ-B-02.作者简介:陆化普(1957-, 男, 辽宁铁岭人, 教授.*通信作者:luhp@tsinghua.edu.cn DOI:10.16097/j.cnki.1009-6744.2015.05.007 交通运输系统工程与信息 2015年 10月

21st Century ” 的 演 说 , 数 字 地 球 的 概 念 由 此 产 生 [1].2008年 11月, 时任 IBM 董事长兼 CEO 的彭明 盛发布了题为 “智慧地球:下一代领导人议程(A Smarter Planet:The Next Leadership Agenda ” 的主 题报告, 正式提出了 “智慧地球”(Smart Planet 的 概念 [2].数字城市和智慧城市都是美国的舶来品, 二 者都是信息化背景下现代城市发展的高级形态.当 前, 英国提出了 “数字英国(Digital Britain ” 计划 [3], 韩国提出了 “ U-Korea ” 战略和 “ U-City ” 综合计划 [4], 我国于 2013年前后开展智慧城市试点示范工作 [5].数字城市与智慧城市的建设促进了移动互联 网、物联网、云计算等技术的发展, 并直接推动了 大数据(Big data 时代的来临.2008年, Nature 出版 了 “ Big Data ” 专 刊 [6];2011年 , Science 出 版 了 “ Dealing with Data ” 专刊 [7].2012年, 美国政府正式 发布了 “大数据研究和发展倡议” [8];我国于 2011年 发布了 “物联网 ‘十二五’ 发展规划” , 并陆续发布 了一系列的发展规划与白皮书.在交通领域, 传统的数据采集向电子化设备 与高级应用转变, 助力交通大数据的形成与发展.从传统的感应线圈和微波雷达等固定检测、基于 浮动车的移动检测, 向北斗卫星导航系统 [9]、智能 手机 [10]等新型检测手段, 以及集约的交通传感器布 局 [11]和稳定的多源数据融合 [12]方向发展.交通大数 据为 “感知现在、预测未来、面向服务” [13]提供了最 基本的数据支撑, 是解决城市交通问题的最基本 条件, 是制定宏观城市交通发展战略和建设规划, 进行微观道路交通管理与控制的重要保障.数据是智能交通系统的基础, 交通数据采集 手段和处理方法的深度革新将引领智能交通系统 的变革.在大数据背景下, 对交通大数据进行深度 分析, 明确交通大数据的基本概念, 了解交通大 数据带来的问题, 理解大数据驱动的数学建模方 法, 探讨在智能交通系统中的应用具有非常重要 的意义.2交通大数据的基本概念 2.1交通大数据的特征

交通大数据与传统交通数据的不同主要体现 在特征中.当前对大数据特征的描述主要有:3V [14]、4V [15]和 5V [16]等.结合交通大数据的基本类型, 认为 交通大数据具有 6V 特征, 具体如表 1所示.表 1交通大数据的特征

Table 1Characteristics of traffic big

data 2.2智能交通系统中的大数据

根据数据来源分布, 智能交通系统中的大数 据划分如表 2所示.(1 交通流数据(固定检测器.传统固定检测器获取的交通流数据为智能交 通系统的传统应用提供了基础数据支撑.以北京为 例, 基于微波雷达、超声波、感应线圈、视频监控等 检测器, 北京市公安局公安交通管理局建立了交 通信息采集、处理、发布系统, 北京市道路交通流 预测预报系统 [17]等.表 2智能交通系统中的大数据 Table 2Big data in

ITS

第 15卷 第 5期 大数据及其在城市智能交通系统中的应用综述(2交通流数据(移动检测器.通过固定检测器与移动检测器的数据融合 [18], 获取更加准确的交通流数据.以北京为例, 北京市 公安局公安交通管理局开展了 “北京市道路交通 流综合分析与数据质量评价体系研究” 的项目, 对 固定检测器、移动检测器等获取的多源数据进行 研究, 优化交通数据质量 [19].(3位置数据(移动检测.先进的移动通信技术拓展了交通移动检测的 应用范围, 由传统的交通流数据获取推广到位置 数据的获取, 使得基于位置的服务成为可能.基于 公交智能卡的数据, 实现出行者出行行为的分 析, 为公交基础设施建设和运营服务管理提供支 持 [20].基于出租车车载终端的数据, 研究出行距 离、出行时间和道路偏好对驾驶员路径选择的影 响, 进而实现路径的预测 [21].应用智能手机, 可实 现出行轨迹、出行方式、出行范围、出行总量等的 获取 [22, 23].此外, 车联网的出现大大提高了城市交 通信息综合获取的水平, 丰富了交通数据来源和 发布途径 [24, 25].海量位置数据的处理和分析, 为交 通出行行为分析 [26], 公交系统优化 [27], 车辆优先控 制 [28]等提供了支撑.(4非结构化视频数据

非结构化视频数据一方面可用于宏观态势 监控, 以广西柳州为例, 建设高空高清视频监控 系统, 掌控多交叉口或较大区域的交通宏观态 势.一方面, 通过视频处理模块, 提供交通流特征 参数及其他参数, 以卡口系统、电子警察系统等 为例, 还可应用于车辆类型识别 [29]、交通状态识 别 [30]等.(5多源的互联网、政务网数据

互联网、政务网为智能交通系统提供了广泛 的数据来源与发布途径.以社交网络为代表的互 联网可为智能交通系统提供交通事件的视频等 数据.另外, 互联网也可成为交警非现场执法、公 交系统优化等的重要数据来源.政务网为城市决 策者和管理者提供了安全稳定的信息交互平台.通过政务网, 可为智能交通系统接入城市路网 结构、气象变化、特大活动、突发事件、应急救援 等数据.3交通大数据带来的问题 3.1数据安全问题

交通大数据具有 “ Value ” 特征, 蕴含了众多的 信息, 有些信息涉及国家安全, 例如, 公安网传输 的数据;有些信息涉及个人隐私, 例如, 卡口系统 检测的车辆轨迹数据.在交通大数据采集、传输、存储、处理、应用等过程中, 数据安全问题非常重 要.智能交通系统依托智能交通专网进行系统内 部的数据传输, 以及与外网之间的数据交互时, 必 须符合规范和标准, 保证网络安全 [31].另外, 在数据 处理过程中, 需要遵循隐私保护机制, 应用隐私保 护方法 [32].交通大数据具有 “ Veracity ” 特征, 去伪存真是 数据安全的另一重要问题.大量的冗余数据和错误 数据不仅占据大量的存储空间, 浪费存储资源, 还 会大大降低数据分析的有效性和稳定性 [33].进行异 常数据识别, 缺失数据补充, 错误数据修正, 冗余 数据消除具有非常重要的意义.3.2网络通信问题

交 通 大 数 据 具 有 “ V olume ”、“ Velocity ”、“ Visualization ” 特征, 要求网络通信要满足大容量 数据的快速、稳定传输, 特别是高清视频图像数据.交通大数据的 “ Variety ” 特征决定网络通信方式的 多样化.目前, 城市建立智能交通系统多采用自建 专网、租用城市公网相结合的模式, 具备有线通信 与无线通信并存且互通特征.智能交通系统常用的 网络通信技术包括:有线电缆、光纤通信网络、无 线传感网络、移动通信系统、卫星定位系统等.3.3计算效率问题

交通大数据具有 “ Velocity ” 特征, 要求智能交 通系统具备较高的计算效率, 例如, 交通数据预处 理, 交通状态识别, 短时交通流预测, 实时交通流 控制, 动态交通诱导, 实时公交调度等均具有时效 性要求.云计算技术的发展带来了新的解决方案, 智能交通云的概念由此提出 [34].基于云计算技术, 使得计算机硬件和软件得到有效利用, 提高智能 交通系统的计算效率.3.4数据存储问题

交通大数据具有 “ V olume ” 特征, 特别是长时 间序列的非结构化数据积累, 给数据存储带来了

交通运输系统工程与信息 2015年 10月

巨大的压力.存储技术的发展远赶不上数据增长的 速度, 大量存储服务器的购买提高了智能交通系 统的建设成本, 并占用了数据中心的建筑面积.当 前智能交通系统均采取缩短数据保存时限, 降低 数据存储质量的方式来减少存储成本, 影响了大 数据的价值.云存储技术的发展带来了新的解决方 案, 基于云存储与智能压缩算法可以初步解决大 数据的存储问题.4大数据驱动的数学建模方法

2000年, 美国自然科学基金会(NSF 首次提 出 了 动 态 数 据 驱 动 应 用 系 统(Dynamic Data Driven Application Systems 的概念 [35].数据驱动模 型与机理模型、知识模型同属常用的数学建模方 法.机理模型从本质上反映客观规律, 但是, 建模过 程繁琐, 参数标定难度较大;知识模型以经验总结 为基础, 模型简单易于实现, 但是, 模型精度较低, 研究对象的复杂性具有局限性;数据驱动模型从 数据出发, 是一个自下而上的建模过程, 无需了解 机理, 精度较高, 但是, 模型的可解释性较低, 模型 推广性能较弱.对于复杂系统, 特别是在某些情况 下, 机理模型不可行或难度较大, 知识模型的精度 较低, 数据驱动模型的意义凸显.常用的数据驱动 方法如表 3所示.表 3传统数据驱动方法 Table 3Traditional big data driven

method 大数据概念的提出, 推动了大数据驱动思想 的产生, 促进了机理模型、知识模型和数据驱动模 型的混合使用.在大数据的背景下, 机理模型、知识 模型和数据驱动模型存在相互渗透、优势互补的 关系, 3种模型构成的混合模型具有较好的应用前 景.依据知识和数据, 简化机理模型, 并将数据驱动 模型结合在一起, 完成模型标定, 互为补充.机理和 知识可以优化数据, 减少噪声, 确定合适的训练样 本, 提高模型鲁棒性.以基于时间序列、空间数据和 历史数据的短时交通流预测为例, 知识模

型用于 初步确定与研究对象路段相关的数据集合, 确定 合适的训练样本;机理模型用于标定基于组合模 型的短时交通流预测方法;数据驱动模型用于发 现组合模型误差与交通状态的模式匹配关系, 实 验表明混合模型具有较高的精度.5大数据驱动的智能交通系统

交通大数据给智能交通系统带来了变革, 主 要体现在基本概念、面临问题和建模方法等 3个方 面.面向上述变革, 研究大数据驱动的智能交通系 统具有重要的意义, 体系框架如图 1所示.(1感知对象.大数据驱动的智能交通系统具有海量的监控 对象.智能交通系统的感知对象从人、车、路、环境 四个方面展开, 包括:个体出行、营运车辆、交通管 理和静态系统等.(2全面感知.大数据驱动的智能交通系统具有多样的检测 手段和丰富的数据来源.针对城市交通数据源的分 布情况和智能交通系统的数据需求, 以固定检测 和移动检测构成的传统交通信息采集系统为依

第 15卷 第 5期 大数据及其在城市智能交通系统中的应用综述

托, 拓展交通数据源的类型和数量, 增加新型交通 数据采集的使用, 实现城市交通及相关系统的全 面感知.全面感知体现在多样的数据格式和数据类 型上

.图 1智能交通系统的体系框架 Fig.1System framework of ITS

交通运输系统工程与信息 2015 年 10 月(3)网络通信.大数据驱动的智能交通系统具有快速的网络 通信.针对交通大数据的实时传输要求,建立有线 通信、长距离和短距离无线通信构成的互联互通 信道,实现数据源、智能交通系统、服务对象的数 据交互.智能交通专网作为数据交互的中心,与互 联网、政务网、公安网等连接,网络接口具备合乎 规范的网闸,以保障网络通信的安全运行.(4)中心平台.大数据驱动的智能交通系统具有高效的数据 处理、存储、共享与应用.中心平台承担了智能交通 系统的数据挖掘、数据存储、数据共享等功能.数据 挖掘以信息论、控制论、系统论为基础,应用交通 流理论、交通网络分析、交通工程学等交通基础理 论,或建立数据模型描述机理,或应用模式匹配推 断结论.构建智能交通云的体系架构,以云计算、云 存储、云共享等新兴技术解决数

据处理速度、数据 存储空间、数据共享效率的问题.(5)综合服务.大数据驱动的智能交通系统具备优质的综合 服务.综合服务是智能交通系统的主要目的,包括 基础应用和高级应用.基础应用体现了 “感知现在 和预测未来” 特征,实现多源数据的集成管理,从 个体车辆、路段和交通网络等方面进行交通状态 的视频监控和量化分析,并对交通态势进行短期 和长时间序列的分析和研判.高级应用体现了 “面 向服务” 特征,基于基础应用分析,实施交通控制 与诱导,指导特勤任务、稽查布控等警务工作,并 为应急救援等城市综合管理提供决策支撑,通过 共享发布优化综合服务质量.(6)服务对象.大数据驱动的智能交通系统具备广泛的服务 对象.根据智能交通系统的需求分析,服务对象主 要包括: 政府决策者、交通管理者、企业运营者、科 研工作者、个体出行者等.能交通系统中的应用进行分析,旨在为大数据驱 动的智能交通系统立项、建设和运营提供建议.以 下几个问题可能实未来的研究热点:(1)硬件设计方面.大数据背景下,需研究多源、海量数据的有效 采集、稳定传输、快速处理和合理存储方法,特别 是交通数据采集设备的研发问题.数据是智能交通 系统基础,大数据为智能交通系统提供了广泛的 数据来源,然而,智能交通系统的部分功能,以交 通控制为例,需要准确的、定制化的交通基础数据.在此背景下,交通数据采集设备的研发显得尤为 重要.(2)软件开发方面.软件是智能交通系统得以广泛应用的首要工 具,是智能交通系统距离用户最近的一部分,特别 是在大数据的背景下,用户可以通过个人电脑、手 机、显示屏等终端设备获取信息,软件开发的意义 重大.在丰富数据的基础上,从日益增长的交通管 理和服务需求出发,兼顾城市发展和交通运行特 征,进行软件的功能设计和操作优化,以提高交通 管理和服务的智能化水平.(3)交通建模方面.交通属于典型的开放复杂巨系统,在交通建 模研究中,机理、知识、数据的系统化应用具有特 殊的意义.大数据为交通模型的建立、标定奠定了 基础,倒逼交通模型的自我完善,特别是混合交通 流特性的研究、交通出行行为规律的发现、动态交 通流时空特征的提取等基础问题.此外,以大数据 为基础,交通控制的集成化、智能化、多模式化,交 通诱导的群体覆盖、个性支撑等逐渐成为可能.参考文献: [1] [2] [3] Gore A.The digital earth: Understanding our planet in the 21st century[J].Photogrammetric Engineering and Remote Sensing, 1999, 65(5:

528.Palmisano S.A smarter planet: The next leadership agenda[R].New York: IBM, 2008.Department for Culture, Media and Sport, Department for Business, Innovation and Skills.Digital Britain final report[R].London: Office of Public Sector Information, 2009.6 研究结论 移动互联网、物联网、云计算等技术快速发 展,智慧城市、智能交通系统等应用快速推广,交 通大数据应运而生.本文对当前的大数据及其在智

第 15 卷 第 5 期 [4] [5] 大数据及其在城市智能交通系统中的应用综述 51 [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] 金江军.韩国城市进入 U-CITY 时代 [J].信息化建设, 2009(10: 9-10.[JIN J J.Korea city to the era of UCITY[J].Informatization Construction, 2009(10: 9-10.] 郭 慧 鹏.智 慧 城 市 : 应 用 日 渐 丰 富 多 彩 [N].中 国 信 息 化 周 报, 2013-12-30028.[GUO H P.Smart city: applications becoming increasingly colorful[N].China Information Weekly, 2013-12-30028.] Frankel F, Reid R.Big data: Distilling meaning from data[J].Nature, 2008, 455(7209: 30-30.Los W, Wood J.Dealing with data: Upgrading infrastructure[J].Science, 2011, 331(6024: 1515-1516.李德仁, 姚远, 邵振峰.智慧城市中的大数据 [J].武汉 大学学报(信息科学版, 2014, 39(6: 631-640.[LI D R, YAO Y, SHAO Z F.Big data in smart city[J].Geomatics and Information Science of Wuhan University, 2014, 39(6: 631-640.] 于渊, 雷利军, 景泽涛, 等.北斗卫星导航在国内智能 交通等领域的应用分析[J].工程研究——跨学科视野 中的工程, 2014, 6(1: 86-91.[YU Y, LEI L J, JING Z T, et al.Brief probe into the status and trend of compass navigation’ s application in domestic intelligent transportation systems[J].Journal of Engineering Studies, 2014, 6(1: 86-91.] Ahas R, Aasa A, Silm S, et al.Daily rhythms of suburban commuters’movements in the tallinn metropolitan area: Case study with mobile positioning data[J].Transportation Research Part C: Emerging Technologies, 2010, 18(1: 45-54.Gentili M, Mirchandani P.Locating sensors on traffic networks: Models, challenges and research opportunities[J].Transportation Research Part C: Emerging Technologies, 2012, 24: 227-255.Bachmann C, Abdulhai B, Roorda M J, et al.A comparative assessment of multi-sensor data fusion techniques for freeway traffic speed estimation using microsimulation modeling[J].Transportation Research Part C: Emerging Technologies, 2013, 26: 33-48.何非, 何克清.大数据及其科学问题与方法的

探讨[J].武汉大学学报(理学版, 2014, 60(1: 1-12.[HE F, HE K Q.The scientific problems and methodology of big data[J].Journal of Wuhan University(Natural Science Edition, 2014, 60(1: 1-12.] Zikopoupos P C, Eaton C, de Roos D, et al.Understanding and streaming data[R].McGraw-Hill Companies, 2012.Chen M, Mao S W, Zhang Y, et al.Big data related technologies, challenges and future prospects series[M].Springer Briefs in Computer Science, 2014.李清泉, 李德仁.大数据 GIS[J].武汉大学学报(信息科 学版, 2014, 39(6: 641-644, 666.[LI Q Q, LI D R.Big data GIS[J].Geomatics and Information Science of Wuhan University, 2014, 39(6: 641-644, 666.] [17] Li R M, Ma H L, Lu H P, et al.Research and application of the Beijing road traffic prediction system[J].Discrete Dynamics in Nature and Society, 2014, 316032.[18] 李嘉, 刘春华, 胡赛阳, 等.基于交通数据融合技术的 行程时间预测模型 [J].湖南大学学报(自然科学版, 2014, 41(1: 33-38.[LI J, LIU C H, HU S Y, et al.A travel time prediction model based on traffic data fusion technology[J].Journal of Hunan University(Natural Sciences, 2014, 41(1: 33-38.] [19] 北京市公安局公安交通管理局, 清华大学, 北京交通 大 学, 等.北 京 市 科 技 计 划 课 题 任 务 书(Z12110000031210 [R].北京: 北京市科学技术委员 会, 2012.[Beijing Traffic Management Bureau, Tsinghua University, Beijing Jiaotong University, et al.Topics mission statement of beijing science and technology program(Z12110000031210 [R].Beijing: Beijing Municipal Science and Technology Commission, 2012.] [20] Tao S, Corcoran J, Mateo-Babiano I, et al.Exploring bus rapid transit passenger travel behaviour using big data[J].Applied Geography, 2014, 53: 90-104.[21] Sun J, Zhang C, Zhang L H, et al.Urban travel behavior analyses and route prediction based on floating car data[J].Transportation Letters, 2014, 6(3: 118-125.[22] Abdulazim T, Abdelgawad H, Habib K, et al.Using smartphones and sensor technologies to automate collection of travel data[J].Transportation Research Board, 2013(2383: 44-52.[23] 冉斌.手机数据在交通调查和交通规划中的应用 [J].城 市 交 通, 2013, 11(1: 72-81.[RAN B.Use of cellphone data in travel survey and transportation planning[J].Urban Transport of China, 2013, 11(1: 7281.] [24] 汪成亮, 张晨.面向车联网的交通流参数检测[J].计算 机 工 程 与 应 用, 2012, 48(23: 212-218.[WANG C L, ZHANG C.Detection model of traffic flow parameters oriented internet of vehicles[J].Computer Engineering and Applications, 2012, 48(23: 212-218.] [25] 段宗涛, 康军, 唐蕾, 等.车联网大数据环境下的交通 信息服务协同体系 [J].长安大学学报(自然科学版.2014, 34(2: 108-114.[DUAN Z T, KANG J, TANG L, et al.Traffic information service cooperation architecture based on vehicular network big data[J].Journal of Chang’ an University(Natural and Science Edition, 2014, 34(2: 108-114.] [26] Gonzalez MC, Hidalgo CA, Barabasi AL.Understanding individual human mobility patterns[J].Nature, 2008, 453(7196: 779-782.[27] Aguiléra V, Allio S, Benezech V, et al.Using cell phone data to measure quality of service and passenger flows of 52 交通运输系统工程与信息 Paris transit system[J].Transportation Research Part C, 2014, 43: 198-211.Al Azri A, Chilamkurti N.Priority-based vehicle-toinfrastructure communication(PV2I in UMTS[C].6th International Symposium on Wireless and Pervasive Computing, Hong Kong, 2011.Sun X, Lu H P, Wu J.Bus detection based on sparse representation for transit signal priority[J].Neurocomputing, 2013, 118: 1-9.廖律超, 蒋新华, 邹复民, 等.基于交通视频的交通拥 堵状态自动识别方法 [J].公路交通科技, 2014, 31(1: 110-117.[LIAO L C, JIANG X H, ZOU F M, et al.An automatic recognition approach for traffic congestion states based on traffic video[J].Journal of Highway and Transportation Research and Development, 2014, 31(1: 110-117.] 公安部交通管理科学研究所.公安交通集成指挥平台 通 信 协 议 [S].GA/T1049, 2014.[Institute of Traffic Management Research, Ministry of Public Security.Communication protocols of public security traffic integrated command platform[S].GA/T1049, 2014.] 王璐, 孟小峰.位置大数据隐私保护研究综述[J].软件 学 报, 2014, 25(4: 693-712.[WANG L, MENG X F.Location privacy preservation in big data era: A survey[J].Journal of Software, 2014, 25(4: 693-712.] 刘智慧, 张泉灵.大数据技术研究综述[J].浙江大学学 报(工学版, 2014, 48(6: 957-972.[LIU Z H, ZHANG Q L.Research overview of big data technology[J].Journal of Zhejiang University(Engineering Science, 2014, 48(6: 957-972.] 钱哨, 张云鹏, 黄少波.智能交通云: 基于云计算的智 2015 年 10 月 [28] [35] [29] [30] [36] [37] [31] [38] [32] [39] [33] [40] [34] 能交通系统 [J].计算机

与现代化, 2010, 11: 168-171.[QIAN S, ZHANG Y P, HUANG S B.Intelligent transport cloud: ITS based on cloud computing[J].Computer and Modernization, 2010, 11: 168-171.] 周云, 黄柯棣, 胡德文.动态数据驱动应用系统的概念 研 究 [J].系 统 仿 真 学 报, 2009, 21(8: 2138-2141.[ZHOU Y, HUANG K D, HU D W.Conceptual study on dynamic data driven application system[J].Journal of System Simulation, 2009, 21(8: 2138-2141.] Qu J G, Cui Y H, Zhou G C, et al.Application of multiple linear regression model in the performance analysis of traffic rules[J].Journal of Chemical and Pharmaceutical Research, 2014, 6(3: 164-169.Gao J W, Zhang Bin, Leng Z W, et al.Short-term traffic flow forecasting based on phase space reconstruction and optimized RBF neural network[J].ICIC Express Letters, Part B: Applications, 2015, 6(1: 19-26.Ding L, Yu F, Peng S, et al.A classification algorithm for network traffic based on improved support vector machine[J].Journal of Computers(Finland, 2013, 8(4: 1090-1096.Chan K Y, Dillon T S.On-road sensor configuration design for traffic flow prediction using fuzzy neural networks and taguchi method[J].IEEE Transactions on Instrumentation and Measurement, 2013, 62(1: 50-59.El-Tantawy S, Abdulhai B, Abdelgawad H.Design of reinforcement learning parameters for seamless application of adaptive traffic signal control[J].Journal of Intelligent Transportation Systems: Technology, Planning, and Operations, 2014, 18(3: 227-245.

第二篇:高清视频监控在智能交通系统中的应用

高清视频监控在智能交通系统中的应用

最近几年,高清视频监控技术发展迅速,智能交通系统也得到了前所未有的发展。视频监控与智能交通是相辅相成的,目前视频监控主要应用在城市主要道路及交叉路口、城市与城市之间的高速公路视频监控系统、城市治安卡口系统以及电子警察系统等智能交通领域。

高清视频监控在智能交通的主要作用有如下几点:

指挥调度一旦发生交通拥堵或事故后,指挥中心通过视频监控系统可以快速调取现场信息,及时展开救援或采取相应措施。因此,视频监控在应对突发事件时,可以成为相关部门做出快速响应的有力助手。

文明行车监督通过视频监控系统,随时监控路面车辆行驶状况,发现违章行为,可以拍照取证,加大处罚力度,可以有效节制违章行为。视频监控具有很好的文明行车监督和威慑作用。

车牌识别及疲劳驾驶识别通过视频监控系统,对违章行为车辆及非法车辆进行车牌信息捕捉,同时对驾驶人员进行脸部信息捕捉。

流量监测监测道路车辆交通流量变化,指挥中心可以快速做出应对措施,分散车辆,减少拥堵现象。视频监控的应用可以有效快速的监控到城市中道路的车流情况,便于指挥中心做出快速部署,同时也为城市交通网络优化提供大量的有效信息。

不论是实时交通指挥还是智能视频分析,对视频监控的图像要求都是越清晰越好,特别是车牌识别、疲劳驾驶识别(人脸识别)、指挥调度等功能都依赖于高清晰高质量的视频监控图像画面。由于市场的需求从而推动了高清视频监控技术的发展。

显然,模拟视频监控系统是没法满足此需求,而随着IP高清技术及HD-SDI非压缩数字系统的出现为视频监控在智能交通的应用提供技术保障。同时,与高清IP摄像机相比,HD-SDI非压缩数字系统高清视频监控不管是在图像质量及工程实施都有着巨大的优势。

第三篇:数据智能决策在监狱发展中的应用

浅议大数据时代

监狱数据智能决策系统的构建

五角场监狱 朱旭东、周飞、方小琦

摘要

大数据时代的来临,带来的不仅仅是数据量的剧增,更重要的是带来了数据技术、数据应用和数据价值的变革。这场变革使得数据分析技术更加智能,人工干预更少,并且由于数据量更大,数据间更多可能的相关关系被分析挖掘出来。

本文基于监狱目前信息化发展的现状,利用监狱现有的数据作为基础,利用智能分析数据与数据间的相互关联,建立智能决策系统应用的模型。通过数据智能决策模型的应用来辅助监狱进行更为有效的管理。[1]关键字:数据决策、智能预警、数据中心

大数据时代需要我们对监狱信息化建设进行再思考,目前的“问信息化要警力”,主要表现在民警借助监狱政务、安防等信息化手段对罪犯进行管理,即便是系统需要调用另外系统的数据,往往也只是单纯的数据的叠加。但在大数据时代,更多需要考虑的是数据与数据之间的互相影响和作用,更多的挖取无直接关联数据间隐藏的价值。如果说我们通过大数据“问信息化要警力”,我们需要的是数据背后的关联价值,以便为监狱提供更加智能的决策能力。

[1]大数据,维基百科[EB/OL],[2013-08-05],http://zh.wikipedia.org/wiki/大数据

一、监狱信息化数据应用现状

同大多数企事业单位一样,随着监狱信息化建设规模的不断扩大,跨条线、跨科室、业务关联、信息沟通等需求的不断提高,随之新的问题也就日益凸现。主要表现为信息系统日益增多,包括办公自动化系统(OA)、狱政管理系统、罪犯一卡通系统、人事管理系统、财务管理系统和生活卫生系统等,这些系统的上线运行使监狱的管理效率得到了大幅度的提高,有力的支撑了日常管理工作运作,促进了管理效能的提升。然而顶层统一规划的缺乏使得这些系统仍然有许多不足之处,例如这些业务管理系统各成体系,各自独立,横向却缺少沟通,形成了大量的信息孤岛,监狱决策者只能得到针对具体业务的简单分散的数据和报表,既不能从长期积累的海量历史数据中挖掘发现狱内所存在的问题,也不能通过各业务系统汇总的信息辅助决策支持[2]来完成针对性的预判。

二、监狱数据数据决策发展面临的问题

(一)数据本地策略升级和存储面临的问题

从目前来看,对端点数据的安全已经具备了成熟的本地安全防护系统,但与大数据安全的需求还存在一定的距离,需要及时调整。所以在本地策略的构建上,需要加大对内部管理的监控,用纯数据的模式来避免由于人为原因造成的数据流失和信息泄露。

[2]Gotting H W,Weimann P,Intelligen decision supprot systems[J],Decision Support Systems,1992,8(4):317332

(二)管理和应用人员专业知识更新的问题

大数据在一个新的环境运行,就必须要为信息技术专业民警定制一个专门的培训计划,培训计划应该着眼于数据库的分析和修复,因为大数据仓库将通过这些来标记和报告不寻常的活动和网络流量,这类的培训通常需要大量的资金和时间。

(三)数据分析工具发展水平的问题

目前使用中的数据仓库,其数据存储类型仍受到一定的限制,数据仓库的扩展性能还需要进一步加强;数据挖掘在标准化和通用性方面存在一系列问题,数据挖掘引擎与数据库系统还是松散耦合的;数据挖掘语言有待于向标准化方向发展等。目前,OLAP作用没有得到充分发挥,还是一种传统决策支持方法,是一种用户驱动的验证性分析,受到用户水平的制约。目前大多数智能分析系统功能集中在分析方面,对系统的智能性不够重视,决策支持功能主要还是依赖数据挖掘、OLAP 等工具的数据分析、趋势预测功能来实现,不具备专门的决策支持系统提供方案生成、方案协调,方案评估的功能[3],更不具备群体决策和智能决策的能力,也就是说数据分析的智能化水平还很低[4]。

三、监狱数据智能决策的建设目标

决策是提供统计信息的最终目的。监狱信息化使得监狱工作的效率大大提高,产生和积累了丰富的统计信息资源。科学决策的基础是 [3]危辉,潘云鹤.从知识表示到表示:人工智能认识论上的进步[J],计算机研究与发展,2000,37(7):819-825 [4]史忠植.高级人工智能[M],北京:科学出版社,1998 62-211 对数据的整合和开发利用。虽然数据本身并不直接作用于决策,但当数据转化为信息或知识时就可以用于决策分析。

对数据的搜集、管理和分析过程,使监狱各级决策者获得更多决策依据,做出更加合理的决策。数据智能分析将联机分析处理(OLAP)、数据仓库和数据挖掘等结合起来应用于监狱日常运作活动中,从不同的数据源收集的数据中提取有用的数据,对数据进行清洗以保证数据的正确性,将数据转换、重构后载入数据仓库或数据集市;然后利用合适的工具对数据进行处理,这时信息变为辅助决策的知识;最后将知识呈现于用户面前,为管理决策提供参考。

为了保证监狱各项工作的顺利运行,同时使监狱具备高效率的指挥决策能力,亟需建设一套完善的智能化决策平台,通过对现有条件的充分分析和利用,对监狱中各类应用系统及安全系统进行集成改造,减少监狱的信息安全保密风险,才能实现监狱信息资源的安全共享和利用,提高监狱的工作效率。

四、监狱数据智能决策需求分析

(一)系统需求概述

本系统需整合监狱各类信息系统:政工类包括人力资源系统,指挥中心干警调度平台(生活现场、劳动现场、押送罪犯就医,防暴队)、外来人员管理、外来车辆管理、对讲呼叫管理、气象管理,管教类狱政。罪犯管理类包括(新进、调入、保外就医、释放),会见管理(会 4 见罪犯、会见家属、会见类型、会见监复听),刑罚执行正常释放、减刑假释、立管专控、耳目情况,狱内侦查。生活卫生类罪犯就医(医务所就医、总医院就医、社会医院就医、保外就医),罪犯伙食管理,罪犯大帐管理,劳动管理(生产数量、品质控制、原料数量、外来人员配置、工伤情况)。教育改造(教育类型、教学计划、受教罪犯、教学场地、教学内容、教育成果),督察(督察类别、督察内容、督察计划、督察结果、整改意见)财务管理(干警工资、工勤工资、劳动支出、生活支出、后勤支出、车辆支出、民警伙食、外事接待支出,生产收入、财政拨款、专项拨款)外围管理局重大任务、武警工作、重特大事件处理、安全零报告等。

分别建立相应的业务数据抽取,转换清洗和加载方案,并根据处理得到的业务数据建立数据模型,整理和抽取其中必要的关键分析指标,最终以直观,生动,多样的展示方式将基于不同维度的分析结果呈现给监狱管理层。系统需分为数据源、数据仓库、应用层和展示层四个层次,分别完成数据的抽取、转换、加载、建模、整理、分析、提取、展示等功能。

(二)系统功能需求

数据源可从各应用系统自动抽取,部分因各种原因则需人工采集。承担数据采集需求的部门涉及政工部门,财务部门,指挥中心,劳动管理部门,教育改造部门,督察部门,综合管理部门,各监区等。根据需求设计了如刑罚执行采集表,重要决策季度采集表,规章 5 制度季度采集表,生产利润季度采集表,财务结算信息季度采集表,项目施工季度采集表,干警考核季度采集表,安全生产指标季度采集表,安全生产指标采集表,干警警力配置日采集表,罪犯出入监日采集表等。以满足数据访问的灵活性和效率的均衡。

(三)基本功能需求

1、浏览功能:干警可通过web页面方式查看授权的指标数据。可针对用户使用不同的系统首页。在系统首页及各主题首页中,需要提供对时间维,单位维度的选择。

2、钻取功能:干警可查看到组成某指标的基础数据或下级单位的具体数据。提供各种图表类型的转换,使干警能从多视点对同一指标进行分析。

3、查询分析:干警可以自己定义查询条件,需要的话还可以自己定义查询指标和维度信息,这样可以更有目的性地查看报表,获取信息。

4、输出功能:干警可以水晶易表等形式将查看到的指标数据输出。

(四)数据展现方式需求

为了更好的、更直观的展示多维度数据,在一个界面中展示尽可能多的信息量,系统应采用多种综合的数据展示方式,包括仪表盘、趋势图、饼图、柱状图、固定报表等等形式。根据具体指标需求,其展示方式有严格要求。

五、监狱数据智能决策系统结构

(一)监狱智能决策包含的组件

决策支持系统通过结合个人的智力资源和计算机的能力来改进决策的质量。它是一个基于计算机的支持系统,服务于处理半结构化问题的管理决策制定者。一个决策支持系统将包括如下典型的组件:

1、数据管理子系统:决策支持系统(Decision Support System,简称DSS)[5]的数据库通常包括在数据仓库中。数据仓库是集成的、面向主题的数据库集合,它是用来提供决策支持功能的,其中每个数据单元都不随时间改变。数据仓库的数据通常从内部和外部数据源中抽取。内部数据主要来自于监狱内部各处理系统。外部数据包括行业数据、相关法律文献制度规范、社会普查数据、国家经济数据等。

2、模型管理系统:一个包含有财务、统计、运筹和其它定量模型的软件包,能够提供系统的分析能力和合适的软件管理能力。在模型库中的模型可以分为战略性的、策略性的、运营性的等等。

3、知识管理系统:许多非结构化和半结构化的问题是非常复杂的,以至于除了通常的 DSS外,它们还需要特别的专业知识。这些知识可以由专家系统或者其它智能系统提供。因此,更高级的 DSS 系统[6]还应该包含成为知识管理的组件。

4、用户界面子系统:用户与 DSS 应用之间的交流。如交互式界面、报表打印。为了实现组织内的信息共享,还应包括

[5]陈文伟.决策支持系统极其开发[M],北京:清华大学出版社,2000.311-327 [6]田大岗,费奇.DSS结构的联结主义观点[J],系统工程理论与实践,2000,20(1):7-18 Intranet/Internet 的发布方式。

5、用户:用户可看作系统的一部分。DSS 的用户主要是监狱各层次的管理者和业务模型分析人员。

(二)监狱数据智能决策的架构

监狱数据智能决策的框架层级:整个框架包含多个单位,从小到大以此为,数据、事件、罪犯个体,监区,监狱。其中数据作为框架中的最低层级是预警分析中基础的输入来源,包括了各业务系统的数据以及民警各台帐数据。事件是罪犯个体的相关行为的属性,一个事件包含了罪犯各项基础数据的变化。罪犯个体的表现情况及其对应的数据和事件的集合,以此类推监区是以监区为单位的罪犯个体的集合。监狱是多个监区的集合。

监狱数据智能决策的整体思路:通过从各个业务系统抽取罪犯相关数据,打造以罪犯个体为核心的数据中心,并建立与业务系统的罪犯信息的溯源通道;建立犯情预警评估模型,对罪犯静态信息和动态改造异常信息实现智能预警和排查处置。

监狱数据智能决策的整体框架:最上层犯情综合信息系统(静态信息),包括:罪犯档案,信息检索,分析预测,汇总统计。数据智能决策系统(动态信息),包括信息采集,排查处置,预警分析,台帐管理,评估模型。在数据总线上,数据的来源于目前的监狱各信息系统:管教信息系统,综合评估系统,亲情会见系统,亲情电话系统,大帐系统,计分考核系统,监管日报系统,点名系统。

这些数据经过数据交互总线进入数据中心,通过信息的筛选和合 并可以分为以下几个板块:罪犯信息:包括罪犯信息、顽危犯,重点罪犯。狱政管理:罪犯调动,计分考核,行政奖惩。改造评估:入监评估,心理测试,出监评估。狱内侦查:坦白检举,耳目管理,信息员。刑罚执行:减刑假释,刑罚变更,监外执行。其他系统,大帐信息,会见信息,亲情电话,如图-1所示。

图-1 监狱数据智能决策的整体框架

总体架构分为三个模块,即信息汇总、职能预警、排查监督。信息汇总模块,吸收业务系统对接过来的包括管教系统,亲情会见,亲情电话,一卡通大帐等,以及信息渠道的录入包括个别谈话、民警执勤、罪犯汇报、奖惩考核、狱情分析等,将这些汇总的信息分类为外部因素例如亲情危机、家庭变故、经济纠纷。监狱环境例如劳动状况、岗位变动、同犯矛盾。犯人状况例如健康状况、情绪状况、心理状况。制度执行例如人帐制度、安检制度、清抄制度、报告制度。设施隐患例如警戒设施、监控设施、警备设施、生活设施。改造信息例如实训信息、综合评测、心理咨询、考核信息,如图-2所示。

图-2 监狱数据智能决策的总体架构

在智能预警模块中,将汇总收集来的信息,通过预警评估规则定义的运算,计算出罪犯危险的等级,对于过高等级的评估结果提出预警,与此同时,监狱不同层级的民警对系统发出的智能预警进行问题处置,通过各项有可能导致罪犯破坏监狱规范的诱导因素排查和干预,从而降低评估规则中评估要素危险程度,最终使得此次报警回归到正常值水平,如图-3所示。

图-3 智能预警

在狱情评估模型中对收集的罪犯信息采用多维度计量方法进行评估运算,其中考虑的纬度包括静态纬度,参考罪犯的年龄、学历、犯罪类型、余刑等。个性纬度包括外倾、冲动、自卑、从属、波动、焦虑、暴力、犯罪思维等。特殊技能纬度包括双特、从军、从警等。依照动态信息汇总分析,提出罪犯个体倾向性分析包括脱逃倾向,自杀倾向,行凶倾向,破坏倾向。根据倾向推测的可能性程度以及后果的严重性提出智能预警,预警等级从高到低分为一级、二级、三级,如图-4所示。

如图-4狱情评估模型

六、数据仓库技术研究

数据仓库是一个面向主题的、集成的、稳定的、包含历史数据的数据集合,用于支持管理决策的制定。数据库是实现智能分析的数据基础,是监狱长期事务数据的准确汇总。数据仓库完成了数据的收集、集成、存储、管理等工作,数据智能分析面对的是经过加工的数据,使得数据智能分析能更专注于信息的提取和知识的发现.数据仓库为数据智能分析撷取或载入大量原始信息,归并各种数据源的数据,用于支持监狱管理和决策。

数据仓库是数据智能分析的灵魂,数据智能分析的很多工作都是以数据仓库为基础展开的。利用数据仓库,监狱可以制定准确的战略策略与预警行动;数据智能分析充分利用数据仓库的分析结果制定策略、合理调配警力,促进监狱管理平稳有序。

(一)监狱智能决策数据中心

从各个业务系统抽取罪犯个体关键数据,汇总成罪犯改造档案,提供检索、预测、类聚、分析等功能;并通过各业务提供相应接口,可对关键业务数据进行溯源查询;并为狱情系统提供罪犯个体动态信息,如图-5 所示。

图-5 监狱智能决策数据中心

数据中心将各个业务系统的数据明细进行筛选,数据中心以罪犯个体为单位对罪犯个体的数据进行类聚,将类聚后的数据存入罪犯改造档案,同时这些数据互相牵制或者影响所构成的动态数据又为狱情系统提供了素材。狱情系统通过对动态数据的分析和理解进行计算,其结果作为预警数据存入数据中心。对于狱情系统计算的结果提供溯源机制,可以查询到是哪些业务系统提供的基础数据,造成了最终的计算结果。

罪犯个人信息分类及来源:管教信息系统中入监等级表信息、收 监体检表信息作为罪犯个体信息的罪犯档案部分。

管教信息系统中罪犯调动、计分考核、等级管理、行政奖励、行政处罚、其它处理、日常管理作为罪犯个体信息的狱政管理部分。

改造质量评估系统中入监评估、出监评估作为罪犯个体信息心理测试、改造评估部分。

管教信息系统中坦白、检举、申诉、顽固犯、危险犯、耳目、信息员作为罪犯个体信息的狱内侦查部分。

监管日报信息系统中狱情日报、狱情周报、狱情月报、监狱月报、重危分子、民警值班记录、监管隐患排查作为监管日报系统部分。

管教信息系统中减刑假释、暂予监外执行、刑罚变更作为罪犯个体信息的刑罚执行部分。

大帐系统中大帐管理作为罪犯个体信息的生活卫生部分。会见系统、亲情电话系统作为罪犯个体信息中会见信息、电话信息部分。

数据智能决策中违规违纪(打架斗殴、对抗管教、自伤自残、抗拒劳动)、家庭变故、患病、债务纠纷、余罪漏罪、提回重审、心理异常、警囚矛盾、囚囚矛盾等作为罪犯个体信息中改造异常表现部分。

数据智能决策作为罪犯个体信息中的预警情况部分。

狱情动态分析思路:从收集罪犯基本信息、评估信息以及月度考核信息,通过从业务系统、各类信息渠道等获取日常动态信息,实现狱情信息收集汇总、预警智能分析预测和安全隐患排查监督,如图-6所示。

如图-6 狱情动态分析思路

七、监狱数据智能决策规则配置

在数据智能决策规则配置中,各相关科室可以联合制定多种逃脱、自杀、行凶等倾向的相关联的触发信息。例如在定义罪犯家庭因素得知家中亲人病重或将要离世;对改造缺乏信息;对入狱前未决事项牵挂;定义罪犯行为异常经常窥探周围环境、交通状况的;私自制作或存放雨衣等绝缘物的;这些因素都将作为触发罪犯逃脱倾向预警的计算因素,如图-7所示。

图-7 数据智能决策规则配置

在狱情排查监督阶段,实时采集的预警异常信息,根据配置的相关处理流程以及相应环节,实现对各类监狱安全问题的处理、跟踪、提醒等。

图-8 罪犯危险倾向性

八、监狱民警对数据智能决策影响

从层级上来划分将民警分为主管民警、监区领导、业务科室以及 16 监狱领导。

从民警在与狱情动态分析交互的过程中产生的功能来划分,可以分为民警的导入功能和排查监督功能。为罪犯个体信息的输入即数据源的导入功能,民警对依据采集的信息进行人工预判,定义倾向性模型触发信息,即预警规则配置的功能。民警根据预警提示对预警产生的溯源信息或情况进行处理、跟踪等工作,即预警提示后排查监督功能。

从具体的角色分工来看,作为罪犯的主管民警,处在第一线监管岗位,与自己所管辖范围内的罪犯了解沟通最为直接,因此主管民警的信息收集汇总的准确率对后期的预警评估起着决定性作用。因此,主管民警必须做好日常个别谈话、计分考评、录音复听等工作。对于日常工作中生成的谈话、会见、电话复听台帐务必保证详实、准确、具体、同时,针对预警信息,排查预警的溯源信息,询问核实罪犯情况,并采取有效的针对措施,降低评估因素的危险程度。

监区领导根据预警提醒对所在监区内被列为预警的罪犯情况进行确认,如果确定其确有危害监管安全隐患的,查找隐患的原因,是否符合预警的倾向性判断,如果完全复合,则在犯情分析会上讨论分析针对预警的跟踪以及解决办法,如果非完全符合,则通过信息收集入口及时调整信息源,或者提交反馈给业务科室修改预警配置规则。

业务科室具备三方面的角色职能,一方面针对自身科室的专职功能,向狱情分析提供对口的基础信息。另一方面根据预警分析结果监 督各监区对预警信息予以排查和解决。除此之外,联合各业务科室,对狱情分析的配置规则进行管理,增加新的配置规则和触发信息权重。给出处理流程的实时内容和跟踪步骤。

监狱领导根据预警提示了解监狱内可能存在的安全隐患,分析狱内罪犯危机倾向,通过召开狱情分析会议,通报监狱内罪犯动态倾向并布置业务科室和狱区预警工作重点。

九、总结

在大数据时代来临之际,为让数据智能决策更好的服务于监狱,第一步要建立自己的核心数据集,也就是要搞清楚监狱的数据需求;第二步是要找到内部的一些外围数据,通过一系列的收集和整理分析,像滚雪球般建立监狱自己的数据信息集合;第三步是收集监狱内部的数据,国外有很多成功的大数据案例,都有一个前期的挖掘过程,监狱同样需要在监狱内部找出有价值的数据;第四步就是收集外部的、社会化的或非结构化的数据,即现在所谓的社会化媒体数据,提高监狱的整体数据分析能力和数据价值水平。

当然,监狱在进行数据收集整合时也不是漫无目的去探索,要立足监狱的业务和当前信息化发展的不足之处,依托现有的“小数据”进行监狱自身数据的深度挖掘和分析,从中找出增长点,并投入到监狱的实际运营中,才能够推动监狱的大数据应用水平。

第四篇:大数据在智慧城市的10大应用

大数据在智慧城市的10大应用

大数据是智慧城市各个领域都能够实现“智慧化”的关键性支撑技术,智慧城市的建设离不开大数据。建设智慧城市,是城市发展的新范式和新战略。大数据将遍布智慧城市的方方面面,从政府决策与服务,到人们衣食住行的生活方式,再到城市的产业布局和规划,直到城市的运营和管理方式,都将在大数据支撑下走向“智慧化”,大数据成为智慧城市的智慧引擎。

欧盟利用大数据实现智慧城市的做法给我们很多启示。

欧盟对智慧城市的评价分为六个方面:智慧经济、智慧治理、智慧生活、智慧人民、智慧环境、智慧移动性。也就是说智慧城市要促进经济的发展,要改进和帮助更多大众的参与,让老百姓享受智慧的生活,人民得到更好的服务,居住环境更加优化。智慧城市的应用很广泛,我们都知道有物流、交通、电网、工业、农业、建筑、环境、医疗等方面。现在我要讲的是,智慧城市本身会催生大数据,我们可以看到一个企业会涉及到很多环境,管理环境,开放环境,知识环境、服务环境,过去这些环境的关联度不够,那么现在通过数据库使得这些环境能够联合起来,使得企业的效率提高40%-60%,根据赛门铁克的一份最新调研报告,今天全世界所有企业的信息存储总量已达2.2ZB,企业平均10PB,大企业更大点,小企业小点。一般企业都会建立数据库,必须进行数据的集资和数据的挖掘,企业的数据在企业内部已经占有很重要的位置。

(1)智慧经济

首先大数据在商业上怎么能很好运用,它会分析用户的购物行为,什么商品搭配在一起会卖得更好,还有很多公司通过分析找到最佳客户,淘宝数据魔方则是淘宝平台上的大数据应用方案。那么商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等,并可以据此作出经营决策。

美国有个投资公司分析了全球3.4亿微博账户留言,判断民众情绪,人们高兴的时候会买股票,而焦虑的时候会抛售股票,依此决定公司股票的买入或卖出,该公司今年第一季度获得7%的收益率。

阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信的企业,从而无需担保来放贷,目前已放贷300多亿元,坏帐率仅0.3%,大大低于商业银行。

企业通过信息收集很好的掌握企业的运营状况,分析居民与财务有关的记录包括贷款申请、租赁、房地产、购买零售商品、纳税申报、水电费缴付、有线电视缴费、电话缴费、报纸与杂志订阅、机动车档案等,能够得出消费者的个人信用评分,从而推断客户支付意向与支付能力,发现潜在的欺诈。

IBM日本公司建立了一个经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算出采购经理人指数PMI预测值。

印第安纳大学学者利用Google提供的心情分析工具,对270万用户在2008年3~12月所张贴的970万条留言,挖掘出用户happiness、kindness、alertness、sureness、vitality 和calmness等六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。

利用大数据分析可实现对合理库存量的管理,华尔街对冲基金依据购物网站顾客评论分析企业产品销售状况,华尔街银行根据求职网站岗位数量推断就业率。

(2)智慧治理

美国纽约的警察分析交通拥堵与犯罪发生地点的关系,有效改进治安。美国纽约的交通部门从交通违规和事故的统计数据中发现规律,改进了道路设计。

利用短信、微博、微信和搜索引擎可以收集热点事件与舆情挖掘。

电信运营商拥有大量的手机数据,通过对手机数据的挖掘,不针对个人而是着眼于群体行为,可从中分析:实时动态的流动人口的来源及分布情况;出行和实时交通客流信息及拥塞情况。利用手机用户身份和位置的检测可了解突发性事件的聚集情况。

MIT的Reality Mining项目,通过对10万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规则性和重复性,进行流行病预警和犯罪预测。

(3)环境监测

对城市的河流进行采样,通过卫星发布,收集产量的数据,这个数据非常大,通过这个数据分析能够判别城市中有没有污染。

(4)智慧医疗

无论是药品的研发还是商业模式的开发运用数据分析都能够得到很好的分析,我们医院里有大量的病例,这里有大量的数据,传统的普通病例很难挖掘数据,现在变成电子化有利于更高数据挖掘,数据的挖掘有利于发现医疗知识,由于医疗资源的分配不均,因此远程医疗十分必要,另外,居家监护很重要,谷歌公司与美国疾病控制和预防中心等机构合作,依据网民搜索内容分析全球范围内流感等病疫传播状况,谷歌的判断与疾控中心的判断是一致的。

社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台,医院借此可获得足够多的临床效果统计。个性化的医疗同样很重要,我们发现,同样的治疗对一些病人无效,75%癌症病人,70%的老年痴呆者、50%的关节炎病人、43%的糖尿病患者、40%的哮喘病患者,38%的抑郁症病人。因为人体对药品代谢方式的差异取决于个体特定的基因、酶和蛋白质组合,因此基因信息对选择最优治疗非常关键。对人体个性体质的挖掘会做到真正意义上的对症下药,一个人的基因信息大概1GB。

(5)智能搜索

除此之外,我们还通过网络进行学习,早期的网络学习是通过网站专业人员编制的内容,如今我们希望能够实现更加智能的搜索。随着移动互联网的出现,搜索引擎会变成基于语音的智能搜索;基于位置的搜索;基于个性化搜索。

(6)舆情监测

大众传播发展的很快,这里包含着大量的数据,例如微博传播具有裂变性、主动性、即时性、便捷性、交互性、草根性,跟进性和临场感,每一个微博用户既是“服务器”,也是“受众”。中国的微博比社交网络更热,因为140个字符的微博在英文和中为分别约等于25个和85个英语单词,即中文微博的信息量是Twitter的3~4倍。最近两个月在YouTube上上载的视频超过了ABC、NBC和 CBS 电视台自1948年以来24/7/365 连续播出的内容,而“云平台+多屏融合”模式已成为智能家居和智能车载等的发展方向。

(7)精准营销

美国信用营销分析专家张川告诉《环球时报》记者,在大数据分析的应用上,美国政府和大公司领先新兴国家至少20年。15年前,美国的信用卡公司就可以进行数据挖掘实现精准营销:在合适的时间,通过合适渠道,把合适的营销信息投送给每个顾客。

(8)犯罪预警

随着智能电话和电脑网络的普及,美国政府和大公司把自己的触角伸到个人生活的每个方面。美国个人的一切在线行为数据都被收集储存,再加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据,有关公司和政府机构可以运用数据挖掘的办法,监控和预测个人的行为,并做出相关决策。

(9)全球安全监测

如美国已具备对全球网络空间的监视控制能力。斯诺登披露的“棱镜”计划,缘于美国政府的“星风”监视计划。2004年,布什政府通过司法程序,将“星风”监视计划分拆成由国家安全局执行的4个监视计划,除“棱镜”外,还包括“主干道”、“码头”和“核子”。其中,“棱镜”用于监视互联网个人信息。“核子”则主要负责截获电话通话者对话内容及关键词。“主干道”和“码头”分别对通信和互联网上数以亿兆计的“元数据”进行存储和分析。“元数据”主要指通话或通信的时间、地点、使用设备、参与者等,不包括电话或邮件等的内容。

(10)市场价格监测

肯尼思·丘基尔是《经济学家》杂志数据编辑、《大数据:一次将改变我们生活、工作和思考方式的革命》一书的合著者之一,他日前在美国《外交政策》杂志掀起一场有关“大数据时代令隐私保护问题更加突出”的讨论。丘基尔举例说,警方如果要侦破一个城市的加油站是否存在合谋操控价格的“卡特尔行为”,以往要靠线人举报。但今天,可以做大数据分析——分析该市油价变化和加油站分布情况。通过分析,可以发现正常的价格变化规律,如果价格变化持续异常,就可以怀疑存在价格垄断的行为。丘基尔认为,大数据的价值在于存储后的再使用。不过,关键的一个问题是,收集、保存一切信息,与隐私保护政策是有冲突的,“保存一切信息是必要的,但是在这么做之前,我们有必要问自己一个问题,即现行的隐私保护政策是不是妨碍了我们正在迈入的大数据世界”。丘基尔提到,社会有必要就此进行大辩论,以便为大数据时代的隐私保护划定新的边界。

结束语

美国IT咨询公司Avanade商业情报部副总裁斯蒂夫·帕尔默告诉《环球时报》记者,大数据是指非常“膨胀”的数据集,用典型的数据分析软件和工具难以对其进行捕捉、储存、管理、分享、分析和可视化。大数据有3个特征:一是数据的数量大;二是产生或被吸收的速度和频率快;三是数据的多样性。为从大数据中“挖出金矿”,一家企业或机构必须能够应对大数据上述3个特征。帕尔默说,大数据给人类带来的真正机遇是把许多信息碎片拼起来,为我们的决策服务。

附:全球顶尖大数据公司一览

企业名称:IBM

网址:http://www.xiexiebang.com/

2011年5月,IBM正式推出InfoSphere大数据分析平台。InfoSphere大数据分析平台包括 BigInsights和Streams,二者互补,Biglnsights基于Hadoop,对大规模的静态数据进行分析,它提供多节点的分布式计算,可以随时增加节点,提升数据处理能力。Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。

企业名称:亚马逊

网址:http://www.xiexiebang.com/

对于云计算和大数据,亚马逊绝对具有先见之明,早在2009年就推出了亚马逊弹性MapReduce(Amazon Elastic MapReduce),亚马逊对Hadoop的需求和应用可谓了若指掌,无论是中小型企业还是大型组织。弹性MapReduce是一项能够迅速扩展的Web服务,运行在亚马逊弹性计算云(Amazon EC2)和亚马逊简单存储服务(Amazon S3)上。这可是货真价实的云:面对数据密集型任务,比如互联网索引、数据挖掘、日志文件分析、机器学习、金融分析、科学模拟和生物信息学研究,用户需要多大容量,立即就能配置到多大容量。

除了数据处理外,用户还可以使用Karmasphere Analyst的基于服务的版本,Karmasphere Analyst是一种可视化工作区,用于在亚马逊弹性MapReduce上分析数据。用户还可以提取结果文件,以便在数据库或者微软Excel或Tableau等工具中使用。

企业名称:甲骨文

网址:http://www.xiexiebang.com/

甲骨文在近期发布的Oracle大数据机(Oracle Big Data Appliance)为许多企业提供了一种处理海量非结构化数据的方法。在2011年10月初召开的Oracle OpenWorld 2011大会上甲骨文正式推出了Oracle大数据机。对于那些正在寻求以更高效的方法来采集、组织和分析海量非结构化数据的企业而言,该产品具有很大的吸引力。

与甲骨文近期推出的其他一体化产品一样,Oracle大数据机集成了硬件、存储和软件,包括Apache Hadoop软件的开源代码分发、新的甲骨文NoSQL数据库和用于统计分析的R语言开源代码分发。该产品被设计为能够与甲骨文Database 11g、Oracle Exadata数据库云服务器,以及针对商业智能应用的新的Oracle Exalytics商业智能云服务器一起协同工作。

企业名称:谷歌

网址:http://www.xiexiebang.com/

谷歌一直是科技行业的领军者,近年来几乎在任何一项互联网科技项目你都能看到谷歌的身影,大数据时代谷歌自然不会错过。何况如果对其拥有的海量数据进行深入挖掘,这对于提升谷歌搜索乃至所有谷歌服务的价值无可估量。

BigQuery是Google推出的一项Web服务,用来在云端处理大数据。该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析,从而不必投资建立自己的数据中心。Google曾表示BigQuery引擎可 以快速扫描高达70TB未经压缩处理的数据,并且可马上得到分析结果。大数据在云端模型具备很多优势,BigQuery服务无需组织提供或建立数据仓库。而BigQuery在安全性和数据备份服务也相当完善。

去年底该服务只向一小部分开发者开放,现在任何人都可以注册这项服务。免费帐号可以让你每月访问高达100GB的数据,你也可以付费使用额外查询和存储空间。

企业名称:微软

网址:http://www.xiexiebang.com/

微软研究部门从2006年起就一直致力于某种非常类似于Hadoop的项目,被称为“Dryad”。今年年初,该计划通过与SQL Server和Windows Azure云的集成实现了Dryad的产品化。虽然现在微软还没有更新,但看上去Dryad似乎将成为在SQL Server平台上影响大数据爱好者的有力竞争者。

微软进入这一市场可谓“姗姗来迟”,而且在一定程度上说,数据仓库分析和内存分析计算市场落下了后腿。2011年初微软发布的SQL Server R2 Parallel Data Warehouse(PDW,并行数据仓库),PDW使用了大规模并行处理来支持高扩展性,它可以帮助客户扩展部署数百TB级别数据的分析解决方案。微软目前已经开始提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社区技术预览版本的连接器。该连接器是双向的,你可以在Hadoop和微软数据库服务器之间向前或者向后迁移数据。

微软在去年推出了基于Azure云平台的测试版Hadoop服务,今年它承诺会推出与Windows兼容的基于Hadoop的大数据解决方案(Big Data Solution),这是微软SQL Server 2012版本(首发日期还不知道)的一部分,现在也不清楚微软是否会与其他硬件合作伙伴或者相关大数据设备厂商合作。

企业名称:EMC

网址:http://www.xiexiebang.com/

EMC于1979年成立于美国麻州Hopkinton市,1989年开始进入企业数据储存市场。EMC公司是全球信息存储及管理产品、服务和解决方案方面的领先公司。EMC是每一种主要计算平台的信息存储标准,而且,世界上最重要信息中的 2/3 以上都是通过EMC的解决方案管理的。

面对大数据时代,EMC公司推出用于支持大数据分析的下一代平台――EMC Greenplum统一分析平台(UAP)。Greenplum UAP是一个唯一的统一数据分析平台,可扩展至其他工具,其独特之处在于,它将对大数据的认知和分享贯穿整个分析过程,实现比以往更高的商业价值。

企业名称:Teradata

网址:http://www.xiexiebang.com/

Teradata公司(Teradata Corporation,纽约证券交易所交易代码TDC)是全球领先的数据仓库,大数据分析和整合营销管理解决方案供应商,专注于数据库软件,数据仓库专用平台及企业分析方案。不久前宣布推出一款集硬件、软件和服务于一体的全面产品组合——Teradata分析生态系统(Teradata Analytical Ecosystem),使不同的 Teradata 系统实现无缝协作,为企业客户提供分析和更深入的洞察力,帮助其预测商业机会和加速实现商业价值。Teradata Unity 将确保整个Teradata Analytical Ecosystem的同步和统一。为了增强在大数据分析领域的优势,Teradata还收购Aster Data公司,以增强其非传统数据分析的能力,突破了SQL分析的限制,协助企业从全部数据中获取更多价值。

企业名称:NetApp

网址:http://www.xiexiebang.com

Network Appliance,Inc.(NetApp,美国网域存储技术有限公司)是IT存储业界的佼佼者,自1992年创业以来,不断以创新的理念和领先的技术引领存储行业的发展。Network Appliance, Inc.(NetApp)是向目前的数据密集型企业提供统一存储解决方案的居世界最前列的公司。

NetApp StorageGRID 是一个久经验证的对象存储软件解决方案,设计用于管理 PB 级、全球分布的存储库,这些存储库包含企业和服务提供商的图像、视频和记录。通过消除数据块和文件中数据容器的典型约束,NetApp StorageGRID 提供了强大的可扩展性。它支持单个全局命名空间内的数十亿个文件或对象和 PB 级容量。

NetApp StorageGRID 实现了智能的数据管理和安全的内容保留。它通过一个具有内置安全性的全局策略引擎来优化数据存放、元数据管理和效率,该引擎管理数据的存储、放置、保护和检索的方式。此外,使用数字指纹和加密等技术防止内容受到篡改。

NetApp StorageGRID 有助于随时随地提供数据,以便于不间断地运营。该解决方案被设计为允许灵活进行部署配置,以满足全球的多站点组织的不同需要。

企业名称:Sybase

网址:www.xiexiebang.com

Sybase公司成立于1984年11月,总部设在美国加州的Emeryville(现为美国加州的Dublin市)。作为全球最大的独立软件厂商之一,Sybase公司致力于帮助企业等各种机构进行应用、内容及数据的管理和发布。

Sybase IQ是Sybase公司推出的特别为数据仓库设计的关系型数据库。相比于传统的“行式存储”的关系型数据库,Sybase IQ 使用了独特的列式存储方式,在进行分析查询时,仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。“随着 Sybase IQ 不断地在分析应用 POC 测试中拔得头筹,有时甚至超过其他对手 100 倍之多”,Gartner 评价道,“ Sybase IQ 逐渐成为从数据集市到企业数据仓库架构最令人渴望的 DBMS(数据库管理系统)。”

自 2009 年推出以来,Sybase 陆续发布了 Sybase IQ 15.1、15.2、15.3 以至最新的 Sybase IQ 15.4 版本,每个版本都着力于增加新的核心能力以促进更深入的高级分析。Sybase IQ 15.4是面向大数据的高级分析平台,将大数据转变成可指挥每个人都行动的情报信息,从而在整个企业的用户和业务流程范围内轻松具备大数据的分析能力。

因此,有人说Sybase IQ15.4正在彻底改变“大数据分析”。

企业名称:惠普

网址:www.xiexiebang.com

大数据时代来临,老牌巨头惠普也不甘落后。不久前惠普企业服务事业部宣布推出全新服务,帮助客户更快部署惠普子公司Vertica的Vertica Analytics Platform,从而迅速洞悉关键的业务信息,辅助决策过程。

Vertica Analytics Platform 让用户能够大规模实时分析物理、虚拟和云环境中的结构化、半结构化和非结构化数据,从而深入洞悉“大数据”。

Advanced Information Services for Vertica 帮助客户最大化实现 Vertica 分析平台性能,并构建企业分析专用环境。惠普提供从评估到实施的一系列服务,与客户共同定义多种交付方式组合,并找出匹配其现有基础设施的最佳解决方案。

Advanced Information Services for Vertica已在全球上市,将为实现“瞬捷”企业构建灵活的智能环境。

企业名称:沃尔玛

网址:http://www.xiexiebang.com/

在这里看到沃尔玛的身影,可能很多人会有疑问,全球最大的传统零售业巨头沃尔玛怎么就跟大数据扯上关系了?看了下面的介绍你就会明白了。

沃尔玛是最早通过利用大数据而受益的企业之一,曾经拥有世界上最大的数据仓库系统。通过对消费者的购物行为等非结构化数据进行分析,沃尔玛成为最了解顾客购物习惯的零售商,并创造了“啤酒与尿布”的经典商业案例。早在2007年,沃尔玛就已建立了一个超大的数据中心,其存储能力高达4Pb以上。《经济学人》在2010年的一篇报道中指出,沃尔玛的数据量已经是美国国会图书馆的167倍。

沃尔玛实验室计划将沃尔玛的10个不同的网站整合成一个,同时将一个10个节点的Hadoop集群扩展到250个节点的Hadoop集群。目前实验室正在设计几个能将当前像Oracle、Neteeza这样的开放资源的数据库进行迁移、整合的工具。

沃尔玛曾进行了一些列的收购,包括Kosmix(沃尔玛实验室前身)、Small Society、Set Direction、OneRiot、Social Calenda、Grabble等多家中小型创业公司,这些创业公司要么精于数据挖掘和各种算法,要么在移动社交领域有其专长,从此我们就可以看出沃尔玛进军移动互联网和挖掘大数据的决心。相信在沃尔玛的带领下,传统行业也会慢慢意识到大数据的重要性,加速步入大数据时代。

企业名称:Clustrix

网址:www.xiexiebang.com

Clustrix创立于2005年,是Y Combinator 2006年冬季班的成员。Clustrix可以为SQL数据库提供专利数据应用方法,帮助人们处理大量的数据,使SQL数据库无限扩容成为可能。最近Clustrix从Sequoia Capital、USVP和 ATA Ventures三家风险投资公司处再次获得价值675万美元的风险投资,至今已获融资1200万美元。Clustrix总部设在美国旧金山,研发中心设在西雅图。为打开欧洲市场,公司计划将总部迁至荷兰的阿姆斯特丹,并将于年底前在印度设立办公室。

企业名称:Cloudera

网址:http://www.xiexiebang.com/

Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司,总部位于加州帕洛阿尔托,2009年3月发布了第一款商业产品,当时获得由AccelPartners领投的500万美元投资。该公司于2010年6月正式推出Cloudera企业产品。2011年11月募集到4000万美元风险投资资金,此轮融资由风险投资机构Ignition Partners的合伙人弗兰克·阿泰勒(Frank Artale)领投。Cloudera之前的投资者顶尖风投机构Accel Partners、Greylock Partners、Meritech Capital Partners 和In-Q-Tel也参与本轮投资。

以上企业以外,包括MapR、HStreaming、Hadapt、DataStax、Datameer这些与Hadoop以及大数据相关的新公司都已经获得投资,新一轮热潮正在兴起。

第五篇:大数据在制造业中的应用

大数据在制造企业中的应用

近年来出现的人力短缺、工资上涨、产品交付期短和市场需求变动大等问题,使得制造业正面临新一波转型挑战。如何在控制生产成本的同时,还能提高生产力与效率,则是转型的主要目的。在这样的背景下,德国、美国等制造业发达国家无不积极推动“工业4.0”。“工业4.0”本质上是通过信息物理系统实现工厂的设备传感和控制层的数据与企业信息系统融合,使得生产大数据传到云计算数据中心进行存储、分析,形成决策并反过来指导生产[1]。大数据的作用不仅局限于此,它可以渗透到制造业的各个环节发挥作用,如产品设计、原料采购、产品制造、仓储运输、订单处理、批发经营和终端零售。大数据使得订单处理方式有了质的变化

大数据的核心作用在于预测。大数据可以快速精准地预测市场趋势和客户需求,并对客户进行细分,为其提供量身定制的合适服务。企业通过大数据的预测结果,便可以得到潜在订单的数量,然后直接进入产品的设计和制造以及后续环节[2]。即企业可以通过大数据技术,在客户下单之前进行订单处理。而传统企业通过市场调研与分析,得到粗略的客户需求量,然后开始生产加工产品,等到客户下单后,才开始订单处理。这大大延长了产品的生产周期。如海尔集团于2013年1月构建了SCRM(社交化客户关系管理)会员大数据平台。销售人员可进行大数据分析,精准预测出个体消费者的需求,实现了在客户下单之前进行订单处理。大数据使得仓储运输和批发经营不复存在

由于大数据能够精准预测出个体消费者的需求以及消费者对于产品价格的期望值,企业在产品设计制造之后,可直接派送到消费者手中。虽然此时消费者还没有下单,但是消费者最终接受产品是一个大概率事件。这使得企业不存在库存过剩的问题,也就没有必要进行仓储运输和批发经营。大数据使原料采购更加科学

大数据技术可以从数据分析中获得知识并推测趋势,可以对企业的原料采购的供求信息进行更大范围的归并、匹配,效率更高。大数据通过高度整合的方式,将相对独立的企业各部门信息汇集起来,打破了原有的信息壁垒,实现了集约化管理,可以根据轻重缓急,更加科学合理地安排企业的财政支出。其次,利用大数据的海量存储与快速数据处理功能,可以对采购的原料的附带属性(节能、节水、环保等)进行更加精细化的描述与标准认证,通过分类标签与关联分析,可以更好地评估企业采购资金的支出效果。此外,大数据能预测原材料的价格以及原材料品质的好坏。这使制造业企业更加科学地采购原材料成为可能,企业可以采购到质优价低的原材料。大数据使得产品设计制造更加优化

借助大数据技术,人们可以对原物料的品质进行监控,发现潜在问题立即做出预警,以便能及早解决问题从而维持产品品质[3]。大数据技术还能监控并预测加工设备未来的故障几率,以便让工程师即时执行最适决策。大数据技术还能应用于精准预测零件的生命周期,在需要更换的最佳时机提出建议,帮助制造业者达到品质成本双赢[3]。例如,日本汽车公司Honda将大数据分析技术应用于电动车电池上。由于电动车不像汽车或油电混合车一样,可以使用汽油作为动力来源,其唯一的动力就是电池,所以Honda希望进一步了解电池在什么情况下,绩效表现最好、使用寿命最长。Honda公司通过大数据技术,可以搜集并分析车辆在行驶中的一些资讯,如:道路状况、车主的开车行为、开车时的环境状态等,这些资讯一方面可以帮助汽车制造公司预测电池目前的寿命还剩下多长,以便即时提醒车主做更换,一方面也可以提供给研发部门,做为未来设计电池的参考。

再如BMW公司应用大数据分析,在短短的12周时间内降低80%的零件报废率。一台汽车需要的零件有很多种,其中一个是与引擎结合的引擎上盖。以前,BMW要等到最终引擎组装阶段,将引擎上盖组装完成后才知道到这个零件能否使用,如果不能使用就只好将整个引擎报废。而通过大数据技术,BMW公司在引擎生产线上可以做即时的检测与分析,倘若品管没有问题则直接进到最后的组装程序,但若零件品质不好且无法修补则直接报废,或者零件品质不好但能经过其他方式修补,则在修补后再度进行品管测试,借此提高生产效率并降低报废率。大数据使得终端零售畅通无阻

通过大数据技术,企业可以了解整个供应链中需求和供应的变化,从而促进了产品的终端零售。如沃尔玛的零售链平台提供的大数据工具,将每家店的卖货和库存情况大数据成果向各公司相关部门和每个供应商定期分享。供应商可以实现提前自动补货,这不仅减少门店断货的现象,而且大规模减少了沃尔玛整体供应链的总库存水平,提高了整个供应链条和零售生态系统的投入回报率,创造了非常好的商业价值。

当今,世界各国始终致力于以技术创新引领产业升级,而大数据的利用使得资源节约、环境友好、可持续发展,智能化、绿色化的发展趋势得以实现[4]。因此,大数据背景下的制造业领域将具备广阔的市场空间和前景,这是制造业企业的莫大机遇。

下载大数据及其在城市智能交通系统中的应用综述_陆化普_百度概要word格式文档
下载大数据及其在城市智能交通系统中的应用综述_陆化普_百度概要.doc
将本文档下载到自己电脑,方便修改和收藏,请勿使用迅雷等下载。
点此处下载文档

文档为doc格式


声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:645879355@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。

相关范文推荐

    自然辩证法在智能交通中的应用

    自然辩证法在智能交通中的应用 摘要:采用智能交通手段来管理城市交通,无疑是最人性化也是能有显著成效的方式。信息化技术在交通领域的应用,不仅体现在利用高新技术降耗增效,同......

    智能材料在土木工程中的应用(精选5篇)

    智能材料在土木工程中的应用 [摘要]:智能材料是2l 世纪的一种新型的材料、是材料科学发展的方向,而在当代的土木工程领域内,智能材料已经得到了广泛的应用。本文对智能材料的......

    智能复合材料在桥梁中的应用

    智能复合材料在桥梁中的应用 摘要:指出了智能材料结构发展经历的几个阶段,介绍了传感器、驱动器和控制器的组成元件及功能,重点介绍了智能复合材料在桥梁中的应用,并对智能复合......

    浅谈大数据在教育管理中的应用

    浅谈大数据在教育管理中的应用 大数据的发展给困境中的教育变革提出了新的挑战。大数据越来越广泛应用于教学,通过在线测试、实时调查等方式获取学生的基本情况、了解学生的......

    浅谈大数据在人力资源管理中的应用

    浅谈大数据在人力资源管理中的应用目前,很多领域中都开始使用大数据,其具有抓取能力强、刷新及时并且数据源充足等特点。大数据在人力资源管理中有着很大的作用,其能够将人力资......

    大数据在教育行业中的应用

    1. 大数据在实验室管理方面的应用 海量数据已经使我们进入了大数据时代,数据信息的来源、传播速度和传播数量正在影响、改变着人们的思维方式和生活、工作习惯。近年来,基于“......

    大数据在日常生活中的应用及其影响

    大数据在日常生活中的应用及其影响 摘要:数据的概念虽已经有被炒作过度的嫌疑,但是毋庸置疑的一点是,国内国外的数据量正以一个惊人速度增长,世界正在高速数字化。而且继云计算......

    大数据在教育管理中的应用

    “大数据前沿技术及应用”专题研修活动 大数据技术是“互联网+”时代的利器之一,它可以帮助我们从不同角度和层面来剖析教学,探索教育教学的新规律,大数据的全样本特征解决了教......