第一篇:“大数据时代下的云计算”2013企商云计算研讨会
“大数据时代下的云计算”2013企商云计算研讨会
2013年,云计算产业风起云涌,云计算应用层出不穷。金色的十一月,我们迎来了企商在线举办的“大数据时代下的云计算”研讨会。此次大会联合了中国计算机报,盛邀云计算用户、云计算和信息化行业专家,共论顺应云计算趋势、应用云计算和大数据带来的优势,来推动企业转型升级,从而提高企业应变能力。
日前,“大数据时代下的云计算”在古老文明与现代文明集于一体的文化殿堂——中国国家图书馆(古籍馆)-临琼楼二楼隆重召开,参加此次云计算研讨会的企业有200余家,涉及媒体、教育、电商、研发公司等行业,到场嘉宾有信息专家、企业代表、技术骨干等行业精英。
企商在线创始人王熠致辞
开场首先由企商在线创始人王总为到场嘉宾致欢迎词,感谢各位到场嘉宾的支持,并借此机会答谢各个行业的新老用户和关心企商在线发展的有识之士。
目前,互联网越来越发达,越来越深入,全民都深度参与到互联网的变革大潮中,大数据的价值变得越来越高。社会的需求推着我们向前走,各个行业都在提云计算,事实证明当时的铺垫为今天的云计算起到了很大的推动作用。但是不能回避的是,大数据的需求也越来越迫切,而且云计算和大数据我们认为是一个天生的关联度很强的两个基因。当把二者放在一个维度上来考虑时,对思路进行重构,对结果进行关联,我们认为需要进行较为深入的探讨。
中国科学院彭赓教授:大数据下的云计算
世界正在逐渐走向物联化(Instrumented)、互联化(Interconnected)和智能化(Intelligent),所有的事物和活动都可以被感测,而感测过程中产生的大量数据又会被输送到后台进行处理,通过庞杂的数据资料,分析出有用的信息,支持和推动决策的有效性。由于数据的来源、传送的方式和使用的方法发生了质的改变,数据利用已经不是用传统的方式把数据输入计算机、通过处理得到报表如此简单。大数据时代下,世界各国将大数据战略提升到国家战略层面,进一步推动了云计算数据中心的广泛应用。
彭教授的话中讲到云计算是一场产业的变革,是即将迎接大数据时代的重要支撑体系,让我们已经充分了解到云计算将重新塑造我们整个IT产业链。
联通运维部副总曹鲁:云计算与大数据的发展实践
为了加速业务的转型和升级,促进移动互联网的发展、推动IT的整合,保障数据的整合集中,从而引发了联通发展云计算和大数据的战略思考。
联通通过采用云技术,以集中大数据为核心,顶层设计引领IT规划建设,服务下沉助力用户感知提升,推动大营销、大服务的一体化建设;构建中国联通统一的大数据服务能力;最终实现对资源弹性调度、安全复用;提高数据价值、密度、效率;应用灵活;保障其真实准确、运营有序。
曹总还向大家展示了提供面向公众的云服务,包括面向通信录、日历、便签、文件、相册、视频、音乐等文件的同步、备份和分享的功能。
浙江大学宁波理工学院李兴森教授:云计算解决方案助力企业快速增长
李教授针对大家熟悉的云计算,进行了三个层次的服务的细致讲解,让我们知道了云计算是一种能够方便、按需从网络访问共享的可配置计算资源(如,网络、服务器、存储、应用程序和服务)池的模型,且只需最少的管理或服务提供方交互即可快速供应和发布该模型,从而降低复杂度、提升业务敏捷性,降低市场响应时间,推动业务与技术创新、改变IT支出的成本结构。
中搜集团总裁陈沛:云计算的理论与实践
中搜集团是继百度之后国内最大的搜索引擎厂商,总裁陈沛讲到:“社会分工是人类进步的动力。”互联网的技术实施包括软件模式、外包模式、自建模式以及云服务模式。云技术的特点能够轻松实现网站的构筑与管理,颠覆传统建站及网络运营、服务模式,从而使我们知道专业分工更能创造价值。陈总生动讲述了传统行业和互联网行业之间的区别,赢得了各界人士的热烈掌声,将大会推到了高潮。
高峰互动
最精彩的环节当属高峰互动环节,参加互动的嘉宾都是业界大腕,他们分别是东软集团副总裁王立民、中国联通云数据有限公司运维部副总经理曹鲁,戴尔集团的李泰生李总以及浙江大学宁波理工学院李兴森教授。四位嘉宾先后探讨了“带宽是不是云计算应用的瓶颈?”、“虚拟化是云计算IaaS中最重要部分,PaaS是体现云计算价值的核心?”以及“云计算在大数据时代能够起到的重要作用?”。大家对云计算的认知全面提高,现场气氛十分活跃。
此次研讨会是通过梳理云计算终端用户的需求和实践,更有效的促进云计算产业创新经济的发展,充分展示了企商在线的综合实力,企商在线会在今后的发展中不断为各企业提供更优质的产品和最佳的解决方案,让更多的企业感受到企商在线一站式的增值服务。企商在线期待与各界友人的合作!
第二篇:云时代云计算
云计算环境下的泛联路由平台
云计算大大扩展了IT服务能够提供的种类和范围,作为云计算服务提供者与使用者的联系纽带,泛联路由平台为云计算提供高速、可靠、扩展性强、简单易用的广域数据传输平台。本文就泛联路由平台未来发展的架构与特征进行探讨
文/卢国强
一、泛联路由平台特征
云计算主要包括公有云与私有云,云计算中心通过广域数据传输平台与终端用户互联,为公众用户或企业内部用户提供云服务。由于使用云服务的终端用户数量大、分布广泛、接入方式多种多样,因此将承载云计算的数据传输平台称为泛联路由平台。如图1所示:
图1 泛联路由平台示意图
虽然公有云与私有云所提供云服务的类型与对象不同,其网络联接方式、架构模型也不同,但从云计算本身的特点来看,承载云计算服务的泛联路由平台具有一定的共同特征:
高可用:为了保证云计算服务的高可用性,除了云计算中心的高可靠外,泛联路由平台也必须确保网络接入服务的高可靠,实现网络连接“永远在线”,从而对云计算为终端用户提供了最可靠、最安全的数据存储中心提供保证问题。; 易用:泛联路由平台必须能够兼容多种终端、多种接入方式,使得更多的用户使用云计算服务,最大化扩展云计算服务的提供范围,将对用户终端的设备要求降到最低,使用力求简化,使得用户可以通过“任何终端、任何位置、任何方式”获取云计算服务;
可扩展:随着云计算的开展,泛联路由平台必须具备可扩展性,能够方便的接入新的云计算中心、新的用户终端,并可以快速提供服务。
二、泛联路由平台架构
泛联路由平台需要根据公有云、私有云的流量模型组织网络架构,并通过各层次路由设备的接入和业务处理能力,满足云计算数据中心对终端用户业务提供的高可用、易用、可扩展性。
1.公有云泛联路由平台架构
公有云的服务对象是公众用户,用户主要通过互联网接入方式与云计算中心连接。因此,公有云泛联路由平台是面向全互联网用户的,提供大容量、快速、高可用、安全的互联网接入平台。其平台架构如图2所示:
图2 面向全互联网用户的公有云泛联路由平台架构
公有云通常规模庞大,具有2个甚至多个数据中心,具有多个高速互联网出口,其泛联路由平台主要由核心层路由器、外联层路由器组成:
核心层路由器:连接云计算数据中心与互联网出口,执行高速数据转发; 外联层路由器:连接各运营商互联网出口,执行大容量路由、会话处理。公有云泛联路由平台的主要功能特点是:
全网路由处理:外联层路由器与运营商的高速互联网专线连接,并与运营商交互互联网全网路由(约17~20万条),利于提高互联网访问速度,执行更有效的流量分流与负载策略;
高速收敛:泛联路由平台必须具备电信级的可靠性,能够在链路故障、设备故障、互联网路由收敛等情况下完成无缝倒换,确保云计算服务不中断; 路由级联:多个云计算数据中心的核心层路由通过专线级联,通过灵活可扩展的分布式架构实现多数据中心的高速数据交换与备份,提供更高性能和更可靠的云计算服务。
2.私有云泛联路由平台架构
私有云的服务对象是企业内部用户,用户可通过局域网、广域专网、互联网VPN等多种方式与云计算中心连接。相比公有云,私有云虽然一般规模较小,接入用户数量较少,但用户连接方式更为多样,对泛联路由平台的多业务处理能力要求更高,具有“核心高速化、边缘智能化”的特点。
较小规模的私有云泛联路由平台通常采用扁平化架构,如图3所示:
图3 扁平化私有云泛联路由平台架构
扁平化泛联路由平台采用核心层、接入层两级路由架构:
核心层路由器:连接云计算数据中心与接入层路由器,执行各接入层路由汇聚,以及高速数据转发;支持互联网用户、远程VPN用户接入;
接入层路由器:接入终端用户。由于云计算对终端的要求必须尽可能简化,因此要求接入层路由器更加智能化、自动化、多业务融合,例如支持丰富网络接入方式,如有线/无线PC、PDA、手持终端等,支持IPv4单播/组播、IPv6单播/组播、MPLS VPN虚拟网络等数据传输类型,具备丰富的QoS策略、安全控制策略、应用流量控制、应用加速等业务处理能力。
较大规模的私有云泛联路由平台,例如大型集团为多个内部企业、合作伙伴提供云计算服务,所提供的云计算服务类型、终端用户数量都具备一定的规模,通常拥有多个云计算中心,对可靠性、可扩增性要求更高,采用层次化架构,如图4所示:
图4 层次化私有云泛联路由平台架构
层次化泛联路由平台采用核心层、区域中心、接入层多级路由架构:
核心层路由器:云计算数据中心出口核心路由器,执行云计算服务高速数据交换; 区域中心路由器:核心层路由器与接入层路由器的中间层设备,通过上下两级路由成环,分别用于汇聚各区域接入层路由器,以及与核心层路由器形成高速互联网络;
接入层路由器:接入终端用户,与扁平化平台架构类似,支持丰富网络接入方式,以及丰富的业务处理能力。
相对于扁平化架构,层次化泛联路由平台架构能够提供更清晰的管理界面,以及更灵活的扩展性。新增云计算数据中心可通过核心层路由直接与区域中心路由连接,不影响路由平台架构的运行;新增接入层路由器也可直接上行到区域中心路由,实现对云计算数据中心的访问。
三、泛联路由平台建设要求
泛联路由平台架构设计是从整体组网结构上,依据云计算的泛联特征,为终端用户提供高速、便捷的接入环境,为云计算中心提供高性能、高可用、大容量、易维护、可扩展的承载平台。泛联路由平台的建设,还需要考虑以下具体要求:
开放融合:云计算架构下的网络不是分离的,而是云计算服务的多网合一。通过将多个物理网络、多个类型网络以及多种业务网络的融合,云计算中心在统一的泛联路由平台上为各种用户提供数据、计算、存储、视频、语音等不同类型的云计算服务,使协同办公成为可能。
无线应用:随着便携机、上网本、掌上电脑、智能手机等的快速普及,WiFi/WAPI、3G等无线应用大大扩展了信息空间,丰富了接入终端的种类,提高了用户访问的便捷性,是云计算的一个重要服务形式。泛联路由平台在无线环境下的响应速度、连通率、容量,以及对漫游、无线定位等特性的支持,将成为云计算服务能否广泛推广的一个关键因素。
IPv6应用:大量的终端接入,必将带来IP地址需求的爆炸性增长。IPv6的应用,不仅仅是解决大量接入终端对IP地址的需求,并且在协议上比IPv4能够提供更好的移动特性和QoS能力。相对于IPv4的固定报文格式,IPv6的扩展性更强,可根据不同协议要求增加扩展头种类,按照处理顺序合理安排扩展头的顺序。此外,IPv6引入自动配置以及重配置技术,对于IP地址等信息终端可通过自主协商实现自动增删更新配置,真正即插即用,大大提高了IPv6的易管理性。最后,IPv6新增流标记域,方便了IPv6 QoS的端到端部署,使得业务终端可快速处理实时业务,从而支持IPv6的语音、视频等应用。IPv6必将成为云计算泛联路由平台的重要应用。
智能安全:云计算用户、应用的多样化,使得云计算泛联路由平台必须具备智能,包括针对用户信息的智能、针对应用层信息的智能和针对多元化业务的智能,使网络更“聪明”,面向不同用户、不同场景,提供有针对性的服务。智能安全要求泛联路由平台具有识别用户身份、L4~L7应用业务的能力,并根据数据流负载、网络环境等对不同用户、不同业务的访问进行精细化控制。
资源化:云计算将数据、存储、应用等通过虚拟化形成资源池,为用户提供服务。云计算泛联路由平台同样也具有资源化的特征,通过网络虚拟化技术,将网络、链路、带宽等形成资源,按需分配,从而使整个平台更加灵活,满足不同用户对所需要云计算服务的差异化网络接入、带宽、安全性等承载要求。
绿色节能:随着云计算IT系统越来越庞杂,泛联路由平台的系统架构优化愈加重要,在设计、制造、运维、回收等各个阶段必须尽可能减少能源消耗和对环境的负荷,满足绿色要求,降低TCO。
四、总结
云计算为分布在各地的众多用户提供了虚拟、高可靠、按需服务的IT资源,作为承载云计算服务资源的泛联路由平台,除了具备高速数据传输外,也必须在平台架构上满足高可用性、易用性和可扩展性,并根据不同的云计算类型,构建不同的泛联路由平台架构。
存储分析:各领风骚的四大巨头云策略
打算投资云技术的用户,切记要做好以下调研,比方说平台的锁定程度,应用编程接口的开放性、服务等级协议、是否有开放标准支持、伸缩性、许可证以及价格等方面的调研。大部分IT专家有时容易忽略掉云供应商的长期云策略。
为了更好地让用户了解到云提供商方案对自身环境的影响,我们调研了四家供应商的云策略,他们分别是Microsoft、VMware、Eucalyptus和Red Hat。之所以选择这四家,是他们都提供了私有云计算方案,但在云策略上彼此还有很大不同,这也很好地反映出选择不同云策略所产生的不同效果。
Microsoft的云策略
Microsoft的云方案包含有两大显著区别的产品集:
1.本地企业私有云计算(Hyper-V Cloud),可由搭载Hyper-V和System Center(及其组件)的Windows Server 2008搭建
2.Window Azure,Microsoft自身的云平台
即便是使用了Virtual Machine(VM)Role工具,Microsoft这两款云服务之间的互操作也很少。Virtual Machine Role工具可帮助实现虚拟机镜像从Hyper-V Cloud到Azure的上传。
Microsoft相信,平台即服务(PaaS)会是云计算的大势所趋,但它不会放弃企业云计算市场。Microsoft策略中一个重要部分就是扩大它的System Center组件,使其具备云计算能力。Microsoft所关注的是它巨大的用户安装基础,有超过70%的服务器运行Windows,这也是Microsoft在与其他云计算互操作上没有下功夫的主要原因之一。
Microsoft把自己定位于在基础设施即服务(IaaS)上是私有IaaS和公共IaaS的制造者,在平台即服务(PaaS)上是私有PaaS制造者和公共PaaS提供者,在软件即服务(SaaS)上是公共SaaS提供者。
VMware的云策略
VMware最初的云策略是成为全球领先的云供应商,这意味着它会提供基础设施和管理组件来搭建云计算。随着收购了SpringSource和Zimbra以后,VMware开始尝试采用更多公共云的特性。公司的策略包括,签约更多电信企业,托管供应商和服务提供商作为合作伙伴以支持它的vCloud。VMware对IaaS(在防火墙内部)推行vSphere,对需要公共开放的IaaS推行vCloud Express,对公共PaaS设置VMforce平台,对私有PaaS设置vFabric,并开始把Zimbra定位成SaaS合作伙伴。
VMware的云策略还包括,使用vCloud Director可转换vSphere环境到自动化的自助式服务云环境。vCloud API将跨内部VMware环境与vCloud Express托管者工作,用户便可像对待VMware IT环境那样可控安全地对待公共云。
Eucalyptus Systems的云策略
Eucalyptus Systems自视为一家开源软件公司。然而,它却销售商业版的Enterprise Edition 2.0,这中间包含了很多开源版所没有的特性。
Eucalyptus Systems在IaaS领域上是私有IaaS的制造者,主要依据就在于用户将Eucalyptus的数据中心作为Amazon云计算的扩展(反过来也可以),对于它们二者间的迁移用户可使用相同工具。Eucalyptus本身也实现了大部分的Amazon EC2 API。Eucalyptus云策略的另一部分就是,它将扩大使用VMware虚拟化软件用户的投资杠杆。
Red Hat的云策略
Red Hat的云策略涉及促进不同产品间的互操作与应用程序移植。其中的PaaS策略围绕自身JBoss中间件和一些本来就运行在Red Hat Enterprise Linux上的软件,包括有LAMP和Ruby。Red Hat目标是推出最具人气的编程语言、框架以及平台。Jboss云镜像可用在Red Hat的软件上,也可用在Amazon EC2和Windows Hyper-V。
Red Hat会继续致力在它的Cloud Foundations组合软件。该云计算栈可跨物理服务器、私有云和公共云运行。Red Hat定位于在IaaS上是私有IaaS和公共IaaS制造者,在PaaS上是私有PaaS制造者和公共PaaS提供者。不同的供应商,用户能获得什么?
如果选择其中一家云计算提供商,那么几年后你的云计算环境又如何呢?如果选择供应商后不久又希望或需要移动云环境又将怎样呢?至少最近三年内是不会有开放标准的云API被批准了,最初选择的供应商策略是否能促进云计算可移动性,就是值得考虑的重要因素了。以下是你可以期待从云供应商那里获得的结果:
微软提供广泛的云产品
微软几乎全部心思都花在它的用户安装基础上。如果你购买微软及它的云策略,可以肯定你需要遗忘与其他云计算产品交互的想法,即使是像Amazon EC2这样公共云计算。微软的云计算软件只能工作在Windows系统上,不支持Linux(Hyper-V却是可以支持Linux客户操作系统)。好处就是微软可以提供给你所需的大部分云技术,无非就是花费上相对较高。
借助微软的Hyper-V Cloud,你可以构建自己的私有云计算。微软以及它的Hyper-V Cloud合作伙伴(包括Dell、富士通、日立、HP、IBM和NEC)正针对私有云部署尝试交付一套预定义并经有效检验的配置。该部署由计算、存储和网络资源构成,采用了虚拟化与管理软件。
微软还提供了Azure平台,它被托管于微软全球范围内的六个数据中心。它提供了以下服务:
应用托管,可在微软数据中心运行x86和x86-64的应用程序。
提供弹性化的大规模存储数据能力,不论数据是结构化还是非结构化的。
自动化的服务管理,综合部署,管理与监视都整合到了Azure平台。
这里还有Windows Azure Platform Alliance(Windows Azure平台联盟),微软的“打包云计算(cloud in a box)”策略是由微软与硬件供应商一同推出的。首批联盟包括富士通、戴尔和惠普。这些硬件合作伙伴安装微软预配置系统作为设备,有望适用于所有ISP。最后,用户可以从自己的ISP那里获得虚拟化云计算环境,这些都将是基于微软云计算产品的。Windows Azure Appliance将给那些不愿或不能将自身数据中心托管到微软数据中心的用户提供机会使用Azure的伸缩特性,而不必将应用或数据迁离本地。
微软预测未来的应用主要会由PaaS交付。因此到2011年下半年,它都专注于确保任何通过Hyper-V工作在Windows Server 2008的应用同样可以工作运行在Windows Azure上。VM镜像将可使用VM Role工具从Windows Server 2008 R2(与Hyper-V)转向Windows Azure。但是反向操作不可行。
即使你不想全部购买或选择微软的云策略,还可以使用它的Online SaaS服务。Online SaaS包含了大量产品,像Business Productivity Online Suite(Exchange Online,SharePoint Online,Office Live Meeting和Office Communications Online),Exchange Hosted Services,Dynamics CRM Online,Office Web Apps(Web版本的微软Office)和Office365。
如果你对微软的云策略感兴趣,却又通过VMware虚拟化软件虚拟了自身的Windows数据中心,微软极有可能帮你使用它的技术取代VMware。好的提升投资价值建议是使用vCloud Director来构建VMware云,毕竟那样可以使用VMware虚拟化软件。折中办法是,你可以使用Azure来开发与交付新应用程序。这样即构建了二家供应商的云计算,又是一种低开销的稳妥办法。
3PAR公用云:云时代所需要存储的系统
时间:2011-02-24 15:32来源:机房
360 作者:杜庆先 点击: 209次
存储系统的要求被同期提高,每一个存储网络甚至是存储系统,都将作为公用计算的存储基础,并且能与服务器虚拟化技术协同工作,以创建一个完整的公用计算环境。
物理的、内部的数据中心与企业IT基础设施,正在被安全、多租户的云服务所取代,分布式计算的发展促进了如今的公共计算,而IT基础设施无论如何发展,都必然落入云的口袋--可能是私有云、公有云或是混合云,在云计算时代,IT技术、产品与服务不免都需要和云挂上钩,因为这不仅是趋势,而是当下。
云服务供应商,如Amazon、SAVVIS等,都在寻找新的能够服务其云平台的存储系统,新的存储系统需要提高整合效率、改善如今并不灵活的存储架构、能与其他的基础设施实现充分的互操作系统、按照SLA服务水平协议提供服务既不高也不低,当然,针对虚拟化系统环境和大规模应用部署,是最为基本的要求。
但最为根本的要求是--无论是软件还是硬件--都应该明了,在云时代所有曾经靠提供技术、产品特性而存在的供应方式,都改变为对服务的提供,IT组织要求新的IT基础设施平台通过服务器和存储虚拟化将软硬件作为一项服务来提供,从而适合企业IT的公用服务、网络云计算以及新一代基于面向服务架构(SOA)的应用。
这是云时代的要求,同样,不是趋势,而是当下。
存储系统的要求被同期提高,每一个存储网络甚至是存储系统,都将作为公用计算的存储基础,并且能与服务器虚拟化技术协同工作,以创建一个完整的公用计算环境--与公用计算的公用存储,是一个用于公用计算的高度虚拟化、紧密集群化的动态分层存储阵列,可供企业用来建立经济高效的虚拟化IT架构,以实现灵活的工作负荷整合。通过以更低的总成本获得高响应速度的弹性架构,来满足快速变化的业务需求。
当下,3PAR的高度虚拟化、基于公用的存储方法为数据中心和IT组织提供了传统整体式(单片)阵列的一个替代选择,成为惠普产品线一部分的3PAR不仅是第一家以商业方式将精简技术整合到系统硬件中的阵列从而提高容量利用率并保持较高服务水平的存储厂商,更是最早将公用存储概念引入到存储阵列系统内的产品家族,随着进入惠普的融合基础设施大家庭,3PAR的公用存储概念正在获得更大的发展空间。
3PAR的自动精简配置技术的领先性已经毋庸置疑,其至少将用户的容量需求,在存储容量采购初期,减少了50%,这不仅降低了存储的成本,同时间接降低了整个云服务基础架构在初期的投入成本,而更高的容量灵活性,减少了因为存储容量限制而可能产生的存储孤岛。
但自动精简配置仅仅是3PAR众多领先技术的其中之一,在EMC、IBM等竞争对手还未提供子卷级的自动分层功能的时候,3PAR实现了借助分层技术实现了每GB成本和每IOP成本的平衡--这是子卷级的功能--让不同活跃度的数据合理的分配在不同成本的介质上,一直是一种奢望,而在需要以不同成本保证不同SLA服务水平协议的云时代,这显得尤为重要,一个横跨多个数据中心、多个地区甚至是多个国家的云,不可能用相同的方法存储所有的数据。
InSpire架构和第三代专用ASIC形成了3PAR被模仿但从未被超越的底层硬件架构,这个架构下,每个阵列的性能被充分发挥,多个--至多8个阵列--被连接成一张紧密的网格,数据被以较小的粒度冗余的存放在不同的阵列上,即使一块磁盘、甚至一个阵列坏掉,网格内的数据都不会被丢失,而这些数据会同时进行再次的分配--自主的故障响应,解决了大规模部署的服务时间和精力有限的问题。
3PAR的特性之突出,使得其在那些需要低能耗、高性能和自主管理的客户中十分受到欢迎,数据库优化、MicrosoftExchange、绿色IT、虚拟化环境与私有云、主机服务提供商,都是其忠实的用户。
加密检索在云存储中的应用
时间:2011-02-24 14:29来源:机房
360 作者:杜庆先 点击: 151次
本文综合分析了加密检索技术在云存储应用中的重要意义,当前加密检索和相关技术研究现状和存在问题。在此基础上,提出了全同态加密检索方法并简要介绍了基本原理。
云计算主要目标是提供高效的计算服务。云计算基础设施之一是提供可靠、安全的数据存储中心。因此,存储安全是云计算领域的安全话题之一。为解决数据隐私的保护问题,常见的方法是由用户对数据进行加密,把加密后的密文信息存储在服务端。当存储在云端的加密数据形成规模之后,对加密数据的检索成为一种迫切需要解决的问题。
在加密信息检索的相关研究工作中,对加密信息的检索有单用户线性搜索、基于关键词的公钥搜索、安全索引等几种算法。这几种算法可以快速地检索出所需信息,但其代价较高,不适用大规模数据检索的情况,而且,在云存储中,检索时相关的文档较多,对其进行相关排序是进一步需要解决的问题,以上几种算法均不能解决问题。
通过保序加密可以利用文档中的词频信息对文档依相关度进行排序,提高了检索准确率和返回率。然而在文档中某些关键词出现的频率非常高,指代性不强,这一类词称为常用词,常用词的存在歪曲了文档和实际查询相关度。而准确反映文档、查询相关度的向量空间模型无法直接应用。全同态加密提供可以对密文进行操作的加密算法。而且通过全同态加密,一方面可以保证密文信息不被统计分析,另一方面可以对加密信息进行加法和乘法运算,同时保持其对应明文的顺序。
1.云存储应用中的加密存储技术大规模高性能存储系统安全需求,特别是云存储应用中,可扩展和高性能的存储安全技术,是推动网络环境下的存储应用(如云存储应用)最根本的保证,已经成为当前网络存储领域的研究热点。云存储应用中的存储安全包括认证服务、数据加密存储、安全管理、安全日志和审计。
访问控制服务实现用户身份认证、授权,防止非法访问和越权访问。主要功能包括:用户只能对经管理员或文件所有者授权的许可文件进行被许可的操作;管理员只能进行必要的管理操作,如用户管理、数据备份、热点对象迁移,而不能访问用户加密了的私有数据。
加密存储是对指定的目录和文件进行加密后保存,实现敏感数据存储和传送过程中的机密性保护。安全管理主要功能是用户信息和权限的维护,如用户帐户注册和注销等,授权用户、紧急情况下对用户权限回收等。
安全日志和审计是记录用户和系统与安全相关的主要活动事件,为系统管理员监控系统和活动用户提供必要的审计信息。
对用户来说,在上述4类存储安全服务中,存储加密服务尤为重要。加密存储是保证用户私有数据在共享存储平台的机密性核心技术。
随着存储系统和存储设备越来越网络化,存储系统在保证敏感数据机密性的同时,必须提供相应的加密数据共享技术。保护用户隐私性要求存储安全建立在对存储系统的信任基础之上。必须研究适用于网络存储系统的加密存储技术,提供端到端加密存储技术及密钥长期存储和共享机制,以确保用户数据的机密性和隐私性,提高密钥存储的安全性、分发的高效性及加密策略的灵活性。在海量的加密信息存储中,加密检索是实现信息共享的主要手段,是加密存储中必须解决的问题之一。
2.加密信息检索技术对加密信息检索的研究始于2000年,Song等人提出加密数据搜索的实用算法,Boneh等人提出基于关键词的公钥加密算法,Park等人提出安全索引搜索算法。
2.1线性搜索算法在线性搜索算法中,首先用对称加密算法对明文信息加密。对于每个关键词对应的密文信息,生成一串长度小于密文信息长度的伪随机序列,并生成一由伪随机序列及密文信息确定的校验序列。伪随机序列的长度与检验序列长度之和等于密文信息的长度。伪随机序列及检验序列对密文信息再次加密。在搜索过程中,用户提交明文信息对应的密文信息序列。在服务器端,密文信息序列被线性地同每一段序列模2加。如果得到的结果满足校验关系,那么说明密文信息序列出现,否则,说明密文信息不存在。
线性搜索方法是一种一次一密的加密信息检索算法,因此有极强的抵抗统计分析的能力。但其有一个致命的缺点,即逐次匹配密文信息,这使得这种检索方法在大数据集的情况下难以应用。
2.2基于关键词的公钥搜索基于关键词的公钥加密搜索算法由Boneh等人提出,其目的是可以在用户端存储、计算资源不足的情况下,通过访问远端数据库获取数据信息。存储、计算资源分布具有不对称性,即用户的计算存储能力不能实时满足其需求。另一方面用户在移动情况下存储、索引数据的需求也有增加,比如Email服务等。在这种特定情况下,需要保护用户的数据隐私。加密数据有多个不同来源,针对这一问题的解决方法是加密算法使用公钥加密。
算法的过程如下,首先生成公钥、私钥,然后对待存储的明文关键词用公钥进行加密,生成可搜索的密文信息。
七大经典建议帮助您部署云存储 时间:2010-10-14 10:32来源:未知 作者:中云系统管理员 点击: 243次
私有云还是公共云,哪种最符合你的机构呢?用最简单的方法来描述这两种云:公共云,即可以在互联网上,存储你的信息和运行应用程序;
1、在公共云和私有云之间做出选择
明确你的选择:私有云还是公共云,哪种最符合你的机构呢?用最简单的方法来描述这两种云:公共云,即可以在互联网上,存储你的信息和运行应用程序;私有云,是在企业内部局域网中具有以上功能,相比之下具有更大的灵活性、可控制和安全性。
2、全面的虚拟化策略
当你明确选择之后,就要将更全面的虚拟化策略,选择数据中心最恰当的位置进行部署。将计算能力和存储资源虚拟起来是使云计算真正运作的关键。业界认为首要是虚拟化的服务器,但IT数据中心也同样需要虚拟化存储。反之,如果没有云计算,将大大降低企业在应用层上所能做的。
3、根据云特点 提供最佳服务
当部署了云之后,就要知道何时使用公共云和私有云,以最经济的方式,提供给终端用户最恰当的服务。
对现有系统进行测试和研发,也许是最好的解决之道。私有云的优势是部署速度和安全优势,以虚拟化技术为基础建立的私有存储云,可以兼容多种服务器和桌面虚拟化平台。如果是风险较低的商业应用,则可建立公共服务的主机上。
4、云存储的两大好处
那么云存储能带给我们哪些好处呢?我们知道,选择一个云存储环境,提供一些必要工具,诸如自动存储分层和自动精简配置,以应对自动化的共同复杂任务。这一切都始于虚拟存储,它使得系统能够在正确的存储资源,以合适的时机,自动迁移工作量。如果没有它,则不能运行这些先进的功能。
5、存储架构选择要谨慎
此外,确定公司的数据存储解决方案,足以应对快速、无计划的数据增长之需求。选择一种存储架构,允许在任何方向存在合理有序增减比例。先要问问自己:需要给SAN增添哪些功能?如果不仅要停机,还要加之很多工作人员的重视和维护。那么说明,从这套系统中,也许你并没有得到真正最佳的应用价值。
6、三种环境适合采用云存储
以下三种环境,最适合采用云存储。其实也正是这些实际需求,催生了云存储,也为云存储的发展提供了可能。
首先,判定是否存在着这种相关性,就是软硬件升级的费用和系统“无限”的可扩展性密切关联。此时就要注意了:当系统的能力受到限制后,一些架构隐含着惊人的再次认证许可费用。例如:你是否受到软件许可费的困扰呢?当你不得不再次增加驱动器或存储阵列的数量,这种做法实际上已超出了边际的最优成本。
其次,在系统维护过程中或软硬件重新配置时,确认存储环境是否在线、数据是否可用。包括软硬件,所有的存储系统有可能随时需要升级。当更新时,一定要知道在系统上会产生哪些影响。
最后,如果选择数据和灾难备份产品,如自动让快照和复制。但要提醒的是,提防一些隐性成本,如带宽要求。它可能限制一些快照的次数或复制(即每次都要更改或整个复制的容量)。
7、云存储的功能 广受业内推崇
云存储在业内逐步被推广,其功能得以广泛的认知。建立管理工具和报告功能,不可忽视SRM工具,如存储扣款和使用准确地收益性分析。业内一些公司如Aptare、CA、BMC、赛门铁克,在此领域内对云存储称道有佳
如何选择云存储应用的业务定位?
时间:2010-10-13 13:28来源:机房
360 作者:中云系统管理员 点击: 117次
目前来看,在公有云业务应用上,用户会比较关注安全性和成本,同时还需要考虑网络带宽的因素。因此在公有云方面,备份和归档应用应该是一个主流的方向。
云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。
恐怕很少有什么IT技术会向云一样让人琢磨不透。一方面,它是虚幻的,很难被解释清楚,甚至不同的机构或者厂商对它的定义也有所不同;另一方面,它又触手可及,各种类型的服务和产品遍地开花。所以有些用户会感到非常迷茫:“我到底应该如何去应用云存储?”在这个问题上,无论是用户、分析机构还是厂商都在竭力去寻找市场的接受点。
私有云应用实践:应用集中
私有云对数据安全的考虑更多聚焦于外部攻击和内部泄露,而在业务层面上,保证应用的性能、提升效率会显得更为重要。
目前业内大厂对于私有云的实现方式尽管有所不同,不过他们所聚焦的一个点是相同的,那就是对应用的按需供应和集中调配。本周,EMC同甲骨文在数据仓库、智能系统上的合作,主要的目的就是实现对用户数据的集中分析。惠普不久前发布的CloudStart实际上也是一样的概念--集中处理应用。
对于用户而言,如果你还在犹豫是否要应用云存储的话,那么不妨仔细分析一下自己的业务状况和实际需求。就大多数用户来说,目前还不一定需要同云存储扯上关系,毕竟数据迁移还是具有风险的,云存储也不会像想象中那么可靠,即使在SLA(服务水平协议)制约下也是如此。
公有云应用实践:备份归档
公有云业务和私有云有着很大不同。目前来看,在公有云业务应用上,用户会比较关注安全性和成本,同时还需要考虑网络带宽的因素。因此在公有云方面,备份和归档应用应该是一个主流的方向。实际上,我们也很难见到将业务完全迁移到公有云服务上的案例。
在这个问题上,我们不妨听听云存储服务供应商的想法。Nirvanix总裁兼首席执行官JimZiernick认为,云存储技术不适用于一级、二级以及模块数据存储。他说:“如果有人想换掉一个支持交易处理系统如CRM系统的SAN,我们的产品是不适合的。虽然我们也做模块级存储,但是网络延时会导致显著的迟滞现象。”
如此看来,用户是不必为了追求新技术概念,而将数据完全迁移到云存储上面的。现在的常见应用方法是,用户可以将备份数据建立一个副本,存放在云存储上。这实际上就是一种归档,特别是在用户有法规遵从要求的时候。云存储服务每GB单月5-15美分的价格应该可以大大节省用户的投资,这对于中小企业来说尤为具有现实意义。
目前存储厂商都在瞄向这个市场,从这一点上来说云存储应用好像离我们并不遥远。本周,赛门铁克所发布的BE和NBU就开始支持将数据直接备份到云存储上,CommVault的Simpana也在年初对云存储进行了支持。这两家厂商在推广上的不遗余力无疑会影响到用户的最终应用。
三个角度看云计算与网格计算
时间:2010-09-29 10:14来源:博客 作者:中云系统管理员 点击: 196
次
网格计算是一个耳熟能详的概念,把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后分配给许多个计算设备来进行处理,最后把计算结果综合起来得到结果的计算
对于IT界很多资深工程师而言,网格计算(Grid Computing)是一个耳熟能详的概念,它是把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多个计算设备来进行处理,最后把这些计算结果综合起来得到最终结果的计算模式。
在本世纪初,网格计算和现在的云计算一样是一个非常火热的概念,但是由于网格计算在商业模式,技术和安全性这三方面的不足,使得其并没有在工程界和商业界取得预期的成功,但在学术界,还是有一定的应用,比如,用于寻找外星人的“SETI”计划等。
在2007年底云计算这个概念刚诞生的时候,由于其在概念上和网格计算比较类似,也希望能让IT资源像水电这类公用事业那样按需使用和随需应变,所以有部分业界的从业者认为云计算相对网格计算而言只是“新瓶装旧酒”而已,对于这点,我不是很认同,接下来我从下面几个方面来分析两者之间的区别。
概念方面
在概念上,两者的各有侧重,网格计算主要强调的将一个巨大的问题分成许多个子问题,并通过许多个子节点分别对这些子问题进行计算,而云计算则强调通过后端的大型云计算中心来同时为多个用户服务。
领域和需求方面
网格计算这个概念是诞生在学术界,主要是为了解决处理大型的计算难题,比如,寻找并发现对抗艾滋病毒更为有效的药物或查找那个地方会存有石油等。而云计算则诞生在工程界,也就是***的数据中心,主要是为了满足用户海量的搜索请求等。大家都应该知道,不同的领域和需求会引发出不同的产品,对于IT模式而言,也同样如此。
架构方面
在架构方面,网格计算和云计算都可分为后端和前端这两部分,但在网格计算中计算工作主要由前端来完成,后端主要用于调度任务,而在云计算中计算工作则主要由后端的大型云计算中心完成,其前端是用来接受后端的计算成果并显示,还有,在网格计算中参与计算的设备经常是异构的,比如,运行Windows的笔记本和运行Unix的小型机等,而在云计算中参与计算的设备往往是同构的,比如运行Linux的X86服务器,这样的做法不仅能简化管理,而且能提升运行效率。
虽然这两种模式之间有一定的区别,但是不可否认,云计算的诞生是离不开网格计算之前的试水
云计算安全:让IT部门失控了
时间:2010-07-30 21:46来源:ZDNet
安全频道 作者:ZDNet安全频道 点击: 7次
企业的IT部门对于企业内部运行的各种云计算程序已经无法进行全面的跟踪了,这将导致企业的IT安全架构变得不再安全。
调查显示,企业的IT部门对于企业内部运行的各种程序已经无法进行全面的跟踪了,这将导致企业的IT安全架构变得不再安全。
是指数据的存储和处理被分散在企业内网以外的整个互联网中的各个平台上,这可以极大的节省企业的IT资源需求并提升数据处理效率。
由于应用程序并不需要购买特殊的硬件设备或需要复杂的整合步骤,因此企业内的个人或部门都可以随意安装此类程序,而不需要实现通知企业的IT部门。这导致了企业的IT部门难以尽到全面监察系统安的职责,比如确保数据保护完全实现等。
因此,在Ponemon Institute 的调查中,有半数的企业CIO,CTO以及CFO等企业执行层领导者并不确定自己的企业中是否存在某种程序。与美国的企业高管相比,欧洲企业高管在这方面的信心稍微强一些,尽管美国企业好像更偏爱在企业关键业务程序上采用方式。
该研究机构的调查结果显示,IT的消费化“使得企业评估安全的能力成为了空白。”
该报告还指出,如果程序被认定为非安全程序,那么使用这类程序的人员就将企业推入了一个危险的环境。“安装程序的人员可能只是为了某种需要,他们并不知道这样做会为企业的信息安全带来风险”。
该报告建议,企业的 CIO们应该建立一套企业内运行的服务程序库,并逐一评估这些服务的安全性。然后再决定是否应该禁止使用这项服务,或为之制定相应的安全防范措施。接下来IT部门的决策者应该推出一套策略,让IT安全专家们评估企业所正在使用以及未来将要转向服务的各种应用程序的安全性。
在将应用程序迁移到服务平台前,首先要考虑的就是访问权限的问题,尤其是针对个人用户,同时要确保敏感信息在中的安全性。
企业还应该针对关键程序和极度敏感数据制定策略,严格审核服务提供商的资质以及对终端用户进行风险性的教育。
虽然传统的方式不会有内在的安全风险,但则带来全新的风险和挑战,这是企业在采纳服务前必须要考虑的
云计算趋势:云安全服务小规模起步 酝发新商机
时间:2010-07-30 21:46来源:ZDnet 作者:ZDnet 点击: 1
2次
也许我们起名叫‘云计算’本身就是一个失误,因为这名字很容易让人感觉有趣和安全。但事实上,网络中充满了威胁和险恶,如果我们当初把它叫作‘沼泽计算’或许更能够让人们对
虽然在节约资源、提高效率方面的表现让人称赞,但是其与生俱来的安全问题却成为前进道路上的一大障碍,这个问题已经引起了众多人士的关注。虽然在节约资源、提高效率方面的表现让人称赞,但是其与生俱来的安全问题却成为前进道路上的一大障碍,这个问题已经引起了众多人士的关注。
“也许我们起名叫‘’本身就是一个失误,因为这名字很容易让人感觉有趣和安全。但事实上,网络中充满了威胁和险恶,如果我们当初把它叫作‘沼泽计算’或许更能够让人们对它有一个正确的认识。”在不久前举行的RSA2010安全大会上,着名的信息安全专家RonaldL.Rivest甚至如此半开玩笑地说,而对安全问题表示担忧的不在少数。安全问题成绊脚石
这种担忧不无道理,因为无论内部云还是外部云都面临着令人棘手的安全问题。对于外部云而言,应用的信息系统高度集中,数据具有无边界性、流动性等特点,使得网络的安全边界比较模糊,传统的安全域划分等安全机制已经难以保障应用的安全性;此外,服务基于互联网,而互联网在资源服务质量上是难以保障的,对于云服务能否具有连续性、可靠性和高质量,用户也在心里打个问号。对于内部云而言,虽然来自外部的攻击大大减少,但是一些重要信息如果放在网上,就难免存在内部泄密的隐患,安全问题同样值得考虑。
现在,安全问题已经成为进一步发展必须清除的障碍。“只有解决上述问题,才能在国内企业中遍地开花。”中国联通集团国家宽带工程实验室副总工唐雄燕认为。
要解决安全问题,就需要分析问题对症下药。目前,服务大致分为三个层级:IaaS、PaaS和SaaS,不同层级的安全问题各不相同:IaaS面临的主要问题是数据中心的可靠性、物理安全、网络安全、传输安全、系统安全等;就PaaS而言,数据安全、数据与计算可用性、灾备与恢复、针对应用程序的攻击是主要的问题;而对于SaaS,用户更关注数据与应用的安全问题。提供商可针对不同的安全问题采取针对性的措施。
在服务中,运营商主要在设备商提供的设备和平台上提供服务,因此他们与其它服务商的方式应有所不同。中国电信广州研究院一位技术专家认为,运营商应重点从系统级层面和实施应用等方面来提高服务的安全水平,需在完善安全基础设施的基础上,集成数据加密、VPN、身份认证、安全存储等综合安全技术手段,构建面向应用的纵深安全保障体系。
而要从根本上确保的安全性,制度层面的保障则不可或缺。近日,欧洲有关领导人就强烈呼吁制定一个关于数据保护的全球协议以解决的数据安全弱点。云服务催生新商机
提供商在解决安全问题的同时,也在利用的新模式在安全领域发掘新商机。随着概念的升温,云安全概念应运而生。
日前,各种病毒程序正在以几何级数增长,对此杀毒软件有些招架无力。同时,来自互联网的主要威胁正在由电脑病毒转向恶意程序及木马,采用特征库判别法显然已不合时宜。
所谓云安全,就是通过网状的大量客户端对网络中软件行为的异常进行监测,获取互联网中木马、恶意程序等最新信息,推送到服务端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。采用云安全技术后,整个互联网就是一个巨大的“杀毒软件”,参与者越多,每个参与者就越安全,整个互联网就会更安全。
VMware公司一位技术人士表示,除了查杀病毒外,还有一种典型应用—安全图板,包括Web安全防范和垃圾邮件防护,以及网页的国际代码检测。此外,安全设备、安全基础设施的“云化”、云安全业务等也是云安全服务可发展的方向。在云安全方面,业界主流防病毒厂家涉足较早,金山、卡巴斯基、瑞星、江民、McAfee等均提出了相应的服务方案,思科则提出了云火墙的概念。不过工信部电信研究院黄元飞认为,多数安全厂家在安全云应用方面还处于技术探索阶段,产品化程度有待提高。运营商已起步
前述中国电信广州研究院专家认为,云安全服务对于电信运营商是一个机会,电信运营商在此方面具有先天的资源优势。“经过多年的网络建设和和运营,电信运营商已具有全网分布、数量众多的安全基础设施,这些都为开展云安全提供了资源优势。”
据了解,国内运营商已经开始探索云安全服务模式。例如,某电信运营商推出了DDoS攻击防护服务,在骨干网层面分布式部署了类“云防御平台”,以应对日益庞大的僵尸网络,该业务平台就具有云安全的雏形。
此外,记者从中国联通了解到,尽管中国联通的商业化云服务尚未推出,但是在内部试验阶段已经将云服务考虑了进去。中国电信一位人士则表示,云安全是个新的市场需求点,中国电信也在考虑提供云安全服务。
不过,由于系统分散,并且系统间并未实现有效的调度管理、信息共享,多数安全系统利用率低,因此运营商提供云安全也不是毫无障碍。中国电信研究院专家建议,要扫除这些障碍,电信运营商可充分利用技术对上述资源进行整合、优化,构建开放的超大规模“安全云”资源池,全面提升安全设施服务效能好业务提供能力。同时,运营商要基于自己的特点,利用各方资源,结合华为、中兴等善于控制成本、对网络理解透彻的优点,以及IBM、HP等技术先进、方案高效的优势,推出具有特色的云安全服务。
数据中心虚拟化存储比较:SAN和NAS 时间:2010-10-20 10:30来源:机房
360 作者:中云系统管理员 点击: 178次
随着数据中心中虚拟机镜像的数量越来越多,它需要消耗的空间也越来越大。
随着数据中心中虚拟机镜像的数量越来越多,它需要消耗的空间也越来越大。同样,虚拟机在物理服务器间迁移以实现整个环境效率最大化时,在这些服务器间共享的网络介质要实现快速的切换和转换。如果说所有的虚拟化环境都有一个共同的主题,那就是数据中心虚拟化存储空间需求。尽管现在市场上更倾向于使用StorageAreaNetwork(SAN)技术,但是NetworkAttachedStorage(NAS)也能满足企业数据中心这方面的需求。
在一个虚拟化环境中,NAS设备可以作为虚拟机在服务器之间迁移的一个交换空间,作为一个备份介质,或者作为所有虚拟磁盘镜像的中央知识库。在这样的任何一种情况下,数据中心和网络管理员都需要理解NAS设备的作用,以及它们对网络的影响。
为什么要使用NAS来作为数据中心虚拟化存储
网络存储的实现有两个主要的方法:NAS和SAN。这两种方法在网络架构以及在网络客户端上的表现都有所差别。NAS设备利用现有的IP网络和传输文件层接入,提取它可用的物理磁盘,并以网络共享的方式向使用诸如CIFS或NFS的终端客户机提供一致的文件系统。NAS设备对网络方式的文件共享进行了优化,因为它们与文件服务器几乎是相同的。
相反,SAN技术,包括FibreChannel(FC)和iSCSI,实现数据块层访问,放弃文件系统抽象并在客户端表现为未格式化的硬盘。FC是目前最流行的SAN技术,它运行在一个专用的网络上,要求在每个服务器上使用专属的FC交换机和主机总线适配器(HBA)。而FibreChanneloverEthernet(FCoE)是一个补充的新标准,它将存储和IP网络合并到一个聚合交换机上,但是它仍然需要在每个服务器上使用特殊的聚合网络适配器(CNA)。
而另一个数据块级技术iSCSI则在IP流量中封装了SCSI命令,同时能够使用现有Ethernet网络接口适配器,但是它一般会增加一个TCP/IP卸载引擎(TOE)来优化性能。SAN解决方案在性能方面相对于NAS设备具备一定的优势,但也存在一些争议。SAN阵列的一个分区能够在两台主机上共享,但是这两台主机都会将空间看作是自己的,这样这两台主机之间就会有空间争夺的风险。虽然有一些方法可以解决这个资源争夺问题,但是这个修复方法会增加额外一层的抽象——而NAS解决方案已经包含这一层抽象了。
两种类型的存储在虚拟化数据中心都有各自的作用。例如,Microsoft的Exchange服务器只支持通过数据块级访问数据的网络存储。由于SAN的性能一般比NAS解决方案好,所以企业会在高I/O要求的应用中使用存储网络,如数据库。然而,出于实际管理虚拟机镜像库的目的,文件级访问很可能是许多环境中最简单的部署方法。根据组织的不同要求,数据中心经理可能会要求存储团队实现文件级存储,或者直接安装一个专用的NAS设备来满足他们数据中心虚拟化存储的需求。
虚拟化环境中NAS的替代方法
虽然许多人将NAS看作是支持虚拟化环境的最清晰的方法,但还有许多替代方案。对于已经部署了SAN的组织来说,他们可以使用NAS-SAN混合解决方案,在SAN可用空间之上再建立文件系统抽象。一个混合解决方案可以创建数据中心经理更喜欢的抽象层,同时保持中央存储网络的性能和可管理性。较小型的组织也可以考虑共享物理服务器上直接附加的存储空间,使用其中一个服务器作为中央存储库,而其余服务器则从这个服务器获取VM镜像。虽然这个解决方案可以在最小型的环境中运行,但是在较大型的环境中它可能很快就会导致I/O瓶颈。
虚拟化中NAS的网络设计注意事项
对于网络管理员来说,万幸的是NAS设备所依赖的文件共享和传输协议与大多数文件服务器是一样的,所以部署NAS的设计方法是非常相似的。然而,由于虚拟化环境的本质和所涉及的文件较大,所以在目标服务器上传输这些虚拟机镜像时需要尽早地考虑一些特别的注意事项。
网络管理员在进行NAS部署时应该保证所有相关的连接至少使用GigabitEthernet。他们也必须验证连接虚拟环境的网络交换机使用的端口数足够,从而能给存储设备提供足够的带宽。管理员也应该再次评估可能影响服务器和存储之间连接的QualityofService(QoS)策略,并在需要时对它进行调整,可以给予增加的存储流量更高的优先级。在NAS部署前后都进行网络基线设置可以清晰的认识到添加NAS设备到数据中心网络所产生的影响。如果性能出现问题,那么通过VLAN或专用交换机对网络的存储流量进行划分也是一个解决方法。
网络管理员应该与数据中心经理紧密协作,一起进行性能测试和比较NAS设备上可用的各种网络协议,一般是NFS和CIFS。这两种标准的实现会因为网络设备、操作系统和虚拟化方案的不同而差别很大。由于平台的差异,以及组织的不同需求,每个可用方法的性能测试都将会帮助您确定特定环境中的最佳解决方案。
最后,网络管理员和数据中心经理在数据中心中部署一个NAS设备时需要注意那些可能超出技术支持容量的增长。网络存储的作用可能快速地增大,从而导致I/O瓶颈和其他问题。虚拟环境快速修复可能会像滚雪球一样成为一个企业存储解决方案,特别是在小型组织。可以肯定的是,即使是很小型的NAS部署都会讨论向更包容的企业网络存储战略发展。根据不同需求,如果企业需要更高的吞吐量,那么网络存储可能需要增长为较大规模NAS的解决方案或迁移到SAN的解决方案。任何网络,不管是数据网络或是存储网络,如果不考虑总体设计,都会很难管理。
详解云存储中的虚拟化技术构成及应用
时间:2010-10-14 10:36来源:中关村在线 作者:中云系统管理员 点击: 276
次
虚拟化存储有多种分类方法,从大的方面可以分为:根据在I/O路径中实现虚拟化的位置不同进行分类;根据控制路径和数据路径的不同进行分类。
何谓存储虚拟化
存储领域国际权威机构SNIA(存储网络工业协会)给出了存储虚拟化(Storage Virtualization)的定义:“通过将存储系统/子系统的内部功能从应用程序、计算服务器、网络资源中进行抽象、隐藏或隔离,实现独立于应用程序、网络的存储与数据管理”。存储虚拟化技术将底层存储设备进行抽象化统一管理,向服务器层屏蔽存储设备硬件的特殊性,而只保留其统一的逻辑特性,从而实现了存储系统的集中、统一、方便的管理。
与传统存储相比,虚拟化存储的优点主要体现在:磁盘利用率高,传统存储技术的磁盘利用率一般只有30-70%,而采用虚拟化技术后的磁盘利用率高达70-90%;存储灵活,可以适应不同厂商、不同类别的异构存储平台,为存储资源管理提供了更好的灵活性;管理方便,提供了一个大容量存储系统集中管理的手段,避免了由于存储设备扩充所带来的管理方面的麻烦;性能更好,虚拟化存储系统可以很好地进行负载均衡,把每一次数据访问所需的带宽合理地分配到各个存储模块上,提高了系统的整体访问带宽。
虚拟化存储有多种分类方法,从大的方面可以分为:根据在I/O路径中实现虚拟化的位置不同进行分类;根据控制路径和数据路径的不同进行分类。根据在I/O路径中实现虚拟化的位置不同,虚拟化存储可以分为主机的虚拟存储、网络的虚拟存储、存储设备的虚拟存储。根据控制路径和数据路径的不同,虚拟化存储分为对称虚拟化与不对称虚拟化。
虚拟化存储的系统构成
云存储中的一种典型存储方式为分布式存储。在这种方式中,一般采用带外虚拟化的方式管理存储设备,元数据管理和数据传输都是通过IP网络来完成。这种虚拟化存储系统主要有四类不同的存储设备。
客户端:客户端向外为客户提供各种应用服务,如万维网服务、数据库、文件服务、科学计算等。客户端上运行存储代理软件,提供网络虚拟设备供应用程序读写访问。
配置管理服务器:配置管理服务器用来进行系统的配置和管理。通过Internet、Telnet或其它接口登陆云存储平台,以远程的方式配置和管理整个存储系统。
元数据服务器:云存储系统的元数据服务器(MDS)管理着整个系统的元数据和对象数据的布局信息,负责系统的资源分配和网络虚拟磁盘的地址映射。在MDS上部署的全局虚拟化存储管理软件和集群管理软件可管理整个存储系统的配置和运行。另外,MDS通过冗余管理软件来实现普通存储节点之间的数据冗余关系。
对象存储节点:每个存储节点都是独立的存储设备,负责对象数据的存储、备份、迁移和恢复,并负责监控其他存储设备的运行状况和资源情况。同时,存储节点上运行着虚拟化存储管理软件,并存储了应用程序所需的数据。
曙光部署高校内部云 提升科研
时间:2010-07-30 16:11来源:比特网 作者:立群 点击:
5次
曙光公司为用户提供的天潮5000A高性能计算集群硬件系统包括计算子系统、存储子系统、网络子系统、管理诊断子系统以及基础架构子系统五个部分 2009年是我国建国60周年,是邓小平同志提出“科学技术是第一生产力”重要论断21周年。在这60年里,我们见证了我国的发展和昌盛。同样,在这21年里,我们见证了科学技术为我国的繁荣昌盛所起到的不可替代的作用。作为科学技术的摇篮高校——这一神圣而又庄严的科学殿堂为我们培育出了一批又一批的科学人才,为我们研发出了一项又一项的科学成果。
任何事物的发展都离不开生产力和生产工具,科学研究更是如此。5000年前,石器作为当时人类的主要生产工具,帮助人们完成了狩猎、耕种等一系列的社会行为。今天,高性能计算同样作为生产工具,帮助人们完成科学研究工作,推动着社会的发展。
我们今天要说的,就是高性能计算如何帮助高校进行科学研究的故事。高校部署“内部云”
国内某高校为了提高科研质量,保证学校科研工作的顺利完成,该校希望能够构建一个学校的“内部云”,把校内的各个学院所需要的科研系统统一部署在这个“内部云”系统之上,完成统一的部署和管理。
为了解决不同学科对高性能计算的实际需求问题,这套高性能计算系统将用于满足包括石油地震处理、材料化学、水文应用、GIS系统等不同的数值科 学模拟方面计算需求。因此,这套系统对于计算性能的要求极高,对于稳定性要求极强,存储量要求极大,可管理性要求极为成熟。在国内著名的高性能计算解决方案提供商——曙光公司以及中科院计算所的协助下,建立完成了用于构建自身“”的高性能计算基础平台。
根据用户的需求,曙光公司和中科院计算所设计了一套完善的高性能计算解决方案。这套方案采用的高性能计算机系统基于通用的集群架构,通过高速网络将上百个节点的计算能力汇聚到一起,可以支持大规模并行计算任务。
集群是当前主流的高性能计算机体系结构之一,技术成熟、性价比高,曙光公司多年来一直致力于研发基于集群架构的通用高性能计算机系统,是国内最大的集群高性能计算机产品和解决方案供应商,市场份额达到30%左右。
根据用户需求,这套方案在选择曙光天潮5000A系列超级计算机构建高性能计算集群系统的基础上进行了改进。它融合了Cluster和MPP两种计算机的优势;曙光5000A的计算节点以TC2600系列刀片产品为主,也可以配置曙光其他服务器产 品。既可以使用全限速无阻塞的Infiniband 网络构建通讯网络,也可以使用冗余万兆级联的分区无阻塞Ethernet互联网络;配置存储系统,既可以配置简单易用的DAS存储,又可以构建高性能的 FC或Infiniband SAN存储,提供较高的聚合I/O带宽等。
曙光天潮5000A系列超级计算机曾在2008年12月发布的TOP500排行榜中进入前10名,本方案就是采用与之一致的系统架构。曙光 TC5000A面向10-200Tflops级别超大规模高性能计算需求,具有可自由伸缩、高度可管理、高可用、高性能价格比等诸多优点,是曙光公司超级 服务器的又一顶峰之作。曙光TC5000A高性能计算机解决了大规模集群部署、高效能计算、跨平台管理、跨操作系统管理、系统软硬件运行状态监控等混合平台应用等一系列技术难题,整体技术在国内具有领先水平,达到国际同期同类产品的先进水平。
曙光公司为用户提供的天潮5000A高性能计算集群硬件系统包括计算子系统、存储子系统、网络子系统、管理诊断子系统以及基础架构子系统五个部分,系统整体架构如图1所示:
图1:解决方案拓扑结构
许给云存储一个未来
时间:2010-07-30 15:55来源:存储在线 作者:Bill 点击: 6
次
这个领域中的主要厂商已经推出了基于云的存储解决方案,这些解决方案具有很高的价值和强大的功能,正在不断克服一个又一个障碍。在IT行业中,许多厂商正在不断推出创新的托管解决方案。
一些厂商是通过市场宣传语言来吸引你的眼球,一些厂商则用是新方式来解决旧问题。但是作为一名负责的IT人员,你确实需要注意一些厂商,因为这些厂商的解决方案将简化目前的流程、极大地降低总拥有成本(TCO)、提供更好的IT性能,同时又能让你保持对系统的掌控。
是不是听起来太好以至于不现实?这个领域中的主要厂商已经推出了基于云的存储解决方案,这些解决方案具有很高的价值和强大的功能,正在不断克服一个又一个障碍。
举一个例子,Nirvanix去年在市场上推出了高速缓存NAS(网络附加存储)设备,这个设备可以作为云的网关,在本地设备接进该公司基于云 的Storage Delivery Network(存储提供网络:这个网络可提供近于无限的容量)的时候,该设备可以提供高性能。
今年还有许多其他厂商也将携本地NAS设备产品进入该市场。这些NAS设备可以作为云的高速缓存网关。对于许多企业来说,这些设备可以成为经过验证的使用云存储的方式。
Iron Mountain最近的声明也显示了在云存储可以带来多少创新的功能。Iron Mountain不久前曾推出Virtual File Store(VFS:虚拟文件存储)服务设备。作为该服务的辅助,Iron Mountain推出了一些存储即服务的信息管理产品,这些产品能够和云存储整合在一起,这些产品和功能包括数据分类、E发现、格式转换和其他服务。
在这些功能中,让人感兴趣的功能之一是Iron Mountain将自己长期以来在磁带物理数据传输处理上的经验转化为一个云版本。对于云,这个新服务名叫“数据梭”。Iron Mountain的数据梭进一步桥接了本地存储和远程存储。数据梭服务采用了一个“迷你云”,这个迷你云中存储了数据,可以根据客户的要求输出数据。数据 梭作用于VFS本地高速缓存NAS网关的后面,其角色就相当于Iron Mountain的远程云存储目录。客户可以使用数据梭来上传或下载大量的数据,而无需担心网络传输问题。由于Iron Mountain在接收和输出传统物理媒介数据上有多年的经验,因此客户将发现该数据梭让他们可以放心地传输大量信息,其效率可媲美他们从离站磁带中读写 数据。
在这个市场上,许多其他厂商也准备推出新的创新服务。我们预计今年将看到一些新的解决方案,这些解决方案将同时给中小型企业和大型企业带来云存 储的经济性,同时它们还将用创新的方式来桥接本地存储与远程存储。这些解决方案可以克服远程存储的劣势,并带来一系列独一无二的数据功能。
在我们同终端用户的谈话中,我们看到有些情况下云存储还是非常必要的。我们将在文章的剩余部分讨论这些使用情境。
不再迷茫于数据管理
过去10年来,许多厂商都声称自己的解决方案是“全局”的数据管理解决方案,但是结果是企业还是不得不更换旧的硬件,永无休止地更新软件,不断 地购买新技术。看起来很难会有真正的单一的、持续的全局性数据管理解决方案。当一个厂商推出所谓全局的数据管理解决方案的时候,如果它的软件升级计划要持 续数年之久,那么这种解决方案的可持续性和一致性就很值得怀疑。但是云存储的高速缓存NAS网关确实可以提供一个单一的、一致的数据管理平台。
从最基本的层次来看,云提供了无限的第二层存储,可以将归档操作简化为简单地将数据从主存储层迁移到第二层云存储,无需持续性的维护和管理。那 些将数据归档到云存储的公司将可以摆脱或减少多层、多系统数据迁移策略和工具的复杂性,使归档存储摆脱复杂的重构操作。对于那些顽固地坚持内部存储的人,下面这些话或许有启发:虽然低端存储可能看起来具有成本经济性,但是将数据归档到低端的SATA磁盘需要很多隐含成本来进行持续管理、电能利用、安全性和 数据保护。云存储的产生就是为了利用它的规模经济性。云存储所带来的经济性将超过内部解决方案所带来的好处,而且同时还可以提供更好的可用性、数据寿命、性能、安全性和数据完整性。
停止购买坏存储
许多企业总是面临永无休止的项目实施,而这些项目有的和企业的战略存储计划背道而驰,更糟糕的是,实施了糟糕的存储系统会在事后带来很多麻烦。在最糟糕的情况下,这些项目导致产生许多孤立的本地存储,独立的保护实践措施,以及定期的复杂的归档和/或容量管理要求。
这种背离战略规划的存储实施不仅要用大量的时间和精力来管理,而且还带来了很高的数据丢失风险。云内的存储不仅可以替代这些实践,而且不会产生 这样的结果。软件客户端或本地NAS网关可以很容易地满足分散的应用程序的需求,提供无限制的存储容量,用最好的保护手段来存储数据--并带来更低的总拥 有成本。如果你的企业现在正在管理本地或无计划的存储设备,或将要实施一个有可能迫使你部署非标准解决方案的项目,那么你应该考虑一下云存储。
针对重要数据的好存储
虽然云适合于归档一般的非结构化数据,不过对于有些企业来说,它们的独特类型数据确实非常需要云存储。这里可以有很多例子,其中一个就是富媒 体。当今世界充满了各种富媒体数据,比如数字图片和数字视频。创建或管理富媒体的企业经常发现存储归档需求和存储保护需求不断地快速增加。对于大型用户和 富媒体创建者来说,云可能是唯一能够提供足够存储容量的存储方式。
虽然过去一些托管存储没有达到必要的性能水平和可用性水平,但是新一代高速缓存NAS网关能够为富媒体或其他任务关键型数据提供理想的存储方式。此外,提供这些设备的存储即服务厂商拥有良好的架构,比起多数企业,这种架构能够更好地保护富媒体等关键数据。
满足治理需求
最后,无论何种规模的企业,都有必要进行更好的信息治理。在如今法律越来越严格的商业环境下,企业的信息治理需求从简单的满足规制要求一直涵盖到执行E发现搜索。对于许多企业来说,云可以提供前所未有的服务。
过去两年来,潜在的云存储提供商有条不紊地逐步整合一流的分类技术、搜索技术、E发现技术和工作流等技术。如今,这些厂商正在将这些技术和云存 储结合在一起。整个产品就是一套数据服务,这种数据服务将云存储和搜索及信息处理工具结合在一起,其功能可媲美大型企业中的同类系统。对于中型企业来说,云存储所提供的服务是以前具有很多技术手段和很多法律团队资源的大型企业才具备的。通过这种服务,中小型企业在所有类型的法律纠纷中(从知识产权到集体诉 讼)都不会落于下风。
云存储疑虑
即使是在迫切需要云存储的情况下,许多IT从业人员仍然对云存储服务抱有疑虑。但是大部分疑虑的产生是因为对云存储功缺乏足够的认识。下面简要的列出这些疑虑以及厂商相应的解决之道:
--安全性。对于想要进行云存储的客户来说,安全性通常是首要的商业考虑和技术考虑。但是许多用户对云存储的安全要求甚至高于它们自己的架构所 能提供的安全水平。既便如此,面对如此高的不现实的安全要求,许多大型的可信赖的云存储厂商也在努力满足它们的要求,构建比多数企业数据中心安全得多的数 据中心,并通过可与NSA(美国国家安全局)媲美的加密层和保护层来保护存储中的数据。如今,用户通常发现云存储具有更少的安全漏洞,而且云存储所提供的 安全性水平要比用户自己的数据中心所能提供的安全水平还要高。对一个坚定地认为离站存储数据不是好实践的反对者来说,他们需要注意的是有许多企业内部数据 存储解决方案是来自离站存储和灾难恢复厂商,比如Iron Mountain,而且这些厂商可能已经存储了你最重要的离站磁带数据。
--便携性。一些用户在考虑托管存储的时候还要考虑数据的便携性。一般情况下这是有保证的,一些大型服务提供商所提供的解决方案承诺其数据便携 性可媲美最好的传统本地存储。有的云存储结合了强大的便携功能,可以将整个数据集传送到你所选择的任何媒介,甚至是专门的存储设备。
--性能和可用性。过去的一些托管存储和远程存储总是存在着延迟时间过长的问题。同样地,互联网本身的特性就严重威胁服务的可用性。最新一代云 存储有突破性的成就,体现在客户端或本地设备高速缓存,将最经常使用的数据保持在本地,从而有效地缓解互联网延迟问题。通过本地高速缓存,即使面临最严重 的网络中断,这些设备也可以缓解延迟性问题。这些设备还可以让经常使用的数据看起来像本地存储那样快速反应。通过一个本地NAS网关,云存储甚至可以模仿 中端NAS设备的可用性、性能和可视性,同时将数据予以远程保护,且这种数据保护水平只有少数企业才能做到。性能方面的另一个问题是,当数据变化率太高的 时候,这些解决方案可能会消耗太多的互联网带宽,而且这可能会使你的云存储解决方案产生隐含成本。即使如此,厂商们仍将继续努力实现容量优化和WAN(广 域网)优化,从而尽量减少数据传输延迟性。
--数据访问。另一个常见的疑虑是如果执行大规模数据请求或数据恢复操作,那么云存储是否可提供足够的访问性。如同我们先前所讨论的,一些厂商 可以将大量数据传输到任何类型的媒介,可将数据直接传送给企业,且其速度之快相当于复制粘贴操作。此外,一些厂商还可以提供一套组件,在完全本地化的系统 上模仿云地址,让本地NAS网关设备继续正常运行而无需重新设置。如果大型厂商构建了更多的地区性设施,那么数据传输时间将更加缩短。更重要的是,即使你 的本地数据发生了灾难性的损失,厂商们也可以将数据再重新传输给你。
现在有许多厂商提供云存储服务。一些IT行业中巨头也在提供云存储服务,比如IBM、EMC等。同时,在这个领域还有许多具有创新性的初始公 司,比如Nirvanix和Egnyte。最后,一些已经在为你提供数据服务的可信的厂商也在进入这个市场,比如Iron Mountain。
这些厂商具有良好的信誉和强大的业务实力,随着这些厂商进入这个市场,人们对云存储在数据管理上的表现有了新的期待。
未来几年内,归档或长期存储需求有可能将成为焦点,而未来的云存储解决方案很可能会极大地改善或改变你目前的长期存储实践。在我们看来,这些改变和改善将给核心的业务功能、IT服务提供和总拥有成本带来巨大的影响。
第三篇:云计算时代
云计算时代“云会议”模式将盛行
2011-03-15 11:14:35 来源:home.donews.com 分享 | 摘要: 曾几何时,我们要传达一个讯息的时候,总是要组织人开会,甚至不惜跋涉很远去参加一个会议,旅途奔波不可避免。后来有了电话会议,尤其是手机····· 关键词: 云计算
曾几何时,我们要传达一个讯息的时候,总是要组织人开会,甚至不惜跋涉很远去参加一个会议,旅途奔波不可避免。后来有了电话会议,尤其是手机流行之后,沟通容易了许多,一些会议也可以通过电话会议或者视频会议解决了。当信息化发展越来越快捷之后,网络会议也成为一种主流,事实上,笔者也经常参加一些知名企业的信息发布会或者财报发布会之类的。这是一种不在现场,也可以有身临其境的感觉,更主要的是方便了许多。
其实,当网络信息成为我们生活中的一种主要应用之后,由此带来的一种机会成本优势正在堆积,更主要的是我们可以节省很多时间和精力。当云概念时代来临之后,我们发现,其实会议也可以进入“云会议”时代。
什么是“云会议”?
云会议其实就是用户只需按照自己喜欢的方式进行开会,而云端看不见的繁琐技术全部留给技术后台来解决。对于用户而言,其实并不需要知晓后台是如何运作的,关键是前台的使用是否便捷,是不是得心应手。这也是信息时代发展中的一种必然变化,也就是说,将视频、电话、网络整合在一起的远程会议产品已经成为一种需求。
如何理解“云会议”?
笔者关注的当然不是云会议的概念,而是应用是否简单?笔者所在单位曾经搭建了自己的视频网络会议,费时费力,成本也不低。在运作的过程中还有很多维护人员。硬件投入、人力维护、财力投入都进行了不少。在效果上也尚可,但是有时候在速度上还是卡。并且应用的时候部门之间容易打架。
那么有没有好的办法解决?起码在成本上更容易控制一些,在使用的过程中也更方便一些,同时能够承载的应用更多一些?其实这也是目前云会议可以帮助我们解决的地方。我们完全可以撇开自建模式,而转而使用第三方平台给我们搭建的模式。通过网络轻松获得数据、图像和声音,从而实现自由通信。这样我们的冗余度会更宽泛一些,自由支配的机会更多,并且更自由。“云会议”的前景有多大?
有关数据显示,未来三年,我国远程会议规模将增长并超过10 亿人民币,年增长率超过30%。这意味着,一方面中国远程会议市场尽管早已形成,但还远未被用户熟知;另一方面则说明该市场在今后将拥有极大发展潜力。
过去远程会议在中国的使用者主要集中在以世界500 强为主的外企身上,现在国内企业也开始愈加关注。为何会出现这种变化?很简单,国内企业的科技发展和网络应用水准已经达到了一定程度,企业的发展需要这种高效的改变。
尤其是企业发展必然会不断地扩展,在扩展地过程中就会滋生更多的部门和分支机构,如何统辖这些部门和机构,就需要不断地联络和分配任务。这就需要一个良好的沟通桥梁,会议自然就无法避免。
正是因为存在着潜在的发展机会,因此一些企业也开始介入到这个市场。中国电信、中国联通等运营商,思科、IBM、微软等巨头,以及全时、263等国内企业,均染指于远程会议市场。运营商凭借自身的基础通信网络,能够为用户构筑一个平台;不过,这个市场的发展处于起步阶段,运营商的投入并不是很上心。大的设备制造商,也意味着大的价钱,性价比不强。而像全时这种通过出租基于Web的远程会议软件和服务,中小企业客户无需做一次性的大额投入来购买场地、设备和软件,反而获得了更多的市场机会。
“云会议”带来的益处
相信很多人第一想到的就是节约时间,简洁便利。事实也是如此。有调查显示,商务人士们平均每天将2小时的时间花费在会议上,远超过了通过邮件和电话做决策、传达决策的时间。
效能的传达需要不折不扣的执行,而下达命令和任务都需要会议来承载。两年前,Gartner Symposium ITxpo技术大会上,Gartner就曾将云计算和统一通信分别选为“未来十大战略技术”。统一会议服务就成为市场的一种需求。它不但可以为用户降低成本,提高协作,还是实现绿色管理的有效途径,无论从哪个角度上讲,它都将成为商务人士进行会议办公的必备工具。
随着“云”计算技术的成熟,“云”的相关业务快速普及,企业信息化将由“无纸办公”阶段向“无IT基础设施”的更高阶段迈进。“云会议”无疑也是这个进程中极具普及价值的远程协作解决方案。
“云会议”的商业应用前景如何?
众所周知,随着商务时代的来临,我们看到越来越多的中小企业开始崛起,他们崛起之后的市场布局也会成为未来商业市场的一种草根群体,虽然单独地看它们或许并不强大,但是他们以蝼蚁之众可以汇聚起极大的力量,聚沙成塔集腋成裘,这就是一个可贵的商机。
随着信息化对人们生产生活的进一步渗透,未来的企业一定是将非核心统统剥离交予第三方服务,企业只关心最核心的价值。就如同我们知晓的第三方支付一样,在起步阶段,我们也并不看好其发展前景,但事实证明,第三方支付带来的便捷是银行都无法替代的。这就是看似一个小的市场却能撬动大的变化。
当市场需求旺盛的时候,当第三方运营商已经能够给市场推出积极有效的平台之后,我们的企业还需要自己搭建平台吗?很显然,最好的办法就是直接使用即可,因为这样付出的成本将更低,对企业集中精力和成本优势进行市场布局也是大有裨益的。云会议无疑就是这样一种可以利用的平台,它的发展前景也必然是可期待的。
第四篇:风起“云”涌 企商在线引领大数据时代下的云计算
风起“云”涌 企商在线引领大数据时代下的云计算
2013年,云计算产业风起云涌,云计算应用层出不穷。金色的十一月,我们迎来了企商在线主办的“大数据时代下的云计算”研讨会。此次大会联合了中国计算机报,盛邀云计算用户、云计算和信息化行业专家,共论顺应云计算趋势、应用云计算和大数据带来的优势,来推动企业转型升级,从而提高企业应变能力。
日前,“大数据时代下的云计算”在古老文明与现代文明集于一体的文化殿堂——中国国家图书馆(古籍馆)-临琼楼二楼隆重召开,此次研讨会荣幸邀请到中国科学院教授彭赓、浙江大学宁波理工学院教授李兴森、中搜集团总裁陈、东软集团副总裁王立民、中国联通云计算运营部副总曹鲁等诸多业内专家,以及中国互联网协会、中国通信行业协会、中国数据中心产业发展联盟等机构代表和各位媒体朋友们。当日到会嘉宾企业达到200余家,涉及媒体、教育、电商、研发公司等行业,大会吸引了众企业高层嘉宾、用户代表、技术精英参与,并受到诸多资深学者、以及众多媒体朋友的关注!
企商在线创始人王熠致辞
大会开场首先由企商在线创始人王总为到场嘉宾致欢迎词,感谢各位到场嘉宾的支持,并借此机会答谢各个行业的新老用户和关心企商在线发展的有识之士。
目前,互联网越来越发达,越来越深入,全民都深度参与到互联网的变革大潮中,大数据的价值变得越来越高。社会的需求推着我们向前走,各个行业都在提云计算,事实证明当时的铺垫为今天的云计算起到了很大的推动作用。但是不能回避的是,大数据的需求也越来越迫切,而且云计算和大数据我们认为是一个天生的关联度很强的两个基因。当把二者放在一个维度上来考虑时,对思路进行重构,对结果进行关联,我们认为需要进行较为深入的探讨。
中国科学院彭赓教授:大数据下的云计算
世界正在逐渐走向物联化(Instrumented)、互联化(Interconnected)和智能化(Intelligent),所有的事物和活动都可以被感测,而感测过程中产生的大量数据又会被输送到后台进行处理,通过庞杂的数据资料,分析出有用的信息,支持和推动决策的有效性。由于数据的来源、传送的方式和使用的方法发生了质的改变,数据利用已经不是用传统的方式把数据输入计算机、通过处理得到报表如此简单。大数据时代下,世界各国将大数据战略提升到国家战略层面,进一步推动了云计算数据中心的广泛应用。
彭教授的话中讲到云计算是一场产业的变革,是即将迎接大数据时代的重要支撑体系,让我们已经充分了解到云计算将重新塑造我们整个IT产业链。
联通运维部副总曹鲁:云计算与大数据的发展实践
为了加速业务的转型和升级,促进移动互联网的发展、推动IT的整合,保障数据的整合集中,从而引发了联通发展云计算和大数据的战略思考。
联通通过采用云技术,以集中大数据为核心,顶层设计引领IT规划建设,服务下沉助力用户感知提升,推动大营销、大服务的一体化建设;构建中国联通统一的大数据服务能力;最终实现对资源弹性调度、安全复用;提高数据价值、密度、效率;应用灵活;保障其真实准确、运营有序。
曹总还向大家展示了提供面向公众的云服务,包括面向通信录、日历、便签、文件、相册、视频、音乐等文件的同步、备份和分享的功能。
浙江大学宁波理工学院李兴森教授:云计算解决方案助力企业快速增长
李教授针对大家熟悉的云计算,进行了三个层次的服务的细致讲解,让我们知道了云计算是一种能够方便、按需从网络访问共享的可配置计算资源(如,网络、服务器、存储、应用程序和服务)池的模型,且只需最少的管理或服务提供方交互即可快速供应和发布该模型,从而降低复杂度、提升业务敏捷性,降低市场响应时间,推动业务与技术创新、改变IT支出的成本结构。
中搜集团总裁陈沛:云计算的理论与实践
中搜集团是继百度之后国内最大的搜索引擎厂商,总裁陈沛讲到:“社会分工是人类进步的动力。”互联网的技术实施包括软件模式、外包模式、自建模式以及云服务模式。云技术的特点能够轻松实现网站的构筑与管理,颠覆传统建站及网络运营、服务模式,从而使我们知道专业分工更能创造价值。陈总生动讲述了传统行业和互联网行业之间的区别,赢得了各界人士的热烈掌声,将大会推到了高潮。
高峰互动
最精彩的环节当属高峰互动环节,参加互动的嘉宾都是业界大腕,他们分别是东软集团副总裁王立民、中国联通云数据有限公司运维部副总经理曹鲁,戴尔集团的李泰生李总以及浙江大学宁波理工学院李兴森教授。四位嘉宾先后探讨了“带宽是不是云计算应用的瓶颈?”、“虚拟化是云计算IaaS中最重要部分,PaaS是体现云计算价值的核心?”以及“云计算在大数据时代能够起到的重要作用?”。大家对云计算的认知全面提高,现场气氛十分活跃。
此次研讨会通过梳理云计算终端用户的需求和实践,更有效的促进了云计算产业创新经济的发展,充分展示了企商在线的综合实力。基于此,企商在线认为云计算是一个趋势,这也是大家公认的,企商在线2008年就向用户提供了云计算的服务,是国内最早推出云主机的公司之一。企商在线云主机是由曾在VMware、IBM 等做研发的归国博士带领研发,经过5年不断创新、不断改进,于2010年开始为客户提供多种定制化的公有云解决方案,这些产品和方案已成功应用于政府、军工、园区、学校、互联网数据中心(IDC)等多个领域。同时,企商在线致力于私有云及大数据核心技术的研究,提供完全自主开发的私有云、大数据产品企业级解决方案。与此同时,企商在线已成功邀请到多位云计算领域的顶级世界著名专家组建公司专家顾问委员会,对公司的产品研发、技术、市场等方面进行指导和支持。通过相关数据统计,从今年的发展来看,企商在线云主机较去年同期增长了300%以上!企商在线将在今后的发展中不断为各企业提供更优质的产品和最佳的解决方案,让更多的企业感受到企商在线一站式的服务的品质。在风起“云”涌的未来!企商在线期待与各界友人合作共赢!
第五篇:大数据与云计算论文
大数据与云计算
摘 要:大数据(Big Data)这个概念近年来在越来越多的场合、被越来越多的人提及,并且经常和云计算联系在一起,云计算与大数据之间到底是什么关系成为热点话题。本
专题报告包含以下四个方面内容:1.大数据的价值;2.大数据带来的挑战;3.大数据研究成果;4.云计算是大数据挖掘的主流方式。通过本报告阐述我们对大数据的理解,以及对大数据的价值的认识,探讨大数据处理与挖掘技术,大数据主要着眼于“数据”,提供数据采集、挖掘、分析的技术和方法;云计算技术主要关注“计算”,提供IT 解决方案。大数据、云计算技术可以促进持续审计方式的发展、总体审计模式的应用、审计成果的综合应用、相关关系证据的应用、高效数据审计的发展和大数据审计师的发展。强化大数据、云计算技术审计应用的措施包括制定长远发展战略、加快审计法规建设、建立行业平台、加强研发和提高利用能力。关键词:大数据 云计算 数据挖掘 对审计影响 政策建议 引言
目前,大数据伴随着云计算技术的发展,正在对全球经济社会生活产生巨大的影响。大数据、云计算技术给现代审计提供了新的技术和方法,要求审计组织和审计人员把握大数据、云计算技术的内容与特征,促进现代审计技术和方法的进一步发展。
一、大数据、云计算的涵义与特征
随着云计算技术的出现,大数据吸引了全世界越来越多的关注。哈佛大学社会学教授加里·金(2012)说: “这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”(一)大数据的涵义与特征
“数据”(data)这个词在拉丁文里是“已知”的意思,也可以理解为“事实”。2009 年,“大数据”概念才逐渐开始在社会上传播。而“大数据”概念真正变得火爆,却是因为美国奥巴马政府在2012 年高调宣布了其“大数据研究和开发计划”。这标志着“大数据”时代真正开始进入社会经济生活中来了。“大数据”(big data),或称巨量资料,指的是所涉及的数据量规模大到无法利用现行主流软件工具,在一定的时间内实现收集、分析、处理或转化成为帮助决策者决策的可用信息。互联网数据中心(IDC)认为“大数据”是为了更经济、更有效地从高频率、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术,用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。大数据具有4 个特点: 第一,数据体量巨大(Volume),从TB 级别跃升到PB 级别。第二,处理速度快(Velocity),这与传统的数据挖掘技术有着本质的不同。第三,数据种类多(Variety),有图片、地理位置信息、视频、网络日志等多种形式。第四,价值密度低,商业价值高(Value)。存在单一数据的价值并不大,但将相关数据聚集在一起,就会有很高的商业价值(金良,2012)。大数据时代,不仅改变了传统的数据采集、处理和应用技术与方法,还促使人们思维方式的改变。大数据的精髓在于促使人们在采集、处理和使用数据时思维的转变,这些转变将改变人们理解和研究社会经济现象的技术和方法。
(1)是在大数据时代,不依赖抽样分析,而可以采集和处理事物整体的全部数据。19 世纪以来,当面临大的样本量时,人们都主要依靠抽样来分析总体。但是,抽样技术是在数据缺乏和取得数据受限制的条件下不得不采用的一种方法,这其实是一种人为的限制。过去,因为记录、储存和分析数据的工具不够科学,只能收集少量数据进行分析。如今,科学技术条件已经有了很大的提高,虽然人类可以处理的数据依然是有限的,但是可以处理的数据量已经大量增加,而且未来会越来越多。随着大数据分析取代抽样分析,社会科学不再单纯依赖于抽样调查和分析实证数据,现在可以收集过去无法收集到的数据,更重要的是,现在可以不再依赖抽样分析。
(2)是在大数据时代,不再热衷于追求数据的精确度,而是追求利用数据的效率。当测量事物的能力受限制时,关注的是获取最精确的结果。但是,在大数据时代,追求精确度已经既无必要又不可行,甚至变得不受欢迎。大数据纷繁多样,优劣掺杂,精准度已不再是分析事物总体的主要手段。拥有了大数据,不再需要对一个事物的现象深究,只要掌握事物的大致发展趋势即可,更重要的是追求数据的及时性和使用效率。与依赖于小数据和精确性的时代相比较,大数据更注重数据的完整性和混杂性,帮助人们进一步认识事物的全貌和真相。
(3)是在大数据时代,人们难以寻求事物直接的因果关系,而是深入认识和利用事物的相关关系。长期以来,寻找因果关系是人类发展过程中形成的传统习惯。寻求因果关系即使很困难且用途不大,但人们无法摆脱认识的传统思维。在大数据时代,人们不必将主要精力放在事物之间因果关系的分析上,而是将主要精力放在寻找事物之间的相关关系上。事物之间的相关关系可能不会准确地告知事物发生的内在原因,但是它会提醒人们事情之间的相互联系。人们可以通过找到一个事物的良好相关关系,帮助其捕捉到事物的现在和预测未来。(二)云计算的涵义与特征
“云计算”概念产生于谷歌和IBM 等大型互联网公司处理海量数据的实践。2006 年8 月9 日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会首次提出“云计算”的概念。2007 年10 月,Google 与IBM 开始在美国大学校园推广云计算技术的计划,这项计划希望能降低分布式计算技术在学术研究方面的成本,并为这些大学提供相关的软硬件设备及技术支持(Michael Mille,2009)。目前全世界关于“云计算”的定义有很多。“云计算”是基于互联网的相关服务的增加、使用和交付模式,是通过互联网来提供动态易扩展且经常是虚拟化的资源。美国国家标准技术研究院(NIST)2009年关于云计算的定义是: “云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务等),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。”根据这一定义,云计算的特征主要表现为: 首先,云计算是一种计算模式,具有时间和网络存储的功能。其次,云计算是一条接入路径,通过广泛接入网络以获取计算能力,通过标准机制进行访问。第三,云计算是一个资源池,云计算服务提供商的计算资源,通过多租户模式为不同用户提供服务,并根据用户的需求动态提供不同的物理的或虚拟的资源。第四,云计算是一系列伸缩技术,在信息化和互联网环境下的计算规模可以快速扩大或缩小,计算能力可以快速、弹性获得。第五,云计算是一项可计量的服务,云计算资源的使用情况可以通过云计算系统检测、控制、计量,以自动控制和优化资源使用。(三)大数据与云计算的关系
从整体上看,大数据与云计算是相辅相成的。大数据主要专注实际业务,着眼于“数据”,提供数据采集、挖掘、分析的技术和方法,强调的是数据存储能力。云计算主要关注“计算”,关注IT 架构,提供IT 解决方案,强调的是计算能力,即数据处理能力。如果没有大数据的数据存储,那么云计算的计算能力再强大,也难以找到用武之地;如果没有云计算的数据处理能力,则大数据的数据存储再丰富,也终究难以用于实践中去。
从技术上看,大数据依赖于云计算。海量数据存储技术、海量数据管理技术、MapReduce 编程模型都是云计算的关键技术,也都是大数据的技术基础。而数据之所以会变“大”,最重要的便是云计算提供的技术平台。数据被放到“云”上之后,打破了过去那种各自分割的数据存储,更容易被收集和获得,大数据才能呈现在人们眼前。而巨量的数据也只能依靠云计算强大的数据处理能力,才能够“淘尽黄沙始得金”。
从侧重点看,大数据与云计算的侧重点不同。大数据的侧重点是各种数据,广泛、深入挖掘巨量数据,发现数据中的价值,迫使企业从“业务驱动”转变为“数据驱动”。而云计算主要通过互联网广泛获取、扩展和管理计算及存储资源和能力,其侧重点是IT 资源、处理能力和各种应用,以帮助企业节省IT部署成本。云计算使企业的IT 部门受益,而大数据使企业的业务管理部门受益。
从结果看,大数据与云计算带来不同的变化。大数据对社会经济带来的变化是巨大的,涉及到各个领域。大数据已经与资本、人力一起作为生产的主要因素影响着社会经济的发展。数据创造价值,而挖掘数据价值、利用数据的“推动力”就是云计算。云计算将信息存储、分享和挖掘能力极大提高,更经济、高效地将巨量、高速、多变的终端数据存储下来,并随时进行计算与分析。通过云计算对大数据进行分析、总结与预测,会使得决策更可靠,释放出更多大数据的内在价值。
二、大数据、云计算技术对审计的影响分析
审计技术和方法的发展是随着科学和管理技术的发展而发展的。现代审计技术和方法体系是在原始的查账基础上从低级向高级、从不完备到比较完备发展起来的。在业务和会计处理手工操作阶段,审计实施的是账表导向的审计技术和方法;当内部控制理论和方法全面应用于业务和会计处理时,审计实施的是系统导向的审计技术和方法;当风险管理理论和方法全面应用于业务和财务管理时,审计实施的是风险导向审计技术和方法;与风险导向审计技术和方法并行的是,计算机技术广泛应用于业务和会计处理时,审计实施的是IT 审计技术和方法。目前,面对大数据、云计算技术的产生和发展,审计人员需要应时而变来适应由此而带来的变化,分析大数据、云计算技术对审计方式、审计抽样技术、审计报告模式、审计证据搜集等技术和方法的影响。(一)大数据、云计算技术促进持续审计方式的发展
传统审计中,审计人员只是在被审计单位业务完成后才进行审计,而且审计过程中并不是审计所有的数据和信息,只是抽取其中有的一部分进行审计。这种事后和有限的审计对被审计单位复杂的生产经营和管理系统来说很难及时做出正确的评价,而且对于评价日益频繁和复杂的经营管理活动的真实性和合法性则显得过于迟缓。随着信息技术迅速发展,越来越多的审计组织对被审计单位开始实施持续审计方式,以解决审计结果与经济活动的时差问题。但是,审计人员实施持续审计时,往往受目前业务条件和信息化手段的限制,取得的非结构化数据无法数据化,或者无法取得相关的明细数据,致使对问题的判断也难以进一步具体和深入。而大数据、云计算技术可以促进持续审计方式的发展,使信息技术与大数据、云计算技术较好交叉融合,尤其对业务数据和风险控制“实时性”要求较高的特定行业,如银行、证券、保险等行业,在这些行业中实施持续审计迫在眉睫。如审计组织对商业银行的审计,实行与商业银行建立业务和数据系统的接口,在开发的持续审计系统中固化了非结构化数据结构化和数据分析模块,该模块可以在海量贷款客户中挖掘、分析出行业性和区域性贷款风险趋势,实现在线的风险预警,并将发现的风险数据、超预警值指标及问题登记为疑点,并建立实时审计工作底稿,按照重要程度进行归类、核实或下发给现场审计人员进行现场核实,以较好处理非结构化数据的利用和数据的实时分析利用问题。(二)大数据、云计算技术促进总体审计模式的应用
现时的审计模式是在评价被审计单位风险基础上实施抽样审计。在不可能收集和分析被审计单位全部经济业务数据的情况下,现时的审计模式主要依赖于审计抽样,从局部入手推断整体,即从抽取的样本着手进行审计,再据此推断审计对象的整体情况。这种抽样审计模式,由于抽取样本的有限性,而忽视了大量和具体的业务活动,使审计人员无法完全发现和揭示被审计单位的重大舞弊行为,隐藏着重大的审计风险。而大数据、云计算技术对审计人员而言,不仅仅是一种可供采用的技术手段,这些技术和方法将给审计人员提供实施总体审计模式的可行性。利用大数据、云计算技术,对数据的跨行业、跨企业搜集和分析,可以不用随机抽样方法,而采用搜集和分析被审计单位所有数据的总体审计模式。利用大数据、云计算技术的总体审计模式是要分析与审计对象相关的所有数据,使得审计人员可以建立总体审计的思维模式,可以使现代审计获得革命性的变化。审计人员实施总体审计模式,可以规避审计抽样风险。如果能够收集总体的所有数据,就能看到更细微、深入的信息,对数据进行多角度的深层次分析,从而发现隐藏在细节数据中的对审计问题更具价值的信息。同时,审计人员实施总体审计模式,能发现从审计抽样模式所不能发现的问题。大数据、云计算技术给审计人员提供了一种能够从总体把握审计对象的技术手段,从而帮助审计人员能从总体的视角发现以前难以发现的问题。
(三)大数据、云计算技术促进审计成果的综合应用
目前,审计人员的审计成果主要是提供给被审计单位的审计报告,其格式固定,内容单一,包含的信息量较少。随着大数据、云计算技术在审计中广泛应用,审计人员的审计成果除了审计报告外,还有在审计过程中采集、挖掘、分析和处理的大量的资料和数据,可以提供给被审计单位用于改进经营管理,促进审计成果的综合应用,提高审计成果的综合应用效果。首先,审计人员通过对审计中获取的大量数据和相关情况资料的汇总、归纳,从中找出财务、业务和经营管理等方面的内在规律、共性问题和发展趋势,通过汇总归纳宏观性和综合性较强的审计信息,为被审计单位投资者和其他利益相关者提供数据证明、关联分析和决策建议,从而促进被审计单位管理水平的提高。其次,审计人员通过应用大数据、云计算技术,可以将同一问题归入不同的类别进行分析和处理,从不同的角度、不同的层面整合提炼以满足不同层次的需求。再次,审计人员将审计成果进行智能化留存,通过大数据、云计算技术,将问题规则化并固化到系统中,以便于计算或判断问题发展趋势,向被审计单位进行预警。最后。审计人员将审计成果、被审计单位与审计问题进行关联,并进行信息化处理,在进行下次审计时,减少实地审计的时间和工作量,提高审计工作的效率。(四)大数据、云计算技术促进相关关系证据的应用
审计人员在审计过程中,应根据充分、适当的审计证据发表审计意见,出具审计报告。但是,在大数据、云计算环境下,审计人员既面临巨量数据筛选的考验,又面临搜集适当审计证据的挑战。审计人员在搜集审计证据时,传统的思维路径都是基于因果关系来搜集审计证据,而大数据分析将会更多地运用相关关系分析来搜集和发现审计证据。但从审计证据发现的角度来看,由于大数据技术提供了前所未有的跨领域、可供量化的维度,使得审计问题大量的相关信息能够得以记录和计算分析。大数据、云计算技术没有改变事物间的因果关系,但在大数据、云计算技术中对相关关系的开发和利用,使得数据分析对因果逻辑关系的依赖降低了,甚至更多地倾向于应用基于相关关系的数据分析,以相关关系分析为基础的验证是大数据、云计算技术的一项重要特征。在大数据、云计算技术环境下,审计人员能搜集到的审计证据大多是电子证据(秦荣生,2013)。电子证据本身就非常复杂,云计算技术使获取有因果关系的证据更加困难。审计人员应从长期依赖因果关系来搜集和发现审计证据,转变成为利用相关关系来搜集和发现审计证据。(五)大数据、云计算技术促进高效数据审计的发展
直到今天,审计人员的数字审计技术依然建立在精准的基础上。这种思维方式适用于掌握“小数据量”的情况,因为需要分析的数据很少,所以审计人员必须尽可能精准地量化被审计单位的业务。随着大数据、云计算技术成为日常生活中的一部分,审计人员应开始从一个比以前更大、更全面的角度来理解被审计单位,将“样本= 总体”植入审计人员的思维中。相比依赖于小数据和精确性的时代,大数据更强调数据的完整性和混杂性,帮助审计人员进一步接近事情的真相,“局部”和“精确”将不再是审计人员追求的目标,审计人员追求的是事物的“全貌”和“高效”。围绕大数据,一批新兴的数据挖掘、数据存储、数据处理与分析技术将不断涌现。在实施审计时,审计人员应利用大数据、云计算技术,使用分布式拓朴结构、云数据库、联网审计、数据挖掘等新型的技术手段和工具,以提高审计的效率。
(六)大数据、云计算技术促进大数据审计师的发展
大数据、云计算时代,数据的真实、可靠是大数据发挥作用的前提。这客观上要求专业人员来对大数据的真实性、可靠性进行鉴证,审计人员可以扮演这种角色,或者称为数据审计师。能对大数据真实性、可靠性进行鉴证的数据审计师应该是计算机科学、数学、统计学和审计学领域的专家,他们应有大数据分析和预测的评估能力。数据审计师应恪守公正的立场和严守保密的原则,面对海量的数据和纷繁复杂的相关关系,选取分析和预测工具,以及解读数据及数据计算结果是否真实、可靠。一旦出现争议,数据审计师有权审查与分析结果相关的运算法则、统计方法以及数据采集、挖掘和处理过程。数据审计师的出现是为满足以市场为导向来解决数据真实性、可靠性问题的需求,这与20 世纪初期为了处理财务信息虚假而出现的审计人员一样,都是为了满足新需求而出现的。
三、大数据挖掘
数据的价值只有通过数据挖掘才能从低价值密度的数据中发现其潜在价值,而大数据挖掘技术的实现离不开云计算技术。在业界,全球著名的Google、EMC、惠普、IBM、微软等互联网公司都已经意识到大数据挖掘的重要意义。上述IT 巨头们纷纷通过收购大数据分析公司,进行技术整合,希望从大数据中挖掘更多的商业价值。数据挖掘通常需要遍历训练数据获得相关的统计信息,用于求解或优化模型参数,在大规模数据上进行频繁的数据访问需要耗费大量运算时间。数据挖掘领域长期受益于并行算法和架构的使用,使得性能逐渐提升。过去15 年来,效果尤其显著。试图将这些进步结合起来,并且提炼。GPU平台从并行上得到的性能提升十分显著。这些GPU平台由于采用并行架构,使用并行编程方法,使得计算能力呈几何级数增长。即便是图形处理、游戏编程是公认的复杂,它们也从并行化受益颇多。研究显示数据挖掘、图遍历、有限状态机是并行化未来的热门方向。MapReduce 框架已经被证明是提升GPU 运行数据挖掘算法性能的重要工具。D.Luo 等提出一种非平凡的策略用来并行一系列数据挖掘与数据挖掘问题,包括一类分类SVM 和两类分类SVM,非负最小二乘问题,及L1 正则化回归(lasso)问题。由此得到的乘法算法,可以被直截了当地在如MapReduce 和CUDA 的并行计算环境中实现。K.Shim 在MapReduce 框架下,讨论如何设计高MapReduce 算法,对当前一些基于MapReduce 的数据挖掘和数据挖掘算法进行归纳总结,以便进行大数据的分析。Junbo Zhang 等提出一种新的大数据挖掘技术,即利用MapRedue 实现并行的基于粗糙集的知识获取算法,还提出了下一步的研究方向,即集中于用基于并行技术的粗糙集算法处理非结构化数据。F.Gao 提出了一种新的近似算法使基于核的数据挖掘算法可以有效的处理大规模数据集。当前的基于核的数据挖掘算法由于需要计算核矩阵面临着可伸缩性问题,计算核矩阵需要O(N2)的时间和空间复杂度来计算和存储。该算法计算核矩阵时大幅度降低计算和内存开销,而且并没有明显影响结果的精确度。此外,通过折中结果的一些精度可以控制近似水平。它独立于随后使用的数据挖掘算法并且可以被它们使用。为了阐明近似算法的效果,在其上开发了一个变种的谱聚类算法,此外设计了一个所提出算法的基于MapReduce 的实现。在合成和真实数据集上的实验结果显示,所提出的算法可以获得显著的时间和空间节省。Christian Kaiser 等还利用MapReduce 框架分布式实现了训练一系列核函数学习机,该方法适用于基于核的分类和回归。Christian Kaiser 还介绍了一种扩展版的区域到点建模方法,来适应来自空间区域的大量数据。Yael Ben-Haim 研究了三种MapReduce 实现架构下并行决策树分类算法的设计, 并在Phoenix 共享内存架构上对SPRINT 算法进行了具体的并行实现。F.Yan 考虑了潜在狄利克雷分配(LDA)的两种推理方法——塌缩吉布斯采样(collapsed Gibbssampling,CGS)和塌缩变分贝叶斯推理(collapsedvariational Bayesian,CVB)在GPU 上的并行化问题。为解决GPU 上的有限内存限制问题,F.Yan 提出一种能有效降低内存开销的新颖数据划分方案。这种划分方案也能平衡多重处理器的计算开销,并能容易地避免内存访问冲突。他们使用数据流来处理超大的数据集。大量实验表明F.Yan 的并行推理方法得到的LDA 模型一贯地具有与串行推理方法相同的预测能力;但在一个有30 个多核处理器的GPU 上,CGS 方法得到了26倍的加速,CVB 方法得到了196 倍的加速。他们提出的划分方案和数据流方式使他们的方法在有更多多重处理器时可伸缩,而且可被作为通用技术来并行其它数据挖掘模型。Bao-Liang Lu 提出了一种并行的支持向量机,称为最小最大模块化网络(M3),它是基“分而治之”的思想解决大规模问题的有效的学习算法。针对异构云中进行大数据分析服务的并行化问题G.Jung 提出了最大覆盖装箱算法来决定系统中多少节点、哪些节点应该应用于大数据分析的并行执行。这种方法可以使大数据进行分配使得各个计算节点可以同步的结束计算,并且使数据块的传输可以和上一个块的计算进行重叠来节省时间。实验表明,这种方法比其他的方法可以提高大约60% 的性能。在分布式系统方面,Cheng 等人 提出一个面向大规模可伸缩数据分析的可伸缩的分布式系统——GLADE。GLADE 通过用户自定义聚合(UDA)接口并且在输入数据上有效地运行来进行数据分析。文章从两个方面来论证了系统的有效性。第一,文章展示了如何使用一系列分析功能来完成数据处理。第二,文章将GLADE 与两种不同类型的系统进行比较:一个用UDA 进行改良的关系型数据库(PostgreSQL)和MapReduce(Hadoop)。然后从运行结果、伸缩性以及运行时间上对不同类型的系统进行了比较。
四、总结 大数据的超大容量自然需要容量大,速度快,安全的存储,满足这种要求的存储离不开云计算。高速产生的大数据只有通过云计算的方式才能在可等待的时间内对其进行处理。同时,云计算是提高对大数据的分析与理解能力的一个可行方案。大数据的价值也只有通
过数据挖掘才能从低价值密度的数据中发现其潜在价值,而大数据挖掘技术的实现离不开云计算技术。总之,云计算是大数据处理的核心支撑技术,是大数据挖掘的主流方式。没有互联网,就没有虚拟化技术为核心的云计算技术,没有云计算就没有大数据处理的支撑技术。
参考文献
秦荣生.大数据、云计算技术对审计的影响研究 何清.大数据与云计算
张为民.云计算: 深刻改变未来
文峰.云计算与云审计———关于未来审计的概念与框架的一些思考
Big data and cloud computing Big Data(Big Data)in recent years, more and more occasions, the concept is mentioned more and more people, And often, and cloud computing together, what is the relationship between cloud computing and big data become a hot topic.this Special report contains the following four aspects: 1.The value of big data;2.Big data challenge;3.Big data research;4.Cloud computing is the mainstream way of data mining.Through this report on our understanding of big data, as well as the understanding of the value of big data, large data processing and mining technology, large data mainly focus on “data”, provide the technology and methods of data collection, mining and analysis;Cloud computing technology focusing on “computing”, providing IT solutions.Big data and cloud computing technology can promote the development of continuous audit mode, the overall audit mode of application, the audit results of comprehensive application, the application of related evidence, the development of efficient data audit and the development of large data auditor.Strengthen big data and cloud computing technology measures of audit applications include set up long-term development strategy, accelerate the construction of the audit regulations, establish a platform, to strengthen research and development and improve the utilization ability.Keywords: big data cloud computing data mining impact on the audit policy Suggestions