第一篇:云计算的安全技术综述(改)
云计算的安全技术综述
** 摘要:云计算是一类新兴的计算方式,也是一种按使用量付费的全新交付模式,因其使快速有效处理海量的数据变为可能,从而引起社会各界的广泛关注。本文首先论述了云计算的兴起渊源,分析了算法的优越性,并介绍了该技术带来的安全问题及其相应的技术,最后介绍了相关应有及未来的发展方向。
关键词:云计算;云计算安全;安全技术及应用
Keyword:Cloud Computing,Cloud Computing Security,Security Technology and application 0 引言
云是一种并行和分布式系统组成的一组相互关联和虚拟化的计算机,它基于服务层协议动态配置,作为一个或多个统一的计算资源,基于服务商和消费者之间通过谈判建立[9]。而所谓的云计算,是通过基Internet的计算方式,把共享的软硬件资源、信息按需供给计算机和其他设备,是一种按使用量付费的全新交付模式。
随着社会信息化与网络技术的快速发展,各种数据呈现出一种爆发式的增长,正是因为云计算的存在,使快速有效处理海量的数据变成可能。而云计算多用户、虚拟化、可扩展的特性使传统信息安全技术无法完全适用于云计算平台。因此,云计算的存在又带来了一个新的安全问题,它成为制约云计算发展的一大重要因素。本文首先阐述了云计算的理论依据,然后再对其带来的安全问题、关键技术及其应用进行讨论。1 云计算的理论依据
云计算的概念是由2006年Google提出的,它可认为是分布计算、并行计算、网格计算等多种计算模式混合的进一步演化[17]。1.1云计算的服务模型
现如今,云计算主要提供以下三个层次的服务:IaaS、SaaS和 PaaS。
基础设施级服务(IaaS)是通过Internet向用户提供计算机、存储空间、网络连接、防火墙等等的基本的计算机资源,然后用户可以在此基础上随心所欲的部署和运行各种软件,其中包括OS和应用程序,通过网络,消费者可以从完善的计算机基础设施获得服务。软件级服务(SaaS)是一种通过Internet提供软件的模式,用户可以直接向供应商租用基于Web的软件,用来管理企业的运营却不需要购买,但是,云用户没有管理软件运行的基础设施、平台的权限,只能做一些非常有限的应用程序的设置。
平台级服务(PaaS)是将软件研发平台作为一种服务以SaaS的模式交付给用户,因此,PaaS实际上也是SaaS应用的一种,但它主要面向的是进行开发的工作人员,并为其提供在互联网上的自主研发、检测、在线部署应用。1.2云计算的成功优势 云计算之所以能够被广泛利用,是因为它有着传统IT服务没有的优势。
一、资源池化和透明化。对云服务供应者来说,云计算采用虚拟化技术对各种底层资源如计算、储存、网络、资源逻辑等资源进行抽象,可以被统一管理和调度,成为所谓的“资源池”,从而为用户提供按需服务;对用户来说,这些资源是透明、无限大的,用户无须了解内部结构、所用资源具体物理位置,也不用参加具体的设备管理,只用关心自己的需求是否得到满足就可以了,体现云计算资源抽象化的优点,同时降低用户对于IT专业知识的依赖。
二、按需访问、按需服务。云计算为用户提供了三种不同层次的服务,因此用户只需拥有网络就可随时随地地接入云中,使用浏览器或其他形式的接口就可以较为方便轻松的访问自己所需的软件服务和资源,而所有的有关于服务管理的工作则交给云供应商完成,这样的机制则让用户使用各种软件服务和各类资源如煤气、水电一样取用方便且费用低廉。2 云计算的安全问题
虽然云计算可以为用户提供最大化资源利用的、自定义的、可靠的服务,是种新的分布式计算模式,它与传统的IT网络服务相区别,但传统信息安全的各种威胁都适用于计算机云平台。而它本身的动态服务的特性,给信息界带来一场巨大的变革,而该变革给信息安全领域带来的冲击是巨大的,具体表现在:(1)在云平台中运行的各类云应用的基础设施和安全边界随时随地都在发生着改变,因此,针对于用户的数据安全、隐私保护非常难以实现;(2)部署安全防护措施由于多个管理者共同享有云服务资源,存在必然的利益冲突,没有办法实现统一的规划;(3)由于云平台中的数据、计算高度集中的,因此,云计算的安全措施必须要满足海量的信息的处理需求。
综上,云计算安全问题成为发展云计算技术的重中之重。针对其复杂性,云计算的安全问题也应该是一个包括管理、技术、法律法规的综合体,它的安全的总体框架如图1所示:
图1 云计算安全总体框架 数据安全
云计算的特点决定了数据要实现在“云”端的集中存储,就必须要保障不同用户数据的安全隔离;云端的服务器可能会“宕机”,在这种情况下,如何安全高效的进行数据迁移非常关键;云计算采用租赁方式向用户提供资源,这意味着一个用户使用过的存储区域会被其他用户使用,因而必须解决好数据残留问题。3.1 云环境下的数据安全存储面临以下挑战(1)数据的加密存储
在传统信息系统中,一般采用加密方式来保证存储数据的安全性和隐私性。但在云中,这样做起来却并不容易,因为对于任何需要被云应用或程序处理的数据,都是不能被加密的,很多类似于检索、运算这样的操作对于加密的数据甚至无法进行。
(2)数据隔离
多租户技术是PaaS和SaaS云用到的关键技术。由于云计算采用共享介质的数据存储技术,不同用户的数据可能会被存储在同一物理存储单元上。尽管云服务供应商会使用一些隔离技术(如数据标签和访问控制技术相结合)来防止对混合存储数据的非授权访问,但它依然能通过程序漏洞实现,如Google Does在09年3月就发生过不同用户间文档的非授权访问。
(3)数据迁移
当云中的服务器“宕机”时,为了确保正在进行的服务器继续进行,需要将正在工作的进程迁移到其他服务器上。为了让用户几乎无法感受到“宕机”的发生,迁移必须高速进行;为了让进程在新的机器上恢复运行,必须保证数据的完整性。
(4)数据残留
残留数据是指删除数据后的残留形式,逻辑上已经被删除,但物理上依然存在。残留数据可能无意中透露用户的敏感信息,攻击者可能捕获这些痕迹恢复出原始数据。而在云中,残留数据可能导致一个用户的数据无意被透露给未授权的一方。所以在存储空间再次分配给其他租户之前,云服务商须向用户保证并证明用户储存空间在释放、共享或分配至其他用户之前,空间内信息都已全部删除[1]。3.2 云数据安全存储技术研究
加密无疑是保护云中存储的数据的安全性和隐私性的重要方法之一。如今我国计算机所使用的传统加密技术主要有两类:一种为对称加密技术,另一种为非对称加密技术。当前被关注的安全存储技术包括同态加密技术、基于VMM的数据保护技术等等。3.2.1 云数据安全存储框架
微软研究院的Kamara等人提出了面向公有云的加密存储框架,该框架的主要特点有两个:数据由所有者控制:数据的安全性由密码机制保证。该框架除了能解决数据存储 的隐私问题和安全问题外,还能解决数据访问的合规性、法律诉讼、电子取证等问题。不过,该框架只是一个宏观的模型,并没有给出具体实现方法。
文献[7]中提到了一种分散式云存储安全架构。该架构采用信息扩散法、分散存储管理、数据自举恢复等技术,分层实现数据的安全存储管理和传输。该方法定期检查数据片受损情 况,若存在受损数据,则根据互为冗余的存储设备上的数据加以恢复,从而提高数据的可用 性。从数据存储到传输,都建立了相应的保护措施,进行云存储层与其他层间的安全防范,实现了数据的有效防护。该架构并没有具体说明如何保证数据的完整性,数据分片难以确保数据 的隐私性和安全性。3.2.2 云数据安全存储技术
(1)同态加密技术
运用这种加密技术可以实现明文上执行指定的代数运算,结果等同于在密文上的另一个(可能是不同运算)代数运算结果同态加密。其思想起源于私密同态,它允许在不知道解密函数的前提下对加密数据进行计算。文献[7]中提到了一种同态加密算法,它通过运用向量和矩阵的各种运算来实现对数据的加解密,并支持对加密字符串的模糊检索和对密文数据的加减乘除,该算法在执行加减运算时效率较高,但在执行乘除运算时效率较低,且运算代价随向量维度的增加而增加。
(2)基于VMM的数据保护技术
有一种基于VMM的云数据机密性保护方法,它基于SSL来保证数据传输的安全,利用Daoli安全虚拟监控系统保护数据存储的安全。该方法将云端的OS和分布式文件系统进行隔离,数据加密由虚拟机监控系统来完成,实现OS和用户数据的隔离。虽然该方法保证多租户环境下隐私数据不会泄露给其他用户,但数据还是可能会泄露给云服务提供商。
(3)基于加解密的数据安全存储技术
公有云中存储的数据一般属于外包数据,存在不少基于传统的加解密技术的研究来确保外包数据的安全。有基于代理重加密方法的数据分布式安全存储方案[2],但该方案存在恶意服务器和任意一个恶意用户勾结就能计算出所有密文数据的解密密钥的漏洞,严重威胁数据的安全;还有一种基于密钥导出方法的非可信服务器数据安全存储方案,但文件创建操作及用户授权/撤销的复杂性与用户数量成线性关系,这使得系统规模难以扩展。
(4)支持查询的云数据加密存储技术
使用SE,用户将查询关键字或查询条件提交给云中的查询服务器,查询服务器通过检索关键字索引找到符合条件的数据,然后将查询结果返回给用户。但SE要求输入的查询关键字不能有任何错误且格式必须遵循规定的统一格式。针对这一问题,有一种面向云密文数据的模糊查询方法,它可以将关键字和事先生成的模糊关键字集合进行匹配,密文无需解密,文件的安全性得到保证。
(5)基于可信平台的数据安全存储技术
由于软硬件的不可信也是造成云数据存储面临挑战的重要原因,文献[7]中提到了一种针对使用数据保护提出了基于二次混淆的隐式分割机制。但该方案在使用数据存储是进行的二次分割和矩阵运算时存储效率低,难以扩展。4 应用安全
云计算应用为广大用户提供了极大方便,但是又由于其将大量的使用者、信息资源过于集中在一起,这样一来,假设出现安全问题,它的结果是我们承担不起的。而用户在使用云应用的时候,信任应用程序会保护其数据,但实际上SaaS服务商对此并未作出任何承诺[3]。因此,应用安全也成为了阻碍云计算发展的非常重要的因素之一。4.1 云计算下应用安全面临的主要问题(1)终端用户安全
用户在使用云计算系统过程中,应确保自身计算机能够正常运行以及计算机的安全。目前用户获得云服务的主要接口就是浏览器,所以浏览器的安全与否极为重要。要实现端到端的安全,就必须采取一些措施来保护浏览器的安全。以免其受到入侵或破坏,从而保证数据运输过程中的安全。
(2)SaaS应用安全
在这种服务模式下,用户无需控制或是管理云计算系统当中的基础设施,云计算提供商维护管理所有应用,必须保证应用程序和组件的安全性。用户只需负责最高层面的安全问题,即用户自己的操作安全、个人密码等秘密信息的保管。选择SaaS的提供商要特别慎重,因为会负担绝大部分的安全责任,提供商要最大限度地确保提供给用户的服务的安全性。4.2 云计算应用安全相关技术
对于终端的保护,可以采用终端控制技术,该技术的核心层面在于用户使用防护软件进行自身的数据保护。例如,在终端上安装安全软件,如杀毒软件、防火墙、防恶意软件等来确保计算机的安全性;与此同时,用户应及时更新自身所使用的浏览器,并及时更新系统,下载系统补丁,减少计算机中的漏洞。
对于SaaS的保护,用户应尽量了解云服务提供商所提供的云服务的虚拟数据存储架构,云服务提供商应加强软件的安全性管理。目前,对于提供商的评估方法是根据保密协议,要求提供商提供相关的安全实践信息,该信息应当包括黑盒与白盒安全测试记录。而企业所采用的安全防护手段就是及时进行云计算技术安全状态的检查。5 虚拟化安全
虚拟化技术可以将多个OS整合到一台服务器上,从而简化计算框架,降低资源管理成本,减少资金与硬件设施的投入,从而更大化、最优化地使用硬件资源和计算资源,有效地实现云服务的可扩展性和可伸缩性。5.1 云计算虚拟化安全面临的主要问题
虚拟化技术的采用,在对云服务的提供能力上有所增强,在基础设施和软件层面都有所改进。然而,也面临着一些安全问题,主要体现在:
(1)主机的损坏,随之而来的是客户端服务器的安全性受到威胁。(2)虚拟网络的破坏,随之而来的也是客户端的损害。
(3)网络的安全性问题将直接导致客户端共享和主机共享的安全性能。(4)主机的功能性问题将直接引发虚拟机的问题。
总的来讲,若云计算平台上采用了虚拟技术,则其云架构提供者必须对其客户提供安全性以及隔离保证,在应用虚拟化技术的时候归为两方面的风险:虚拟化软件安全和虚拟服务器安全。5.2 云计算虚拟化安全相关技术
(1)虚拟化软件安全
在IaaS云平台中,软件完全由云服务商来管理,用户不用访问此软件层。因此,虚拟化软件安全必须严格控制虚拟化软件层的访问权限, 这样才能保障计算机同时运行多个操作系统的安全性,对于云服务提供商来说必须建立健全的访问控制策略来保障虚拟化层次的用户数据安全。
(2)虚拟化服务器安全
在兼顾虚拟服务器特点的前提下,物理服务器的安全原理可以移植到虚拟服务器上应用,当虚拟服务器启动时,TPM安全模块会去检验用户密码,若此时输入的用户名和密码的Hash序列不对则虚拟服务器终止启动[13]。最好使用可支持虚拟技术的多核处理器,这样可以做到CPU间的物理隔离,这样可以避免许多不必要的问题。
除此之外,文献[13]中还提到了基于虚拟机技术实现的grid环境下的隔离执行机,核心分配可以通过缓存层次感知,和给予缓存划分的页染色的两种资源管理方法实现性能和安全隔离。云计算的应用现状
(1)在测试领域的应用
在软件测试方面,云供应商以按需租用的方式向用户提供SaaS、PaaS、IaaS3种层次的服务,使软件开发者无需以高成本高买、安装和配置本地测试环境,从而为软件测试提供极大便利;
在硬件测试方面,云计算的“平台级服务”的模式可以为硬件测试提供高效的解决方案,如Internet公司,采用iLab的私有云平台,通过虚拟化、链式克隆、安全通道、先进的整合手段与管理技术,以自助式服务站点管理测试实验室,可以在2min之内部署一个测试环境,将物理系统加入到虚拟测试环境中,从而有效的节省了部署测试环境的时间同时大大节省了成本;
在自动测试系统方面,文献[14]提出了一种基于云计算技术的自动测试系统架构方案,该方案测试基础资源由测试资源和云计算基础设施构成,是可通过网络访问的、可配置的共享测试资源池,测试管理平台是为测试开发者、使用者和管理者供的统一的服务平台,测试服务应用则是将测试提供给用户的最终环节,它可以比传统的测试系统具备更强大的功能、更优良的性能、更开放的结构、更灵活的使用方式以及更自由的操作
对于未来,我们可以利用云计算建立一个统一的平台,将大量分布式的测试资源有效管理和调用,使在开发测试系统时,不再受限于测试资源的有限性和地理位置的约束;还可以以云计算为基础架构,结合分布式测试和并行测试等技术,在紧急情况下集中管理、调用强大的云计算资源和一切可用的测试资源。
(2)在图书馆中的应用
亚利桑那大学图书馆的IaaS应用案例,使用了Amazon Web Services,利用开源软件 DSpace构建数字化馆藏,利用开源软件Koha构建联合书目,采用Linode Cloud服务,利用开源软件Joomla构建图书馆网站。
在国内,正在实施中的CALIS数字图书馆云服务平台,将能够提供IaaS、PaaS、SaaS服务,构建大型分布式的公共数字图书馆服务网络,将云环境下各个图书馆的资源和服 务进行整合,为图书馆提供更多的服务。
文献[15]提出可以利用SaaS为图书馆提供服务,SaaS模式的优点使得中小型图书馆能更多地关注工作流程和读者服务;大型图书馆从成本的角度考虑也可以将部分分软件系统迁移到SaaS平台;还可以利用PaaS和IaaS为图书馆提供服务,利用开源软件快速部署图书馆软件应用平台,将开源软件与PaaS平台紧密结合,同时把图书馆部分应该部署到IaaS平台,以满足图书馆实际应用需求。
(3)在云平台中的应用
由于应用软件缺乏成熟操作模型作为服务意味着云计算能力尚未开发和研究到充分开发的水平。因此,文献[16]提出在云环境中,自动上传一个新的数据框架后,适当认证和处理它们的任务(收集和共享),以检验正确性假设。然后检查程序能力低于三参数,基于这三个参数可以找到更好的应用软件作为服务的方法。
文献[3]为了能够对云计算服务平台进行数据安全性的管理,提高云计算服务系统的可靠性,基于DIFC模型下,以命题逻辑为基础设计动态信息流的控制机制与系统,从而保证数据模型的清晰性与完整性,并且提高系统的可靠性。文献[13]提出虚拟化架构的可信云计算平台在建立用户与虚拟机关联后,仅使用数字信封便能封存虚拟机,用户访问或使用资源时通过PKI中间件使用用户的私钥解密虚拟机中的数字信封,最大程度保证数据完整性和安全性。7 结语
社会发展步伐在不断的加快,网络环境安全与否现在已成为了推动我国发展的重要因素,同时也是现代化建设的重要体现。而随着互联网的快速发展,云计算的各种应用在我国使用的越来越广泛,它的发展光景不可预测,云计算的安全问题便变成了社会各界人士关注的焦点与发展的热点。因此,在云计算环境下,我国的云计算服务供应商必须要给予更多的关注并加强对其安全的管理,不断的完善与提高相关的云计算的安全技术,提升云环境下的网络安全性,让用户通过良好的、健康的云计算安全环境,更为放心的使用云计算系统,以此来促进云计算的发展。参考文献
[1] 高雪莹, 吴韶波, 陈思锦.云计算及其安全技术[J].物联网技术, 2014(3):88-90.[2] 丁一军, 于桂荣.云计算:安全技术问题探讨[J].科技创新导报, 2015(7):58-59.[3] 肖锟, 袁俊.云计算平台的数据安全技术分析[J].黔南民族师范学院学报, 2014, 34(6):102-105.[4] Tari Z, Yi X, Premarathne U S, et al.Security and Privacy in Cloud Computing: Vision, Trends, and Challenges[J].IEEE Cloud Computing, 2015, 2(2):30-38.[5] Mahalle S, Jaiswal R.Cloud Computing Security: A Survey[J].International Journal of Computer Applications, 2015, 115(6):21-25.[6] 闫盛, 石淼.基于云计算环境下的网络安全技术实现[J].计算机光盘软件与应用, 2014(23):168-168.[7]冯朝胜, 秦志光, 袁丁.云数据安全存储技术[J].计算机学报, 2015, 38(1):150-163.[8] Dinadayalan P, Jegadeeswari S, Gnanambigai D.Data Security Issues in Cloud Environment and Solutions[C]// World Congress on Computing and Communication Technologies.2014:88-91.[9]高其胜, 陈艳峰.云计算虚拟化安全研究[J].图书馆学研究, 2015(11):46-50.[10]王笑帝, 张云勇, 刘镝,等.云计算虚拟化安全技术研究[J].电信科学, 2015, 31(6):1-5.[11] 罗伟.基于云计算安全的关键技术分析[J].电脑知识与技术:学术交流, 2015, 11(2X):51-53.[12] 申璁.云计算安全的关键技术分析[J].科技传播, 2016, 8(8).[13] 白堃.基于云计算环境下的数据安全保护技术分析[J].电子设计工程, 2015, 23(10):149-151.[14] 肖明清, 杨召, 薛辉辉,等.云计算及其在测试领域的应用探索[J].空军工程大学学报·自然科学版, 2015(1):50-55.[15] 余正祥, 胡云.云计算在图书馆中的应用研究[J].图书情报工作, 2014(S1):254-256.[16] S Kembhavi,G Singh auto upload and chi-square test on application software as a service for cloud computing encironment[J].International Journal of Advanced Technology and Engineering Exploration ISSN(Print): 2394-5443 ISSN(Online): 2394-7454 Volume-1 Issue-1 December-2014 [17] Zhao F, Li C, Liu C F.A cloud computing security solution based on fully homomorphic encryption[C]// International Conference on Advanced Communication
第二篇:云计算及其安全技术学习心得
云计算及其安全技术学习心得
作为一个云计算技术研究的工作人员,通过本课程的学习加深了我对云计算及其安全技术的认识。主要的心得体会如下:
随着科学技术的迅速发展,现代信息化建设对信息量的要求越来越高,传统IT技术已不能满足要求,高效率、低成本地对海量数据进行存储和处理的云计算技术就应运而生。云计算[1]是基于互联网的相关服务的增加、使用和交付模式,通过互联网来提供动态易扩展虚拟化的资源。云计算将赋予互联网更大的内涵,更多应用能以互联网服务的方式交付和运行;同时也扩大了IT软硬件产品应用的外延和改变了软硬件产品的应用模式。云计算是一种新的商业模式,带动IT产业格局的变化,为全球信息技术产业带来全新的发展机遇,同时也深刻影响世界经济的发展。
我国政府高度重视对云计算的发展,把云计算列为重点发展的战略性新兴产业。2012年9月,为了加快推进云计算技术创新和产业发展,科技部发布了《中国云科技发展“十二五”专项规划》。权威机构预测,未来三年中国云计算产业链的产值规模将达到2000亿元。《2013-2017年中国云计算产业发展前景与投资战略规划分析报告》指出,近年来企业在不断增加其云服务资产,并已经准备好开始集成工作;调查发现超过74%的企业客户计划用服务提供商来实现系统集成。同时,随着我国智慧城市建设的铺开,以及各地方的公有云和大型企业私有云建设的快速开展,中国云计算市场规模将进一步增大。
云计算技术的快速发展,用户对其可靠性和安全性有了越来越多的需求。根据美国研究公司Gartner发布的《云计算安全风险评估》的报告称云计算服务存在着如下七大潜在的安全风险[8],安全问题依然不容忽视:可审查性、特权用户的接入、数据隔离和加密、数据恢复、数据位置、长期生存性以及调查支持持特定的调查。
云计算安全技术主要表现在身份的保护、基础设施的保护和信息数据的保护三个方面。第一个方面就是身份的保护。对于身份安全来说,用户需要强认证机制,一般考虑ID和密码的保护。在云环境中需要身份认证技术,才能实现云服务和应用的安全迁移;第二个方面是基础架构的安全保护。基础架构主要包括软硬件、网络设备、操作系统和应用环境等。对基础架构安全来说,要确保基础架构的安全是一项非常大的挑战。这就需要非常强的可信链条,这个可信链条不仅包括硬件安全,还有因特网、操作系统、虚拟化等,整个链条都要有非常强的可信性;第三个方面就是数据和信息的安全保护。对于数据和信息的安全保护也有两个方面,既数据的完整性和信息的保密性。数据的完整性主要指数据在被访问的时候,不应该被随意篡改、增加或删减。信息的保密性指信息只能是有权限的人才能阅读。这方面的技术主要有分布式的密钥管理技术、密钥的加密技术以及DLP技术等。
云计算作为一项新兴的技术,特点突出、优势明显,得到了众多人的追捧。云计算技术高速发展给互联网带来了新的机遇与挑战,各大IT公司加入到云计算行业,推出自己的云服务。但与此同时,云计算还面临诸多安全隐患,尤其是云安全问题,有待云计算相关安全技术的进一步研究解决。
第三篇:云计算安全
云计算安全
前些天去听了下“中国计算机大会”的安全专场,在杭州的“第一世界大酒店”。
我前一天晚上记错了,告诉老婆说,我明天要去“世界第一大酒店”开会,牛B的不行,到了才知道,原来是“第一世界大酒店”。
这次大会是我们公司的主场,主会场是讨论云计算、物联网。安全有个分会场,来了许多专家,估计是出于主办方的要求,言必出“云安全”、“云计算安全”,云来云去的,搞的我也云里雾里了。
说来惭愧,我在公司的主要工作之一就是搞云计算安全,但是搞来搞去,我发现什么都没有改变。
要说起云计算,至今业界都没有一个非常标准的定义。每个企业都有自己定义的云计算。主要有两类,一个是跑在Map/Reduce框架下的计算平台,以此为代表的有hadoop,还有一些海量存储的,比如google的bigtable等。另一类就是虚拟机平台,以此为代表是Amazon、VMware。
云计算的另一个特征应该就是有“数据中心”,用土话来说就是要有一个超大规模的机房,规模没上去,也不叫云计算。所以用个三到四台服务器搭了hadoop,这个也不能叫云计算。
至今为止,很多人都搞不明白虚拟机类的云计算平台比起那些卖虚拟空间的有啥区别,说句老实话,我也没搞清楚。即便是后台调度有些区别,我认为也是有限的,不具有突破性。可能最大的区别在于,“云”的价格会便宜点,不过这不是我们这些安全工程师所关心的。
尝试着讲明白了什么是“云”,那现在就来戳穿一下所谓的“云计算安全”。先讲讲所谓的“云安全”,现在很多安全厂商,都跟风把自己的产品叫云安全。什么是云安全?就是建个机房,然后有桌面产品的就把产品上抓到的木马样本发回中心机房,有IDC流量监控的就把数据抓了发回中心机房,这个就叫做“云安全”。
我靠,这玩意不是若干年前就有的吗?很多软件虽然没说,但早就这么做了。原来这就是“云安全”,一个我们用了很多年的东西,现在终于可以光明正大的说出来了!更可怕的时候,在没有所谓云安全的时候,我们的隐私还是自己的,有了云安全,个人电脑里的数据、文件会自动发给厂商,你不担心吗?
所以“云安全”这个东西,和“云计算安全”完全是两码事,跟云计算也不搭边。当然,你要硬说你建了数据中心,也用了hadoop,所以你的云安全是真的,那我也无话可说了。
“云计算安全”这个概念,在我看来,和以前有一个概念很像。什么呢?“电子商务”。我大学是学这个专业的,我读了个在职研究生,也是读这个方向。但我至今没搞明白学了什么,至今无法讲清楚电子商务的概念。记得当初毕业的时候,我们专业的所有人都很迷茫,不知道这个专业能干吗,没人知道。
当没有人能够讲清楚一个大家都在用的概念时,那么,肯定是有问题的。这并不是一个只有爱因斯坦才懂相对论的时代,这是一个卖冰棍的大妈都知道云计算的时代!
什么是电子商务?在中国,是淘宝,是阿里巴巴,在美国,是ebay,是amazon。
今天的所有概念,都在随着实践的改变而改变。所以今天没有人能讲清楚什么是“云计算安全”,是很正常的一件事情。我们看一张MAP:
什么是云计算安全?这就是云计算安全。从这张图上的第一个直观印象就是,所有的安全方法、安全产品,都没有改变。我们以前是怎么做安全的,在云计算时代,还是怎么做。
我们要做代码review,要做防火墙,要做WAF,要做XXX,这些都没有变。
既然你什么都没变,那你在折腾个什么劲?因为今天“云计算”被炒的太火了,很少有人能说清楚什么叫云计算,更没有人可以说清楚什么叫“云计算安全”。但是你不这么说,好像就会落伍了,就会被鄙视了。陋习!
从字面上看,给云计算做安全,就叫云计算安全。从某种意义上来说,“云计算安全”是另外一种屠龙术,挂羊头卖狗肉。如果有人要开个班,培训“云计算安全”,那一定是骗人的。因为我今天见到的任何所谓“云计算安全”,无论国内的还是国外的,都不具有突破性,不需要专门开辟一个领域,叫做“云计算安全”,我们也不需要任何的神坛。
但是云是需要安全的,云需要什么样的安全?我们不妨叫做:“云计算的安全”。从宏观层面来说,和传统安全没什么变化,还是网络策略,代码实现安全,数据保护等等。
真要说云时代安全的特征,我认为有两个,一个是在云中需要执行用户代码的时候,比较注重虚拟机技术以及各类sandbox技术,另一个就是用户数据的保护。不过这些技术,都没有突破传统安全技术的范畴。局部有创新,总体没改变。
会有些变化的领域,应该是“基于云计算的服务安全”,上层应用会带来各种各样的多变性。比如卖虚拟空间啊,比如云的终端放在手机上啊,再比如一些基于云的SAAS服务啊,都会带来非常独特的功能,所以基于云服务的安全怎么做,才是真正需要创新和定制化的地方。
我已经厌烦了整天云来云去的,这个安全产业出于对利益的追逐,太浮躁了。
第四篇:云计算不是一种服务是一项技术
云计算不是一种服务是一项技术
在2011CENC中国企业网络通信大会上,工信部电信研究院总工程师蒋林涛表示云不是一种服务或者服务理念,而是一种技术,而且不是一项全新的技术,是一系列技术的继承和发展。
云计算与三种服务形态没有直接关系
提到云计算,人们总是要列出IaaS、PaaS、SaaS这三种服务形态。但是对此,蒋林涛认为这三种个服务形态早已经存在,不是只有云才能提供,这三种服务形态和云计算并没有直接关系。
“一台大型计算机外接远程终端也可以提供IaaS、PaaS、SaaS这三种服务。所以从严格意义上说,云与服务没有关系,云是一种实现技术,它将分离的IT资源有序的组织起来和有效的使用起来。云的用途不会局限于提供应用,在很多平台的建设中也可以采用云计算技术,当然只有在建设规模以上的平台体系时才值得去做,否则仅仅是徒有虚名,而不会得到实质意义的好处。”蒋林涛警惕道。
云计算是IDC的一种补充
目前,云的最主要用途是用于建设新一代的IDC。IDC是存在已久的IT基础设施,IDC一般有两方面的能力:设备托管和IT资源出租。其中,IT资源出租就和云计算有着紧密的联系。据了解,以资源出租为主的IDC有三种工作模式:集中方式、分散方式和分布方式。
蒋林涛认为分布式IDC在进入云计算前是没有的,分布式是目前IDC缺乏的一种工作模式,而云计算正好是一种分布式技术,所以,使用云计算技术来实现IDC,正好补充了分布式IDC这种工作形式。
(飞象网)
第五篇:云计算产品及技术方案分析报告
云计算产品与技术分析
云计算产品及技术分析报告
2012年XX月XX日
云计算产品与技术分析
目录 引言...........................................................................................................................5 2 云计算产品分类.......................................................................................................5 3 国外的主流产品.......................................................................................................5
3.1 Amazon云计算方案...................................................................................5
3.1.1 介绍......................................................................................................5 3.1.2 Amazon Web Services(AWS).....................................................5 3.1.3 弹性计算云EC2.................................................................................6 3.1.4 简单存储服务S3................................................................................6 3.1.5 数据库服务SimpleDB.......................................................................7 3.2 Google云计算方案....................................................................................8
3.2.1 介绍.....................................................................................................8 3.2.2 Google App Engine.........................................................................8 3.2.3 计算服务MapReduce.......................................................................8 3.2.4 存储服务GFS(Google File System)............................................9 3.2.5 数据库服务Data Store.....................................................................9 3.3 Mirosoft云计算方案................................................................................10 3.3.1 介绍.................................................................................................10 3.3.2 Windows Azure.............................................................................10 3.3.3 计算服务........................................................................................10 3.3.4 存储服务Blob/Table存储...........................................................11
云计算产品与技术分析
3.3.5 数据库SQL服务(SDS).............................................................12 3.4 IBM蓝云...................................................................................................12 3.4.1 概述.................................................................................................12 3.4.2 云计算架构....................................................................................12 3.4.3 云计算相关产品............................................................................13 3.5 Platform云计算方案................................................................................13 3.5.1 介绍.................................................................................................13 3.5.2 Platform ISF(Infrastructure Sharing Facility)计算服务..........13 3.6 VMware(EMC)云计算方案.....................................................................15 3.6.1 介绍.................................................................................................15 3.6.2 VMware vSphere...........................................................................15 3.6.3 云存储服务EMC Atoms...............................................................17 4 国内云存储产品.....................................................................................................17 4.1 美地森...........................................................................................................17 4.2 友友系统....................................................................................................18 4.2.1 DataCell介绍.................................................................................18 4.2.2 DataCell FS.....................................................................................18 4.2.3 DataCell DB...................................................................................20 4.2.4 其他相关产品................................................................................21 5 几种开源云平台.....................................................................................................21 5.1 Hadoop(Apache基金会)....................................................................21 5.2 Ecualyptus项目(加利福尼亚大学).....................................................22 3
云计算产品与技术分析
5.3 AbiCloud(Abiquo公司)......................................................................22 5,.4 MongoDB(10gen)....................................................................................22 5.5 Enomalism弹性计算平台........................................................................22 5.6 Nimbus(网格中间件Globus).............................................................22 6 国内外主要云计算标准化组织和论坛.................................................................23 6.1 分布式管理任务组(DMTF)...................................................................23 6.2 开放网格论坛(OGF).............................................................................23 6.3 结构化信息标准促进组织(OASIS).......................................................23 6.4 全国信息技术标准化技术委员会SOA标准化工作室............................23 6.5 其他..............................................................................................................23 7 相关对比分析.........................................................................................................23 4
云计算产品与技术分析 引言
当前,云计算技术成为IT领域的研究热点。目前的云计算产品和技术方案层出不穷,国内外研究机构、IT软硬件厂家、标准化组织、开源软件组织都在十分积极的推出云计算产品和技术解决方案。本报告在学习和了解相关云计算技术资料、产品白皮书以及软件手册的基础上,希望对现有产品和技术解决方案给予归纳、整理和分析,实现对各类产品的清晰认识,以便于选择和使用。云计算产品分类
云计算产品大体分软件和硬件产品两大类。其中硬件产品是主要依赖于大型服务器设备的提供商实现的面向云特征的具有分布式并行计算能力的设备,代表有IBM、SUM、曙光机等。软件产品是云计算产品的主流,包括虚拟机管理平台、数据存储平台、分布式计算平台等,主要有的平台有Google应用软件引擎(Google App Engine)、微软的Azure平台、亚马逊网络服务(Amazon AWS)、IBM蓝云、Platform Computing的ISF以及VMware的云产品。同时,国内的友友系统和美地森公司在云存储方面也走在了云技术发展的前沿。国外的主流产品
从Google提出云计算技术,到现在,国际上几乎所有一线的IT企业都积极参与进入这块新兴领域,并依据自己传统的技术领域和市场策略提出自己的云计算架构。他们通过深挖技术基础,把大量以前的产品和技术的云计算特征挖掘出来,如软件的虚拟化、分布式存储系统,在此基础上建立自己的云计算产品线。
3.1 Amazon云计算方案 3.1.1 介绍
专业IT企业提供的云计算多多少少会限制在自己提供的系统之上,亚马逊公司不是IT系统制定者而是应用者,所以Amazon平台是开放的。技术特征:弹性虚拟平台 核心技术:虚拟化技术Xen 企业服务:EC2 S3 SimpleDB SQS 开源情况:开源
3.1.2 Amazon Web Services(AWS)
云计算产品与技术分析
平台类型:PaaS IaaS SaaS 虚拟化技术:Xen 支持语言:多种语言
运行环境:位于云端的Amazon平台
应用程序间的隔离:不同的应用运行在不同的虚拟机实现隔离 开发限制:较少(支持所有操作系统、开源代码或商业软件)可扩展性:手动或通过编程自动增加所需要虚拟机数量
计费方式:按实际使用量付费(EC2计算服务0.1~0.8美元/小时,S3存储服务每GB大约0.15美元/月)
收费机制较复杂
有免费体验(EC2 今年11月1日可以申请一年免费体验)
服务类型:任意选择服务组合,服务耦合度低 实现功能:较多
3.1.3 弹性计算云EC2 服务类型:IaaS 虚拟机的使用:用户根据需要设置虚拟机的硬件配置 模型:1个AMI+若干实例(每个用户最多20个实例)容错机制:弹性IP地址(与用户账号绑定)
当正在使用的实例出现故障,用户只需将弹性IP地址重新映射到一个新的实例
易用性:稍差(Amazon提供模块供用户组建自己的程序)
运行环境:用户自行提供运行程序所需的AMI(Amazon机器映像)构建自己的服务器平台
灵活性:很好
允许用户对运行的实例数量和类型自行配置
允许用户选择实例运行的地理位置 安全性:很好
基于密钥对机制的SSH方式访问
可配置的防火墙机制
允许用户对其应用程序进行监控 适用的应用程序:任意
3.1.4 简单存储服务S3
云计算产品与技术分析
概述:架构在Dynamo之上,提供一个字节到数GB字节的支持,大概有520亿对象。
结构:桶——对象 两级模式
扩展性:增加桶中的对象数量进行扩充
手动或编程自动扩容
容错性:冗余存储
数据监听回传
Merkle哈希树 存储限制:对象(<5GB)桶(<100个/用户)
不限制桶中对象的个数
数据交互:用户从获得授权的对象中取得数据 数据缓存:对Master中元数据进行缓存 数据一致性:最终一致性模型
后一次操作直接覆盖前一次操作 安全性:身份认证(基于HMAC-SHA1的数字签名)
访问控制列表 负载均衡 数据恢复
3.1.5 数据库服务SimpleDB 概述:非传统的关系模型
系统结构:域—条目—属性—值 四级模式 查询语言:支持有限的SQL 数据类型:结构化数据 可扩展性:超级可扩展性
查询功能:查询结果只包含条目名称不包括相应的属性值
相应时间不能超过5秒,否则报错
安全策略:每一个容器数据在微软数据中心有多个备份
数据更新时间:有延迟
新数据复制到其他服务器上存在延迟 其他功能:很少
没有事务(Transaction)的概念
不支持Join操作
实际存储的数据类型过于单一(所有的数据都以字符串形式存储)备注:用户相对大的数据存储在S3中
SDB中只保存指向某个特定文件位置的指针
云计算产品与技术分析
3.2 Google云计算方案 3.2.1 介绍
建立在其搜索引擎技术的基础上,是一个没有“端”的系统:用户通过一个简单的搜索框完成对海量计算的搜索 技术特性:存储及运算水平扩充能力
核心技术:平行分散技术MapReduce,BigTable,GFS 企业服务:Google App Engine 开源情况:不开源
3.2.2Google App Engine平台类型:PaaS(用户在其上开发软件,在Google基础设施上运行,无需服务器维护)
应用服务器:Python应用服务器群
低端服务器 虚拟化技术:没有应用 支持语言:只支持Python、Java 运行环境:Google提供在云端的应用程序环境
功能完整的本地开发环境,开发人员可以在本地模拟Google App Engine环境
应用程序间的隔离:通过沙盒实现(同时也给程序员带来很多限制)开发限制:较多
开发语言支持少
沙盒的使用带来的限制
可扩展性:自动扩充所需资源并进行复杂均衡
计费方式:每一个Google账户有一定额度的免费流量和空间支持
存在收费项目
服务类型:所有服务捆绑在一起,耦合度高
用户通过特定API来使用相应服务
实现功能:较少
3.2.3 计算服务MapReduce 服务类型:PaaS 虚拟机的使用:没有应用
模型:1个Master+若干Worker(分别执行map和reduce)
云计算产品与技术分析
容错机制:Master周期设置检查点,任务失败,从最近的检查点恢复并重新执行
Master失效,整个MapReduce重新运行
Worker失效,其任务调度到其他Worker重新执行 通用性:很好
运行环境:Google自身提供,用户无法自行调配 灵活性:稍差(现只是搜索企业的选择)适用的应用程序:可以并行处理的程序
3.2.4 存储服务GFS(Google File System)
概述:面向不可信服务器节点的分布式文件系统,文件分块存储 结构:1个Master(储存元数据)+众多ChunkServer(储存文件块)服务器:大量分散的普通廉价服务器
扩展性:动态插入节点(ChunkServer)(普通电脑),自动扩容 容错性:ChunkServer冗余备份(3份)
Master瘫痪,有Shadow作为替补 访问效率:高效
通过GFS上层的BigTable实现 存储限制:无特别限制
数据交互:一般情况下,Application 和ChunkServer在同一台服务器上
Application与ChunkServer进行数据交互
可以被多个用户同时访问 数据缓存:对Master中元数据进行缓存 数据一致性 负载均衡 数据恢复
备注:不完全适应海量小文件存储
3.2.5 数据库服务Data Store 概述:分布式存储数据库,随着应用程序访问量的增加而增加 系统结构:Model—实体组—实体 三级模式 查询语言:GQL 数据类型:结构化和半结构化数据 可扩展性:无限扩展
查询功能:查询结果以Model类的实例形式来返回实体
云计算产品与技术分析
返回的结果不能超过1000条 事务功能:通过乐观锁定实现事务的并发控制
一个事务操作一个实体组,同一组内的实体存储在一起(应用程序可以在实体创建时将实体分配到组)
数据库在一个事务中执行多种操作,有一个操作失败则回滚整个事务 数据更新时间:有延迟,但不是常态
3.3 Mirosoft云计算方案 3.3.1 介绍
“云+端”云计算构想
最新的Windows Server被设计成可让应用在数据中心和云之间迁移,但是只有在两者是非常相似的Windows Server环境下才可以实现。技术特性:整合其所用软件及数据服务 核心技术:大型应用软件开发技术 企业服务:Azure平台 开源情况:不开源
3.3.2 Windows Azure平台类型:PaaS 虚拟化技术:Hyper-V 支持语言:C#,.NET平台,PHP,Python等多种语言 运行环境:支持在云中和本地系统中的应用程序 服务类型:可以任意选择服务组合,耦合度低 应用程序间的隔离:不同的应用在不同的虚拟机上 开发限制:较少
计费方式:按实际使用量付费
存储与计算分开计费
定价机制过于僵硬,成本过高
可扩展性:需要手动或者编程自动增加所需要的虚拟机数量
用户也可以选择增加虚拟机的功率 实现功能:较多
3.3.3 计算服务
云计算产品与技术分析
服务类型:PaaS 虚拟机的使用:根据用户上传的配置文件XML,系统自动分配、配置虚拟机
虚拟机分为Web和Worker角色
模型:若干Web(提供Wen服务,与用户交互)+若干Worker(类似于Windows服务)
运行环境:程序运行在系统自动为用户生成的装有Windows Server 2008的虚拟机上
负载均衡:当有用户请求时,根据需决定是否运行新的Web角色
根据负载大小自动扩展或减少Worker上实例运行的数量 灵活性:较好 易用性:较好
适用的应用程序:任意可在Windows Server2008上运行的程序
尤其支持运行有大量并行用户的大型应用程序
3.3.4 存储服务Blob/Table存储
概述:用来存储大型数据对象
结构:容器—Blob两级模式(Blob中的数据再分成Block)
Table—Partition(分区)—Row(实体)扩展性:增加容器中的Blob数量进行扩充
手动或编程自动扩容 容错性:冗余备份
只传输出错的Block 访问效率:Blob访问控制策略
Table分成多个分区,存储在多个服务器,提高访问效率
存储限制:Blob的大小有限制(<50GB)
对容器和Blob的数量没有限制 数据交互:用户从获得授权的Blob中取得数据
数据缓存:Table相同分区的实体存储在一起进行高效缓存
数据一致性:Timestamp(时间戳)
单表一致性(事务性的快照隔离)
跨表一致性
负载均衡: 数据恢复
备注:Blob适宜存储无结构数据
Table适宜存储结构性很强的数据
另有:Queue存储应用程序各个部分之间的交互信息(例如Web和Worker
云计算产品与技术分析 的通信)
3.3.5 数据库SQL服务(SDS)
概述:非传统的关系模型
系统结构:Authority—容器—实体 三级模式(ACE模型)查询语言:SQL 数据类型:结构化、半结构化和非结构化数据 可扩展性:全球可扩展性 查询功能:查询对象为容器
查询结果返回若干数量的实体
返回的结果不能超过500页
安全策略:每一个容器数据在微软数据中心有多个备份
数据更新时间:没有延迟 其他功能:很多
3.4 IBM蓝云 3.4.1 概述
高端服务器战略(X86刀片服务器)
为用户在自己已有的IT环境中建立自己的私有云,并提供与公有云的无缝连接;同时,IBM也提供可供用户及合作伙伴直接使用的云服务和软件 技术特性:整合其所有软件及硬件服务 核心技术:网格技术、分布式存储、动态负载 企业服务:虚拟资源池提供,企业云计算整合方案 开源情况:不开源
3.4.2 云计算架构
云计算产品与技术分析
3.4.3 云计算相关产品
① IBM WebSphere CloudBurst
云环境管理工具,以物理器件形式发布,即插即用,WebSphere CloudBurst使用户能够在“私有云”中轻松的创建、安全的部署和管理应用环境,同时让用户将自己在SOA方面的投资无缝的扩展到云服务环境。② WebSphere Virtual Enterprise
软件解决方案,对中间件和应用栈进行虚拟化,为应用创建一个共享的应用云或是共享的资源池而不必考虑特定的应用容器,并实行负载均衡和资源调度。③ XIV
IBM的新一代云存储产品,基于网格技术,具有海量存储设备+大容量文件系统+高吞吐量互联网数据访问接口+管理系统的设计特征。
内置虚拟化技术,快照功能,瞬间克隆数据卷。帮助用户部署可靠、多用途、可用的信息基础结构,同时可提升存储管理、配置,以及改进的资产利用率。
3.5 Platform云计算方案 3.5.1 介绍
在HPC方面有很强的技术力量,建立在网格计算管理软件的基础上
3.5.2 Platform ISF(Infrastructure Sharing Facility)计算服务
云计算产品与技术分析
平台类型:IaaS 端到端的私有云管理软件
主要特点:可配置程度高
资源整合:将分布式和异构IT资源整合
从众多异构服务器、存储设备以及互联中创建一台共享计算机
支持主要行业的标准硬件 支持的操作系统:Linux Windows 虚拟技术:VMware ESX,Xen,Citrix XenServer,Microsoft Hyper-V和Red Hat
KVM 服务类型:很多即开即用的第三方工具(目录服务、安全、监控和报警)交付服务:自主入口——用户在几分钟(<=15min)之内请求和获得物理服务器
和虚拟机
应用程序编程接口(API),自动调配资源
为多级商业应用程序配置模板,实现其生命周期管理的自动化
允许启动多级应用程序的各个部分,添加或者去除一个资源,监控和
恢复故障
云计算产品与技术分析
负载调度:支持负载调度软件(比如AutoSys和Platform LSF)
付费方式:Platform ISF收集全部资源使用数据,提供报告和生成帐单信息
云管理员可以选择将使用数据反馈到特定场所的生成报告和索回工具之中
资源分配:单位的资源共享优先权
资源均衡和应用程序均衡
主要方式: 预约 主要针对关键业务请求 2 按需分配 ① 时间顺序相应用户请求
② 用户的请求,按每次使用付费的模式分配资源
安全性:分角色用户身份认证
审查跟踪(Audit Trail)
支持LDAP(轻量目录访问协议)和活动目录 存储支持:Operating system image /Extra disks/Shared NFS /Post-Provision/NetApp/Amazon S3/EMC/EqualLogic
3.6 VMware(EMC)云计算方案 3.6.1 介绍
EMC——自动化网络存储解决方案 VMware——虚拟化技术
技术特性:信息存储系统及虚拟化技术
核心技术:VMware的虚拟化技术,一流存储技术 企业服务:Atoms云存储系统,私有云解决方案 开源情况:不开源
3.6.2 VMware vSphere 业界第一个云计算操作系统
可以帮助企业构建实现数据中心资源的管理,同时实现内部云和外部云之间的无缝连接
云计算产品与技术分析
电源管理:利用DPM
集群需要的资源减少时,将工作负载整合到较少的服务器上
保证服务级别的同时最大限度的减少电力消耗 资源调度:分布式资源调度程序DRS
动态负载均衡——跨资源池动态调整计算资源
连续智能优化——基于预定义的规则智能分配资源
访问速率:>30万次IPOS每秒
延迟:<20微秒
数据备份:支持虚拟机集中式脱离主机备份
支持虚拟机的增量、差异和完整映像备份和恢复
为Windows和linux虚拟机提供文件级备份支持 可用性:拥有经济有效的适用于所有应用的高可用解决方案
当服务器故障时,自动重新启动虚拟机
容错性:使用DRS和VMotion(在线迁移虚拟机)消除计划内宕机
在不同的主机上同步运行相同的虚拟机
出现硬件故障,所有虚拟机均可实现零宕机时间、零数据损失故障切换 数据恢复:通过vCenter实现集中式管理
虚拟机的无代理、基于磁盘的备份和恢复
支持虚拟机、文件级别的恢复
安全性:API通过检查与管理程序一起使用的虚拟组件来保护虚拟机
动态防火墙策略
动态安全容量
云计算产品与技术分析
安全策略自动适应网络重新配置或升级 可扩展性:根据需要和优先级调整容量
热添加CPU和内存
热添加和删除存储设备和网络设备
热扩展虚拟磁盘
以零宕机时间横向扩展虚拟机
3.6.3 云存储服务EMC Atoms 特色:采用基于策略的管理系统来创建不同层次的云存储
——重要数据,多份复制,分布存储 ——不常用数据,复制份数和存储地点较少
——不再使用的数据,压缩,复制备份在更少的地方 为非付费用户和付费用户创建不同的服务级别
多样的管理服务:复制,版本控制,压缩,重复数据删除,磁盘休眠等 可用性:应用程序接口包括Rest和Soap,能够整合所有的应用程序
多租户:支持多客户共享功能,同一基础架构执行多种应用程序,并被安全隔离 现有版本:120TB 240TB 360TB
基于X86服务器并支持千兆或10GbE以太网连接 国内云存储产品 4.1 美地森
概述:分布式存储,网络容错,集群存储 结构:元数据服务器MDS+块数据服务器CDS
文件分块存储(每一块大小固定在50MB)
服务器:低成本、符合工业标准的通用硬件设备(Linux系统)扩展性:动态插入节点,无需复杂配置
自动在线扩容(几秒)
容量与节点成线性增长关系 容错性:CDS冗余备份(3份)
存在3~5台MDS,保存相同元数据,同一时间只有一台工作,一旦瘫痪,备用的立即替补
通用性:通过NAS集群网关的方式为Windows、Linux、Unix、Mac等操作系统提供NFS协议访问接口
兼容所有操作系统平台
云计算产品与技术分析
易用性:单一名字命名空间
所有应用服务器看到所有的文件 访问效率:每秒数十万个文件查询
同时多条数据通道读写数据 存储限制:PB级存储空间
数据交互:用户与CDS进行数据交互 数据缓存:对MDS中元数据进行缓存 负载均衡:自动进行负载均衡
数据恢复:本地数据存储两份,自动恢复
2TB数据恢复时间<15min 备注:不完全适应海量小文件存储
实时性?
局域网内,100台服务器左右,异地备份?WSS?
4.2 友友系统 4.2.1 DataCell介绍
DataCell能够有效地解决业务系统在运营过程中收集和产生的大量实时数据以及企业在长期的业务发展过程中积累下来的海量数据的存储和处理系列问题,尤其面对PB数量级的数据容量和上亿个存储文件的处理需求时,在降低整体成本提高系统整体可用性上可以发挥突出作用。虚拟技术:采用
扩容性:在新加入的硬件上安装DataCell,即可加入虚拟存储机
可移植性:DataCell软件具有高度的可移植性,没有实际系统软硬件的限制 数据传输:结合数流平台(Bitsflow),高效
4.2.2 DataCell FS 非结构化存储系统——针对非结构化数据
云计算产品与技术分析
架构:1个控制节点(存储元数据等)+ 若干的存储节点(细分为各存储块)可扩展性:热部署(TB—PB—更高级别的平滑扩展),性能线性增长 灵活性:基于业务策略自动切分数据进行存储(存储块的大小是不固定的)
用户可以通过定义策略来实现让适当的数据在适当的时间自动保存在适当的位置
虚拟技术:将用户所使用的各类存储硬件无缝虚拟化 多租户:同一存储结构服务于多个应用程序,数据分区隔离 容错性:冗余备份
热备控制节点
数据恢复:自动检测故障节点 自动恢复 访问效率:支持并发访问
用户可为云服务构建自定义查询 负载均衡:所有系统节点间透明地移动数据
自动动态调整数据备份数 安全性:访问控制权限
应用程序访问机制:支持NFS、HTTP、WebDAV、FTP及FUSE等多种接口
应用程序可以不做修改即可迁移数据平台
云计算产品与技术分析
4.2.3 DataCell DB 结构化数据存储系统——针对结构化和半结构化数据
解决了目前通用关系型数据库在面对multi-TB或PB量级结构化数据的存储和处理需求时出现的性能和容量瓶颈问题
不完全支持关系数据库,但支持常用的关系操作(select、insert、delete、update)
架构:完全无中心节点的分布式系统
逻辑环
容错性:相邻节点互为热备份
简单快捷的数据导出工具
自定义冗余策略 可扩展性:热部署
存储机制:支持用户自定义的各种数据格式
同时支持内存和磁盘数据库
访问效率:在内存存储模式下,多进程并发随机读写支持超过20万次/秒
尤其适用于海量小文件存储与访问的应用场景 支持语言:C++、Java 20
云计算产品与技术分析
其他功能:
支持包括哈希表、树、数组在内的多种内部结构 支持包含内存、硬盘、网络存储等多种不同存储机制
基于策略的的数据存取方式,支持包括冗余数和存储位置等在内的自定义策略
支持数据表操作类似的查询机制和简单的条件查询 支持用户定义的记录类型和数据字典 支持事务处理 支持复杂的索引规则 异步存储拷贝,支持snapshot 提供binary log,支持服务器热备和冗余 完全支持多进程、多线程的高并发访问 支持分布式事务 远程图形化管理界面
4.2.4 其他相关产品
① 数流平台(Bitsflow)
高容错、高性能的数据传输中间层工具 ② DataCell Echo 有效实现跨区域、异构分布式数据库的实时数据同步。
它可以同时处理同一系统内的多个异构数据库系统之间的数据交换和同步。通过对各个数据库系统内数据的动态划分和管理,Echo还可在一个或多个数据库中支持多个Master和Slave并存 几种开源云平台
5.1 Hadoop(Apache基金会)
完全模仿Google体系架构做的一个开源项目,主要包括Map/Reduce和HDFS文件系统。Java语言开发,主从式的HDFS文件系统位于下层,主从式的Map/Reduce处理位于上层,基本思想是“计算向存储迁移”——计算时各节点读取存储在自己节点的数据进行处理。Map处理过程中一般没有数据的传输,只是在Reduce过程中需要向主节点传送计算结果,有效的解决了并行计算中网络数据传输的瓶颈问题。
HDFS以64MB为单位对文件分块,对于小文件及频繁存取的数据没有太大的优势。
云计算产品与技术分析
5.2 Ecualyptus项目(加利福尼亚大学)
创建了一个使企业能够使用它们内部IT资源(包括服务器、存储系统、网络设备)的开源界面,来建立能够和Amazon EC2兼容的云。
选择Xen和KVM作为虚拟化的管理程序。基本架构:
5.3 AbiCloud(Abiquo公司)
用于公司的开源的云平台,使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施(包括虚拟服务器、网络、应用、存储设备等)
5,.4 MongoDB(10gen)高性能、开源、无模式的文档型数据库,在许多场景下可用于替代传统的关系型数据库或键/存储方式
5.5 Enomalism弹性计算平台
提供了一个功能类似于EC2的云计算框架。Enomalism基于Linux,同时支持Xen和KVM。与其他的纯IaaS解决方案不同的是,Enomalism提供了一个基于Turbo Gears Web应用框架和Python的软件栈
5.6 Nimbus(网格中间件Globus)
Nimbus面向科学计算需求,通过一组开源工具来实现IaaS的云计算解决方案
云计算产品与技术分析 国内外主要云计算标准化组织和论坛 6.1 分布式管理任务组(DMTF)
工作目标:2009年,成立DMTF开放式云标准孵化器(DMFT Open Cloud Standards Incubator),制定开放式云计算管理标准。
另有:开放式虚拟化格式(OVF),云可互操作性白皮书DMTF等 成员:AMD CISCO EMC HP IBM Microsoft Sun Redhat VMware等
6.2 开放网格论坛(OGF)
工作目标:开发管理云计算基础设施的API,创建能与云基础设施(IaaS)进行交互的实际可用的解决方案等。
成员:Microsoft Sun Oracle IBM Intel HP AT&T等
6.3 结构化信息标准促进组织(OASIS)
工作目标:致力于基于现存标准Web Services、SOA等建设云模型及轮廓相关标准。最近成立云技术委员会IDCloud TC,定位于云计算中的识别管理安全。
6.4 全国信息技术标准化技术委员会SOA标准化工作室
工作目标:《云计算标准研究报告》,开展云计算、相关SOA、中间件、虚拟化等技术标准的制定
成员:IBM、大唐软件、东方通、浪潮、北邮、复旦,世纪互联等
6.5 其他
中国云计算技术与产业联盟
云计算互操作论坛(CCIF)
网络存储工业协会(SNIA)等 相关对比分析
Google App Engine没有使用虚拟化技术,其云计算理念是与主流公司的战略是相反的,其现阶段提供的平台虽然可以为用户提供现成的在线的应用套件,但还受到很多的限制,其中支持的编程语言(只支持Java和Python)太少就是其很大的劣势。而且,由于没有本地端,应用程序只能通过提供的网址抓取和电子邮件服务访问互联网中的计算机,这也给用户带来一定的不便。
同Google一样,Amazon的产品在国内没有销售。但值得一提的是Amazon作为电子商务公司,它的云平台的安全性做的很出色,对于平台的配置上也给了
云计算产品与技术分析
用户更多的选择权。另外,Amazon自己作为应用者,其平台具有高度的开放性,支持所有的操作系统、开源代码或者商业软件。但是,Amazon有一些特殊的存储要求,需要考虑应用所需的带宽大小和计算时间。
微软的云平台最大的特色是它的“云+端”思想,Azure服务平台既可以在云端下被调用,也可以被本地系统调用,也就是说用户可以在VS.NET2008以上的版本+Cloudservice+AzureSdk下实现云计算开发。但总体上来说,微软云平台的软件过于“Microsoft化”,对于其他公司产品的兼容性较差,例如不支持Java(好像)。
从应用上看,EC2主要是吸引资源密集型软件,如企业应用等,而Azure的应用主要是服务于LAN或工作组模式的用户群体。
VMware的云计算的核心是虚拟化,虚拟架构技术做的很好,但是开放性弱,不支持特定开发。
Platform在HPC领域有着很强的技术力量,正将自身定位从网格计算过渡到云计算,它在国内的应用有北京超算中心,但是超算中心主要以数学计算为主,数据量比较小,计算的种类也相对集中,参考性不大。
IBM的ComputingonDemand主要针对高性能计算,诸如汽车和航天工业模拟计算、生命科学领域的染色体组建模等等。并且,它的定位是高端服务器,相比与其他公司的方案,性价比难说。
从云存储方面看,国内的两个公司均做的很出色。但友友系统有一个明显的优势:它的DataCell DB尤其适用于海量小文件存储与访问的应用场景。这是其他的文件分块存储系统所不具备的。