第一篇：云计算中MapReduce技术研究
云计算中MapReduce技术研究
孙香花
（长江师范学院数学与计算机学院，重庆，408100）
摘要： MapReduce是云计算的核心技术之一，它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作，并用于大规模数据的并行运算。本文首先介绍了MapReduce的相关知识，然后对目前MapReduce的国内外研究状况进行了介绍与评析；并总结了目前MapReduce模型的相关研究问题；最后进行总结并展望了未来发展的趋势。
关键词：MapReduce技术；云计算应用；云计算；并行计算；
MapReduce technology of cloud computing
SHUN Xiang-hua（1、College of Mathematics and Computer Science，Yangtze Normal university, Chongqing,，410081）
Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution.Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data.This paper focus on the cloud of MapReduce technologies.MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis;MapReduce model put forward the current research issues;Finally, the summary text and the future trends.Key words: MapReduce technology;cloud computing applications;cloud computing;parallel computing;
1、引言
随着数字技术和互联网的急速发展，特别是随着Web2.0的发展，互联网上的数据量高速增长，也导致了互联网数据处理能力的相对不足。由于待处理数据越来越多，多到了很难在一台或有限数目的存储服务器内容纳，且更无法由一台或数目有限的计算服务器就能处理这样的海量数据。因此，如何实现资源和计算能力的分布式共享以及如何应对当前互联网数据量高速增长的势头，是目前互联网界亟待解决的问题。正是在这样一个发展背景下，云计算应运而生[1]。
云计算是由并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)发展而来[2，3]。云计算的核心技术之一是MapReduce，它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作，并用于大规模数据的并行运算[4-6]。
近几年来由于数据的大量增长，Mapreduce受到了较多的关注，获得了较大的发展，但还没有形成成熟的、系统化的理论体系[7]。目前国内外进行MapReduce分析技术研究的机构都显示了对MapReduce的高度关注,并在不同的体系结构上都进行了实现，尤其是在开源hadoop平台上对其所做的研究提供了更多的研究机遇。因此对MapReduce的研究不仅具有收稿日期：
基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介：孙香花（1977-），女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究．
重要的应用价值，更具有重要的学术意义[8，9]。本文首先介绍了MapReduce的相关知识，然后对目前MapReduce的国内外研究状况进行了介绍与评析；并总结了目前MapReduce模型的相关研究问题；最后进行总结并展望了未来发展的趋势。2、MapReduce相关研究
目前国内外文献中对MapReduce模型都有相应的研究。主要体现在以下几个方面： 基于MapReduce的初等研究及改进：在Goole提出的原始模型的基础上提出一些新的改进方法，或是对怎样提高MapReduce算法的效率上去进行研究。如：文献[10]提出了一种改进型的MapReduce编程模型，该模型继承了传统的MapReduee模型对map函数和reduce函数的定义．对map和reduce过程进行了改进优化。文献[11]中的HPMR是建立在多核集群上的高性能计算支撑平台。它继承并改进了MapReduce并行编程模式，使其适合高性能计算需求。并让并行程序的编写和运行变得非常简单，同时又保持很高的性能。
对大规模的数据挖掘：利用MapReduce模型对于云平台的海量数据进行挖掘，抓取网页相关数据，或是对网页内容去重等到相关的大规模数据的研究等。如：文献[12]详细描述SPRINT并行算法在HadooP中的MapReduce编程模型上的执行流程，并利用分析出的决策树模型对输入数据进行分类。
基于MapReduce并行模型的一些设计方法与实现或是计算方法的实现，如：文献[13]结合MapReduce的长处，提出研究和实现一个完整的高性能并行计算系统，以GPU为硬件基础并配合基于MapReduce并行计算模型平台进行大规模数据处理。文献[14]提出了基于MapReduce架构实现分布式光线跟踪渲染的方案。该方案基于Hadoop实现，利用MapReduee架构简化了分布式程序设计。
MapReduce的综述：文献[15]重点讨论了MapReduce模型的相关研究，并对采用或是实现了这些模型的相应公司的技术进行了探讨，是一篇综述类型的学位论文。MapReduce模型的研究与应用：文献[16]介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架，并在Hadoop基础上提出一种通过多重MapReduce操作，实现海量共现矩阵的生成方法。
当前的研究中，对于云计算中并行计算模型的研究主要是针对于MapReduce模型，而对于MapReduce模型的研究主要在两个方面展开，一个方面为对MapReduce模型的改进，但是对于改进后的模型的实现平台没有研究；另一个方面为MapReduce模型的应用，也是当前的主要研究方向。
3、MapReduce相关研究问题
MapReduce是由Google提出的一种并行分布式编程模型[17-19]。在MapRedcue 模型中用户只须指定一个map函数来处理一个输入的key/value对，产生中间结果key/value对集，再通过一个由用户指定的reduce函数来处理中间结果中具有相同key值的value。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理[20-21]。
图1说明了用 MapReduce 来处理大数据集的过程,MapReduce 的计算过程很简单，计算利用一个输入key/value对集，来产生一个输出key/value对集[22]。MapReduce库的用户用两个函数表达这个计算：map和reduce。首先，用户自定义的map函数，接受一个输入对，然后产生一个中间key/value对集。然后，MapReduce库把所有具有相同中间key I的中间value聚合在一起，然后把它们传递给reduce函数。最后，用户自定义的reduce函数，接收稿日期：
基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介：孙香花（1977-），女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究．
受一个中间key 和相关的一个value集。它合并这些value，形成一个比较小的value集[23-25]。
图1、Mapreduce的计算流程
随着数字技术和互联网的急速发展，特别是随着Web2.0的发展，互联网上的数据量高速增长，也导致了对MapReduce这种并行计算模式的研究变得越来越重要，由此也产生了一系列的相关研究问题，分别如下所列出[26-28]：
1、MapReduce模型只需执行简单的计算，对于隐藏并行化、容错、数据分布、负载均衡的那些问题是如何实现的。
2、Google的MapReduce执行流程。
3、对MapReduce模型的实现。
4、对MapReduce模型进行改进。
5、提高Mapreduce的运算效率的方法。
6、基于MapReduce模型的应用。
7、基于MapReduce模型的设计方法及实现 对于以上所列出这些研究问题，目前国内外都有相关的研究，对于这些研究问题在很大程度上仍然有可研究性。
4、未来研究趋势
MapReduce作为一个通用可扩展的并行计算模型，它用来有效地处理海量数据,不断地从中挖掘出有价值的信息,成为互联网企业发展的必然选择。很多现实世界对海量数据的处理,都可以用这种模型来表示。当前在云计算中使用的分布式并行运算基本上是采用的MapReduce计算模型，不过国内的研究仍然有点滞后，同时，当前的主要研究都放在其应用上，比如说网页抓取等，真正去研究算法本身的并不多，尤其是在提高算法本身的效率上，以及算法的优化等都研究较少。
根据上面的论述和分析可以看出，对于云计算中并行计算模型的研究和应用主要是对于MapReduce模型的，而对MapReduce模型的应用是当前的主要研究方向。本课题在分析MapReduce模型的基础上,提出了如下的研究内容：
1、利用MapReduce强大的计算能力，把MapReduce模型应用到一些经典的算法中。所要解决的主要问题是经典的算法的选取，即要满足利用MapReduce模型的条件，还要解决的是两个算法的比较及评价问题；
2、利用MapReduce强大的计算能力，把MapReduce模型应用到一些数值计算问题中去，所要解决的主要问题是数值计算问题的分解和结束条件，还要解决的是两个算法的比较问题及新算法的评价问题。
收稿日期：
基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介：孙香花（1977-），女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究．
4、结束语
本文首先介绍了MapReduce的相关知识，然后对目前MapReduce的国内外研究状况进行了介绍与评析；并总结了目前MapReduce模型的相关研究问题；最后进行总结并展望了未来发展的趋势。参考文献 [1] [2] [3] [4] [5] 张建勋,古志民,郑超.云计算研究进展综述[J].计算机应用研究,2010,27(2):429-433 金海，漫谈.云计算[J].中国计算机学会通讯，2009，5(6):22-25 吴吉义,平玲娣, 潘雪增等.云计算：从概念到平台[J].电信科学,2009,12:23-30 陈康, 郑纬民.云计算：系统实例与研究现状[J].软件学报.2009,20(5):1337-1348 尹国定,卫红.云计算—实现概念计算的方法[J].东南大学学报：自然科学版,2003,33(4):502-506 [6] 武永卫，黄小猛.云存储[J].中国计算机学会通讯，2009，5(6)：44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J].Science of Computer Programming, 2008, 7(1): 208-237.[8] 万至臻.基于Mapreduce模型的并行计算平台的设计与实现[I].浙江大学.2008 [9] 吴晓伟.MapReduce并行编程模式的应用和研究[I].中国科学技术大学.2009.[10] 周锋,李旭伟.一种改进的MapReduce并行编程模型[J].科协论坛.2009.2（11）：11-12 [11] 郑启龙,王昊,吴晓伟等.HPMR:多核集群上的高性能计算支撑平台[J].微电子学与计算.2008，25(9)：21-23 [12] 王鄂,李铭.云计算下的海量数据挖掘研究[J].现代计算机.2009，22(11)：22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行计算模型研究与应用[I].桂林理工大学.2009.[14] 郑欣杰,朱程荣,熊齐邦.基于MapReduce的分布式光线跟踪的设计与实现[J].计算机工程.2007，33(22)：83-85 [15] 周敏.MapReduce综述[I].暨南大学.2008.[16] 杨代庆,张智雄.基于Hadoop的海量共现矩阵生成方法[J].现代图书情报技术.2009, 25(4)23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner.A break in the clouds: toward a cloud definition.ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G，Gu Yunhong，Michael Sabala，Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems，2009，25(2)：179-183 [19] Daniel J A.Data management in the cloud: limitations and opportunities.Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 郑启龙.HPMR在并行矩阵计算中的应用[J].计算机工程.2010(8).[21] 徐志伟,廖华明,余海燕.网络计算系统的分类研究[J].计算机学报.2008,31-9:1509—1515.[22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J].Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007.[23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA).收稿日期：
基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介：孙香花（1977-），女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究．
Phoenix,AZ, February 2007.[24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004.[25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch.Main memory evaluation of monitoring Queries over moving objects.Distributed and Parallel Databases,15(2):117-135,2004.[26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation.In Proc.IEEEP ACT,2006.[27] 钟伟彬，周梁月，潘军彪等.云计算终端的现状和发展趋势[J].电信科学,2010,3:22-26 [28] 陈国良，孙广中，徐云.并行计算的一体化研究现状与发展趋势[J].科学通报，2009，54(8)：1043-1049
地址：重庆市涪陵区李渡聚龙大道98号长江师范学院数学与计算机学院办公室
孙香花 邮编: 408100
收稿日期：
基金项目：教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介：孙香花（1977-），女，山西朔州人，硕士,讲师，主要从事数据库、网络方面的研究．
第二篇：MapReduce云计算背后的秘密
《三双鞋》:从公司文化到客户体验
如果你正在思考如何为你所从事的服务型公司打造卓越的客户体验，你将发现这绝对是一本“干货”超多的书。
大概从2009年开始，向Zappos学习改善客户体验的现象引起了我的注意。当时刚从中国传媒大学毕业的年轻人黄修源和几个同学创业，做 了一个卖鞋的网站“番茄树”，这个网站在当时的电子商务圈里颇有一些影响，但后来停掉了。转眼到了2010年，B2C大热。我不断听到电子商务公司的创始 人在谈论Zappos，包括此时也开始卖鞋的Vancl创始人陈年等。
于是，有了我对Zappos创始人谢家华《三双鞋》这本书的特别留意。实际上，已经有许多电商创业者在学习这本书，那时还只有英文版 《Delivering Happiness：A Path to Profits, Passion, and Purpose》。有的创业者甚至将这本书视为很好的员工培训手册。
这本书为什么会在电商创业圈子这样流行？实际上，Zappos从纯粹的商业或者财务角度来看并不是最成功的——它没有独立上市，而是并入了 亚马逊，创始人也没有风风光光地去“敲钟”和马上兑现个人财富。这些可能对谢家华是一种遗憾，但对许多创业者来说，已经是一个足够经典和值得学习的故事。因为他从1999年就开始做了，是先驱，而且走了一条和亚马逊不同的发展之路，并证明行之有效。
实践检验的“干货”
如此说来，这本书在美国的畅销和在国内电商创业圈里的流行，其实主要来自它提供了一个新的观念，是过去的商业书籍中没有给出过，或者只是部分涉及却没有系统地用商业实践验证的认识：
“随着互联网把大家联系在一起，企业正在不可抗力的作用下变得越来越透明化。一个不愉快的客户或者一个不满的员工可以在博客上写出在这个公 司的不良体验，然后这个故事就可以通过电子邮件或微博等工具像野火般蔓延开来。好消息是，优质的体验也能通过相同的途径传播开，瞬间做到被数以百万计的人 阅读。最根本的问题是，你不可能把每一个接触点都预见到。而这些接触点都会影响他人对你公司品牌的理解。”
实际上，上面这段论述构成了Zappos所有行动和策略的背景条件，而其实这也是在六七年前才由谢家华从偶然的、事后发现做对的事情里总结 分析出来的。他们都是经验，而非教科书或逻辑推理。我们能完整看到Zappos文化和价值观的形成过程，谢家华等几位年轻创始人认识的逐级递进。这正是此 书的难能可贵之处。
比如“2003年的3月，我们按下开关，停掉了第三方出货的那部分业务，并且把所有以此模式出货的产品从网站上撤下来”，因为谢家华意识到 不在自己控制范围内的客户体验，只能达到95%的满意度，总有5%的客户带着负面的情绪从你这里离开。他们不会留言，不会反馈，但长期下去会伤害业务的基 础。
比如，如何做出迁移总部的决定？竟然是为了对客户做到言行一致。“我们原计划只是设立一个卫星客户服务中心，但是仔细考虑之后，我们意识到 如果这样做，实际上就是言行不一。为了通过提供最优的客户服务，树立Zappos的品牌，我们需要保证客户服务成为整个公司的理念，而不仅仅是一个部门。我们需要将总部从旧金山迁往即将建立客户服务中心的地区，并将该中心命名为‘客户忠诚小组’（Customer Loyalty Team，CLT）。”
我们也看到Zappos的文化如何孕育形成——“我们想要尽量透明化，所以决定除了错别字，我们不会删除或编辑任何一篇文章。我们文化书的 每一版本都会包括Zappos好的方面和坏的方面，这样，人们读到这本书时才能获得对公司文化更真实、全面的感受。每个新版本也是记录自己文化演变的一种 方式。”从这里我看到，文化并不是老板提出的几句口号，而是一系列在正确理念下的行动原则，用员工的具体行动和每个人的自我表达去传递文化，比背诵口号好 很多倍。
新价值等式
谢家华认为，Zappos能够实现10亿美元的销售目标，其中一个很大的原因就是他们决定把时间、资金和资源投入到3个关键区域：客户服务（促成树立品牌和良好的口碑），文化（形成10大核心价值），员工培训和发展（最终导致培训团队的产生）。甚至到今天，Zappos的信仰依然是品牌（Brand）、文化（Culture）、还有培训（Pipeline，内部称“BCP”），这些是他们长期战略中唯一的竞争优势。其他的一切都能而且最 终都会被他人复制。
实际上，谢家华遵循这样一个顺序，是有其根据的。他发现，如果企业树立了正确的企业文化，大部分其他的东西——诸如最好的客户服务，建立长 期品牌，充满激情的员工和顾客——也就自然而然的发生了。Zappos相信一个公司的文化和品牌是同一硬币的正反两面。品牌也许在开始时会比文化滞后，但 是最终二者将会并驾齐驱。谢家华实际上给出了一个新的等式，而幸福能量或者价值，就在这个等式上传递。
旧有的市场推广思维是，在估算投资回报率时，都假定一个顾客一生的价值是固定的。而新思维是把顾客一生的价值看作是一个移动的目标，这个目 标可以随着我们的品牌和每个客户越来越多的正面情感交流得以提高。很多市场开发人员常犯的另一个错误是太关注如何吸引顾客的眼球，却忽略了把注意力放在建 立关系和信任上。
谢家华用Zappos竟然也送比萨饼来举例说明：
我记得几年前在加州的圣塔莫尼卡参加思凯捷鞋公司的销售会议。去过几个酒吧后，我们一小群人到某人的酒店房间点餐。我的一位在思凯捷工作朋 友想通过客房服务点一个意大利香肠比萨，但是却非常失望地发现酒店在晚上11:00后停止供应热食，而我们晚了几个小时。在醉酒状态下，有些人说服她打电 话到Zappos点比萨。被我们激将后，她勇敢地拿起话筒，打开扬声器，告诉那个非常有耐心的Zappos员工说她住在圣塔莫尼卡的一个酒店，现在很想要 一个意大利香肠比萨，但是客房服务又不能提供热食了，她想知道Zappos能否帮上忙。Zappos的员工一开始对这一请求感到非常疑惑，但是她很快回过 神来让我们稍等片刻。两分钟后，她回到电话前，列举了离圣塔莫尼卡地区最近的5个还可以在此时送比萨的商店和电话。
很多人会很奇怪为什么作为一个网上公司，Zappos只有5%的销售额是通过电话得来的，但却如此重视电话。事实上，这5%里的大多数电话 还都不能实现销售。但是Zappos发现，平均来说每个顾客一生中至少会给Zappos打一个电话，而他们就是要利用这个机会给顾客建立一个永久的记忆。
大多数的电话都不会立即带来订单。有时顾客打电话，只是因为这是他的第一次，他需要有个人带领他体验这个过程。其他时候，顾客打电话也许只是要问些参加婚礼时应该如何着装的意见。有时会有顾客打电话来，因为他们觉得孤独，想找个人谈话而已。
一次随机的WOW
实际上，Zappos的价值和方法并非独创，而是通过谢家华及其团队的实践将这些已有的理念贯穿起来。支撑Zappos文化的管理著作实际 上包括柯林斯（Jim Collins）的《从优秀到卓越》, 戈丁（Seth Godin）的《紫牛》，和科莱（Chip Conley）的《巅峰》等。谢家华在书中提到了这几位收入Zappos图书馆的作者，并表达了对他们的尊敬。
最终这种公司文化和客户体验通过实践，贯彻到每一个员工的每一个行动中。我们也看到不仅仅在电子商务领域，在所有的服务经济中，这套方法都将越来越受到重视。下面是一则员工自发分享的，关于给客户传递惊喜的小故事。也许，你看完会想起国内的海底捞火锅：
记忆快进到2008年一个星期二的早晨，我在沃尔格林药房刚刚选完购物清单上的一大堆物品，走向收银台。两个手上东西不多的人排在我后面，所以很自然地，我让他们到我前面去了。当轮到我的时候，大概就在收银员清算了我1/3的物品时，一位老人加入了排队的队列，手里拿了两罐花生、软膏、还有 无色唇膏。
我转向他，要他把东西都给我。他带着一脸疑惑的表情，问我为什么。我本来是要说“这是一次随机的善举”，然而却脱口而出“这是一次随机的 WOW！”这句话。自从在Zappos工作以来，“WOW！”这个词已经自然而然地取代了“善举”。我没有去纠正它，只是顺其自然。收银员扫描了那些物 品，把它们放到袋子里后，交给了老人。
他看着我，然后说，“告诉我‘这是一次随机的WOW！’是怎么回事”。他听了我在伦敦和那个陌生人之间的故事之后，深深地感激了我，然后离 开了商店。现在轮到收银员满脸疑惑地看着我了。他也很想知道有关“这是一次随机的WOW！”的一切。于是我解释了我在Zappos是怎样工作的，并说明传 递“WOW！”给客户是我们的核心价值观之一。
离开那个商店，我有一种无法言表的感觉。不仅是因为我分享了“WOW！”，而是我和两个人分享了它。更重要的是，希望他们也能在某一天把它继续传承下去。
几天以后，当我下了夜班，在从公司回家的路上，早上7点我走进了同一家沃尔格林药房。我刚刚把脚踏进店内，就听到有人打招呼“你好，玛莎。”我意识到他是前几天的那位收银员。
我很惊讶，“我真不敢相信你居然记得我的名字。”他回答说，“我从你的信用卡收据上记下了你的名字，因为我不想忘记教我学会‘随机的WOW！和善举’的人。我也把这事告诉了其他人！”
有趣的是，现在是他“WOW！”了我。
不管你是否想起海底捞火锅，还是以前经历过的其他给你惊喜的服务，这个小故事都说明以下几点：
1、创新式的服务和客户体验并不困难；
2、真 正困难的长期任务是让客户体验创新变成日常，那需要从公司文化的高度去经营；
3、一旦达到这种客户体验创新的“化境”或者“飘然”状态，你将具备从供应商 到最终消费者的独特产业链条，竞争对手很难复制，而粉丝和传媒会疯狂地追随你。
第三篇：云计算环境下的网络技术研究
云计算环境下的网络技术研究
摘要：随着互联网的普及应用，使得人们生活内容更加丰富多彩，并且从根本上改变了人们传统的生活习惯，网络已经成为日常生活中不可或缺的组成部分。特别是在云计算环境下，网络技术在国民经济发展、社会进步中所发挥的作用更是与日俱增。如何更好的把握时代脉搏，创新研发符合世界经济发展规律的网络技术成为当前研究领域重要课题之一。为此，本文将针对当前云计算环境下网络新挑战作为切入点，深入分析并探寻未来网络技术发展方向，以丰富现有研究成果，推动相关研究进一步发展。
关键词：云计算；网络技术；国民经济；社会进步；时代脉搏
前言：网络技术的发展可以说是日新月异，自从上个世纪40年代中期计算机诞生以来，网络逐步成为日常生活中的重要娱乐方式。云计算通过虚拟化技术、分布式计算等方式将网络信息资源整合，形成一个资源池，动态的将网络资源分配给具有使用需求的用户，继而创造良好的社会效益及经济效益的一种服务模式，并且随着世界经济一体化趋势不断发展，网络资源在各国竞争中发挥的作用愈加明显。因此，如何应用更新、更具前瞻性的网络技术来抢占市场先机，壮大本国相关产业成为一个不容忽视的问题。1 云计算环境下网络技术面临的新挑战解析 1.1海量数据信息对宽带及延迟提出更高要求
随着互联网的普及应用，网络经济正以飞速发展，人们每天都可以从中感受出网络技术的变化。特别是在云计算环境下，个人信息、企业及政府职能部门敏感数据通过云存储技术进行保存已经成为网络技术发展的主流趋势。然而，由于网络的触角已经延伸至社会经济生产生活的方方面面，每天互联网中都会生成海量的数据信息，并通过网络传输方式上传至云端进行存储。在此过程中，受到网络延迟以及宽带带宽的影响，敏感数据容易发生丢失或者损害，造成用户无法正常使用，并且相关数据恢复难度较大，造成了一定的不利影响。因此，云计算环境下，海量数据面前，网络延迟以及宽带带宽问题已经成为限制网络技术发展的重要因素，由此产生的数据安全数据存储问题亟待解决。1.2二层网络亟待建立
众所周知，由于采用虚拟机动态迁移技术能够使得数据中心的操作具有更大的灵活性及快捷性，大幅提升其工作效率而被广泛认可及接受，成为当前网络技术中应用范围较广的一种应用技术。然而，当前采用的虚拟机动态迁移技术无法改变虚拟机的IP地址、MAC地址，带来的最明显问题即在于当虚拟机发生迁移之后，虚拟机自身原有网络配置将与新环境无法适应，正常通信得不到有效保障，因而最终酿成业务连续性受到影响的不利结果。因而，云计算环境下要想实现跨域场情境下的虚拟机实时运转，就需要将所有发生动态迁移的虚拟机纳入到一个统一的二层网络中，以满足用户的上网需求。而二层网络的建立在目前尚未展开，进一步降低了云计算环境下网络技术所带来的便利性。2 云计算环境下网络技术研究方向
针对云计算环境下网络技术面临的挑战，本文在综合总结了国内外关于该领域及该可以的研究成果后，总结出了如下几方面网络技术研发应用方向，以供相关研究借鉴参考。2.1接入技术
接入技术被业界形象的称之为“最后一公里”技术，意指本地网络运营商与用户之间的一段连接[1]。当前应用前景比较明朗的接入技术如下：
2.1.1ADSL ADSL又被称作为非对称数字用户线，是DSL家族系列中应用范围最广的一种，除了ADSL外，其他DSL接入技术包括：HDSL、VDSL、IDSL等。ADSL主要是利用现有的电话双绞线作为网络传输的介质，具有成本低廉等优势，经过不断丰富及完善，当前ADSL传输峰值已经达到了115Kbps，完全能够满足企事业单位、政府职能部门、个人用户的使用需求。并且ADSL的非对称性与终端用户的网络访问特点具有较为明显的一致性：个人用户多数应用都是以客户方式从网上去获取数据，如WWW、FTP，只在个别时候才向网络大量发送数据，如发送附带多媒体信息的电子邮件，因此下行数据量大、上行数据量小。随着固定电话走入千家万户，ADSL的应用前景将会更加明显，其技术改进方向也集中于提高网络数据传输速率及稳定性等方面。
2.1.2线缆调制解调器 线缆调制解调器的客户群体主要集中于家庭用户，是在当前电缆基础上将分配网络的主干部分改为光缆通信，继而在各个节点位置实现光电转化，再经由通州电缆将网络信号传输至用户家里。线缆调制解调器可以广泛应用于Internet访问、电视节目点播、数据电话等拓展业务，其市场应用前景极其广阔。当前现有技术条件下Internet访问的最高峰值可以达到30Mbps，而上行速率可到到2M左右。尽管线缆调制解调器是一个共享网络，随着用户的增加、宽带及节点数量的激增而会产生网络延迟现象，但是其较高的带宽在目前尚可以满足用户使用需求，其所享受的宽带资源仍然是所有接入技术中最高的网络数据传输方式。
2.1.3无线接入技术（WLAN）
无线接入技术是近些年来随着网络通信技术快速发展而形成的一种新型数据传输、通讯方式。相较于ADSL、线缆调制解调器，无线接入技术是通过无限介质将用户与网络节点相连接，以实现用户与网络间无障碍数据惜惜传递的目的，其需要遵循一定的网络协议，并且该协议内容也成为无线接入技术的核心及关键内容[2]。其最明显的特征即为可以向用户提供实时的移动接入业务，不管用户是在闹市区还是乡村郊外，随时可以将自身感触、心得体会上传至网络空间，网络共享具有极大的便利性，因而该技术成为当下网络技术研究中的重要领域及方向，是今后网络业务开展的重要保障之一。2.2IPv6技术
虚拟机动态迁移技术不能改变IP地址、MAC地址的问题已经困扰人们多时，该问题的存在使得移动网络技术应用受到很大程度影响，加剧了网络服务商与用户之间的对立形势。IPv6技术的出现几乎完美的解决地址不能及时变更的问题，使得网络连接更加快捷。当前IPv6技术为用户提供了128位的IP地址，使得地址数量得到大幅提升，有效的解决了IP地址资源危机。并且其所使用的“可聚集全球统一计算地址”构造与当前网络拓扑结构较为一致，使得线缆调制解调器能够最大化发挥功用[3]。但是当前IPv6技术的应用尚无法广泛推广，主要原因在于其升级存在诸多困难。因此，IPv6技术今后研究的重点方向即为构建以下三种机制：兼容IPv4的IPv6地址、双IP协议栈和基于IPv4隧道的IPv6。结论：综上所述，云计算环境下网络技术研究领域在当前乃至今后一段时期内主要集中于网络数据传输技术及动态地址分配技术两个方面。本文中所分析的网络技术研究内容比较切合实际应用需求，对研究工作能够起到一定的指导作用，希望通过本文能够促使网络技术研究迈上一个更高的发展阶段。参考文献：
[1]周志勇.云计算环境下网络信息安全技术发展研究[J].中国高新技术企业，2014，12（25）:40-41.[2]宋焱宏.云计算环境下的网络安全技术[J].网络安全技术与应用，2014，25（08）:178-179.[3]王丽敏.云计算环境下的网络信息资源管理[J].信息与电脑(理论版)，2014，33（10）:92-93.
第四篇：云计算总结
云计算总结
(2009-10-22 00:02:46)转载▼
标签： 分类： 教育技术学基础云计算 理论
云计算是在网格计算之后06年开始流行起来的一个名词，以下是我针对云计算的基本内容做一个总结：
一、云计算的概念：
到目前为止，云计算还没有一个统一的定义。IBM,Google,Microsoft，SUN，Amazon等研究组织和相关厂家，依据各自的利益和各自不同个的研究视角都给出了对云计算的定义和理解。
IBM公司于2007年宣布了蓝云计划，在IBM的技术白皮书中“Cloud Computing”中云计算的定义如下：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态的部署（provision）、配置（configuration）、重新配置（reconfigure）以及取消服务（deprovision）等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络（SANs），网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Internet进行访问的高扩展的应用程序。
“云使用”是大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联网接入设备以及一个标准的浏览器就能够访问一个云计算应用程序。”
上面的定义给出了云计算的两个方面的含义：一方面描述了基础设施，用来构造应用程序，其地位相当于PC机上的操作系统；另一方面描述了建立在这种基础设施之上的云计算应用。
还有以下分别从模型、模式等方面对云计算的定义
云计算是一种新兴的计算模型：用户可以利用该模型在任何地方通过连接的设备访问应用程序，应用程序位于可大规模伸缩的数据中心，计算资源可在其中动态部署并进行共享；或是脱离了本地计算且计算任务分配到远端大型的统一的计算平台上的模型
云是由一系列相互联系并且虚拟化的计算机组成的并行和分布式系统模式。基于这样云的计算称为云计算。简单地说,云计算就是指基于互联网络的超级计算模式。即把存储于个人电脑、服务器和其他设备上的大量存储器容量和处理器资源集中在一起,统一管理并且协同工作。
云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid
Computing)的发展，或者说是这些计算机科学概念的商业实现。
根据上面的引用内容，我认为云计算的功能类似于Telenet,只是Telenet中的远程计算机变成了云计算服务器，用户只需通过PC机、笔记本或智能手机联通网络，在云计算平台上实现自己的要求即可。而且用户端口只需要有基本的输入输出界面，网络连接设备即可，不需用安装各种各样的软件；用户的数据存储在云计算数据中心，不用再担心如果硬盘出问题数据丢失的问题。即随时随地只要能上网就能应用各种各样的服务，如同钱庄、银行、发电厂等。用一个图片来解释如下：
二、云计算的特征
要想成为云计算，必须具备以下五个方面的特征：1）水平可扩展性，即将多片云连接并整合为一片云来工作的能力。
2）垂直可扩展性，即通过增强云中单个或多个节点的性能来提升整个云性能的能力。3）以互联网为中心。云平台运营商一互联网为中心，将存储和运算能力分布在网络所连接的各个节点之中，从而弱化终端的计算能力，使互联网的架构由“服务器+客户端”向“云服务平台+客户端”演进。4）虚拟化，将底层的硬件，包括服务器、存储于网络设备全面虚拟化，建立起一个共享的可以按需分配的基础资源池。5）用户透明，包括操作透明和技术透明。操作透明，即对处在云计算环境下的用户来说，在云中进行计算操作或数据存储操作与其在本机上进行相应的操作是没有区别的；技术透明，指用户不用关心云中的节点是如何协同工作的以及怎样扩展的。
三、云计算的应用类型
Saas(软件即服务)——通过浏览器把程序传给成千上万的用户。
Paas（平台即服务）——把开发环境作为一种服务来提供。Iaas（基础设施即服务）
1、SaaS软件即服务
这类云计算是通过WEB浏览器来向成千上万个用户提供某种单一的软件应用。在用户看来，这样他们不需要事先购买服务器设备或是软件授权;而对于厂商来说，与常规的软件
服务模式相比，仅提供一项应用的成本也要低得多。一个典型的针对企业级应用的例子就是Salesforce.com的CRM。另外，SaaS在人力资源软件应用中也比较普遍，甚至它已经开始向ERP领域拓展，如Workday。而且，谁又能料到，GoogleApps和Zoho Office这种同样基于SaaS的“桌面”应用会突然火爆起来呢?
2、公用/效用计算
公用/效用计算虽已不是新颖的概念了，但如今它正被付予新的含义。Amazon的AWS、Sun的存储云、IBM的“蓝云”以及其他厂商所共同倡导的的云计算，正在为整个业界提供所需要的存储资源和虚拟化服务器等应用。早期的企业主要将公用/效用计算作为一种补充手段，不会应用在关键性任务需求上。但是时至今日公用/效用计算逐渐在数据中心开始占据一席之地。一些厂商开始帮助企业用户创建虚拟的数据中心，诸如3Tera的AppLogic，Cohesive Flexible Technologies的Elastic Server on Demand(可按需实现弹性扩展的服务器)。Liquid Computing公司的LiquidQ也有类似的服务，能帮助企业将内存、I/0、存储和计算容量通过网络集成为一个虚拟的资源池来使用。
云计算如今已成为又一风靡的概念。与很多同行一样，Gartner资深分析师Ben Pring认为：“云计算就像法国大餐一
样正被人们津津乐道。”然而，问题在于(类似Web 2.0一样)，似乎每个人对云计算的定义都有不同之处。
3、云计算领域的WEB服务
与SaaS有些类似，WEB服务厂商也是通过提供API让开发人员来开发互联网应用，而不是自己来提供功能全面的应用软件。这种云计算的服务范围非常广泛，从分散的商业服务(诸如Strike Iron和Xignite)，到GoogleMaps、ADP薪资处理、美国邮政服务、Bloomberg和常规信用卡处理服务等的全套API服务。
4、平台即服务
平台即服务(Platform as a service)是软件即服务(SaaS)的变种，这种形式的云计算将开发环境作为服务来提供给用户。也就是说，用户可以在供应商的基础架构上创建自己的应用软件来运行，然后通过网络直接从供应商的服务器上传递给其他用户(例如Legos)。然而，这类服务会受到厂商的设计规定与容量限制，用户也因此没有足够的自由。这类云计算服务包括Salesforce.com的Force.com、Coghead和全新的GoogleApp Engine。
5、管理服务供应商(MSP)
管理服务(managed service)是云计算最古老的形式之一，它面向的IT管理人员而不是最终用户，例如用于电子邮件的病
毒扫描服务，还有应用软件监控服务等。由SecureWorks、IBM和Verizon公司提供的管理安全服务就可归为此类，还包括目前被Google收购的Postini以云为基础的反垃圾邮件服务。MSP的其他产品还包含桌面管理服务，诸如CenterBeam和Everdream提供的产品。
6、服务商业平台
这种云计算服务融合了SaaS和MSP，它实际上为用户提供了一种交互性服务平台。这在日常的商业贸易领域是非常普遍的，比如，某种消费管理系统可以让用户从一个网络平台上订购旅行或秘书类服务，而且服务的配送实现方式和价格也都是由用户事先设定好的。其非常典型的例子是Rearden Commerce和Ariba。
7、云计算集成
云计算服务的整合还只是刚刚开始。SaaS供应商OpSource最近就推出了OpSource Services Bus，它使用了一家叫Boomi的小公司的云计算集成技术。另一家SaaS 供应商Workday最近也收购了该领域的另一家公司CapeClear。CapeClear提供的是针对B2B集成的ESB(enterprise service bus，企业服务总线)。另外，2005开始兴起的Grand Central，则想成为一种通用的“云计算总线”(bus in the cloud)，通过把多家SaaS供应商联合在一起来为客户提供完整的服务。
四、技术挑战
1、高可靠的系统技术——大规模的集成计算机系统；容错技术，即单节点的错误不应影响系统运行，能够检查错点，具有重启技术。
2、可扩展的并行计算技术——云计算的核心技术
3、海量的数据挖掘存储和管理技术——并行计算，加速数据处理，需要新的思路、方法、算法；将集群数据库扩展到成千上万个节点还是被类似于google文件系统的新技术替代？
4、数据安全技术——数据银行；安全性，保密性，访问权限的风险性；隐私和可靠性。
关于云计算还有很多内容，在以后的学习中我将慢慢补充。
第五篇：云计算学习心得
云计算课程学习心得
在没学习本课程以前，对于“云计算”的认识仅仅是，它是一种商业服务计算技术和存储技术，而对其他方面不甚了解。通过一段时间的深入学习后，我对云计算有了一定的了解，获得了一些心得体会。
云计算作用十分突出，主要体现在四个方面：一是安全。二是数据共享。三是方便。四是无限可能。
一、云计算的概念
云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物。狭义云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源；广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务，它具有超大规模、虚拟化、可靠安全等独特功效。
二、云计算的原理
通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。
三、云计算的现状
目前，云计算不仅引起各行各业的广泛关注，还引起了各国政府的高度重视。美国、日本、英国等许多国家都在大力建立国家级云计算项目，试图在这场IT技术的全新革命中抢占先机。
中国的云计算发展还处于初级阶段，我们应该看到云计算巨大的发展潜力，要推动并加强云计算的研发和创新，培养相关的科研创新人才和团队，帮助国内企业攻克在IT产业和信息服务领域的关键技术，加速信息化建设进程，进而提升工业化水平。
四、云计算的优势
（一）具备规模经济性
具有相当的规模，Google云计算已经拥有100多万台服务器，Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。
（二）虚拟化能力强
云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。
（三）高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。
（四）通用性强 云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。
（五）高可伸缩性
“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。
（六）按需服务
“云”是一个庞大的资源池，可以根据用户需求定制；可以像自来水，电，煤气那样提供计量服务。
（七）价格低廉
由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势。
（八）支持快速部署业务，快速开展服务
云计算的强大的管理系统可以快速地部署业务，并实现新业务需要的云计算平台其他业务已有的数据库和能力组件快速调用和整合。
五、云计算应运而生的原因
随着互联网的发展，Web 2.0的浪潮使得大众可以参与信息制造和编辑，从而导致信息增长具有无限性的趋势。而摩尔定律的终结，使得在技术上和经济上都没有办法依靠硬件性能的提升而解决这一问题。怎样低成本的高效快速解决无限增长的信息存 储和计算问题是一个摆在科学家面前的命题。云计算是采用大规模低成本运算单元通过IP网络相连而组成的运算系统以提供运算服务的技术。它具有高性能、低成本、通用性强的特点。
六、云计算对于技术的影响
（一）计算成为一种公共资源
过去，企业和个人的数据都存储在计算机里，随着海量数据的增长，高效且低成本地存储和处理变得十分困难，不仅需要大带宽的网络基础设施，还需要处理海量数据的计算与存储的云计算平台。云计算平台正逐步成为一种社会公共资源，为企业和个人提供信息服务。
（二）云计算成为科学研究不可或缺的加速器
科学研究需要大理的计算和存储能力，特别是新型的算法和软件，需要利用海量数据来验证和优化。云计算技术为大型算法的研究和难提供了一种廉价高效的方案。
（三）云计算可以极大降低企业IT成本
云计算服务最主要的吸引力在于企业能够降低购买和维护硬件、软件以及其他设备的成本。与一家云服务厂商签订合同，便可以云服务厂商的虚拟服务器基础设施上运行选择的系统或应用。
（四）云计算极大影响了互联网应用模式和产品开发方向
通过云计算，更多的应用能够以互联网服务的模式交付和运行。利用强大的互联网浏览器和通用的终端设备，用户可以很方 便地操作各种软件应用。
七、云计算对各产业的影响
（一）在互联网领域，使得信息消费模式发生巨变
个人及企业用户将不需要学习客户端软件的操作，只需要根据提供的简洁的界面和窗口，访问一下站点就可以得到服务。同时，网络化的应用软件能按需定制，收费灵活，并杜绝盗版。
（二）在工业领域，助力工业化和信息化的融合
目前，大多数工业领域企业都在着手利用云计算整合其现有的数据中心，实现对既往投资的IT资源的充分利用。通过云计算来处理电信运营商所拥有的海量数据，以期降低IT系统的成本，提高IT系统的效率和性能，加强经营决策的实时程度，将是电信运营商使用云计算的一个重要领域。
（三）在国家政府领域，助力构建独立、安全的国家级公众信息服务网络
云计算的特殊优势引起了各国政府的关注。日本内务部、美国国防部、英国政府都称将建立大规模的云计算基础设施，以支持所有政府运作所需的资讯科技系统，提高运营效率和降低成本。
八、云计算发展面临的主要问题
（一）云计算标准尚无建立
目前，无论是云平台还是云服务的国际标准都没有形成，这就给云计算的发展带来瓶颈。
（二）云计算的安全性
目前，安全性和隐私权可能是将服务迁移到云计算所面临的最大风险。灵活性、易于使用的服务和易于共享基础设施是云计算的优势，但人们的云计算使用方式可能会让很多公司的信息和知识产权面临风险。
（三）政策法规不完善
云计算加速现有IT及信息服务业的变革，从而极大地改变着产业链格局和商业模式。面对新的产业链格局和新的商业模式，很多在政策法规领域的工作还没跟上
（四）云观念的接受不容易
云计算服务也许未能提供大企业需要的可靠性、可管理性和支持程度。目前，许多云服务主要以中小型企业和消费者为主，而不是以大企业为目标。
（五）云计算节省金钱的程度
目前，云计算并不昂贵，但是考虑到总拥有成本（包括重复性成本）、运营成本以及潜在的风险，这个问题则可能另有答案。
九、面对云计算，中国科技应如何发展？
云计算，对于中国既是机遇，更是挑战！它必将深刻改变IT及信息产业的格局，同时改变我们的生活。也可能会改变中国科技在全球的地位。作为中国的科技管理机构，应该直面挑战，抓住机遇！需要从国家层面重视云计算的技术变革，在教育、普及、重点研发、示范工程等诸多领域统筹规划，科学发展。
（一）助力国家信息基础设施建设，推动国家信息化发展 随着各行各业信息化进程的不断深化，政府、大型企事业单位等重点客户面临着许多困境与挑战：IT机房的建设和系统运维难，人工成本和能源消耗巨大等。云计算将可以提供可靠的基础软件、丰富的网络资源、低成本的构建和管理能力，加速国家信息基础设施的建设。
（二）促进节能减排，建设资源节约型、环境友好型社会
云计算的集中化资源整合可以有效地降低能源消耗，提高电能利用率。实践表明，和传统数据中心相比，云计算能够节省约70%的电能消耗，节能效果显著。
（三）发展我国云计算工业，保护中国的数据安全
以美国为代表的发达国家信息服务业的服务范围是跨国界的，其全球强势地位一时还难以撼动，其产业渗透在我国处处可见。我国大量互联网数据被聚集在北美的数据中心上，使用Google、微软、雅虎等搜索和邮箱的网民数量难以估计，国家的数据安全以及国民个人信息隐私的安全令人忧虑。同时，将公共事务处理任务部署到“云”中，可以更好地整合、共享有限的高性能计算资源，使其按需使用、灵活调配。借助云计算，我国将可能用较低的投入、较快的速度来创建自有的数据资源和知识资源，提高世界知识总量的拥有率、转化率和使用率。
（四）促进产学研用相结合，加快科学技术创新
云计算是为了解决企业信息化发展的实际问题而由产业界推动的技术创新。海量数据处理是现代工业发展的一个标志。云计 算关键技术问题和瓶颈只有在大规模集群环境中才能显现并获得解决，需要企业投入大量资金，联合高校、科研院所进行关键技术攻关。
（五）吸引并培养尖端人才队伍，加快推进人才强国战略
云计算是世界上最热闹的IT技术革命，是集硬件、软件、中间件综合的信息化尖端技术，需要大量的专业人才进行科技攻关。加强云计算的自主研发，有助于促进产学研用联合创新，并在创新过程中培养学科带头人以及专业研发人员。不仅如此，云计算本身将是吸引全球高层次人才的“聚宝盆”，开展云计算的研发将大大加速杰出人才的引进及优秀团队的培养。
虽然云计算的发展仍面临着许多的难题，但是云计算这种方式的确有其不可取代的优势，它被许多专家认为，会改变互联网的技术基础，甚至会影响整个产业的格局，云计算技术和基于云计算的服务的存在，会成为日后推动世界经济发展的重大力量。
未来，目前的网络技术必将被云计算技术所取代。当今云计算方兴未艾，我们不能错过以“云计算”带动科技和产业发展的机遇，一定要迎难而上，大力推进云计算的发展。
点击咨询 