论大数据时代的利与弊

第一篇：论大数据时代的利与弊

论大数据时代的利与弊

摘 要：信息是推动世界发展、科技进步的不竭动力。而作为信息时代的产物――大数据，逐渐成为大家讨论的话题。下面将对大数据时代进行简单概述，介绍大数据前沿的公司以及大数据时代的利与弊。

关键词：大数据；数据分析；认知计算系统

中图分类号：TP181 大数据时代的概述

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，他称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。

当大数据还在众说纷纭时，维克托・迈尔-舍恩伯格就以对大数据进行了深入而系统的研究，并与麦肯思・库克耶编辑在《经济学人》发表了大数据专题论文，他曾说，世界的本质就是数据，大数据将开启一次重大的时代变革。

大数据的引领者

Google，Microsoft，亚马逊，IBM，苹果，Facebook，twitter，VISA都是大数据时代的领军企业，他们都洞察到了大数据的发展，在其中他们“受益匪浅”。

IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”未经处理的数据就像源矿，毫无价值，只有经过分析与处理的数据才有价值。大数据及分析最大的魅力就在于能够为国家、企业、医疗机构等带来分析洞察力，依托数据更加科学的来进行决策，进一步推动生产力发展。对于大数据分析，IBM采用的是一种“人工智能”+“大数据”的方式来提供大数据分析和服务，即“Watson Foundations”。

曾在《危险边缘》中一举成名的沃森能够战胜人类的“秘技”主要有以下几个：能够识别自然语言；从知识库中搜索证据来支持假设的答案；具有学习能力。IBM认为，随着信息的增加，以学习的、交互的方式，随着数据的进一步增长逐步提高认知的分析行为，就是“认知计算”。在IBM内部，“沃森”所代表的就是“认知计算”，IBM已经将认知计算作为未来大数据分析的战略方向。“沃森”基于IBM Power硬件平台，实际上“沃森”的认知计算能力并不仅限于Power，而是能移植到其他IBM系统上。IBM的Watson Foundations是一个开放式平台，传统的大数据解决方案用户也能获得认知计算带来的好处。

现在，IBM已经创建了三大类认知计算系统：新一代的对话系统；新一代的探索系统；新一代的决策系统，这是认知计算的最高应用境界，能帮助客户提供最佳的决策，如根据客户过往购物情况和实时购物情况，预测接下来客户要买什么。

“沃森”正变得越来越受欢迎，因为它所代表的“认知计算”让大数据及分析变得更加简单。

在国内，百度已经致力于开发自己的大数据处理和存储系统；腾讯也提出目前已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。每一个商业巨头都在紧紧把握这次机会。大数据时代的利与弊

一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……你把它们当作抒情议论的工具，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。他们究竟是怎么利用这些数据的？这些数据具体有六大价值：

（1）华尔街根据民众情绪抛售股票；（2）对冲基金依据购物网站的顾客评论，分析企业产品销售状况；（3）银行根据求职网站的岗位数量，推断就业率；（4）投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；（5）美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；（6）美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。

几乎每一个成功的人，成功的企业都充分利用了大数据的绝妙优势。

苹果公司的传奇总裁史蒂夫・乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。他得到的不是只有一系列标记的样本，而是包括整个基因密码的数据文档。对于一个普通患者，医生只能期望他的DNA排列同实验中使用的样本足够相似。但是，史蒂夫・乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用药。如果癌症病变导致药物失效，医生可以及时更换另一种药，也就是乔布斯所说的，“从一片睡莲叶跳到另一片上。”乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”虽然他的愿望没有实现，但是他获得的所有数据还是将他的生命延长了好几年，也才有了iphone的一次次创新，带给我们的一次次惊喜。[1]

采用所有数据而不是样本数据，增加了我们解决问题的方法和能力，降低了我们的直接和间接经济损失，甚至挽救或者延长了人的生命，这就是大数据的魅力所在。

沃尔玛是世界上最大的零售商，在网络带来的巨大数据之前，沃尔玛在美国企业中拥有的数据资源是最多的。在20世纪90年代，通过把每一个产品记录为数据，沃尔玛可以让供应商监控销售速率、数量以及存货的情况，利用此沃尔玛成为了世界上最大的“寄售店”。而且在2004年，沃尔玛对历史交易记录这个庞大的数据库进行了观察，这个数据库记录的不仅仅包括每一个顾客的购物清单以及消费额，还包括购物篮中的物品，具体时间，甚至购买当日的天气。他们注意到，每当季节性飓风来临之前，不仅手电筒的销售量增加了，而且POPTarts蛋挞的销量也增加了。因此当季节性飓风来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，从而增加销售量。[2]

当数据点以数量级方式增长时，我们会观察到许多似是而非的相关关系，大数据的相关关系分析法更准确、更快，也更不易受到偏见的影响。[3]

任何事物都有两面性，大数据难道带给我们的只有好处而无弊端吗？不，当然不是。大数据的最大弊端就是隐私。

Google、Yahoo！、微软搜索、Ask.com以及万维网进行边路的其他许多搜索引擎，通过碎网页的诸葛搜索，使得所有人仅在搜索框中键入一两个关键字就能访问这些网页。然而在不经意间，搜索引擎记住了许多，比网上发布的信息多得多。Google能识别出我们每个人在什么时候搜索了什么的，以及我们可能觉得足够准确并点击进去的搜索结果是什么。毫不夸张的说，Google对我们的了解比我们自己能够记住的还要多。[4]

他们得到了我们如此之多的隐私（并非我们自愿给予的），我们完全处于赤裸的状态（虽然Google等都对他们存储的信息进行定期的删除）。我们的隐私不再隐私。

大数据为我们带来便利的同时，也为我们埋下了巨大隐患。但是我们不会因为它的不足就摒弃它，相反地我们要好好利用它，并对它产生的弊端进行研究，拿出合理的解决方案。

参考文献：

[1]维克托・迈尔-舍恩伯格，肯尼思・库克耶.盛杨燕，周涛译.大数据时代[M].浙江人民出版社，2012（12）：33-34.[2]维克托・迈尔-舍恩伯格，肯尼思・库克耶.盛杨燕，周涛译.大数据时代[M].浙江人民出版社，2012（12）：50.[3]维克托・迈尔-舍恩伯格，肯尼思・库克耶.盛杨燕，周涛译.大数据时代[M].浙江人民出版社，2012（12）：51.[4]维克托・迈尔-舍恩伯格.删除[M].袁杰译.浙江人民出版社，2013（01）：12-13.作者单位：沈阳农业大学，沈阳 110866

第二篇：大数据的利与弊

大数据的利与弊

随着科学技术的发展，越来越多的现代产品涌入我们的生活，它们无不例外地方便着我们的生活，为我们提供资讯，或者是将我们的资讯提供给他人。在这种信息不断交互的过程中，大数据的理念开始产生，大数据主要是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。虽然在普通人看来大数据遥不可及，与自己没有什么关系，但是大数据与每个个体正如国家与每个公民一样，我们每个人都是大数据的提供者与受益者。

大数据有四个基本特征：数据体量巨大、数据类型多样、处理速度快、价值密度低。基于大数据以上的特征，人们由此衍生出了许多与大数据有关的产业，并且得到了蓬勃的发展。

大数据最主要的发展当然集中在互联网上面。对大数据的处理分析正成为新一代信息技术融合应用的节点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据也是信息产业持续高速增长的新引擎。面对大数据市场的新技术、新产品、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变为“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测，跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

目前大数据在医疗卫生领域有广为所知的应用，公共卫生部门可以通过覆盖全国的患者电子病历数据库进行全面疫情监测。5千万条美国人最频繁检索的词条被用来对冬季流感进行更及时准确的预测。学术界整合出2003年H5N1禽流感感染风险地图，研究发行此次H7N9人类病例区域。社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台，医生借此可获得院外临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。

在疾病诊治方面，可通过健康云平台对每个居民进行智能采集健康数据，居民可以随时查阅，了解自身健康程度。同时，提供专业的在线专家咨询系统，由专家对居民健康程度做出诊断，提醒可能发生的健康问题，避免高危病人转为慢性病患者，避免慢性病患者病情恶化，减轻个人和医保负担，实现疾病科学管理。对于医疗卫生机构，通过对远程监控系统产生数据的分析，医院可以减少病人住院时间，减少急诊量，实现提高家庭护理比例和门诊医生预约量的目标。武汉协和医院目前也已经与市区八家社区卫生服务中心建立远程遥控联系，并将在未来提供“从医院到家”的服务。在医疗卫生机构，通过实时处理管理系统产生的数据，连同历史数据，利用大数据技术分析就诊资源的使用情况，实现机构科学管理，提高医疗卫生服务水平和效率，引导医疗卫生资源科学规划和配置。大数据还能提升医疗价值，形成个性化医疗，比如基于基因科学的医疗模式。

在医药研发方面，大数据的战略意义在于对各方面医疗卫生数据进行专业化处理，对患者甚至大众的行为和情绪的细节化测量成为可能，挖掘其症状特点、行为习惯和喜好等，找到更符合其特点或症状的药品和服务，并针对性的调整和优化。在医药研究开发部门或公司的新药研发阶段，能够通过大数据技术分析来自互联网上的公众疾病药品需求趋势，确定更为有效率的投入产品比，合理配置有限研发资源。除研发成本外，医药公司能够优化物流信息平台及管理，更快地获取回报，一般新药从研发到推向市场的时间大约为13年，使用数据分析预测则能帮助医药研发部门或企业提早将新药推向市场。

在公共卫生管理方面，大数据可以连续整合和分析公共卫生数据，提高疾病预报和预警能力，防止疫情爆发。公共卫生部门则可以通过覆盖区域的卫生综合管理信息平台和居民信息数据库，快速监测传染病，进行全面疫情监测，并通过集成疾病监测和响应程序，进行快速响应，这些都将减少医疗索赔支出、降低传染病感染率。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。

在居民健康管理方面，居民电子健康档案是大数据在居民健康管理方面的重要数据基础，大数据技术可以促进个体化健康事务管理服务，改变现代营养学和信息化管理技术的模式，更全面深入地从社会、心理、环境、营养、运动的角度来对每个人进行全面的健康保障服务，帮助、指导人们成功有效地维护自身健康。另外，大数据可以对患者健康信息集成整合，在线远程为诊断和治疗提供更好的数据证据，通过挖掘数据对居民健康进行智能化监测，通过移动设备定位数据对居民健康影响因素进行分析等等，进一步提升居民健康管理水平。

在健康危险因素分析方面，互联网、物联网、医疗卫生信息系统及相关信息系统等普遍使用，可以系统全面地收集健康危险因素数据，包括环境因素，生物因素，经济社会因素，个人行为和心理因素，医疗卫生服务因素，以及人类生物遗传因素等，利用大数据技术对健康危险因素进行比对关联分析，针对不同区域、人群进行评估和遴选健康相关危险因素及制作健康监测评估图谱和知识库也成为可能，提出居民健康干预的有限领域和有针对性的干预计划，促进居民健康水平的提高。

当然作为一个新兴的概念，大数据也有着一些有待改进的缺陷。例如大数据的安全性。如果某个数据库发生了泄露或者是黑客入侵等情况，那么就有可能使得成百上千的公民的个人数据泄露，从而造成公民财产，个人隐私上面的危害。并且，大数据作为一个有着高额利润的项目，有不少企业会只看重利润就盲目地启动大数据的有关项目，但却没有相关的知识和人才，所以导致大数据这个新兴的项目充满了不确定性。

因此，大数据对于我们来说，既是机遇又是挑战。我们一方面要把握好大数据带来的机遇，努力把握住它，永远走在时代浪潮的顶端；另一方面，我们要时刻保持清醒警戒的意识，保护好个人的隐私，不要让不法分子钻了大数据的漏洞。

第三篇：大数据时代

大数据时代

近年来，随着互联网、移动互联网、智能手机及传感器等的普及，信息流量有了爆发性的增长，两会以后，互联网里最热的词汇，就是李克强总理在政府工作在报告里面提到的“互联网+”，大数据将会更广泛的被运用到各个领域，越来越多的业内人士开始谈论“大数据”，如何利用大数据，成为政府和众多企业关心的热点？

互联网+《大数据》紧紧围绕这些问题展开，帮您如何利用大数据为企业从战略上面进行指导挖掘和预测，从战术上进行营销服务和安全措施，精彩我们共同期待。

第一篇大数据很热，大数据不神秘（趋势）有人说，如果你不知道大数据，你就OUT了 －－大数据到底有多热 什么样的数据算是大数据 －－大数据的特点和概念辨析 乱我心者，大数据之事多烦忧 －－大数据并不象你想象的那样神秘 身边的大数据

－－大数据就在你我身边

案例分析：淘宝是如何利用大数据淘宝的 小结：不管你愿不愿意，大数据已经在那里 电话：010---59002742 010--59004371 第二篇：认识大数据 1.什么是大数据 2.大数据应用的意义

3.大数据在企业经营中应用的意义 4.对大数据的认识误区 案例分析

第三篇：大数据时代变革 1：大数据时代的思维变革 2：大数据时代的商业变革 3：大数据时代的管理变革

第四篇：大数据在营销中的运用 大数据精准营销 1.什么是精确营销 2.精确营销的方法 实操教学+案例分析

第五篇：在技术中应用 数据挖掘

大数据的核心价值——挖掘 1.什么是数据挖掘？ 2.数据挖掘的流程 3.数据挖掘解决的问题 结合现场实操教学+案例分析

第六篇：预测

大数据的核心价值——预测 1：如何预测？ 案例分析

第七篇：大数据与云计算 1：什么是云计算

2：大数据与云计算的关系

第八篇：大数据的安全问题

大数据给信息安全带来新的挑战和机遇 大数据存储安全策略 大数据应用安全策略 大数据管理安全策略

第四篇：大数据时代

“大”数据时代 众所周知，数据本身就蕴藏着价值，但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。

显然，您所掌握的人员情况、工资表和客户记录对于企业的运转至关重要，但是其他数据也拥有转化为价值的力量。一段记录人们如何在您的商店浏览购物的视频、人们在购买您的服务前后的所作所为、如何通过社交网络联系您的客户、是什么吸引合作伙伴加盟、客户如何付款以及供应商喜欢的收款方式……所有这些场景都提供了很多指向，将它们抽丝剥茧，透过特殊的棱镜观察，将其与其他数据集对照，或者以与众不同的方式分析解剖，就能让您的行事方式发生天翻地覆的转变。

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

“大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪 潮的华彩乐章”。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

第五篇：大数据时代

《大数据时代》读书笔记

作者：迈尔舍恩伯格

出版发行：浙江人民出版社

版次：2013年1月第一版

读者：物流一班、时菲阳

一、作者观点

谷歌有一个名为“谷歌流感趋势”的工具，它通过跟踪搜索词相关数据来判断全美地区的流感情况。这就是一个典型的“大数据”的应用例子，舍恩伯格的这本《大数据时代》受到了广泛的赞誉，他本人也因此书被视为大数据领域中的领军人物。

作者提出了三点结论：第一，要尽可能分析事物相关的“全部”数据，而不是之前的随机抽样，即“样本=总体”。第二，要乐于接受数据的繁杂，而不应过分追求其精确性。第三，重视大数据呈现的“相关关系”，而不要执于探索事物间的因果关系。

二、摘抄：

在甲型H1N1流感爆发的几周前，互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文。它令公共卫生官员们和计算机科学家们感到震惊。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围的传播，而且可以具体到特定的地区和州。谷歌通过观察人们在网上的搜索记录来完成这个预测，而这种方法以前一直是被忽略的。谷歌保存了多年来所有的搜索记录，而且每天都会收到来自全球超过30亿条的搜索指令，如此庞大的数据资源足以支撑和帮助它完成这项工作。

发现能够通过人们在网上检索的词条辨别出其是否感染了流感后，谷歌公司把五千万条美国人最频繁检索的词条和美国疾控中心在03年至08年间季节性流感传播时期的数据进行了比较。其他公司也曾试图确定这些相关的词条，但是他们缺乏像谷歌公司一样庞大的数据资源、处理能力和统计技术。

虽然谷歌公司的员工猜测，特定的检索词条是为了在网络上得到关于流感的信息，如“哪些是治疗咳嗽和发热的药物”，但是找出这些词条并不是重点，他们也不知道哪些词条更重要，更关键的是，他们建立的系统并不依赖于这样的语义理解。他们设立的这个系统唯一关注的就是特定检索词条的频繁使用与流感在时间和空间上的传播之间的联系。谷歌公司为了测试这些检索词条，总共处理了4.5亿个不同的数字模型。在将得出的预测与07年、08年美国疾控中心记录的实际流感病例进行对比后，谷歌公司发现，他们的软件发现了45条检索词条的组合，一旦将它们用于一个数学模型，他们的预测与官方数据的相关性高达97%。和疾控中心一样，他们也能判断出流感是从哪里传播出来的，而且他们的判断非常及时，不会像疾控中心一样要在流感爆发一两周之后才可以做到。

所以，09年甲型H1N1流感爆发的时候，与习惯性滞后的官方数据相比，谷歌成为了一个更有效、更及时的指示标。公共卫生机构的官员获得了非常有价值的数据信息。惊人的是，谷歌公司的方法甚

至不需要分发口腔试纸和联系医生——它是建立在大数据的基础之上的。这是当今社会所独有的一种新型能力：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。基于这样的技术理念和数据储备，下一次流感来袭的时候，世界将会拥有一种更好的预测工具，以预防流感的传播。

三、感想：

看完本书有如下感想：

首先，作者站在理论的制高点上，条理清楚地阐述了大数据对人类的工作、生活、思维带来的革新，大数据时代的三种典型的商业模式，以及大数据时代对于个人隐私保护、公共安全提出的挑战。其次，文中的事例贴近现实生活，贴近时代，令读者既印象深刻，又感同身受。此外，作者没有使用大量的专业术语，没有假装一副专业的面孔。纵观全书，遣词造句，均通俗易懂。

其次，作者认为大数据时代具有三个显著特点。

一、人们研究与分析某个现象时，将使用全部数据而非抽样数据；

二、在大数据时代，不能一味地追求数据的精确性，而要适应数据的多样性、丰富性、甚至要接受错误的数据。

三、了解数据之间的相关性，胜于对因果关系的探索。“是什么”比“为什么”重要。

最后，作者指出，随着技术的发展，数据的存储与处理成本显著降低，人们现在有能力从支离破碎的、看似毫不相干的数据矿渣中抽炼出真知烁见。在大数据时代，三类公司将成为时代的宠儿。一是拥有大数据的公司与组织。如政府、银行、电信公司、全球性互联网公

司（阿里巴巴、淘宝网）。二是拥有数据分析与处理技术的专业公司，如亚马逊、谷歌。三是拥有创新思维的公司，他们可能既不掌握大数据，也没有专业技术，但却擅长使用大数据，从大数据中找到自己的理想天地。