现在已经进入到了二十一世纪了,当今社会已经摆脱了上个世纪的那种消息滞后的时代了,我们最应该感谢的就是科学的进步为我们带来了这么多便利。与此同时,科学的进步还为我们带来了“大数据”这个让人类减少了很多工作量的东西。
在这个学期的名著导读课上我们就被要求读:《大数据时代》这本书。《大数据时代》是国外大数据系统研究的先河之作,本书作者维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”,他是一个特别厉害的人,他作为一个教师,他曾经在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多所世界前列名校任教的经历。他作为一个科学家,早在20xx年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。他是十余年潜心研究数据科学的技术权威。他是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。现任牛津大学网络学院互联网治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛国家电子商务研究中网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。他作为一个研究学者,他的学术成果斐然,有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上,他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;
“大数据”在百度上搜索到的解释是:称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。特点:数量、速度、品种、真实性。而舍恩伯格认为,大数据并不能定义一个确切的概念。他提到“大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府和公民关系的方法。”这是一种更具有人文色彩和社会意义的诠释。
大数据不仅改变了公共卫生领域,整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。就像书中写到20xx年,奥伦·埃齐奥尼准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜,于是他在这个大喜日子来临之前的几个月,就在网上预订了一张去洛杉矶的机票。在飞机上,埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚,但是票价却比他便宜得多时,他感到非常气愤。于是,他又询问了另外几个乘客,结果发现大家买的票居然都比他的便宜。
飞机着陆之后,埃齐奥尼下定决心要帮助人们开发一个系统,用来推测当前网页上的机票价格是否合理。作为一种商品,同一架飞机上每个座位的价格本来不应该有差别。但实际上,价格却千差万别,其中缘由只有航空公司自己清楚。
埃齐奥尼表示,他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的,但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。
在信息时代,信息安全问题的日趋凸显,数据独裁与隐私保护之间的矛盾更是立于风口浪尖,成为众矢之的,舍恩伯格在本书的最后章节曾试图寻找一种解决方式来摆脱这一种困境,但最终没能做到,但是他提出“大数据并不是一个充斥着算法的和机器的冰冷世界,人类的作用仍无法被完全代替。”这里表明人在数据时代同样的重要,数据是为人类服务的,也就该人类驱使下完成相应的目的。在这样的大环境下,常引起我更多的思考和担忧。
大数据时代对于我们同是机遇与挑战,一些国家已开始步入大数据时代的行列,并在各个领域开始研究和使用。而对于我国庞大的人口,以及较大的领土面积,都可以在大数据时代为我们提供数据的保障,而能否面临挑战,在大国之间的新一轮角色角逐间崭露头角,我们更需要解决技术等方面的问题,更应在政策上逐步开放各领域的数据,保证数据来源、权限等问题得到解决,不断学习先进的计算机技术,缩小与其他国家的差距。
《大数据时代》这本书主要描述的是大数据时代人们生活、工作与思维各方面所遇到的重大变革,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。第一部分提出了大数据时代处理数据理念上的三大转变:抽样=全体;要效率不要绝对精确;要相关不要因果;第二部分作者从万事万物数据化和数据的巨大价值出发,阐述数据创新是驱动各行各业在大数据时代向前发展的最根本动力;最后一部分,作者描绘了大数据应用带来的风险,包括产业生态环境、数据安全隐私、信息公正公开等问题。全文清晰的阐述了大数据的基本概念和特点,给出了作者对于大数据的明确的观点,列举和分析了微软、惠普、IBM、亚马逊、facebook、twitter、VISA等大数据先锋们的最前沿的大数据应用案例,对大数据的价值、带来的变革、角色定位及风险给予了清晰的预见,对于通讯运营商来说,非常具有价值。
一、大数据带来的思维变革
主要有如下三个思维变革:(1)要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。大数据是全数据模式,样本=总体,纷繁的数据,越多越好。在信息处理能力受限的时代,世界需要数据分析,却缺少用来分析所收集数据的工具,因此随机采样应运而生,它也可以被视为那个时代的产物。如今,计算和制表不再像过去一样困难。感应器、手机导航、网站点击和twitter被动地收集了大量数据,而计算机可以轻易地对这些数据进行处理。“样本=总体”使得我们能对数据进行深度探讨得到一些微观细节的信息,获得对某些特定子类别进行进一步研究的能力,大数据的简单算法比小数据的复杂算法更有效。(2)大数据允许不精确。大数据放松了容错的标准,人们掌握的数据也多了起来,还可以利用这些数据做更多新的事情,使得大量数据创造了更好的结果。学会接受不精确,这就是由“小数据”到“大数据”的重要转变之一(3)大数据不重因果,只求相关。通过去探求“是什么”而不是“为什么”,相关关系帮助我们更好地了解了这个世界。相关关系同时它也为研究因果关系奠定了基础。通过找出可能相关的事物,我们可以在此基础上进行进一步的因果关系分析,如果存在因果关系的话,我们再进一步找出原因。
二、大数据带来的商业变革
(1)一切皆可“量化”:量化一切是数据化的核心。公元前3000年,信息记录在印度河流域、埃及和美索不达米亚平原地区就有了很大的发展。伴随着数据记录的发展,人类探索世界的想法一直在膨胀,我们渴望能更精准地记录时间、距离、地点、体积和重量,等等。到了19世纪,随着科学家们发明了新工具来测量和记录电流、气压、温度、声频之类的自然科学现象,科学已经离不开定量化了。计算机的出现带来了数字测量和存储设备,这样就大大提高了数据化的效率,数字化带来了数据化,万千事物都能转化为数据形式,滋生无穷无尽的用途。将世界看作信息,看作可以理解的数据的海洋,为我们提供了一个从未有过的审视现实的视角。它是一种可以渗透到所有生活领域的世界观。(2)大数据的价值难以估量:无论是向公众开放还是将其锁在公司的保险库中,数据的价值都难以衡量。公司账面价值和市场价值之间的差额被记为“无形资产”。20世纪80年代中期,无形资产在美国上市公司市值中约占40%,而在2002年,这一数字已经增长为75%。无形资产早期仅包含品牌、人才和战略这些应计入正规金融会计制度的非有形资产部分。但渐渐地,公司所持有和使用的数据也渐渐纳入了无形资产的范畴。经济正在渐渐开始围绕数据形成,“数据是一个平台”,因为数据是新产品和新商业模式的基石。(3)大数据决定企业竞争力:大数据成为许多公司竞争力的来源,从而使整个行业结构都改变,大公司和小公司最有可能成为赢家,而大部分中等规模的公司则可能无法在这次行业调整中尝到甜头。大公司收集大量的数据,将其转化为收入,聪明而灵活的小公司能享受到非固有资产规模带来的好处,它们可能没有很多的固定资产但是存在感非常强,也可以低成本地传播它们的创新成果。大大小小的公司都能从大数据中获利,这个情况并不只是适用使用数据的公司,也适用于掌握数据的公司。
三、大数据带来的风险
目前所采集的大部分数据都包含有个人信息,而且存在着各种各样的诱因,让我们想尽办法去采集更多、存储更久、利用更彻底。大数据的价值不再单纯来源于它的基本用途,而更多源于它的二次利用。这就颠覆了当下隐私保护法以个人为中心的思想:数据收集者必须告知个人,他们收集了哪些数据、作何用途,也必须在收集工作开始之前征得个人的同意。虽然这不是进行合法数据收集的唯一方式,“告知与许可”已经是世界各地执行隐私政策的共识性基础。更重要的是,大数据时代,很多数据在收集的时候并无意用作其他用途,而最终却产生了很多创新性的用途。
大数据为监测我们的生活提供了便利,同时也让保护隐私的法律手段失去了应有的效力。面对大数据,保护隐私的核心技术不再适用了。同样,通过大数据的预测,对我们的未来想法而非实际行为采取惩罚措施,也让我们惶恐不安。大数据带来的影响使我们面临更多的隐私、安全性问题,我们时刻都暴露在第三只眼之下,亚马逊监视着我们的购物习惯,谷歌监视着我们的网页浏览习惯,而微博似乎什么都知道,不仅窃听到了我们心中的“TA”,还有我们的社交关系网 多少密码和账号是因为“社交网络”流出去的?面对大数据,保护隐私的核心技术不再适用了。针对这一问题,作者提出必须杜绝对数据的过分依赖,以防我们误用了数据而落入深渊。政府企业需要全新的制度规范,而不是修改原有规范的适用范围。想要保护个人隐私就需要个人数据处理器对其政策和行为承担更多的责任。同时,我们必须重新定义公正的概念,以确保人类的行为自由(也相应地为这些行为承担责任)。新机构和专家们需要设计复杂的程序对大数据进行解读,挖掘出其潜在的价值和结论。他们也要向那些可能受害于大数据结论的人——因之被剥夺了工作、接受医疗或贷款权利的人,提供支持。
四、大数据启示
大数据时代是名副其实的“信息社会”,大数据在实用层面的影响很广泛,解决了大量的日常问题。大数据更是利害攸关的,它将重塑我们的生活、工作和思维方式。拥有知识意味着掌握过去,现在则更意味着能够预测未来。除了纠结于数据的准确性、正确性、纯洁度和严格度之外,我们也应该容许一些不精确的存在。数据不可能是完全对或完全错的。当数据的规模以数量级增加时,这些混乱也就算不上问题了。在日常情况下,知道“是什么”就已经足够了,不必非要弄清楚“为什么”。大数据的相关性将人们指向了比探讨因果关系更有前景的领域。对个人来说:
1、我们现在所处的时代是大数据时代,对于大数据时代赋予的便利,绝对学习并吸收;
2、明白大数据时代在隐私等诸多层面存在隐忧,对于个人重要隐私应妥善保护,减少隐私被不法分子利用的可能; 对企业来说:重视数据,重视数据库平台的搭建,以帮助企业快速做出正确决策,提高企业竞争力,拓展企业收入来源; 对国家来说:反对数据垄断,学习国外数据开放与透明;