第一篇:大数据时代来临“得数据者得天下”成全球普遍共识
大数据时代来临“得数据者得天下”成全球普遍共识
发布时间: 2015-10-23 09:04:19 | 来源: 中国网 | 作者: 张艳玲 | 责任编辑: 肖冰
10月19日,中国行政体制改革研究会、人民出版社举办的“大数据和国家治理现代化”研讨会。张艳玲摄
中国网10月23日讯(记者 张艳玲)“我们的衣食住行都与大数据有关,每天的生活都离不开大数据,每个人都被大数据裹挟着。大数据提高了我们的生活品质,为每个人提供创新平台和机会。”10月19日,参加中国行政体制改革研究会、人民出版社举办的“大数据和国家治理现代化”研讨会暨《大数据领导干部读本》新书发布会的专家们如是说。
那么,什么是大数据?用专业术语来讲,大数据是一类数据量大、增长速度快、类别多、价值密度低的数据,也是一项对数量巨大、来源分散、格式多样的数据进行采集、存储和关联性分析的新一代信息系统架构和技术。大数据通过数据整合分析和深度挖掘,发现规律,创造价值,进而建立起物理世界到数字世界到网络世界的无缝链接。大数据时代,线上与线下,虚拟与现实、软件与硬件、跨界融合,将重塑我们的认知和实践模式,开启一场新的产业突进与经济转型。
国家行政学院常务副院长马建堂说,大数据其实就是海量的、非结构化的、电子形态存在的数据,通过数据分析,能产生价值,带来商机的数据。
而《大数据时代》的作者维克多•舍恩伯格这样定义大数据,“大数据是人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上无法完成。”
大数据是“21世纪的石油和金矿”
工业和信息化部部长苗圩在为《大数据领导干部读本》作序时形容大数据为“21世纪的石油和金矿”,是一个国家提升综合竞争力的又一关键资源。
而马建堂在致辞中也指出,大数据可以大幅提升人类认识和改造世界的能力,正以前所未有的速度颠覆着人类探索世界的方法,焕发出变革经济社会的巨大力量。“得数据者得天下”已成全球普遍共识。
“从资源的角度看,大数据是‘未来的石油’;从国家治理的角度看,大数据可以提升治理效率、重构治理模式,将掀起一场国家治理革命;从经济增长角度看,大数据是全球经济低迷环境下的产业亮点;从国家安全角度看,大数据能成为大国之间博弈和较量的利器。”马建堂在《大数据领导干部读本》序言中这样界定大数据的战略意义。总之,国家竞争焦点因大数据而改变,国家间竞争将从资本、土地、人口、资源转向对大数据的争夺,全球竞争版图将分成数据强国和数据弱国两大新阵营。
苗圩在《大数据领导干部读本》序言中说,数据强国主要表现为拥有数据的规模、活跃程度及解释、处置、运用的能力。数字主权将成为继边防、海防、空防之后另一大国博弈的空间。谁掌握了数据的主动权和主导权,谁就能赢得未来。新一轮的大国竞争,并不只是在硝烟弥漫的战场,更是通过大数据增强对整个世界局势的影响力和主导权。
大数据可促进国家治理变革
专家们普遍认为,大数据的渗透力远超人们想象,它正改变甚至颠覆我们所处的时代,将对经济社会发展、企业经营和政府治理等方方面面产生深远影响。的确,大数据不仅是一场技术革命,还是一场管理革命。它提升人们认知能力,是促进国家治理变革的基础性力量。在国家治理领域,打造阳光政府、责任政府、智慧政府建设上都离不开大数据,大数据为解决以往的“顽疾”和“痛点”提供强大支撑;大数据还能将精准医疗、个性化教育、社会监管、舆情检测预警等以往无法实现的环节变得简单、可操作。
中国行政体制改革研究会副会长周文彰认同大数据是一场治理革命。他说:“大数据将通过全息数据呈现,使政府从‘主观主义’、‘经验主义’的模糊治理方式,迈向‘实事求是’、‘数据驱动’的精准治理方式。在大数据条件下,‘人在干、云在算、天在看’,数据驱动的‘精准治理体系’、‘智慧决策体系’、‘阳光权力平台’都将逐渐成为现实。”
马建堂在为《大数据领导干部读本》作序时也说,对于决策者而言,大数据能实现整个苍穹尽收眼底,可以解决“坐井观天”、“一叶障目”、“瞎子摸象”和“城门失火,殃及池鱼”问题。另外,大数据是人类认识世界和改造世界能力的升华,它能提升人类“一叶知秋”、“运筹帷幄,决胜千里”的能力。
专家们认为,大数据时代开辟了政府治理现代化的新途径:大数据助力决策科学化,公共服务个性化、精准化;实现信息共享融合,推动治理结构变革,从一元主导到多元合作;大数据催生社会发展和商业模式变革,加速产业融合。
中国具备数据强国潜力 2020年数据规模将位居第一
2015年是中国建设制造强国和网络强国承前启后的关键之年。今后的中国,大数据将充当越来越重要的角色,中国也具备成为数据强国的优势条件。
马建堂说,近年来,党中央、国务院高度重视大数据的创新发展,准确把握大融合、大变革的发展趋势,制定发布了《中国制造2025》和“互联网+”行动计划,出台了《关于促进大数据发展的行动纲要》,为我国大数据的发展指明了方向,可以看作是大数据发展“顶层设计”和“战略部署”,具有划时代的深远影响。
工信部为正在构建大数据产业链,推动公共数据资源开放共享,将大数据打造成经济提质增效的新引擎。另外,中国是人口大国、制造业大国、互联网大国、物联网大国,这些都是最活跃的数据生产主体,未来几年成为数据大国也是逻辑上的必然结果。中国成为数据强国的潜力极为突出,2010年中国数据占全球比例为10%,2013年占比为13%,2020年占比将达18%。届时,中国的数据规模将超过美国,位居世界第一。专家指出,中国许多应用领域已与主要发达国家处于同一起跑线上,具备了厚积薄发、登高望远的条件,在新一轮国际竞争和大国博弈中具有超越的潜在优势。中国应顺应时代发展趋势,抓住大数据发展带来的契机,拥抱大数据,充分利用大数据提升国家治理能力和国际竞争力。
建设数据强国需从顶层设计上搭建清晰框架
不过,中国在推进大数据战略上还面临一些挑战:比如,数据开放方面还广泛存在“数据孤岛“现象,虽然政府掌握着80%的数据,但现实中“部门墙”“行业墙”“地区墙”阻碍数据流动和共享。还有大数据的相关法律、法规、标准缺位,导致能开放的数据不开放,需要保护的隐私无法保护,企业由于标准模糊而无法大胆创新。还有“数据主权“容易受侵犯,由于数据空间是国家新的战略维度,尚无完备的安全保障体系,加上手机、电脑、芯片、搜索引擎、服务器等核心数据的“基础设施”大量依赖进口,数据资产极易流失。
马建堂在《大数据领导干部读本》序言中也提出,抓住大数据革命带来的“机会窗口”,建设数据强国,要在顶层设计上搭建清晰的大数据行动框架,盘活数据资产,在数据开放上取得实质性突破。同时把强大的“国家企业”和活跃的“万众创新”结合起来,培育大数据竞争的中间力量和数据生态中的活跃力量。周文彰认为,我国要从“数据大国”变为“数据强国”,借助大数据革命促进国家治理现代化,还有很多工作要做,有很多问题需要研究。如要建立数据政策体系、数据立法体系、数据标准体系;要重视对“数据主权”问题的研究,加强大数据动态的跟踪研究;要建设高质量的“大数据与国家治理实践案例库”等等。
第二篇:大数据时代来临读书月心得体会
一部似乎还没有写完的书
——读《大数据时代》有感及所思 读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前,我的思想被强烈震撼,不禁战栗起来。“在小数据时代,我们会假象世界是怎样运作的,然后通过收集和分析数据来验证这种假想。”“随着由假想时代到数据时代的过渡,我们也很可能认为我们不在需要理论了。”书中几乎肯定要颠覆统计学的理论和方法,也试图通过引用《连线》杂志主编安德森的话“量子物理学的理论已经脱离实际”来“终结”量子力学。对此我很高兴,因为统计学和量子力学都是我在大学学习时学到抽筋都不能及格的课目。但这两个理论实在太大,太权威,太基本了,我想我不可能靠一本书就能摆脱这两个让我头疼一辈子的东西。作者其实也不敢旗帜鲜明地提出要颠覆它们的论点,毕竟还是在前面加上了“很可能认为”这样的保护伞。近几十年,我们总是在遇到各种各样的新思维。在新思维面前我们首先应该做到的就是要破和立,要改变自己的传统,跟上时代的脚步。即使脑子还跟不上,嘴巴上也必须跟上,否则可能会被扣上思想僵化甚至阻碍世界发展的大帽子。既然大数据是“通往未来的必然改变”,那我就必须“不受限于传统的思维模式和特定领域里隐含的固 有偏见”,跟作者一起先把统计学和量子力学否定掉再说。反正我也不喜欢、也学不会它们。
当我们人类的数据收集和处理能力达到拍字节甚至更大之后,我们可以把样本变成全部,再加上有能力正视混杂性而忽视精确性后,似乎真的可以抛弃以抽样调查为基础的统计学了。但是由统计学和量子力学以及其他很多“我们也很可能认为我们不再需要的”理论上溯,它们几乎都基于一个共同的基础——逻辑。要是不小心把逻辑或者逻辑思维或者逻辑推理一起给“不再需要”的话,就让我很担心了!
《大数据时代》第16页“大数据的核心就是预测”。逻辑是——描述时空信息“类”与“类”之间长时间有效不变的先后变化关系规则。两者似乎是做同一件事。可大数据要的“不是因果关系,而是相关关系”,“知道是什么就够了,没必要知道为什么”,而逻辑学四大基本定律(同一律、矛盾律、排中律和充足理由律)中的充足理由律又“明确规定”任何事物都有其存在的充足理由。且逻辑推理三部分——归纳逻辑、溯因逻辑和演绎逻辑都是基于因果关系。两者好像又是对立的。在同一件事上两种方法对立,应该只有一个结果,就是要否定掉其中之一。这就是让我很担心的原因。
可我却不能拭目以待,像旁观者一样等着哪一个“脱颖而出”,因为我身处其中。问题不解决,我就没法思考和工作,自然就没法活了!
更何况还有两个更可怕的事情。
其一:量子力学搞了一百多年,为了处理好混杂性问题,把质量 和速度结合到能量上去了,为了调和量子力学与相对论的矛盾,又搞出一个量子场论,再七搞八搞又有了虫洞和罗森桥,最后把四维的时空弯曲成允许时间旅行的样子,恨不得马上造成那可怕的时间旅行机器。唯一阻止那些“爱因斯坦”们“瞎胡闹”的就是因果关系,因为爸爸就是爸爸,儿子就是儿子。那么大数据会不会通过正视混杂性,放弃因果关系最后反而搞出时间机器,让爸爸不再是爸爸,儿子不再是儿子了呢? 其二:人和机器的根本区别在于人有逻辑思维而机器没有。《大数据时代》也担心“最后做出决策的将是机器而不是人”。如果真的那一天因为放弃逻辑思维而出现科幻电影上描述的机器主宰世界消灭人类的结果,那我还不如现在就趁早跳楼。
还好我知道自己对什么统计学、量子力学、逻辑学和大数据来说都是门外汉,也许上面一大篇都是在胡说八道,所谓的担心根本不存在。但问题出现了,还是解决的好,不然没法睡着觉。自己解决不了就只能依靠专家来指点迷津。
所以想向《大数据时代》的作者提一个合理化建议:把这本书继续写下去,至少加一个第四部分——大数据时代的逻辑思维。
合纤部 车民
2013年11月10日篇二:大数据时代书面记录与心得体会
大数据时代书面记录与心得体会 2015年5月12日,听取了大数据时代相关技术的技术讲座。当今,大数据的到来,已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候,大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时,大数据也向参与的各方提出了巨大的挑战。大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法
律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。
生活,工作以及思维的大变革
——读《大数据时代》有感及所思
读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前,我的思想被强烈震撼,不禁战栗起来。
本书从思维、商业、管理三个方面阐述了在大数据时代在下的变革,这些变革涉及到我们生活的方方面面,几乎其影响程度可以与两次工业革命相媲美。作者在第一部分提出了三个比较令人震惊的观点,也就是大数据的精髓在于我们分析信息时的三个转变,这三个转变将改变我们的理解和组建社会的方法。并且作者将生活,工作思维的大变革和这几个方面紧紧联系在一起。
第一个转变是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。也就是说样本等于总体;第二个转变是对研究数据不会追求精度,而且追求混杂性,小数据时代下,追求精确度是合理的,因为我们收集的数据很少,所以要越精确越好,包括如今仍然也在使用这种办法;但是在某些时代,尤其是在大数据时代背景下,快速获得一个大概轮廓和发展脉络,要比精确性重要得多,既然选择了整体性,肯定要忽视细节和确定性;第三个改变是不是因果关系而是相关关系,在大数据时代,我们更需要了解一个东西是什么,而不是为什么,要找到关联无,通过一个良好的关联物的相关关系可以帮助我们捕捉预测未来。
这三个方面是大数据时代所给我们带来的思维上的改变,所谓思路决定出路,思路有了创新,有了拓展,相应的社会也就会有很大的变化。紧接着第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力。第三部分则是阐述了大数据时代下的弊端以及在管理上的措施。个人认为本书的精髓部分是第一部分,第一部分的三个观点涉及的面很广,包括统计学、逻辑学、哲学等。后两个部分都是以第一部分这三个观点为基础展开阐述的。这本书给我感触最深的就是这三个转变,或者说是三个观点,可以说是哲学上说的世界观,因为世界观决定方法论,所以这三个观点对传统看法的颠覆,就会导致各种变革的发生。首先是第一个,作者认为在抽样研究时期,由于研究条件的欠缺,只能以少量的数据获取最大的信息,而在大数据时代,我们可以获得海量的数据,抽样自然就失去它的意义了。放弃了随机分析法这种捷径,采用所有的数据。作者用大数据与乔布斯的癌症治疗例子说明了使用全部数据而非样本的意义,列举了日本“相扑”等来证明使用全体数据的重要性。这个观点足以引起统计学乃至社会文明的变革,因为统计抽样和几何学定理、万有引力一样被看做文明得以建立牢固的基石。我对这个观点还是比较认同的,如果真能收集到整体的数据而且分析数据的工具也足够先进,自然是全体数据研究得出的结果更令人信服。但是这个观点也过于绝对,就算是在大数据时代要想收集到全体数据还是不太可能实现的,因为收集全体数据要付出的代价有时会很大。比如说,你要检测食品中致癌物质是否超标,你不可能每一件食品你都检测一遍吧。第二,要效率不要绝对的精确。作者说,执迷于精确性是信息缺乏时代和模拟时代的产物,只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法被利用。作者是基于数据不可能百分之百正确的考虑而做出这样的判断的,如果采用小数据一个数据的错误就会导致结 果的误差很大,但是如果数据足够多、数据足够杂那得出的结果就越靠近正确答案。大数据时代要求我们重新审视精确性的优劣,甚至还说到大数据不仅让我们不再期待精确性,也让我们无法实现精确性。谷歌翻译的成功很好地证明了这一点,谷歌的翻译系统不像candide那样精确地翻译每一句话,它谷歌翻译之所以优于ibm的candide系统并不是因为它拥有更好的算法机制,和微软的班科和布里尔一样,谷歌翻译增加了各种各样的数据,并且接受了有错误的数据。而在阅读这本书时,发现这本书中争议最大的一个观点,不仅是读者,就算是本书的译者也在序言中明确地说到他不认同“相关关系比因果关系更重要”的观点。作者觉得相关关系对于预测一些事情已经足够了,不用花大力气去研究他们的因果关系。作者用林登的亚马逊推荐系统的成功,证实了大数据在分析相关性方面的优势以及在销售中获得的成功。沃尔玛也是充分利用并挖掘各类数据信息的代表,从啤酒和尿布的案例,以及作者举的有关蛋挞和飓风天气的案例,都说明了掌握了相关关系对于他们策略的帮助。一句话,知道是什么就够了,不用知道为什么。很明显作者所举的例子都是属于商业领域的,但是对于其他领域来说这个观点就值得商榷了。比如说,在科学研究领域,你需要知其然也需要知道其所以然,找到事件发生的原理。用文中的一个例子说明,乔布斯测出整个基因图谱来治疗癌症,但是你治疗癌症你必须知道癌症发病的原理,知道哪一段基因导致了这种疾病,不可能只是说收集各种数据,然后利用其相关性来判断哪里出现了问题。
过度依赖所带来的后果。也用《少数派的报告》这部电影来说明如果痴迷于数据会导致我们将生活在一个没有独立选择和自由意志的社会,如果一切变为现实,我们将被禁锢在大数据的可能性之中。所以书中提出了几种解决方法,一种是使用数据时征询数据所有个人的知晓和授权。第二个技术途径就是匿名化。毫无疑问,大数据将会给社会管理带来巨大的变革。
在这个信息爆炸的时代,大数据给人类社会的方方面面带来了巨大的变革,这是社会发展的潮流,不可逆转,我们只有顺应这种潮流,把握住大数据时代变革的思想,才能在时代潮流中成为佼佼者,在思维上思路上略高一筹,才能在行动中占得先机!篇四:《大数据时代》读书心得
大数据时代,引领信息全球化
——读《大数据时代》有感
如今说起新媒体和互联网,必提大数据,似乎不这样说就out了。而且人云亦云的居多,不少谈论者甚至还没有认真读过这方面的经典著作——舍恩佰格的《大数据时代》。维克托·迈尔——舍恩伯格何许人也?他现任牛津大学网络学院互联网研究所治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人。他的咨询客户包括微软、惠普和ibm等全球顶级企业,他是欧盟互联网官方政策背后真正的制定者和参与者,他还先后担任多国政府高层的智囊。这位被誉为:大数据时代的预言家“的牛津教授真牛!那么,这位大师说的都是金科玉律吗?并不一定,读大师的作品一定要做些功课才好读懂,如果能做足功课又具备相应的理论功底,就能与之进行一场思想上的对话。
粗浅认识之我见
舍恩伯格分三部分来讨论大数据,即思维变革、商业变革和管理变革。在第一部分“大数据时代的思维变革”中,舍恩伯格旗帜鲜明的亮出他的三个观点:
一、更多:不是随机样本,而是全体数据;
二、更杂:不是精确性,而是混杂性;
三、更好:不是因果关系,而是相关关系。对于第一个观点,我不敢苟同。一方面是对全体数据进行处理,在技术和设备上有相当高的难度。另一方面是不是都有此必要,对于简单事实进行判断的数据分析难道也要采集全体数据吗?我曾与香港城市大学的祝建华教授讨论过。祝教授是传播学研究方法和数据分析的专家,他认为一定可以找到一种数理统计方法来进行分析,并不一定需要全部数据。联系到舍恩伯格第二个观点中所说的相关关系,我理解他说的全体数据不是指数量而是指范围,即大数据的随机样本不限于目标数据,还包括目标以外的所有数据。我认为大数据分析不能排除随机抽样,只是抽样的方法和范围要加以拓展。
我同意舍恩伯格的第二观点,我认为这是对他第一个观点很好的补充,这也是对精准传播和精准营销的一种反思。“大数据的简单算法比小数据的复杂算法更有效。”更具有宏观视野和东方哲学思维。对于舍恩伯格的第三个观点,我也不能完全赞同。“不是因果关系,而是相关关系。”不需要知道“为什么”,只需要知道“是什么”。传播即数据,数据即关系。在小数据时代人们只关心因果关系,对相关关系认识不足,大数据时代相关关系举足轻重,如何强调都不为过,但不应该完全排斥它。大数据从何而来?为何而用?如果我们完全忽略因果关系,不知道大数据产生的前因后果,也就消解了大数据的人文价值。如今不少学者为了阐述和传播其观点往往语出惊人,对旧有观念进行彻底的否定。
世间万物的复杂性多样化并非非此即彼那么简单,舍恩伯格也是这种二元对立的幼稚思维吗?其实不然,读者在阅读时一定要看清楚他是在什么语境下说的,不要因囫囵吞枣的浅读而陷入断章取义的误
读。比如说舍恩伯格在提出“不是因果关系,而是相关关系。”这一论断时,他在书中还说道:“在大多数情况下,一旦我们完成了对大数据的相关关系分析,而又不再满足于仅仅知道‘是什么’时,我们就会继续向更深层次研究的因果关系,找出背后的‘为什么’。”由此可见,他说的全体数据和相关关系都在特定语境下的,是在数据挖掘中的选项。
大数据研究的一大驱动力就是商用,舍恩伯格在第二部分里讨论了大数据时代的商业变革。舍恩伯格认为数据化就是一切皆可“量化”,大数据的定量分析有力地回答“是什么”这一问题,但仍然无法完全回答“为什么”。因此,我认为并不能排除定性分析和质化研究。数据创新可以创造价值,这是毫无疑问的。舍恩伯格在讨论大数据的角色定位时仍把它置于数据应用的商业系统中,而没有把它置于整个社会系统里,但他在第二部分大数据时代的管理变革中讨论了这个问题。在风险社会中信息安全问题日趋凸显,数据独裁与隐私保护成为一对矛盾。如何摆脱大数据的困境?舍恩伯格在最后一节“掌控”中试图回答,但基本上属于老生常谈。我想,或许凯文·凯利的《失控》可以帮助我们解答这个问题?至少可以提供更多的思考维度。正如舍恩伯格在结语中所道:“大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。”谢谢舍恩伯格!让大数据讨论从自然科学回到人文
社科。由此推断,《大数据时代》不是最终答案,也不是标准答案,只是参考答案。
此外,在阅读此书之前还必须具备一些数据科学的基本知识和基本概念,比如说什么叫数据?什么叫大数据?数据分析与数据挖掘的区别,数字化与数据化有什么不同?读前做些功课读起来就比较好懂了。
浅薄之语抒我意
概念是研究的逻辑起点,“大数据”到底是什么?在百度上搜索到的解释是,“大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。”大数据的4v特点:数量(volume)、速度(velocity)、品种(variety)和真实性(veracity)。但舍恩伯格认为大数据并非一个确切的概念。他在书中的一段诠释更具人文色彩和社会意义:“大数据是人们获得新的认知、创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。”其实,概念的界定要看研究者从哪个角度来研究它而定。
科学家的治学态度是严谨的,而人文学家更具有想象力。一些对大数据不甚了然的人往往夸大了它的作用,甚至把它神化。舍恩伯格认为大数据的核心是预测。“大数据不是要教机器像人一样思考。相
反,把数学算法运用到海量的数据上来预期事情发生的可能性。”舍恩伯格甚至不回避大数据所产生的负面影响,他在第七章里谈到让数据主宰一切的隐忧。我觉得这是实事求是的科学态度。在量子力学里有一个测不准原理:一个微观粒子的某些物理量(如位置和动量,或方位角与动量矩,还有时间和能量等),不可能同时具有确定的数值,其中一个量越确定,另一个量的不确定程度就越大。它是解释微观世界的物理现象,信息社会中的大数据会不会也有类似情况呢?如果我们再把凯文·凯利的《失控》对比来读的话就更有意思了,这样我们对整个物质世界及至人类社会就有了更全面更深刻的洞察,从物理王国到生物世界,再到信息社会。从公共卫生到商业应用,从个人隐私到政府管理,大数据无处不在。与此同时,从哪个角度探讨用什么方法研究,舍恩伯格都不会忘记大数据服务人类造福人类的终极目的和价值所在。“大数据并不是一个充斥着运算法则和机器的冰冷世界,其中仍需要人类扮演重要角色。人类独有的弱点、错觉、错误都是十分必要的,因为这些特性的另一头牵着的是人类的创造力、直觉和天赋。偶尔也会带来屈辱或固执的同样混乱的大脑运作,也能带来成功,或在偶然间促成我们的伟大。这提示我们应该乐于接受类似的不准确,因为不准确正是我们之所以为人的特征之一。”用中国话来说就是“人无完人”,人类在收获大数据带来的红利的同时也要承受它带来的危害。这不是对立统一的辩证唯物主义?我把它看作带着欧洲批判学派色彩的科学发展观。篇五:《大数据时代》读书心得
大数据时代,引领信息全球化
——读《大数据时代》有感
如今说起新媒体和互联网,必提大数据,似乎不这样说就out了。而且人云亦云的居多,不少谈论者甚至还没有认真读过这方面的经典著作——舍恩佰格的《大数据时代》。维克托·迈尔——舍恩伯格何许人也?他现任牛津大学网络学院互联网研究所治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人。他的咨询客户包括微软、惠普和ibm等全球顶级企业,他是欧盟互联网官方政策背后真正的制定者和参与者,他还先后担任多国政府高层的智囊。这位被誉为:大数据时代的预言家“的牛津教授真牛!那么,这位大师说的都是金科玉律吗?并不一定,读大师的作品一定要做些功课才好读懂,如果能做足功课又具备相应的理论功底,就能与之进行一场思想上的对话。粗浅认识之我见 舍恩伯格分三部分来讨论大数据,即思维变革、商业变革和管理变革。在第一部分“大数据时代的思维变革”中,舍恩伯格旗帜鲜明的亮出他的三个观点:
一、更多:不是随机样本,而是全体数据;
二、更杂:不是精确性,而是混杂性;
三、更好:不是因果关系,而是相关关系。对于第一个观点,我不敢苟同。一方面是对全体数据进行处理,在技术和设备上有相当高的难度。
第三篇:“大数据时代”来临,企业数据管理面临挑战
“大数据时代”来临,企业数据管理面临挑战
IDC研究表明,到2020年,全球以电子形式存储的数据量将达到35ZB,是2009年全球存储量的40倍。这其中企业数据正在以55%的速度逐年增长。人们不禁感叹随着信息化的逐步推进,我们迎来了大数据时代。
何谓“大数据”?哈佛大学社会学教授加里·金谈到大数据时曾说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”通过上述的话我们可以概括出大数据主要的三个特征:量大(PB级别的数据)、实时性(更短的时间处理数据)、多样性(非结构的文档数据为主)。
以金融行业为例,当前金融行业面临的一个非常大的问题就是海量数据的存储以及对海量数据的查询优化。传统的数据存储方案已经不能满足大多数金融企业的需求,例如目前很多企业正在建设的数据中心,典型的特点是海量级(千万及以上)数据量,随着数据量的进一步增大,查询性能急剧下降,甚至无法响应,严重影响了业务的连续性,为企业的高效运营带来了挑战。Hyperstor作为兴宇中科提供的一个操作简单的、综合的、性价比高的数据管理安全解决方案。它能够实现真正的CDP数据持续保护及实时恢复。从根本上保证了企业业务的连续性,满足了企业高效运营的需求,是理想的企业级数据安全解决方案。
正是因为大数据的这些特点,给现代企业带来了如何通过数据中心变革解决企业数据管理的问题?这一问题逐渐成为了现代企业发展所面临的关键问题,其在电信、金融等“数据就是业务本身”的行业身上表现的尤为突出,并且已经让很多相信数据之力量的企业正在或者正准备做出改变。
Hyperstor作为针对企业级数据管理存储备份的一体化数据保护解决方案已经在电信,教育等行业得到广泛应用,它能够解决金融,电信等行业多年以来在系统集成、数据管理、业务整合、新业务拓展、面向客户服务以及在成本控制和核算上的系列难题,相信该解决方案将给国内多个行业发展带来一个全新的面貌。
随着信息技术的不断发展和大数据时代的来临,企业未来的数据中心,将是高可靠、高安全、易扩展、易管理、绿色高效、资源共享的智慧云数据中心。能够灵活支撑业务发展,实现监控可视化、控制自动化、管理流程化,并最终帮助企业实现基于优化的基础架构的管理。
因此,企业必须通过优化自身IT设施,实现存储容量和可用性的最大化,实施灵活性设计以支持不断变化的业务需求等相关措施来迎接大数据时代带来的机遇和挑战。
第四篇:在大数据时代,数据拥有者的商业模式有哪些
在大数据时代,数据拥有者的商业模式有哪些?
在大数据成为趋势,成为国家战略的今天,如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言,大数据的变现显得尤为重要。谁最先一步找到密码,谁就能够抢占市场,赢得发展。在探索大数据商业模式的同时,大数据正加速在各行各业的应用,大数据不仅为人们的购物、出行、交友提供了帮助,甚至还在高考这样重要的事件中发挥作用。
大数据产业具有无污染、生态友好、低投入高附加值特点,对于我国转变过去资源因素型经济增长方式、推进“互联网+”行动计划、实现国家制造业30年发展目标有战略意义。前几年,国内大数据产业讨论较多、落地较少,商业模式处于初探期,行业处于两种极端:一种是过热的浮躁带来了一定的泡沫和产业风险;一种是怀疑大数据只是炒作,依然坚持传统管理理念、经营模式。但是进入2015年之后,大数据产业告别了泡沫,进入更务实的发展阶段,从产业萌芽期进入了成长期。当前,如何将大数据变现成为业界探索的重要方向。
B2B大数据交易所
国内外均有企业在推动大数据交易。目前,我国正在探索“国家队”性质的B2B大数据交易所模式。
2014年2月20日,国内首个面向数据交易的产业组织—中关村大数据交易产业联盟成立,同日,中关村数海大数据交易平台启动,定位大数据的交易服务平台。2015年4月15日,贵阳大数据交易所正式挂牌运营并完成首批大数据交易。贵阳大数据交易所完成的首批数据交易卖方为深圳市腾讯计算机系统有限公司、广东省数字广东研究院,买方为京东云平台、中金数据系统有限公司。2015年5月26日,在2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会上,贵阳大数据交易所推出《2015年中国大数据交易白皮书》和《贵阳大数据交易所702公约》,为大数据交易所的性质、目的、交易标的、信息隐私保护等指明了方向,奠定了大数据金矿变现的产业基础。
咨询研究报告
国内咨询报告的数据大多来源于国家统计局等各部委的统计数据,由专业的研究员对数据加以分析、挖掘,找出各行业的定量特点进而得出定性结论,常见于“市场调研分析及发展咨询报告”,如“2015~2020年中国通信设备行业市场调研分析及发展咨询报告”、“2015~2020年中国手机行业销售状况分析及发展策略”、“2015年光纤市场分析报告”等,这些咨询报告面向社会销售,其实就是O2O的大数据交易模式。
各行各业的分析报告为行业内的大量企业提供了智力成果、企业运营和市场营销的数据参考,有利于市场优化供应链,避免产能过剩,维持市场稳定。这些都是以统计部门的结构化数据和非结构化数据为基础的专业研究,这就是传统的一对多的行业大数据商业模式。
数据挖掘云计算软件
云计算的出现为中小企业分析海量数据提供了廉价的解决方案,SaaS模式是云计算的最大魅力所在。云计算服务中SaaS软件可以提供数据挖掘、数据清洗的第三方软件和插件。
业内曾有专家指出,大数据=海量数据+分析软件+挖掘过程,通过强大的各有千秋的分析软件来提供多样性的数据挖掘服务就是其盈利模式。国内已经有大数据公司开发了这些架构在云端的大数据分析软件:它集统计分析、数据挖掘和商务智能于一体,用户只需要将数据导入该平台,就可以利用该平台提供的丰富算法和模型,进行数据处理、基础统计、高级统计、数据挖掘、数据制图和结果输出等。数据由系统统一进行管理,能够区分私有和公有数据,可以保证私有数据只供持有者使用,同时支持多样数据源接入,适合分析各行各业的数据,易学好用、操作界面简易直观,普通用户稍做了解即可使用,同时也适合高端用户自己建模进行二次开发。
大数据咨询分析服务
机构及企业规模越大其拥有的数据量就越大,但是很少有企业像大型互联网公司那样有自己的大数据分析团队,因此必然存在一些专业型的大数据咨询公司,这些公司提供基于管理咨询的大数据建模、大数据分析、商业模式转型、市场营销策划等,有了大数据作为依据,咨询公司的结论和咨询成果更加有说服力,这也是传统咨询公司的转型方向。比如某国外大型IT研究与顾问咨询公司的副总裁在公开场合曾表示,大数据能使贵州农业节省60%的投入,同时增加80%的产出。该公司能做出这样的论断当然是基于其对贵州农业、天气、土壤等数据的日积月累以及其建模分析能力。
政府决策咨询智库
党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》明确提出,加强中国特色新型智库建设,建立健全决策咨询制度。这是中共中央文件首次提出“智库”概念。
近几年,一批以建设现代化智库为导向、以服务国家发展战略为目标的智库迅速成立,中国智库数量从2008年的全球第12位跃居当前第2位。大数据是智库的核心,没有了数据,智库的预测和分析将为无源之水。在海量信息甚至泛滥的情况下,智库要提升梳理、整合信息的能力必然需要依靠大数据分析。
研究认为,93%的行为是可以预测的,如果将事件数字化、公式化、模型化,其实多么复杂的事件都是有其可以预知的规律可循,事态的发展走向是极易被预测的。可见,大数据的应用将不断提高政府的决策效率和决策科学性。
自有平台大数据分析
随着大数据的价值被各行各业逐渐认可,拥有广大客户群的大中型企业也开始开发、建设自有平台来分析大数据,并嵌入到企业内部的ERP系统信息流,由数据来引导企业内部决策、运营、现金流管理、市场开拓等,起到了企业内部价值链增值的作用。
在分析1.0时代,数据仓库被视作分析的基础。2.0时代,公司主要依靠Hadoop集群和NoSQL数据库。3.0时代的新型“敏捷”分析方法和机器学习技术正在以更快的速度来提供分析结果。更多的企业将在其战略部门设置首席分析官,组织跨部门、跨学科、知识结构丰富、营销经验丰富的人员进行各种类型数据的混合分析。
大数据投资工具
证券市场行为、各类指数与投资者的分析、判断以及情绪都有很大关系。2002年诺贝尔经济学奖授予了行为经济学家卡尼曼和实验经济学家史密斯,行为经济学开始被主流经济学所接受,行为金融理论将心理学尤其是行为科学理论融入金融中。现实生活中拥有大量用户数据的互联网公司将其论坛、博客、新闻报道、文章、网民用户情绪、投资行为与股票行情对接,研究的是互联网的行为数据,关注热点及市场情绪,动态调整投资组合,开发出大数据投资工具,比如大数据类基金等。这些投资工具直接将大数据转化为投资理财产品。
定向采购线上交易平台
数据分析结果很多时候是其他行业的业务基础,国内目前对实体经济的电子商务化已经做到了B2C、C2C、B2B等,甚至目前O2O也越来越流行,但是对于数据这种虚拟商品而言,目前还没有具体的线上交易平台。比如服装制造企业针对某个省份的市场,需要该市场客户的身高、体重的中位数和平均数数据,那么医院体检部门、专业体检机构就是这些数据的供给方。通过获取这些数据,服装企业将可以开展精细化生产,以更低的成本生产出贴合市场需求的服装。假想一下,如果有这样一个“大数据定向采购平台”,就像淘宝购物一样,可以发起买方需求,也可以推出卖方产品,通过这样的模式,外加第三方支付平台,“数据分析结论”这种商品就会悄然而生,这种商品不占用物流资源、不污染环境、快速响应,但是却有“供”和“需”双方巨大的市场。而且通过这种平台可以保障基础数据安全,大数据定向采购服务平台交易的不是底层的基础数据,而是通过清洗建模出来的数据结果。所有卖方、买方都要实名认证,建立诚信档案机制并与国家信用体系打通。
非营利性数据征信评价机构
在国家将公民信息保护纳入刑法范围之前,公民个人信息经常被明码标价公开出售,并且形成了一个“灰色产业”。为此,2009年2月28日通过的刑法修正案
(七)中新增了出售、非法提供公民个人信息罪,非法获取公民个人信息罪。该法条中特指国家机关或者金融、电信、交通、教育、医疗等单位的工作人员,不得将公民个人信息出售或非法提供给他人。而公民的信息在各种考试中介机构、房产中介、钓鱼网站、网站论坛依然在出售,诈骗电话、骚扰电话、推销电话在增加运营商话务量的同时也在破坏整个社会的信用体系和公民的安全感。
虽然数据交易之前是交易所规定的经过数据清洗的数据,但是交易所员工从本质上是无法监控全国海量的数据的。数据清洗只是对不符合格式要求的数据进行清洗,主要有不完整的数据、错误的数据、重复的数据三大类。因此,建立非营利性数据征信评价机构是非常有必要的,将数据征信纳入企业及个人征信系统,作为全国征信系统的一部分,避免黑市交易变成市场的正常行为。
除了征信评价机构之外,未来国家公共安全部门也许会成立数据安全局,纳入网络警察范畴,重点打击将侵犯企业商业秘密、公民隐私的基础数据进行数据贩卖的行为。
结语:
大数据已经从论坛串场、浮躁的观点逐步走向国家治理体系建设、营销管理、生产管理、证券市场等方面,其商业模式也多种多样。市场经验表明,存在买卖就存在商品经济,具体哪种商业模式占主流将由市场决定。而最终的事实将证明,大数据交易商品经济必然成为“互联网+”的重要组成部分。
大数据时代:现在我们讨论了“大数据”是什么,也已明确了它是一种有着真正未来的趋势,那接下来我们需要探讨的是,大数据的意义在哪里。大数据能干什么?能带来什么价值? 要考量大数据的价值,必须先了解大数据应用的环境。首先必须说明,“大数据”虽然在这一两年来因为互联网和信息行业的发展而变得异常火爆,但它并不是一个新鲜玩意儿,追寻其历史,我们会发现在物理学、生物学、环境生态学等领域以及军事、金融、社会管理等行业都能找到它的足迹,“大数据”的存在已早有时日。显然,“大数据”不是单一行业的特有概念,要谈论大数据的价值,谈论大数据的应用环境,最合适的做法还是统而合一,无奈术业有专攻或说才疏学浅,上述提到的行业,领域,我均无涉猎,更谈不上研究,因此下文关于大数据的应用环境的讨论,我仅针对大数据在商业方面的应用进行泛泛而谈。这也恰好印证,大数据的价值和魅力可能很大,但也必须有能力去领悟。大数据是为解决巨量复杂数据这种趋势而生的。巨量复杂数据有两个核心点,一个是巨量,一个是复杂。“巨量”意味着数据量大,要实时处理的数据越来越多,对企业而言最重要的成本付出就是时间成本,而恰恰时间成本是企业最稀缺的资源,今时今日,创新讲的是领先他人,市场讲的是抢占先机,服务讲的是快客户一步,快时代的用户的需求是实时的,他不愿意等,你不满足他,自有他人会满足,因此企业的策略也必须是实时的,然而企业的策略是依托数据分析结果来制定的,一旦在处理巨量数据上耗费的时间超出了可承受的范围之内,这意味着企业的策略是落后于市场的。任何的时延都会使企业蒙受损失,创新落后于人成为微创新,市场被别人抢占只能作为挑战者,服务失去优势造成客户流失,这些都是致命的。大数据还有一个核心是“复杂”。“复杂”意味着数据是多元的,不再是过去的结构化数据了,因此我们过去的那一套数据分析的模型,理论已经不管用的,必须针对多元数据重新构建一套有效的分析理论/分析模型,甚至分析行为所依托的软硬件都必须进行革新。从这两个角度看来,大数据是企业在现在及未来的发展路上不可或缺的。上一篇文章中也提到“大数据的资源太丰富,如果你没有明确的目标,你就算没有走入迷途至少会觉得非常迷茫”,确实,对于企业而言大数据很必要,其可以实现的东西也很多,稍微梳理一下,大概包括:如支撑业务战略决策,提高顾客服务水平,促进销售获得客户,开发创新产品,强化财会业务,实现决策自动化,进行基础研究,产品功能监视和检测情况,强化内部治理等等,基本上囊括了企业所有的行为,这也就是大数据的价值所在。以上所述有点偏于框架性,我们选择一个方面举个简单的例子来说明吧,“如何利用大数据促进销售获得客户?”,首先大数据能告诉策划人员什么样的实时优惠对某个用户更有效,基于此用户的偏好,哪种服务渠道能产生更好的服务效果,哪种支付方式能够快速实现交易达成,还可以分析说当一个潜在客户通过搜索关键词找到产品页面后,达成交易的可能性有多大,在每天/每周/每月/每季度,不同的节日的特定时间段中,哪种促销方式最有效,当一个用户被营销活动覆盖到后,他实现购买的机会有多大,当一个用户完成购买后,其重复购买的机会有多大,其带动身边朋友实现购买的机会有多大,等等。对于销售方而言,大数据能够让他更加了解客户消费方式,如消费者的购物决策、影响决策的关键点,让他有能力提供定制的交易内容给高价值用户,让他有能力实时评估促销效果,还可以根据消费者习惯改变商品上架位置,等等;而对客户而言,大数据能让他可从他人评价了解更多商品信息,同时享受更多定制化和独家折扣优惠,能够实时使用消费分析工具进行评估,能够实现交易过程透明化等等。大数据内涵太大,全部展开讲的话将是一项庞大的工程,下面借用杂志《V-MARKETING成功营销》中文章《Big Data,大数据重塑营销》对于“大数据”对于商业企业在五大方面的价值体现的提炼和归纳: 数据的高透明度及广泛可获取性:一些制造商正试图集成多种系统的数据,甚至从外部供应商和客户处获取数据来共同制造产品。以汽车这类先进制造行业为例,全球供应商生产着成千上万的部件。集成度更高的平台将使公司及其供应链合作伙伴在设计阶段就开始协作。决策验证对竞争方式的影响:大数据可能使决策制定发生根本性的改变。利用可控实验,公司可验证假设、分析结果以指导投资决策及运作改变。应用于广泛的实时的用户定制及其对企业的影响:面向用户的企业已长期利用数据来细分和定位用户。大数据实现了用户定制的质的飞跃,使得实时个性化成为可能。下一代零售商通过互联网点击流可跟踪个体用户的行为,更新其偏爱,并实时模仿其可能的行为。大数据对管理的改变及替代作用:大数据能进一步提高算法和机器分析的作用。一些制造商利用算法来分析来自生产线的传感数据,创建自动调节过程以减少损失,避免成本高昂的人工干预,最终增加产出。