大数据时代读书心得体会
大数据时代读书心得体会1
未来的十年,将是大数据引领下的智慧科技时代。不管你是否意识到它的存在,大数据都将越来越快地改变我们这个时代,包括我们的生活方式。
维克托·迈尔-舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一。他通过一个大家熟知的事例,来帮助我们理解“大数据”的潜在影响力,那就是四个世纪之前望远镜和显微镜的发明。望远镜能够让我们感受宇宙,显微镜能够让我们观测微生物,它们都是收集海量数据的新工具,因为这种工具的发明,人们同步更新了分析数据的技术和方法,促进了人们对世界更好的理解。如果说望远镜和显微镜是测量领域中的一场革命,那么今天的数据测量就相当于是现代版的望远镜、显微镜。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富,以及更多的传感设备、移动终端接入到网络,由此产生的数据及数据的增长速度比历史上的任何时期都要多、都要快。一个大数据的时代,不经意间顺理成章地翩然而至。
一、什么是大数据?
大数据是当前最热门的话题之一。但什么是大数据,人们尚未给出确切的定义。首先,“大数据”是相对过去小的、局部性的数据而言的;其次,利用大数据进行分析和工作时,所依据的关于此事尽可能完整的数据,从而“一览众山小”,而不是采用局部的小数据,从局部推断整体。
维克托也并未直接给出大数据的定义。不过,他用三大转变描述了大数据的特性:
转变之一:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。例如一项针对相扑比赛中非法操纵比赛结果的研究对64000场比赛进行了分析,这算不上一个很大的数字,但由于这是过去十年所有的比赛,所以它是大数据。
转变之二:由于有了更多的数据,我们可以接受更多的混杂、更多数据上的不精确。如果我们对于一个事物只有50个数据点,那么每一个数据点都必须非常精确,因为每个数据点都是有用的;但是如果我们有5000万个,去掉10个,甚至去掉1000个都没有太大的问题。
转变之三:不再探求难以捉摸的因果关系,转而关注事物的相关关系。分析大数据主要为了预测未来“是什么”,而不是“为什么”。因为很多时候我们以为我们找到了事情背后的原因,实际上却没有找到。更多时候知道了“是什么”就足够了。例如知道流感将会扩散到哪里就足够了,我不需要知道为什么;知道什么时候在网上购买机票能够获得最优惠的价格就足够了,我不需要知道为什么此时价格最低。
二、大数据带来的变化
大数据从根本上改变我们认识世界和改变世界的方式。很多传统的习惯将被颠覆,很多旧的制度将面临挑战。举例来说:
第一,科学探究的思路和方式受到挑战
探究是新课程改革中的一个热词,是促进学校教学与科学研究相融合的实践举措。科学探究的基本路径是:发现问题,提出假设,制定方案,实践探究,分析数据,得出结论。之所以会梳理出这样一个探究的路径,与我们对问题知晓的信息过少有关。换句话说,对所要研究的事物,我们知道的数据很少,需要从这些很小的数据出发,通过猜想和假设,进行试探性的研究,如果研究得出的结果和自己的假想是一致的,则说明我们的假说是正确的,这些假说会上升为对该事物描述的知识,我们掌握该事物的数据也随之增加。
利用测量所获得的点滴数据,从一个局部来推测世界是怎样的,这是科学探究的基本思路和方式。长期以来,我们总是通过这样的方式来认识世界,对其有宗教般的信仰。尽管我们知道,决策者总是先有了想法,才会提出假设。如果决策者自身对所研究的事情存在着偏见,所提出的`假设就很难得到实证的支持,这往往会导致探究花费了很长的时间、很大的物力和财力,也常常劳而无功。但科学研究者还是坚定不移地沿着这条道路前行,学校在教学中也将其作为科学研究的基本规范来传授。
在大数据时代,这样的研究方式收到了极大的挑战。先举个事例来说吧。手机辐射是否能够致癌?关于这个问题,无论我们的假设如何,实验的设计都很难进行。首先,样本选择过少,没有统计学上的意义;其次,不能拿人做研究对象;第三,短时间的研究很难观察到变化。有了大数据之后,这样的难题就可以迎刃而解了。前段时间,丹麦就进行了这样的研究。丹麦拥有1985年手机推出以来所有手机用户的数据库。他们从这个数据库中分析了1990年至20xx年拥有手机的所用用户的数据,同时,他们还收集了这一期间医院收集的所有癌症患者的数据,然后分析手机用户是否比非手机用户有更高的癌症发病率。这两个数据库本身是完全独立的,在作分析之前从来没有想过可以做这样的研究。结果表明,使用移动用户和癌症风险增加之间不存在任何关系。20xx年10月,这一研究的结果发表在《英国医学杂志》上。
上述的案例告诉我们,在获得了大量的数据,能够对事物的整体进行全面的认识之后,假想就没有意义了,我们可以直接根据全面的数据做出结论。
第二,传统的思维习惯受到挑战
因果关系思维,是人们生活中最为普遍的一种思维方式。既是看上去没有关系的事情,人们也总是从因果的角度去理解他。比如说,1885年7月6日,巴斯德接诊了一个被带有狂犬病毒的狗咬伤的孩子,他把自己刚研制出来的狂犬疫苗给孩子注射,结果孩子活下来了。巴斯德的这一举措,使得狂犬疫苗和孩子的生存之间建立起了一个因果关系。但事实上,人被狂犬病狗咬伤后换上狂犬病的概率是只有七分之一,就算没有狂犬疫苗,这个孩子活下来的几率还是有85%。
在哲学界,关于因果关系的争论已经持续了几个世纪。争论的焦点在于:如果因果关系是普遍存在的,每一个果都有一个因和他相对应,世界上的所有事情都有因果的话,我们就没有决定任何事情的自由了。尽管哲学领域的争论很热烈,但并不耽误人们在日常生活中通过因果关系来思考问题。不仅如此,由于掌握的数据过少,人们还容易从线性关系的角度找寻事物之间的因果关系。在物理学中,有一种处理数据的方式之一就是“化曲为直”,设法找到两个变量之间的线性因果关系,从而进行定量的描述。事实上,由于很多事情之间的关系是很复杂的,简单的线性处理容易导致人们对事物本质属性的误解。
在大数据时代,相关关系比因果关系重要。20xx年甲型H1N1流感发生之后,美国的卫生系统极力想从因果关系上来找到流感的源头,但信息反馈的速度太慢,让专家们束手无策。谷歌公司做出了快速反应,把5000万条美国人最频繁检索的词条和美国疾控中心在20xx年至20xx年间季节性流感传播时期的数据进行比较,研究特定检索词条的频繁使用与流感在时间和空间上的传播之间的联系,很快就确定了流感是从哪个地方传播出来的。谷歌采取的就是相关关系分析的方法,而不是因果关系分析的方法。这是大数据时代,对数据进行处理的一种典型方法。
第三,数据化比数字化更加重要
数字化是将模拟数据转化成0和1的二进制码,以便电脑进行数据处理的过程。过去的很长时间,我们所做的事情,就是对文本进行数字化。很多书籍包括教材,通过PDF等格式,变成了数字形态的资料,存入了电脑或者网路之中。
但是,这些数字化的资料要查询起来并不方便。首先你要知道所需的资料在那本书中,其次你还要仔细地去翻阅这些数字化的资源,以便找到你所需要的信息。这和到书本里去找没有本质的区别。
如果这些数字文本能够被数据化,文本中的字、词和段落能够一一被识别,利用搜索殷勤加以检索就会方便很多。所谓数据化就是将一种现象转化为可以制表分析的可量化的过程,量化,是数据化的核心。信息只能被数据化,其巨大的潜在价值才有可能被释放出来。
数字化带来了数据化,但数字化不能替代数据化。今天,很多学校都在进行“电子书包”的课程教学实践,但有不少实践者认为,所为电子书包,就是将纸质的课本和教辅资料数字化,装入电脑中让学生上课中使用,这其实是对电子书包最大的误解。电子书包的核心在于数据化,要通过对学生学习过程所记录的大数据分析,把握学生的个性化学习特征,以便给予更有针对性的指导。
三、需要关注的一些问题
从教育的角度看,大数据时代的来临,对教育的变革将带来巨大的影响。
首先是教育内容要进行革新。大数据使得传统的因果思维方式、科学研究方式不再是生活、工作起主导地位的方式,这必然要求我们在教学中要将这些变化和学生讲清楚,以便他们能够在今后走上社会的时候有足够的能力迎接挑战。
其次是教学方式要进行革新。过去的教学,因为没有大量数据的支撑,该教什么全凭教师自己跟着感觉走。今天,我们可以将教师的教学视频挂在晚上,通过深度分析学生在观看视频的过程中在哪些地方停顿或者重放的频次比较高,来找出学生不明确或者课程吸引人的地方,帮助教师改进教学、确定教学重点。这必然导致教师教学方式的变革。
第三是学习路径会发生变化。在过去,如果你想成为一个优秀的生物学家,一定要认识很多生物学家。今天,要解决一个生物难题,可能与天体物理学家或者数据视图设计师联系就可以实现。
第四是要防止对数据的痴迷。一方面,我们要研究学校长期以来储存下来的大量数据,同时积累学校每天的教育数据,为进入大数据时代做好充分的思想准备;另一方面,要唤醒学校里沉睡的数据,让其在学校管理和教师教学中发挥更大的作用;再一方面,也要防止出现另一个极端,那就是对数据的痴迷。能仅仅为了收集数据而收集数据,要让数据在如何全面反映一个学生的能力、全面反映教师的教育质量等方面做出实践和探索。
大数据时代读书心得体会2
书名中的时代二字让我陷入了深深的误区,big data就只是大数据而已。读完全书,也没有发现作者有说大数据会引领一个时代的观点,我们知道当今是一个数字化、信息化的时代,但绝不还是大数据的时代。但大数据的重要性不严而喻,生活、工作、学习中许多有关大数据的例子的确离我们很近,我们甚至就是众多大数据的一部分。那大数据对我这样一名工科大学生有什么用,对于我这一名国防生又什么用呢,这样的一本书是否能够更好的帮助我在未来的工作岗位上博得头筹,取得一番成绩!还有为了接触、利用大数据并防范大数据所带来的弊病,我又该怎么做呢?书中有这样一句话:大数据是一种资源,也是一种工具。大数据为我们提供暂时的帮助,以便等待更好的方法和答案出现。这也提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。
所说的谦恭之心和人性之本都强调了人在大数据时代的.重要性。我们才是数据之源,我们才应是数据的受益者。当我还没读完思维变革这一部分的时候,我就在思考这样的思维变革对我会有着怎样的影响?参加过两次数学建模竞赛的我,在两次的参赛过程中,学会了许多数据处理和数学建模方法。数学模型所具有的对事件或数据的描述性、预测性、说明性是与大数据完全不同的。大数据下的思维变革不再追求数据的准确性和因果关系。如果我在数学建模提出一种产生某个结果的原因,我是需要明明白白地把其他因素的影响一一剔除。我记得在参加比赛最后关头写论文的时候,对于所研究的问题,我们必须在前面把各种变量给写进去,然后再有选择性的在可接受的条件下忽略掉很多变量的影响,但我们在很多时候却给不出一个剔除这个因素的理由。可如果你不能排除掉其它的因素的影响,整个的数学模型建立及计算过程就会太复杂甚至是不能得出一个结果。但是在大数据时代,一个结论是可以通过足够多的数据得出来的,不需要明白其中的为什么。如果真是这样,我只觉得我需要思维上的变革,可我做不到,我接受不了事物与事物之间的黑盒子。这离我太遥远。
可我又不敢在此时否认自己将来的工作与大数据的相关性,书中第三部分——大数据时代的管理变革中就举到一个罗伯特。麦克纳马拉的例子,他是五角大楼"统计控制队"中一名精英,这个队伍让之前不知道飞机备用零件种类、数量和放置位置的军方在制定了综合清单之后,为部队节省下了36亿美元。而我的专业就是飞行器动力,我很清楚我国航空发动机的研究制造水平是深深限制了空军力量的发展。在夏季学期去黎明航空发动机厂实习的时候,许多讲解的师傅都会强调一点,发动机的每一个零件上都是有标号的。零件的工艺卡片上会记录其每一个工序的加工时间、地点,加工、组装、调试人员等的资料,这些卡片将会一直保存下去。这不仅能够方便维修和更换,在出现事故之后,还可以追根溯源,查出事故的原因。我当时就在想还好这东西产量不是很高,一台涡扇发动机仅仅叶片数量就是数千了。这样的大数据肯定还可以好好利用,帮助我们去发现科技研发和制造生产中矛盾与不足,并做出改进。但航空发动机的发展需要的更多的是技术的积累,特别是关键技术的实验数据我们还有着很大的缺失。我们不能像BAT这些互联网巨头可以轻松收集数据,航空发动机的技术积累需要一代代人在理论、实验上的积累,才有可能在这种大数据的支撑下做出真正属于自己的航空发动机。
这种积累利用方法可能与书中作者所说的利用大数据进行预测、创新相比起来不是足够高端,但是新的方法需要人去摸索,我也愿意成为这样的第一人,我也坚信大数据能够给这样一个领域带来另一片天空。只是在航空发动机的领域我们是不能只停留在"是什么"这一步的!精心策划数据的因果关系研究和控制实验很有必要。
最后,我提出一个疑问,那就是大数据能不能创造出另一个毕加索呢?
《大数据时代》是英国维克托·迈尔-舍恩伯格教授的著作,这本书也被尊为国外大数据研究的先河之作。下面是带来的大数据时代读书心得,欢迎查看。
大数据时代读书心得体会范文
1《大数据时代》是英国维克托·迈尔-舍恩伯格教授的著作,这本书也被尊为国外大数据研究的先河之作。这本书最大的优点就在于作者利用上百个例子来对大数据的方方面面做了详细解说,让外行也很容易理解。结构上,作者通过大数据时代的思维变革、商业变革和管理变革三个角度依次阐述,条理清晰。
所谓“大数据”,按作者的说法,就是“所有数据”。随着计算机运算速度和存储能力的发展,收集数据变得越来越简单,储存数据的成本越来越低。在过去,由于技术限制,人们做统计时只能收集有限的数据做样本,其中要考虑随机样本的选择,努力减小因样本问题出现的误差;统计结果往往不能重复使用,造成数据利用率低。而现在则可以做到“样本=总体”。数据的增多带来不可避免的精确性问题。“小数据”时代,一个样本的错误就可以造成对总体估计的失败,幸运的是,“大数据”时代对精确性不再那么要求苛刻——也无法要求太严格——数据的数量足以弥补这一缺陷。在对思维变革这一部分的阐述中,最重要也是全书的核心观点就是大数据时代,我们应该从追求“因果关系”的旧思维方式向追求“相关关系”转变。在我看来,这实际上是通过大数据来透视一种事物的发展趋势,而很多精确学科领域依然需要探寻“因果关系”解决更有针对性的问题,所以,这局限了这一转变只能在特定的领域发生。作者自己也说,“大数据的相关性将人们指向了比探讨因果关系更有前景的领域。”
大数据时代的数据获取方式是多种多样,数据形式也是千变万化,任何文字、行为、万物都可以被数据化后用来分析。对这些数据的利用,不仅要考虑到其初次使用价值,更要放眼它未来可能的用途以提高数据的利用率。当然数据并不是无限使用,时效、环境的变化肯定会对数据提出新的要求,所以数据的折旧也是应当考虑的。这又引出了对数据这一无形资产的估值可能性。对于这样的公司来说,数据就是他们的核心,如何在资产负债表上给他们一个公正的体现正是我们需要考虑的。
大数据时代的价值链由三部分构成,我把它们简化为“生产—分析—使用”三个环节,这对应书中的三种类型公司: 第一种是基于数据本身的公司,第二种是基于技能,第三种则是基于思维。在大数据早期,技能和思维最有价值,但作者认为,最终,大部分的价值还是必须从数据本身来挖掘。这是假定了一个成熟的市场,人人都了解了大数据的用途。
对于普通人来说,大数据时代最关心的还是隐私问题。不知不觉中,个人的一举一动都暴露在政府甚至私人企业之下,还面临潜在的泄露风险。对此,作者提出了使用者承担责任的解决办法,而不是过去那种流于形式的使用授权。大数据甚至能预测一个人的犯罪动机,这给监管者带来的难题是,预测一个人要犯罪,惩罚还是不惩罚?在这点上,社会达成“个人仅需对行为而非动机负责”的共识非常重要。
大数据时代的风险控制靠的是“算法师”,类似会计师一样的职业,对大数据的准确度或有效性进行鉴定。这能在一定程度上防止数据滥用的发生和数据独裁。当今的法律亦需对大数据监管进行修订补充。
当代大数据发展主要由科技公司推动,相信在不久的将来更多的传统领域会意识到大数据的重要性。但我们也应该保持清醒,大数据并不是万能药,对某些领域或环节,使用大数据是一种简单且实用的选择;但对某些领域,盲目使用大数据只会适得其反。
大数据时代读书心得体会范文
24月13日下午,在湖南大学东楼205参加了关于《大数据时代》的读书交流活动。通过相互交流学习,使我更深层次的理解了大数据时代的利与弊,机遇和挑战。在写心得体会前,我想再重新审视一下关于大数据的历史沿革和现实意义。
首先,最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数 据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、物联网之后又IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
其次,进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
最后,随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。著云台的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数
十、数百或甚至数千的电脑分配工作。“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……,截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。
首先,谈谈大数据带给生活的转变。大数据已经是信息产业发展的必然趋势,可以说,大数据现在已经开始慢慢渗透入我们的生活,如:现在流行的打车软件、三维立体化社区的建立、某些从事生产销售的行业利用大数据来优化规模和实现利益最大化。而我们很多人对大数据还很陌生,只是被动的适应着大数据给生活带来的改变。大数据时代是以云计算为基础的,所以,要实现大数据,相关的很多的硬件设备都要更新换代,信息处理系统、信息传输系统、信息反馈系统、信息决策系统都将面临新的挑战,相关产业都要重新调整产业结构,在那时,可以夸张的说,信息就是黄金,信息就是石油。大数据时代的到来会解放更多的劳动生产力,势必将会更加加剧生产力过剩的现状,社会两极分化现象会更加明显,掌握不了信息资源,很难再翻身,要防止信息垄断带来的可怕局面。大数据时代的到来会使人们的生活节奏急速加快,信息的时效性决定了它的流通速率,人们的生活节奏要跟上信息流通的速率,就不得不加快自己的节奏,人们会越来越忙,到那时,就像现在的日本,可能想找个人听你说说话,真的是一件很难的事。
第二,关于数据管理的看法。大数据时代,数据管理是一件很重要的工作,如何才能避免自己的数据被非法窃取、丢失和被盗?我的看法是,人防、技防、物防一体化。人防,即我们要从思想上牢固树立信息安全防范的意识,不主动泄露信息,要管理好自己身边的信息设备;技防,就是要运用软件来管理和处理数据,经常检查更新数据库,定时查杀电脑病毒,确保电脑状况安全;物防,就是重要的数据一定要备份保留,而且应当做到备份与原始文件是物理隔离,无关的信息应当及时删除,减轻硬盘的压力。
三、怎么保护自己的隐私。隐私,顾名思义,就是不愿意让别人看到的东西,所以,在大数据时代,更要管理好自己的隐私,以免对自己和家人造成麻烦和损失。越是隐私的信息,越要远离网络,不要再公开的社交网络储存和展示个人图片、资料等信息,免得被非法人士采用和窃取。建议还是用纸质的日记代替电脑日记,避免信息传播范围太大,管理好自己的日记本。研发一种新的硬件连接器,总是以随机码来保护自己真实IP地址,提高网络安全的可靠性,加强对联网信息的管理和保护。
不论我们情不情愿,大数据时代都会到来,现实社会是我们高喊着走向大数据时代,其实大数据时代已经向我们走来,所以与其被动接受,不如主动学习,从中找到自己的出路,成为大数据时代的建设者和受益者。