第一篇:浅谈大数据感想
第一次知道大数据时代这个概念是在大一,本来以为是很高端深远的东西,但是就现在肤浅的认识看,其实就是我们所处的这个时代。所谓大数据,无非就是社会进步、经济进步所导致的一个必然结果,尤其是如今这种非结构式的信息膨胀得很快。首先,对于大数据时代这本书,由于是译本我觉得很多地方读起来没有逻辑有点难理解。但是这本书最好的一点就是较生活化、通俗化地讲述了大数据已经给我们生活带来的变化以及我们还可以利用大数据去改变什么。在这本书中,作者强调了是三个原则:
一、不是随机样本,而是全体数据;
二、不是精确性,而是混杂性;
三、不是因果关系,而是相关关系。
对于第一点,作者是认为小数据通过抽样能够获得更多信息,但随着各种类型数据的不断增多,海量的数据通过抽样去获取信息就没有意义了。我觉得作者不能太过度强调全面数据,因为它毕竟有很多的条件限制,比如是否有能达到的技术支持,是否经济,是否合理,所以并不能一味地追求全面数据所带来的完整信息,至少我认为就现在大部分的数据调查来看,有的时候还是合适才是最好的。还有一点就是我们在收集、分析全面数据的时候也在不断产生新的数据,怎么证明这些新数据不是我们需要的全面数据中的一部分呢。
对于第二点,作者说允许不精确的出现成为了一个亮点,说得来就跟以前我们收集分析都非常精确一样,其实在统计中提到的置信区间、显著性水平这些限制就是一种容错率的概念,也就是说我们一直都是允许不精确的。
第三点其实在讲大数据带来的一个巨大的颠覆在于,人们可以利用数据的相关性直接做出决策而不用拘泥于背后的原因。例如沃尔玛通过调查知道“飓风的时候草莓味蛋挞卖得好”,但是我们根本不知道原因到底是为什么,其实我们也不需要知道,沃尔玛要做的仅仅是在飓风的时候增加草莓蛋挞的库存并且把它摆到显眼的位置就可以了。所以利用大数据我们可以做出很多这样的精明决策,但是数据也逐渐在代替了人做决策,我觉得人类的思想被彻底挑战了。我认为机器对于数据的分析体现相关关系,而因果关系则大部分来自于人为的想法,作者在书中前面部分说到“真正的革命并不在于分析数据的机器,而在于数据本身和我们如何运用数据”,所以重点是人类的思想和人类的运用。我觉得这一点上作者讲得有点前后矛盾。这么多年来,人类一直都在靠因果关系来理解和审视世界,而且事实也证明这没错,其实一旦有人的思维在就是不可能避免因果关系的出现,我觉得如果太强调相关关系就少了点人文情怀了。
这本书中作者说大数据的核心是预测,我觉得这才是最关键的,因此不用太在意作者所提过的那三个原则,我们知道能用大数据去做什么才更应该被在意,毕竟数据的使用者是我们。作者说量变引起质变,正因为有预测,我们就能预知未知的,就能相对清晰地了解这种质变到底是什么,这也是大数据赋予我们的权利。因此我们可以利用大数据提前知道人们所需要的而去进行改变,这应该也是生活与人本身契合度越来越高,人们觉得生活越来越方便的原因之一。大数据带来的究竟是信号还是噪音,我觉得预测结果是最能够用来反映的证据。尽管贝叶斯定理在预测方面已有非常高的成功率,但作者还是反复强调预测的困难性。如何保证收集信息的准确性?如何构建合适的数学模型和工具?又如何克服预测过程中的私人因素?即使是在大数据时代,这些同样会造成预测偏差。但不可否认,预测已经完全影响到我们的生活。比如人的消费行为预测,电影的票房预测,离职风险预测等等。但大数据时代最无法避免的就是隐私泄露,预测同样是泄密的源头。比如婚外情预测,死亡预测等,它很有可能会对生活造成不好的影响。所以科技与知识都是有两面性的,随着大数据时代的发展,隐私权的基本问题也应该重新被审视,各种法律也应该相应被完善。我们需要发展但也不应该完全由数据推着我们发展,社会的发展依然需要人类文明作为基础。
第二篇:数据分析课程感想
数据分析课程感想
——XXXX级XX学院XX班XXXXXXXXXXX 接触数据分析是从大学的计算机课上开始,但是了解得很少,于是在选修课上进一步学习。通过学习我了解到数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们做出判断,以便采取适当行动。
数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。确实在课堂上我们也是主要通过看老师计算机数据分析软件操作来学习,所以可以知道计算机的应用给数据分析带来了新鲜血液,使得数据分析更具有操作性和实用性,在很大程度上方便了对大量数据进行系统分析。
在课程上我们主要学习了运用数据分析软件进行数据分析,比如插入表格,数据排列,数据分类等等。通过这些学习首先我们掌握的是对OFFICE软件的一些基础应用,比如合并单元格,插入各类数据表格,对大量数据进行快速排序等。这些技能不仅对于数据分析很有用,在以后的日常工作中,也可以帮助我们,因为在现代社会,熟练掌握计算机已经是每个合格办公人员的基本技能,而这些可以使我们繁重的文件数据处理工作更加轻松和得心应手。
虽然在上课时看老师操作有时会觉得很难,但是一旦掌握会发现数据分析十分有用。在以后工作中,特别是营销工作中,可以发挥重要作用,比如,在产品的整个寿命周期,包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程,以提升有效性。一个企业的领导人要通过市场调查,分析所得数据以判定市场动向,从而制定合适的生产及销售计划。而这些如果不使用数据分析,那么工作人员可能就要被掩埋在庞大而复杂的数据中了。尤其在如今大数据时代,行业领先企业都充分利用大数据分析,从而找到顾客偏好和新的营销热点,因此数据分析有极广泛的应用范围。
数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。以公司进行顾客喜好数据分析为例。首先要确定收集哪些有效数据,比如顾客对产品的满意度,顾客的年龄,然后是确定收集数据的途径和实施方案。比如发放调查问卷,开展网上问卷,电话访问,信件邮寄,等等。之后是对收集来的大量数据进行分析,这个环节就是我们课堂上主要学习的数据分析方法,比如对数据进行分类统计等。通过对数据的分析可以得出顾客对于产品的满意度,和产品改进方向,当然在数据分析过程中也许因为模型选择和操作问题等出现数据分析偏差,所以最后还要对数据分析过程和结果进行评估和改进完善。
数据分析对于工作和生活有很大的便利性和必要性,所以我会在以后的生活学习中多多留心,争取掌握更多数据分析技能。
第三篇:对大数据的感想的论文
大数据对我生活的影响
打开百度搜索引擎,输入“大数据”,在下拉选项中选择,百度百科给出了这样的解释:“大数据(big data),指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产”。很明显,定义有些让人捉摸不清,但很多东西就是这样,已经融入我们的生活的东西,需要一些高度概括,这也是大数据的一个方面,在经过了长时间的发展和变化后,“大数据”这个概念也被人们所认识和传递。大数据就是这样,无声的正在融入我们的生活。
在形式与政策课中,老师为我们上了一堂生趣的课,打开了我们对于大数据认知的大门。记得在课堂上,老师举了一个例子:假定在大数据下,一个人在订外卖,仅凭该人的会员卡号,电话那头的员工(人工智能)就给出了一系列最好的建议,使资源得以高效利用。然后,在介绍物理存储的单位中,从k到z,在一系列的数据中,我感受到了大数据使用的未来广泛性。细思来,原来大数据已经在我们生活的方方面面发展,打开手机,我们的手机就是一个数据的产生点,千万个人的活动,就成了一个数据产生体。打开电脑,我们的浏览器,由于我们对同一个网站的反复点开,信息就录入了电脑;手机中的各种APP,比如美团,录入信息,就会给我一些建议。而这些信息汇集起来,整理,就会形成一个巨大的高效工厂,从而给我们如同前面那个故事中的体验,这就是未来的一个发展方向。当然,发展的过程中,也会有许多的弊端。信息会流入到可供使用的地方,同样也会落入到用心不良的人的手中。信息的保护同样也是一个问题。在使用过程中,我们也要学会保护自己的信息,起码在力所能及的范围内。每个时期发展虽有各自的特色,但经过漫长的历史发展,人类社会发展的一般规律和一些永久不变的规律不会改变。所以在面对大数据的浪潮中,我们只能接受并随之进步,这样才能不会在浪潮中被淹没。大数据其实也是科技的进步,自从电脑和手机的不断进步,针对这些的东西在不断深化发展,由此推动了一次又一次的革命,这次的革命也是信息革命,虽然在普及过程中,有一些反对的声音,比如人们开始对网络过度依赖,但这是科技的发展,这些弊端是可以不断被削弱的,我们在日常生活中,大多数人已离不开它们了,我们在使用中有度,同时,在有限的地方留下数据,这便是一种推动,同时带着一些乐观与健康的态度对待这种发展,不必过于推崇,也不要刻意抵制,我想,这样就是对新世纪的一种推动。大数据将对我们的生活带来更多的便利,变化,让我们一起迎接一场的新革命吧。
第四篇:大数据之感想[小编推荐]
《大数据》读后感想:
首先,本书大体上都是在讲美国政府在各社会团体不断“争取”权利、三权分立制度的制衡下,一步步将信息公开的历程。以及数据对美国政治所产生的影响,美国政府如何保护公民隐私等等。其实真正涉及到企业如何变得更加“智能”,唯有第四章讲得非常详细。先来看一下完整的商务智能流程:
1、通过各种来源的关系型数据库,使用ELT(提取、转换、加载)工具,对来自不同系统的数据以统一格式进行清洗、转换、集成进入到数据仓库。
2、锁定目标数据后进行联机分析。通过不同的分析角度进行多维分析,这样用户可以随时创建自己需要的报表,开发人员只要在后台为用户创建构建多维的数据立方体模型,用户就可以直接在前端的各个维度之间进行切换,从不同的维度对数据进行分析。从而获得更加全面的、动态的的分析结果。
3、进行数据挖掘。就是从海量数据中,挖掘出具有价值的数据。通过对数据的挖掘其
一、可以发现数据的历史规律,对过去进行总结。其
二、可以根据数据对未来进行预测。企业可以根据预测对未来行情趋势做出预判,并作出相关决策。
4、数据可视化,我想任何人看到一推数据,就会感到很头疼。当然也很不直观,到底企业的各项指标相比往年是好是坏去做对比也会很麻烦。使用各种图表、三维地图、动态模拟以及相关的动画技术是原本枯燥乏味的数据,变得生动起来。数据可视化把数据以更加直观的形态展现出来,使人们对相关数据做到一目了然。
5、通过上面几步我们就把原先毫无价值的数据,变成了信息,最后演变为知识。
其次,我们微动天下应该考虑的:
1、是否有必要建立数据仓库?当然我这个问题我也在线上向IBM数据仓库的人员询问过。要考虑的有两个因素:其
一、数据量的级别,其
二、对数据挖掘的程度。
一、数据量。采集器实时都对新闻、论坛、博客、微博在进行采集,当然如果说一年的数据量不算大的话,亦或者宁波本地的数据量也没那么大的话。公司假设几年后、几十年后业务量增大了,做到了浙江省乃至全国的时候。那个时候的数据量我想应该是非常的庞大了。
二、对数据挖掘的程度,当然有关公司涉及的更多。不过有时候那些公司做得仅仅是从采集的数据那里通过筛选,将相关信息发送给相关的客户。个人觉得这个价值应该被放大,通过对相关数据的挖掘对过去的规律进行总结,对未来的趋势做出预测。如固特异轮胎,根据往年的数据总结出某款轮胎某地以及在哪个时间段销量最大,然后第二年可以根据这个数据,制造商可以提前对该型号轮胎进行大量备货以备不时之需。通过挖掘在特定的时间段,哪几种商品捆绑销售会得到更好的销量等等。当然数据仓库是面向主题的数据集合,用于支持管理中的决策制定。个人觉得对公司领导层做出正确决策有很大的指导作用。
2、公司应该加大数据挖掘能力。公司在招聘往里面招聘的所谓数据分析师,只不过是用来数据监测的。真正意义上面的数据分析师很是匮乏。现在客户大多希望的是能够给本企业决策有指导性意义的报告、或者建议。这就需要我们通过数据挖掘预测出未来趋势,即预测性分析。这样无论在产品推广,以及在本品牌忠诚度上都会有一定的保障。
3、是否能通过联机分析处理将数据从各个角度、不同纬度展现出来。例如对销售数据的分析,时间周期是一个维度,产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成,用户可以快速地从各个分析角度获取数据,也能动态的在各个角度之间切换或者进行多角度综合分析。
4、数据可视化设计上需要强化。相关系统是直接给客户进行操作使用的,但我们所生成报告里面的统计图、走势图还不能很直观的展现给客户。这个对于客户体验来说是非常致命的,因为一旦不能直观的体现数据所呈现出来的状态,客户就不能对其决策做出准确的判断。进一步导致客户对我们忠诚度的降低。
第五篇:谈学习大数据的感想
大数据,你我共同拥有
大数据的意义是由人类日益普及的网络行为所伴生的,受到相关部门、企业采集的,蕴含数据生产者真实意图、喜好的,非传统结构和意义的数据。2013年5月10日,阿里巴巴集团董事局主席马云在淘宝十周年晚会上,将卸任阿里集团CEO的职位,并在晚会上做卸任前的演讲,马云说,大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。
从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后,大数据终于迎来了属于它的时代。2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。
大数据就是互联网发展到现今阶段的一种表象或特征而已,有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。
大多数传统BI工具都受到以下两个方面的局限:
首先,它们都是“预设-抓取”工具,由分析师预先确定收集什么数据用于分析。
其次,它们都专注于报告“已知的未知”(Known unknowns),也就是我们知道问题是什么,然后去找答案。(而大数据会给而大数据会给出一些未知的未知,也就是你没有想到的一些问题的结果)。传统BI工具主要用于企业运营,侧重于成本控制和计划执行报告。而大数据技术最主要的功能/应用是ETL(Extract、Transform、Load)。将近80%的Hadoop应用都与ETL有关,例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。
今天计算和存储硬件变得非常便宜,配合大量的开源大数据工具,人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说,低廉的计算资源正在改变我们使用数据的方式。
此外,处理性能的大幅提高(例如内存计算)使得实时互动分析更加容易实现,而“实时”和“预测”将BI带到了一个新的境界――未知的未知。这也是大数据分析与传统BI之间最大的区别。
今天的大数据技术还处于战国时期,未来几年,随着企业间的兼并和新产品的不断推出,BI厂商们将能推出完善的,让CEO感到满意的“大数据套件”,但这并不意味着企业IT经理们的工作将受到威胁。因为正如云计算在理想和现实间达成妥协一样,大数据也会经历类似的发展过程。传统的BI工具将与大数据分析并存。公共服务大数据另外一个重大的应用领域是社会和政府。如今,数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。
今天,城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题,而城市,也正是大数据计划的绝佳实验室。
以纽约这样的大都市为例,政府公共数据公开化、以及市民生活的高度数字化(购物、交通、医疗等)等都是大数据分析的理想对象。
客观的市政数据,是消除争端,维系公民社会的最佳纽带。当然,前提是让公民能够访问这些数据。苹果的Siri和谷歌的Google Now都具备成为个人化助理的潜力。当然,我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受(数据可视化)。此外,IBM的Watson以及Wolfram Alpha这样的人工智能技术还能实现与用户的互动。
今天,智能手机(以及Twitter等社交网络)的普及让人类社会首次实现了公民的联网。应用程序商店实时上已经打通了政府和公民之间的应用层面的通道。伴随着各国政务的数字化进程,以及政务数据的透明化,公民将能准确了解政府的运作效率。这是不可逆转的历史潮流,同时也是大数据最具潜力的应用领域之一。
大数据已经与在线营销交织在一起,其应用可以分为两大类:
首先,从线上到线下。配备了NFC近场通讯技术的智能手机和基于位置的签到正在成为营销人员的最新利器。他们将能跟踪商场人流,把在线零售的分析优化应用于线下。
其次,数据分析工具将更加容易使用(面向中小企业应用的大数据创业非常火爆),中小企业也许没有BI平台,但他们都有平板电脑和智能手机,移动版客户智能分析将会改变企业使用营销工具的方式。
大数据时代已经来临,它将在众多领域掀起变革的巨浪。但我们要冷静的看到,大数据的核心在于为客户挖掘数据中蕴藏的价值,而不是软硬件的堆砌。因此,针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信,在国家的统筹规划与支持下,通过各地方政府因地制宜制定大数据产业发展策略,通过国内外IT龙头企业以及众多创新企业的积极参与,大数据产业未来发展前景十分广阔。