第一篇:大数据培训心得及知识总结
大数据培训心得及知识总结
来源:扣丁学堂
给大家分享一个大数据培训心得,这是在扣丁学堂大数据视频教程学习大数据课程同学的培训心得。关于大数据培训心得每个学员都会有所不同,小编整理了一下同学的知识小结,也算是对数据库知识的学习心得,分享给初学者。
一:一般命令
(1)conn 连接
(2)passw 更改密码
(3)show users 查看当前用户
(4)start d:a.sql;执行指定的.sql文件
(5)select *from liu where name1='&name1';在查询中如果出现条件中加上&表示需要用户输入
二:
(6)创建新用户(密码必须以字母开头)
create user chuan identified by m123;
(7)修改用户的密码
passwordchuan
(8)删除用户
注意:如果要删除的用户已经创建了表,那么需要带一个参数cascade
三:用户权限
(1)付给用户登陆权限。(必须为sys或者system)
grant connect to chuan;
(2)权限的划分
《1》系统权限:用户对数据库的相关权限
《2》对象权限:用户对其他用户的数据对象的操作权限
(3)查看用户拥有的权限
常见的三个角色:connect,dba,resource(可以操作其他空间)
select * from user_role_privs;--用户所拥有的oracle角色
select * from user_sys_privs;--用户所用户的系统权限
<1>当前用户可以赋给别的用户一些对象权限(select,update,delete,insert,all)
grant select on emp to chuan(当前用户赋给chuan可以查看emp表的权限)
注意:当chuan这个用户查看emp表时,select *from sys.emp;
<2>当前用户收回赋给别的用户的权限。
revoke select on emp from chuan
<3> 赋给当前用户可以再赋给别的用户权限
grant select on emp to chuan with grant option(当收回这个权限时,别的用户也没有此权限)
一些可能会用到的数据库操作:
1、增加一个列:
ALTER TABLE 表名 ADD(列名 数据类型);
如:
ALTER TABLE empADD(license varchar2(256));
2、修改一个列的数据类型(一般限于修改长度,修改为一个不同类型时有诸多限制)
ALTER TABLE 表名 MODIFY(列名 数据类型);
如:
ALTER TABLE empMODIFY(weight NUMBER(3,0)NOT NULL);
3、给列改名:
ALTER TABLE 表名 RENAME COLUMN 当前列名 TO 新列名;
如:
ALTER TABLE emp RENAME COLUMN abcTOabc_new;
4、删除一个列:
ALTER TABLE 表名 DROP COLUMN 列名;
如:
ALTER TABLE emp DROP COLUMN memo;
5、将一个表改名:
ALTER TABLE 当前表名 RENAME TO 新表名;
如:
ALTER TABLE client RENAME TO client_new
6、sql公式:
select name||':'||salay from emp
如果你对大数据感兴趣的话也可以加入扣丁学堂大数据视频教程进行学习,扣丁学堂大数据视频教程是免费向学员开放的,在扣丁学堂大数据视频教程中你定会受益匪浅。
第二篇:大数据培训心得
一、学习总结
1. 大数据的定义
也叫巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理的时间内达到采集、管理、处理、并整理成为帮助企业营或政府更积极目的资讯。
2.4V特点
规模性(volume)、高速性(Velocity)、多样性(variety)、价值性(value)
3.应用
采用某些技术,从技术中获得洞察力,也就是BI或者分析,通过分析和优化实现对企业未来运营的预测。
二、心得体会
在如此快速的到来的大数据革命时代,我们还有很多知识需要学习,许多思维需要转变,许多技术需要研究。职业规划中,也需充分考虑到大数据对于自身职业的未来发展所带来的机遇和挑战。当我们掌握大量数据,需要考虑有多少数字化的数据,又有哪些可以通过大数据的分析处理而带来有价值的用途?在大数据时代制胜的良药也许是创新的点子,也许可以利用外部的数据,通过多维化、多层面的分析给我们日后创业带来价值。借力,顺势,合作共赢。
第三篇:大数据培训总结材料
为期5天的“云计算与大数据技术及其应用高级研修班”已经结束。作为一名学员,我在这5天时间里聆听了王家耀院士、郭殿升教授、郑宇研究员等人的研究报告,对云计算、大数据和互联网+相关概念、技术有了更深的认识,对它们在各个领域的应用有了更进一步的了解,拓宽了思路,对我们接下来在科研和教学工作中研究云计算和大数据、讲授云计算和大数据、使用云计算和大数据都有很大的促进作用。下面我将对自己对云计算和大数据的认识以及如何使用相关技术服务于工作的设想做一个简单介绍。
1.云计算
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源,它还没有一个一个统一的概念。美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。云计算(Cloud Computing)是分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)、热备份冗余(High Available)等传统计算机和网络技术发展融合的产物。
2006年8月9日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006)首次提出“云计算”(Cloud Computing)的概念。它一出现就吸引了各方的关注:2007年10月,Google与IBM开始在美国大学校园,推广云计算的计划;2008年2月1日,IBM(NYSE: IBM)宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算中心(Cloud Computing Center);2008年7月29日,雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划,推出云计算研究测试床,推进云计算;2010年7月,美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划。云计算的核心与效用计算和网格计算非常类似,也是希望IT技术能像使用电力那样方便,并且成本低廉,截至到2014年,云计算在需求方面已经有了一定的规模、在技术方面也已经基本成熟了。当前已经出现的云计算研究和应用主要体现在:云物联、云安全、云存储、云游戏、云计算等。
云计算包括基础设施即服务(Infrastructure-as-a-Service,IaaS)、平台即服务(Platform-as-a-Service,PaaS)和软件即服务(Software-as-a-Service,SaaS)三个层次的服务,涉及编程模式、海量数据分布存储、海量数据管理、虚拟化、云计算平台管理等热门技术,是当前最热门的科技词汇。当然云计算也存在一些问题,如数据隐私问、数据安全性、用户的使用习惯、网络传输问题、缺乏统一的技术标准等。
2.大数据
简单的说,大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理,其关键在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。大数据具有容量大、种类多、速度快、可变性强以及真实、复杂等特征,其价值价值体现在:对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;做小而美模式的中长尾企业可以利用大数据做服务转型;面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
为了加快大数据产业的发展,国务院于2015年9月印发《促进大数据发展行动纲要》,要求大力推动政府部门数据共享,稳步推动公共数据资源开放,统筹规划大数据基础设施建设,支持宏观调控科学化,推动政府治理精准化,推进商事服务便捷化,促进安全保障高效化,加快民生服务普惠化;发展大数据在工业、新兴产业、农业农村等行业领域应用,推动大数据发展与科研创新有机结合,推进基础研究和核心技术攻关,形成大数据产品体系,完善大数据产业链;健全大数据安全保障体系,强化安全支撑。以此为基础,在未来5至10年打造精准治理、多方协作的社会治理新模式,建立运行平稳、安全高效的经济运行新机制,构建以人为本、惠及全民的民生服务新体系,开启大众创业、万众创新的创新驱动新格局,培育高端智能、新兴繁荣的产业发展新生态。
4.高校的云计算和大数据
在当前时代,云计算和大数据已经成为时代需求,在这种潮流中,作为直接培养人才的高校应该走在研究大数据和使用大数据的前列。
(1)针对性教学。大数据应用于课堂教学,最大的影响可能就是我们将有能力去关注每一个学生的微观表现。运用大数据技术,不仅可以获得一个学生在课堂中的表现和行为,还可以对这个学生在课堂学习过程中的各种行为表现、情绪态度等进行全方位分析,从而得出学生学业的优缺点和对待学业的态度等。如果大数据技术能广泛地运用于课堂教学,那么我们在课堂中进行针对性教学就有了可能。
(2)开放式教育。近年来越来越多的网络在线教育和大规模开放式网络课程横空出世,也使教育领域中的大数据获得了更为广阔的应用空间。专家指出,大数据将掀起新的教育革命,比如革新学生的学习、教师的教学、教育政策制定的方式与方法。
(3)大数据考试。教育领域中的大数据分析最终目的是为了改善学生的学习成绩。学生的作业和考试中有一系列重要 的信息往往被我们常规的研究所忽视。而通过分析大数据,我们就能发现这些重要信息,并利用它们为改善学生的成绩提供个性化的服务。与此同时,它还能改善学 生期末考试的成绩、平时的出勤率、辍学率、升学率等。测学生是“如何”考试的能让研究者有效定型学生的学习行为。大数据要求教育工作者必须超越传统,不能只追求正确的答案,学生是如何朝着正确答案努力 的过程也同样重要。在一次考试中,学生个人和整体在每道题上花费了多少时间?最长的是多少?最短的是多少?平均又是多少?哪些此前已经出现过的问题学生答 对或答错了?哪些问题的线索让学生获益了?通过监测这些信息,形成数据档案,能够帮助教育工作者理解学生为了掌握学习内容而进行学习的全过程,并有助于向 他们提供个性化的学习模式。
现在,大数据分析已经被应用到美国的公共教育中,创造了“学习分析系统”——一个数据挖掘、模化和案例运用的联合框架,成为教学改革的重要力量。“学习分析系统”旨在向教育工作者提供了 解学生到底是在“怎样”学习的更多、更好、更精确的信息。举例来说,一个学生成绩不好是由于他因为周围环境而分心了吗?期末考试不及格是否意味着该学生并 没有完全掌握这一学期的学习内容,还是因为他请了很多病假的缘故?利用大数据的学习分析能够向教育工作者提供有用的信息,从而帮助其回答这些不太好回答的 现实问题。
教育工作者和研究者已经开发出从大数据中提取价值的5种主要的技术:
预测——觉知预料中的事实的可能性。聚类——发现自然集中起来的数据点。相关性挖掘——发现各种变量之间的关系,并对其进行解码以便今后使用它们。升华人的判断——建立可视的机器学习的模式。用模式进行发现——使用通过大数据分析开发出的模式进行“元学习”。实施这些技术就能够通过大数据来创建为提高学生成绩提供支持的学习分析系统。研究者们相信这些技术将帮助教育工作者更加有效地指导学生朝着更加个性化的学习进程迈进。
第四篇:大数据心得
大数据讲座学习心得
在前几年本世纪初的时候,世界都称本世纪为“信息世纪”。确实在计算机技术与互联网技术的飞速发展过后,我们面临了一个每天都可以“信息爆炸”的时代。打开电视,打开电脑,甚至是在街上打开手机、pda、平板电脑等等,你都可以接收到来自互联网从世界各地上传的各类信息:数据、视频、图片、音频„„这样各类大量的数据累积之后达到了引起量变的临界值,数据本身有潜在的价值,但价值比较分散;数据高速产生,需高速处理。大数据意味着包括交易和交互数据集在内的所有数据集,其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。遂有了“大数据”技术的应运而生。现在,当数据的积累量足够大的时候到来时,量变引起了质变。“大数据”通过对海量数据有针对性的分析,赋予了互联网“智商”,这使得互联网的作用,从简单的数据交流和信息传递,上升到基于海量数据的分析,一句话“他开始思考了”。简言之,大数据就是将碎片化的海量数据在一定的时间内完成筛选、分析,并整理成为有用的资讯,帮助用户完成决策。借助大数据企业的决策者可以迅速感知市场需求变化,从而促使他们作出对企业更有利的决策,使得这些企业拥有更强的创新力和竞争力。这是继云计算、物联网之后it产业又一次颠覆性的技术变革,对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。后工业社会时代,随着新兴技术的发展与互联网底层技术的革新,数据正在呈指数级增长,所有数据的产生形式,都是数字化。如何收集、管理和分析海量数据对于企业从事的一切商业活动都显得尤为重要。
大数据时代是信息化社会发展必然趋势,我们只有紧紧跟随时代发展的潮流,在技术上、制度上、价值观念上做出迅速调整并牢牢跟进,才能在接下来新一轮的竞争中摆脱受制于人的弱势境地,才能把握发展的方向。
了解了“大数据”的“大”之后我们也该了解它所具有的巨大价值。就目前来说“大数据”的来源主要还是互联网,来自互联网上的大多数不被重视信息都是具有巨大开发价值的,其具有巨“大”的商业价值,我们所缺少的只是一些数据分析等手段。例如:在如今,网购已经成为了一种风潮,网上也涌现了以淘宝、京东、亚马逊等一系列的购物网站。而在这些网站之中,顾客的浏览记录,购买记录等等都是一些巨大商业价值的信息。借鉴“塔吉特”的先例,我们可以利用“大数据”技术收集分析,就可预测需求、供给和顾客习惯等,做到精准采购、精准投放,达到利益放大的效果。从全球范围来看,很多人都把2012年看做是大数据时代的元年。在这一年里,很多行业在大数据方面的管理、规划和应用已经觉醒。电商、金融、电信等行业数据有着长期的数据积累。事实上,很多互联网公司,例如亚马逊、google、腾讯,更愿意将自己定位为数据企业。因为信息时代,数据成为经营决策的强有力依据,给企业带来了发展和引领行业的机遇。银行也同样拥有丰富的数据矿藏,不仅存储处理了大量结构化的账务数据,而且随着银行渠道快速渗透到社交网络、移动端等媒介,海量的非结构化数据也在等待被收集和分析。未来的金融业将更多地受到科技创新力的驱动,也越来越倾向于零售营销:对于金融业来说,大数据意味着巨大的商机,可强化客户体验,提高客户忠诚度。大数据技术的发展带来企业经营决策模式的转变,驱动着行业变革,衍生出新的商机和发展契机。驾驭大数据的能力已被证实为领军企业的核心竞争力,这种能力能够帮助企业打破数据边界,绘制企业运营全景视图,做出最优的商业决策和发展战略。金融行业在大数据浪潮中,要以大数据平台建设为基础,夯实大数据的收集、存储、处理能力;重点推进大数据人才的梯队建设,打造专业、高效、灵活的大数据分析团队;不断提升企业智商,挖掘海量数据的商业价值,从而在数据新浪潮的变革中拔得头筹,赢得先机 在如此快速的到来的大数据革命时代,我们还有很多知识需要学习,许多思维需要转变,许多技术需要研究。职业规划中,也需充分考虑到大数据对于自身职业的未来发展所带来的机遇和挑战。当我们掌握大量数据,需要考虑有多少数字化的数据,又有哪些可以通过大数据的分析处理而带来有价值的用途?在大数据时代制胜的良药也许是创新的点子,也许可以利用外部的数据,通过多维化、多层面的分析给我们日后创业带来价值。借力,顺势,合作共赢。把自己的心门打开,像海绵般吸取积极、正能量的东西。篇二:大数据时代书面记录与心得体会
大数据时代书面记录与心得体会 2015年5月12日,听取了大数据时代相关技术的技术讲座。当今,大数据的到来,已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候,大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时,大数据也向参与的各方提出了巨大的挑战。
大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法
律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。
《大数据时代》读后感
一、学习总结
1、关于作者
维克托·迈尔-舍恩伯格(viktor mayer-sch?nberger),他是十余
年潜心研究数据科学的技术权威,他是最早洞见大数据时代发展趋势的数据科学家之一。
2、关于大数据 1)大数据是什么
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4v特点:volume(大量)、velocity((高)速率)、variety(多样性)、veracity(真实)。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。2)大数据的来源
所谓的“big data”是由ibm和gartner分析师提出的概念,我们比较时髦的称其为大数据。
3)大数据现状、应用
通过分析和优化企业数据实现一种对未来的企业运营的精准的预测能力。采用一系列的技术,从技术中获得洞察力,也就是bi或者分析;另外一个是分析路径,寻找关键绩效指标,从仪表盘这样的工具进行数据分析,实现预测性工作。4)大数据未来 fayyad曾被视为数据挖掘领域的no.1,他用下图向我们解释了为什么说分析是大数据未来的发展方向。
3、关于大数据时代 1)思维变革 ? 更多:不是随机样本,而是全体数据;“样本=总体”。? 更杂:不是精确性,而是混杂性;允许不精确,最大化利用全体数据。? 更好:不是因果关系,而是相关关系;“是什么”,而不是“为什么”。2)商业变革 ? 数据化:一切皆可“量化”;关注信息本身。? 价值:发现、利用数据的价值。? 角色定位:大数据掌控、大数据技术、大数据思维的三足鼎立。3)管理变革
? 责任:数据来源有效性、数据存储安全性、数据使用合法性。? 自由:反对数据垄断大亨。
二、读后感
1、大数据时代,是名符其实的“信息社会”
经历了口口相传、纸媒传播,到现在的网络技术,我们可以获得比以前更多的信息并进行分析,可以从更多的维度诠释世界。
通讯技术的发展,促进了个人/组织在信息获取上的平等发展,数据不再是限制我们努力的因素了。数据的的爆炸式产生,促使我们必须从海量的信息中做出选择、掌握数据挖掘技术和筛选工具。
2、大数据技术支持预测工作
大数据的4v特点,及对相对关系的发掘,改变了传统的基于少量样本的预测思维。思维的转变,将会在各行各业中爆发出更多的预测技术和工具,进而支撑预测工作的大力发展。
大数据技术越完善,我们越能更快更全面的获得更多的有效数据,预测则越准确。
3、知识管理迫在眉睫
大数据的未来是数据分析,而分析的目的是转化为经验、规律、总结??,它们的集合就是知识。知识是个人/组织成长的直接推动因素。
知识管理要遵循积累原则(知识积累是实施知识的管理基础)、共享原则(一个组织内部的信息和知识要尽可能公开,使每一个员工都能接触和使用公司的知识和信息)、交流原则(知识管理的核心就是要在公司内部建立一个有利于交流的组织结构和文化气氛,使员工之间的交流毫无障碍)。这三原则不正是大数据技术的组织基础吗?
三、在工作中的而应用
1、关注运作工作向数据管理方向的转化
在仓储工作中,为物品对象(仓库、货物、设备、员工等)、流程对象(如作业、异常处理、管理等)建立属性列表,关注数据积累。
同时,关注仓储数据与运输、客服、园区等各方面环境数据的对应。
2、重视数据挖掘,提高数据分析能力
根据运作问题和目标,通过数据挖掘和分析,寻找有效的数据指标。通过对关键指标的趋势预测,发现潜在风险、发掘改善途径。
3、推动数据转化,促进建立知识管理系统
在实际工作中,重视对裸数据、经验、执行文件的管理,引导各项目的知识转化。建立从数据积累、知识转化(数据到知识、隐性知识到显性知识、个体知识到组织知识等)、知识共享的知识管理体系,形成仓储管理知识体系及其良性循环。
(正文结束)篇四:大数据心得体会 大数据时代的信息分析平
台搭建安装报告
一、平台搭建
描述小组在完成平台安装时候遇到的问题以及如何解决这些问题的,要求截图加文字描述。
问题一:在决定选择网站绑定时,当时未找到网站绑定的地方。解决办法:之后小组讨论后,最终找到网站绑定的地方,点击后解决了这个问题。
问题二:当时未找到tcp/ip属性这一栏
解决办法:当时未找到tcp/ip属性这一栏,通过老师的帮助和指导,顺利的点击找到了该属性途径,启用了这一属性,完成了这一步的安装步骤。
问题三:在数据库这一栏中,当时未找到“foodmartsaledw”这个文件
解决办法:在数据库这一栏中,当时未找到“foodmartsaledw”这个文件,后来询问老师后,得知该文件在第三周的文件里,所以很快的找到了该文件,顺利的进行了下一步
问题四:在此处的sql server的导入和导出向导,这个过程非常的长。
解决办法:在此处的sql server的导入和导出向导,这个过程非常的长,当时一直延迟到了下课的时间,小组成员经讨论,怀疑是否是电脑不兼容或其他问题,后来经问老师,老师说此处的加载这样长的时间是正常的,直到下课后,我们将电脑一直开着到寝室直到软件安装完为止。
问题五:问题二:.不知道维度等概念,不知道怎么设置表间关系的数据源。关系方向不对
解决办法:百度维度概念,设置好维度表和事实表之间的关系,关系有时候是反的——点击反向,最后成功得到设置好表间关系后的数据源视图。(如图所示)
这个大图当时完全不知道怎么做,后来问的老师,老师边讲边帮我们操作完成的。篇五:大数据时代读书心得
一部似乎还没有写完的书
——读《大数据时代》有感及所思
读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前,我的思想被强烈震撼,不禁战栗起来。“在小数据时代,我们会假象世界是怎样运作的,然后通过收集和分析数据来验证这种假想。”“随着由假想时代到数据时代的过渡,我们也很可能认为我们不在需要理论了。”书中几乎肯定要颠覆统计学的理论和方法,也试图通过引用《连线》杂志主编安德森的话“量子物理学的理论已经脱离实际”来“终结”量子力学。对此我很高兴,因为统计学和量子力学都是我在大学学习时学到抽筋都不能及格的课目。但这两个理论实在太大,太权威,太基本了,我想我不可能靠一本书就能摆脱这两个让我头疼一辈子的东西。作者其实也不敢旗帜鲜明地提出要颠覆它们的论点,毕竟还是在前面加上了“很可能认为”这样的保护伞。近几十年,我们总是在遇到各种各样的新思维。在新思维面前我们首先应该做到的就是要破和立,要改变自己的传统,跟上时代的脚步。即使脑子还跟不上,嘴巴上也必须跟上,否则可能会被扣上思想僵化甚至阻碍世界发展的大帽子。既然大数据是“通往未来的必然改变”,那我就必须“不受限于传统的思维模式和特定领域里隐含的固
有偏见”,跟作者一起先把统计学和量子力学否定掉再说。反正我也不喜欢、也学不会它们。
当我们人类的数据收集和处理能力达到拍字节甚至更大之后,我们可以把样本变成全部,再加上有能力正视混杂性而忽视精确性后,似乎真的可以抛弃以抽样调查为基础的统计学了。但是由统计学和量子力学以及其他很多“我们也很可能认为我们不再需要的”理论上溯,它们几乎都基于一个共同的基础——逻辑。要是不小心把逻辑或者逻辑思维或者逻辑推理一起给“不再需要”的话,就让我很担心了!
《大数据时代》第16页“大数据的核心就是预测”。逻辑是——描述时空信息“类”与“类”之间长时间有效不变的先后变化关系规则。两者似乎是做同一件事。可大数据要的“不是因果关系,而是相关关系”,“知道是什么就够了,没必要知道为什么”,而逻辑学四大基本定律(同一律、矛盾律、排中律和充足理由律)中的充足理由律又“明确规定”任何事物都有其存在的充足理由。且逻辑推理三部分——归纳逻辑、溯因逻辑和演绎逻辑都是基于因果关系。两者好像又是对立的。在同一件事上两种方法对立,应该只有一个结果,就是要否定掉其中之一。这就是让我很担心的原因。
可我却不能拭目以待,像旁观者一样等着哪一个“脱颖而出”,因为我身处其中。问题不解决,我就没法思考和工作,自然就没法活了!
更何况还有两个更可怕的事情。其一:量子力学搞了一百多年,为了处理好混杂性问题,把质量 和速度结合到能量上去了,为了调和量子力学与相对论的矛盾,又搞出一个量子场论,再七搞八搞又有了虫洞和罗森桥,最后把四维的时空弯曲成允许时间旅行的样子,恨不得马上造成那可怕的时间旅行机器。唯一阻止那些“爱因斯坦”们“瞎胡闹”的就是因果关系,因为爸爸就是爸爸,儿子就是儿子。那么大数据会不会通过正视混杂性,放弃因果关系最后反而搞出时间机器,让爸爸不再是爸爸,儿子不再是儿子了呢? 其二:人和机器的根本区别在于人有逻辑思维而机器没有。《大数据时代》也担心“最后做出决策的将是机器而不是人”。如果真的那一天因为放弃逻辑思维而出现科幻电影上描述的机器主宰世界消灭人类的结果,那我还不如现在就趁早跳楼。
还好我知道自己对什么统计学、量子力学、逻辑学和大数据来说都是门外汉,也许上面一大篇都是在胡说八道,所谓的担心根本不存在。但问题出现了,还是解决的好,不然没法睡着觉。自己解决不了就只能依靠专家来指点迷津。
所以想向《大数据时代》的作者提一个合理化建议:把这本书继续写下去,至少加一个第四部分——大数据时代的逻辑思维。
第五篇:参加大数据审计应用培训心得
近日,**市审计局开展了面向全体业务人员的大数据应用审计业务培训会,旨在提升业务人员在项目审计过程中的审计效率,运用大数据审计思维和计算机审计手段,充分发挥审计功能。通过培训,审计人员不仅学习了新的技术,还对当前我国审计事业的发展有了新的认识,为共同创造我省审计事业的新成绩,打下了基础。
一、着力大数据审计,是现代审计技术发展的必然趋势
2015年12月12日,国家行政学院常务副院长马建堂在国家行政学院召开的“大数据与国家治理”圆桌论坛上表示“要积极拥抱使用大数据,以提高政府公共管理能力、公共服务水平、公共政策质量。”随着当代信息技术的蓬勃发展,各行各业均所产生的数据量将呈指数级增长,数据种类和格式也日渐丰富,除了储存这些数据,审计人员更多是要利用这些大数据,对它们进行收集,整理,清洗,分析,利用这些数据创造新的价值。随着被审计单位财务软件和业务软件的不断更新升级,审计人员运用“低成本、低风险、高效率”的审计技术变得尤为重要。**省审计厅审计云系统的搭建,为基层审计工作者节约了数据采集、整理及转换的时间,同时通过云系统进行数据分析,进一步的提高了审计工作效率,变审计工作重点从“现场审计找疑点”为“现场审计核实疑点”,实现“快、准、稳”的审计目标要求。
二、充分应用计算机,是实现大数据审计的重要手段
计算机审计的效果,取决于审计人员将计算机技术与审计方法结合能力的高低。要推动大数据审计的落实与发展,基层审计机关必须建立高素质的计算机审计队伍。加强审计人员计算机操作技能的培训,是推进基层大数据审计的重要手段。此次**市审计局开展的业务培训会,除了对word¥excel及审计软件的基本操作进行解析外,着重强调了审计人员应当培养充分应用计算机审计的工作意识。在此基础上,加入了计算机软硬件及网络应有的安全控制方法、计算机知识与审计知识的融合两方面培训内容,旨在培养具备计算机常识、网络知识以及掌握信息系统审计技术的现代审计业务人员,促使审计人员在审计工作中将审计知识与计算机技术进行有效结合。
三、跨板块数据分析,是实现审计全覆盖的必然要求
2015年12月8日,中国政府网公布中共中央办公厅、国务院办公厅印发《关于实行审计全覆盖的实施意见》,是对国家审计监督提出实现审计监督全覆盖的时代要求。面对一个个数量庞大、种类繁杂的数据信息源,如何整合审计数据中心数据资源、挖掘跨行业、跨单位、跨系统的核心数据就变得十分重要。此次**市审计局开展的业务培训会,以本级财政预算审计为例,将财政四大业务系统与财务系统进行跨系统数据整理及对比分析方法及操作核心详细解读,为审计业务人员提供了跨系统数据比对分析思路,激发了审计业务人员对进一步实现跨单位、跨行业的全覆盖审计思路。
在大数据时代,挑战与机遇并存,计算机信息技术的广泛运用和审计业务已经深度融合,为审计事业带来了新发展。