第一篇:《大数据-正在到来的革命》读后感
《大数据——正在到来的数据革命》读书笔记
最近,我读了涂子沛先生的《大数据-正在到来的数据革命》,还未读完,已经被作者的思考的深度和信息的力量所震撼。这本书讲述美国半个多世纪信息开放、技术创新的历史,书中涵盖了很多美国信息技术方面的经典案例,包括美国政府对数据的重视和数据治国的成功经验,也向我们揭示了大数据时代的发展与危机,向人们详细阐述了数据创新给人民、政府以及社会带来的种种挑战和变革。最后作者还简单提出了对中国应对大数据挑战的建议。这本书以通俗易懂且略带诗意的语言,向我们铺开了一幅信息化发展的历史画卷,同时为我们勾勒出正在到来的大数据时代的宏伟蓝图。
进入2012年大数据一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新,人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者消费浪潮的到来。“大数据”的运用在各个领域发挥着前所未有的重要作用,渗透到了当今每一个行业和业务职能领域,成为重要的生产因素,并对人类的数据驾驭能力提出了更新的挑战。我认同作者的观点,大数据的形成主要归因于5个技术,包括摩尔定律、普适计算、数据挖掘、社交媒体、云计算,它们促成了“大数据”。其中,摩尔定律为我们解决一个问题,就是人类现在可以以很低的成本来保存数据;在某种意义上,那么信息共享的成本也将越来越低,这里体现了信息的无限共享性;第二,普适计算使得人类收集数据的能力得到增强,不仅是保存数据,我们还能够广泛地收集数据,并且对数据进行计算;第三,数据挖掘在我们能够收集、保存数据的基础上,又加强了人们的数据分析能力;第四,到了社交媒体时代来临的2004年,大数据时代真正拉开了帷幕,大家都在贡献数据,这时的数据量是前所未有的,人类数据的80%都是非结构化数据;第五,云计算的发展又给大数据插上了新的翅膀,即使有很多的信息,即使存储设备非常的便宜,都不用存储在这些设备上,而是存在云上实现规模化和专业化。这五大技术的综合使得大数据变成了不可逆转的时代潮流。
“我们信奉上帝,除了上帝任何人都要以数据说话。”信息技术发展,数据指数级增长,已经彻底改变了政府,社会,商业群体的决策方法。书中花费了大量篇幅介绍美国信息开放的历程,只有信息自由才谈得上进一步的数据开放和数据共享。信息自由法已经成为美国不可缺少的一个基本法案。“向公众隐瞒政府实情的力量就是摧毁这个政府的力量。这种力量不能轻易授予,也不能轻率使用。” 美国政府开放了40万项数据,其实这不只是向美国人开放,而是放在互联网上向全世界开放,我们每个人都可以下载美国政府的数据来使用。美国政府的每项开放数据都经过了严格的论证,他们只有两条标准。第一是不危及国家的安全,第二是不侵犯公民的隐私。在开始的时候,美国政府存在着很多争议。他们对于国家安全也拿不准,也知道不同的数据经过整合会产生新的价值,也许一些数据整合起来就会泄漏国家的安全机密。但是他们最后还是选择了开放,因为这是推进社会的进步,推进经济的发展、保证公民的知情权、完善民主制度等方面有更好的作用,这方面的作用比国家安全受到威胁大多了。相比之下,我国的政府数据几乎处于封锁状态,政府内部数据共享的任务都没有完成,内部彼此都还没有开放,现在就筹划对外开放肯定是不合理的。正如作者所说,阳光是最好的防腐剂,数据开放是历史的正确方向。政府只有建立起透明、公众参与和多方合作的制度才能取得公众的信任。但开放也要等待适当的时期,不能盲目开放。和美国相比,中国在数据收集、使用和管理的各个方面,都存在差距。作者认为,最大的差距是意识和态度。中国长期重定性、轻定量、重观点、轻数据。在现实生活中,数据也往往成为任政府粉饰的装饰画,得不到应有的尊重,数据的质量不高、公信力严重不足。
书中另一个让我很有感触的方面就是大数据时代的个人隐私保护问题。“在信息时代,计算机内的每一个数据、每一片字节,都是构成一个人隐私的血肉。信息加总和数据整合,对隐私的穿透力不仅仅是1+1=2的,很多时候是1+1>2的。”书中的一个例子更是生动地说明了这个问题:通过对一部自动提款机几周的数据记录进行分析,发现每天午夜12点到2点之间,都有大量的款项被提现,为防止这涉及诈骗等操作,进行侦探发现该提款机靠近一家色情俱乐部,顾客提现是为了不想在信用卡上留下不体面的消费记录。这个例子说明了当你在银行存钱、提款时,你留下的信息不仅仅是一笔银行交易,还告诉了银行你的地理位置。比如你的提款记录和你当天的通讯、消费、旅行等其他数据记录整合起来,很可能成为你其他行为的解释,从而透露一个人的隐私,你当天的行踪和作为,就几乎无秘密可言。在大数据时代数据整合1+1>2的效果,在美国社会体现得已经很明显。今年6月份,斯诺登向媒体透露了美国政府的“棱镜”窃听计划,美国情报机构一直在九家美国互联网公司中进行数据挖掘工作,从音视频、图片、邮件、文档以及连接信息中分析个人的联系方式与行动。其中包括两个秘密监视项目,一是监视、监听民众电话的通话记录,二是监视民众的网络活动。在美国这样一个宣誓人权和自由的国家,也会采取这种侵犯公民隐私的行为,big data is big brother,拥有数据才是信息社会的王道,美国尚且如此,让人很容易揣测中国以及其他国家政府的行为。2000万酒店开房信息随意查询下载、伪基站群发95588诈骗短信„在我们变成“透明人”的背后,是信息安全行业面临的前所未有危机,是互联网隐私安全对每个人生活的直接严重影响。
涂先生从数据本身的革命、社会科学的革命、企业管理的革命、社会管理的革命四个方面深刻阐述了大数据的重要意义,以最前沿的视野、直接的解读和剖析为我们理清了大数据时代的发展思路,让我们意识到:大数据的时代,是不可逃避的。中国社会更需要有人系统地梳理中国人对于数据的认识以及当前信息技术为中国发展提供的机会,争取在信息技术层面为中国如何深化改革、扩大开放提供思考和借鉴。我们是信管专业的学生,在第三次信息化的浪潮中,我们应该独立思考,掌握好专业知识,抓住发展的机遇,为个人发展创造空间,也为国家的腾飞贡献自己的微薄力量!
第二篇:银行业数据革命
银行业数据革命
浓缩观点
在客户个性化时代,如何将银行战略与客户利益正向整合?数据战略将决定新一代银行的未来。
DNB银行是挪威最大的银行,拥有220万客户,占挪威人口数量近1/2。这样一家实力雄厚的金融机构也被紧迫的危机拷打着。2007年开始,DNB银行的市场份额逐渐下降,甚至在2007和2008两年一落千丈。2013年上半年,DNB银行已经关掉了35个网点。强有力的新生对手正在蚕食着市场,互联网公司和新型交易公司涉足金融服务,传统信用卡公司推出移动支付解决方案,甚至连挪威最大的电信运营商Telenor也在巴基斯坦买下一家银行,冲击金融业。
感受到变化来临的,还有中国工商银行。这家全球最大的银行在2012年12月底,ATM机数量约为6.57万台,日均交易305笔/台,银行网点日均业务量1.797亿笔。数字说明工商银行的业务正在向离柜发展,因为全行ATM机的全年交易量已经超过了银行网点交易量。此外,其电话银行、手机银行和自助银行等电子银行的业务量约占全部业务量的75%。这些电子渠道积累了庞大的数据,工商银行能用它们做些什么?
未来的银行会是怎样的?在电商和互联网企业等外部力量的不断冲击下,银行的实体边界已经被打破,电子渠道的发展成为趋势,通过电子渠道银行积累的数据成指数级增长,这些数据为个性化客户服务提供了基础。
中国的大型商业银行数据量已经达到100TB以上级别,并且非结构化数据量在迅速增长。数据增长成指数级,非结构化数据处理能力对企业IT架构和数据分析能力提出挑战。在此基础之上,将客户利益正向整合,成为传统银行转型的利器。
银行不仅是“银行”
在DNB银行受到竞争冲击的同时,光大银行这类中国股份制银行也遇到了相似的市场危机。“银行脱媒”现象越发明显,资金越来越多地绕开商业银行,直接输送到需求方和融资者手里。一方面,消费者对银行的客户体验要求在不断提升;另一方面,传统银行更要迎接来自互联网金融的冲击。
“因为互联网的发展是对整个信息流转速度和丰富程度的大力提高,由此一来,银行通过消除信息不对称而持续经营的方式将受到冲击。”光大银行信息技术部副总经理李瑶一语中的。
2012年是互联网金融兴起的一年,阿里巴巴等传统电商开始涉足互联网金融。资料显示截至2012年底,其累计服务小微企业已经超过20万家。同年11月初,阿里金融的坏账率仅为0.9%,坏账率低于很多企业。
在传统银行面对坏账,绞尽脑汁甄别客户信用的时候,电商企业凭借物流、资金流、信息流整合的平台战略,通过对包括注册信息、网上消费纪录、不良记录、信用等级等客户数据分析,能够准确判断客户资质,占领小微企业的巨大市场。
原招商银行行长马蔚华认为,2012年以来,银行“脱媒”现象越来越严重,由于资本市场发展带来的直接融资的大幅增长,去年银行业存款只增长了11%,比前年低了8个百分点,贷款也低了3.4个百分点。这种情况说明银行里的钱流到了体系之外证券、债券、民间借贷等渠道。
面对互联网金融,传统银行如何转型?5月23日,招商银行首次通过和电商平台的合作,招商银行“敦煌网生意一卡通”联名卡正式发行。这张卡是为从事外贸电商的敦煌网商户度身定制的金融服务卡。作为敦煌网的注册商户,持卡人可以根据敦煌网的交易记录,获得额度最高为150万元的贷款。敦煌网注册的企业级用户,拥有营业执照即可申请;个人用户近6个月内有6笔以上交易的也能申请。
招行与敦煌网的合作意味着当银行业务与互联网电商数据打通后,小微贷款等业务将更加顺畅并降低风险。招商银行和敦煌网双方还表示,基于数据的整合,未来将会在联名卡上装载各类供应链金融产品。
此外,4月24日,中国民生银行、包商银行、哈尔滨银行等33家中小金融机构共同组建“亚洲金融合作联盟”区域性金融合作组织。联盟的成立将打通柜台,疏通渠道,建立信息共享平台,使投资和决策更有准确性;通过合作的力量更好地化解经营风险、更好地实现优势互补。
同样的例子还发生在2012年11月,东航宣布与招商银行、中国联通签署异业联盟合作协议,三家企业将在渠道合作、营销资源整合、客服共享等方面展开合作。截至2012年10月末,招行“一卡通”累计发卡量超过6400万张、信用卡发卡量超过4300万张;联通各类用户总数超过3.8亿户;东航旅客运输量已列全球前5位,达到6744.07万人次。高端客户联动拓展、数据的整合挖掘已经深入传统银行战略调整之中。
传统银行的围墙正在打破,一场围绕数据的银行业变革已经发生。
正在发生的变革 银行业一直是变化最为缓慢的行业之一。这个一度以封闭和保守著称的行业,在20世纪开始拥抱信息化浪潮时,并没有放下“高傲”——银行的信息系统的核心仍然是业务,一切的信息流都是以固有的业务流程为中心展开,客户只能适应银行的这些业务流程。
互联网金融时代,强迫银行放下“高傲”,抛弃以“业务为中心”的旧思路,转向以“客户为中心”的互联网时代的新思维。如何以客户为中心?或许得从了解客户开始。而那些沉睡在数据中心的数据,无疑是帮助银行了解客户的金钥匙。
“安全、价值、服务和便捷”是传统银行获得客户的信任和忠诚的4个必要条件。在传统网点业务处理量下降、同行竞争激烈乃至互联网金融的冲击下,数据战略成为DNB、光大和工商等银行面对客户个性化需求的一致选择。
DNB银行大力拓展了电子渠道方面的建设。银行的业务模式改善需要协调银行内部合作和数据共享,对客户的洞察则依赖于数据的分析。DNB银行从数据出发,基于电子渠道采集的海量数据,了解客户情况,整合旧有数据,引入诸如Teradata等在大数据分析领域颇有建树的合作伙伴。另外,DNB成立团队,负责社交媒体的客户响应,在FaceBook等网站上实现对客户95%的响应度。DNB银行CRM战略和创新负责人Rune Foyn告诉《商业价值》:“银行业老旧的系统会为发展带来阻力,但是银行本身又拥有很多的客户信息,利用好客户信息,便可在竞争当中取得较好的定位。”
真正想保证收入的增长,要依赖客户关系建设。通过用数据分析的工具,例如预测建模等,将在很大程度上能够减少客户的不满意,并实现对银行销售活动全天候的追踪。DNB银行的CRM创造的收入使其所归属的市场营销部门转变为盈利中心。DNB银行还有很多挑战。目前,来自呼叫中心的数据分析还处于对话类型、交流步骤分析的阶段,并未启动语音分析。Rune说:“现在,结构性数据的分析已经能够带来很多价值,要先以结构性的数据为分析基础,积累分析人员,逐步部署真正意义上的大数据。”在一般公司,掌控投资大权的经理人都在50岁左右,但他们对于数据的潜力尚未十分了解,如何让他们体会到数据治理的价值是DNB银行实现大数据的一个掣肘。
银行与客户沟通的方式到底发生了怎样的变化?通过社交网络,客户非常愿意把银行推荐给他的朋友,银行必须通过社交媒体和消费者交流。Rune说:“在DNB,95%与客户之间的互动都是通过移动、互联网、电子邮件等电子渠道完成。”这意味着只有为数不多5%的客户会到银行的柜台办理业务。
DNB银行还以青少年客户群体为核心,进行数据挖掘。DNB发现“没有特别设计的产品、未在社交媒体上推广、无近期投资”等几项因素制约着青年客户群体对DNB的认可度。DNB以活动为基础的调查、社交分析、销售流程等方面进行了多维度数据库分析。除此之外,还将分析触角探触到保险、储蓄、投资、退休、贷款及财产、日常银行等多个模块。
与挪威DNB银行一样,捷克银行也在面临传统银行转型的问题。而身在欧元区,使捷克银行的转型更加有地区特点。它需要应对区域性的高度竞争、主权危机和新规频出的局面。BI成为这家银行面对外部环境和客户的有力武器。BI系统使捷克银行在数据仓库上细化和集成数据。对客户、客户的家人或客户的企业集成和协调;与客户和客户的家庭建立长期的关系;实现保险和私人银行,汽车租赁、养老租赁等之间的交叉销售。降低了高级金融与风险管理,降低风险成本和资本需求。从不同角度出发,捷克银行认为:从不同的角度分析,每一个客户都是自然人,是家庭成员,更是员工和企业主。
光大银行最近在以客户为中心进行战略调整,提出了以客户为中心的“大零售”业务发展战略。大零售涵盖资产管理、小微金融、信用卡、传统零售、电子银行业务。在这基础上,勾画全方位客户视图,整合总分行的渠道资源以及传统渠道和电子渠道的资源:搭建数据仓库,整合储蓄、个人消费和信贷业务;整合信用卡、电子银行等渠道;从营销服务绩效出发,整合流程。
2006年,光大银行开始与Teradata合作建立数据仓库,经历了大大小小几次升级,数据内容不断丰富。现在,在对外客户管理、风险管理、财务管理等方面已建了三十几个风险提示。有数据显示,搭建Teradata数据架构,提供及时的数据查询和数据迁移等功能,可以直接改善银行的营销活动,甚至能实现164%的年投资回报率,这在马来西亚Maybank银行已经发生。Teradata天睿大中华区首席执行官辛儿伦(Anron Hsin)表示:“通过数据质量、数据安全隐私、元数据管理、主数据管理和数据建模等一系列整合数据管理实践,银行能够进一步完善数据治理流程并提升数据分析能力,提升业务洞察力。”
以信用卡分析为例,在实际应用中,光大银行对信用卡、账户、客户和交易进行分析,为市场部门的策略制定提供支撑。未来,光大数据分析的重点是放在更全面地洞察客户基本信息和属性,进行跨流程和跨渠道的精准营销;进行大流程大渠道的优化和整合,提升业务运行效率。通过服务的优化,持续提升客户体验。
在工商银行信息科技部副总经理张颖看来:“基于数据分析的个性化客户战略,通过对客户年龄段、分布、交易偏好的渠道测算,分析出哪些年龄段的人更倾向于不同的渠道,银行的客户经理能够针对性地帮助客户开通手机银行,开通网上银行,享受银行便捷服务,为客户提供便利。”
但对于工商银行而言,当把长期积累的客户交易进行一笔笔分析和挖掘时,就可以评测出客户的“星级”和客户的风险偿还能力。通过数据仓库的分析和查询,还可以实现客户的精准营销。工商银行判读出哪些客户的存款即将到期后,可以立即上门服务,提供理财产品建议,延续客户的忠诚度。
工商银行在上海设有两个数据中心,北京一个数据中心,构成“两地三中心”的模式为银行和客户服务。通过数据中心和数据仓库的搭建,把面向全球客户的数据集中在一个数据中心,通过相应手段分析每一个客户在其银行端、跨行乃至与商户的交易中的消费情况。这些交易数据不断积累,实现对客户特征的分析,从而为客户量身定造营销方案。对于商户和公司客户,也可以知晓其在产业链上下游企业运作的情况,基于数据仓库实现风险监控,完善贷款业务。
国泰君安董事长万建华在新书《金融e时代》中认为,银行未来发展的一条路径就是基于互联网技术的标准化、大众化、规模化的业务。在这条金融业的基础路径里,互联网公司和传统金融企业各有优势,前者有创新活力,后者有资源优势。另一条路径:高净值客户阶层的个性化、定制化、管家式的财富管理。传统银行客户资源抢夺进入白热化。
大数据分析能够实现“以客户为中心”理念,对客户消费行为模式进行分析,提高客户转化率。“私有银行”在某种程度上是个性化金融服务的萌芽——高收入阶层人群拥有较为成熟的事业,对资产传承和处理、子女教育、税务规划等方面有很多金融需求。
浦发银行的一位内部人士告诉记者,在大数据的概念下,尽管银行客户的个性化服务概念被炒得很热,客户分层已经实现,但基于数据的个性化服务尚未达到。而对于一般股份制商业银行来说,大客户很重要。富有人群最为突出,所以富有人群的私人银行服务将是他们的业务重点。据了解,截至2012年,中国的私人银行管理着约3万亿元的资产。
第三篇:大数据时代已经到来,你了解吗
大数据时代已经到来,你了解吗?
一、大数据出现的背景
进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的证券公司等写进了投资推荐报告。
数 据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识 到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
最 早提出大数据时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的 挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
大数据在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量,大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
二、什么是大数据?
信息技术领域原先已经有“海量数据”、“大规模数据”等概念,但这些概念只着眼于数据规模本身,未能充分反映数据爆发背景下的数据处理与应用需求,而“大数据”这一新概念不仅指规模庞大的数据对象,也包含对这些数据对象的处理和应用活动,是数据对象、技术与应用三者的统一。
1、大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据对象既可能是实际的、有限的数据集合,如某个政府部门或企业掌握的数据库,也可能是虚拟的、无限的数据集合,如微博、微信、社交网络上的全部信息。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看,“大数据”指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义:“大数据是最大的 宣传技术、是最时髦的技术,当这种现象出现时,定义就变得很混乱。”Kelly说:“大数据是可能不包含所有的 信息,但我觉得大部分是正确的。对大数据的一部分认知在于,它是如此之大,分析它需要多个工作负载,这是AWS的定义。
2、大数据技术,是指从各种各样类型的大数据中,快速获得有价值信息的技术的能力,包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。
3、大数据应用,是 指对特定的大数据集合,集成应用大数据技术,获得有价值信息的行为。对于不同领域、不同企业的不同业务,甚至同一领域不同企业的相同业务来说,由于其业务 需求、数据集合和分析挖掘目标存在差异,所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、技术、应用”三位一体同步发展,才 能充分实现大数据的价值。
当你的技术达到极限时,也就是数据的极限”。大数据不是关于如何定义,最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比,开源的大数据分析工具的如Hadoop的崛起,这些非结构化的数据服务的价值在哪里。
三、大数据的类型和价值挖掘方法
1、大数据的类型大致可分为三类:
1)传统企业数据(Traditionalenterprisedata):包括 CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。2)机器和传感器数据(Machine-generated/sensor data):包括呼叫记录(CallDetail Records),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。
3)社交数据(Socialdata):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。
2、大数据挖掘商业价值的方法主要分为四种:
1)客户群体细分,然后为每个群体量定制特别的服务。2)模拟现实环境,发掘新的需求同时提高投资的回报率。3)加强部门联系,提高整条管理链条和产业链条的效率。4)降低服务成本,发现隐藏线索进行产品和服务的创新。
四、大数据的特点
业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说,大数据具有4个基本特征:
1、是数据体量巨大
数 据体量(volumes)大,指代大型数据集,一般在10TB规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量;百度资料表明,其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前 为止,人类生产的所有印刷材料的数据量仅为200PB。
2、是数据类别大和类型多样
数据类别(variety)大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化 数据范畴,囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。
3、是处理速度快
在数据量非常庞大的情况下,也能够做到数据的实时处理。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得高价值的信息。
4、是价值真实性高和密度低
数据真实性(Veracity)高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。以视频为例,一小时的视频,在不间断的监控过程中,可能有用的数据仅仅只有一两秒。
五、大数据的作用
1、对大数据的处理分析正成为新一代信息技术融合应用的结点
移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。
大数据具有催生社会变革的能量。但释放这种能量,需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。
2、大数据是信息产业持续高速增长的新引擎
面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
3、大数据利用将成为提高核心竞争力的关键因素
各 行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费 者提供更加及时和个性化的服务;在医疗领域,可提高诊断准确性和药物有效性;在公共事业领域,大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作 用。
4、大数据时代科学研究的方法手段将发生重大改变
例如,抽样调查是社会科学的基本研究方法。在大数据时代,可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策。
六、大数据的商业价值
1、对顾客群体细分
“大数据”可以对顾客群体细分,然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。
2、模拟实境
运用“大数据”模拟实境,发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器,汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。
云 计算和“大数据”分析技术使得商家可以在成本效率较高的情况下,实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以 数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘,从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案 投入回报最高。
3、提高投入回报率 提高“大数据”成果在各相关部门的分享程度,提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把”大数据”成果和“大数据”能力比较薄弱的部门分享,帮助他们利用“大数据”创造商业价值。
4、数据存储空间出租
企 业和个人有着海量信息存储的需求,只有将数据妥善存储,才有可能进一步挖掘其潜在价值。具体而言,这块业务模式又可以细分为针对个人文件存储和针对企业用 户两大类。主要是通过易于使用的API,用户可以方便地将各种数据对象放在云端,然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务,如亚 马逊、网易、诺基亚等。运营商也推出了相应的服务,如中国移动的彩云业务。
5、管理客户关系
客 户管理应用的目的是根据客户的属性(包括自然属性和行为属性),从不同角度深层次分析客户、了解客户,以此增加新的客户、提高客户的忠诚度、降低客户流失 率、提高客户消费等。对中小客户来说,专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里,在群朋友圈里发布新 产品预告、特价销售通知,完成售前售后服务等。
6、个性化精准推荐 在 运营商内部,根据用户喜好推荐各类业务或应用是常见的,比如应用商店软件推荐、IPTV视频节目推荐等,而通过关联算法、文本摘要抽取、情感分析等智能分 析算法后,可以将之延伸到商用化服务,利用数据挖掘技术帮助客户进行精准营销,今后盈利可以来自于客户增值部分的分成。以日常的“垃圾短信”为例,信息并不都是“垃圾”,因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后,可以给需要的人发送需要的信息,这样“垃圾短信”就成了有价值的信息。在日本的麦当劳,用户在手机上下载优惠券,再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息,例如经常买什么汉堡,去哪个店消费,消费频次多少,然后精准推送优惠券给用户。
7、数据搜索
数据搜索是一个并不新鲜的应用,随着“大数据”时代的到来,实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来,即实时广告业务和应用内移动广告的社交服务。运营商掌握的用户网上行为信息,使得所获取的数据“具备更全面维度”,更具商业价值。典型应用如中国移动的“盘古搜索”。
七、大数据对经济社会的重要影响
1、能够推动实现巨大经济效益
比如对中国零售业净利润增长的贡献,降低制造业产品开发、组装成本等。预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。
2、能够推动增强社会管理水平
大数据在公共服务领域的应用,可有效推动相关工作开展,提高相关部门的决策水平、服务效率和社会管理水平,产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据,指导驾车出行者选择最佳路径,从而改善城市交通状况。
3、如果没有高性能的分析工具,大数据的价值就得不到释放 对大数据应用必须保持清醒认识,既不能迷信其分析结果,也不能因为其不完全准确而否定其重要作用。
1)由于各种原因,所分析处理的数据对象中不可避免地会包括各种错误数据、无用数据,加之作为大数据技术核心的数据分析、人工智能等技术尚未完全成熟,所以对 计算机完成的大数据分析处理的结果,无法要求其完全准确。例如,谷歌通过分析亿万用户搜索内容能够比专业机构更快地预测流感暴发,但由于微博上无用信息的 干扰,这种预测也曾多次出现不准确的情况。2)必须清楚定位的是,大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维,辅助决策。简单而言,若是处理一个问题,通常人能够想到一种方法,而大数据能够提供十种参考方法,哪怕其中只有三种可行,也将解决问题的思路拓展了三倍。
所以,客观认识和发挥大数据的作用,不夸大、不缩小,是准确认知和应用大数据的前提。
八、总结
不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。
1、从大数据的价值链条来分析,存在三种模式:
1)手握大数据,但是没有利用好;比较典型的是金融机构,电信行业,政府机构等。2)没有数据,但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。
3)既有数据,又有大数据思维;比较典型的是Google,Amazon,Mastercard等。
2、未来在大数据领域最具有价值的是两种事物:
1)拥有大数据思维的人,这种人可以将大数据的潜在价值转化为实际利益;
2)还未有被大数据触及过的业务领域。这些是还未被挖掘的油井,金矿,是所谓的蓝海。大 数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域,有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇,需要不 断跟踪研究大数据,不断提升对大数据的认知和理解,坚持技术创新与应用创新的协同共进,加快经济社会各领域的大数据开发与利用,推动国家、行业、企业对于 数据的应用需求和应用水平进入新的阶段。【编辑推荐】
大数据时代,数据资产成为核心竞争力
大数据时代的投资机遇有哪些
教育研究如何跟上大数据时代
大数据时代,石化企业应该如何进行数据分析
大数据时代:投资布局四维开拓
没有做不到只有想不到 大数据时代拼的就是创意
【盘点】大数据时代中新出现的数据类型
第四篇:慕课,一场已经到来的教学革命
【教育前瞻】慕课:一场已经到来的教学革命 2014-02-20 金太阳教育
核心提示
新学期伊始,新海高级中学校长李宏伟向全体教职工推荐了两篇关于教育教学的文章:《基础教育接轨“慕课”:一场已经到来的革命》《“翻转课堂”的实质与路径》,供广大教师研读,以期引发关于课堂教学的思考、体悟,进而更好地指导教育教学实践活动。
什么是“慕课”,这种教学方式与我国传统的教学方式有何不同,它又如何形成“翻转课堂”的效果?
从慕课说起
真正实现先学后教的改革
“慕课”是课堂教学基于信息技术和网络资源的一次新革命,它已从美国来到中国,来到我们身边;它已从高校的课堂,走进基础教育视野,它将改变教学模式,大大提升学习效率„„江苏省人民教育家培养对象——新海高级中学校长李宏伟对“慕课”的定位,一下激发了记者的兴趣。
“‘慕课’这种教学方式,市教育局将其视为建构式生态课堂的升级版,基础教育也正面临着如何真正实现先学后教的翻转性课堂的教育教学改革。”李校长告诉记者,在传统教学中,知识的传授是通过教师在课堂中的讲授完成的,知识内化则需要学生在课后通过练习完成,而慕课这种方式却将课堂“翻转”过来——知识传授是学生通过导学案和信息技术的辅助在课前完成,知识内化则在课堂中完成。
首先,学生通过微课、微视频在网上学习,知识的内化在课堂上完成。慕课这种教育方式来源于美国,尤其是在大学里广泛采用的,因为大学里对学生自学的要求比较高,到中国之后,慕课就得到了延伸,走进了基础教育。这种相比传统教学方式的“翻转”,是一场教育教学的革命。据了解,所谓“慕课”(MOOC)的概念分解为:“M”代表Massive(大规模),与传统课程只有几十个或几百个学生不同,一门慕课课程可以提供给数以万计的学生进行学习;第二个字母“O”代表Open(开放),以兴趣导向,凡是想学习的,都可以进来学,不分国籍,都可注册参与;第三个字母“O”代表Online(在线),学习在网上完成,无需旅行,不受时空限制;第四个字母“C”代表Course,就是课程的意思。通俗地说,慕课是大规模的网络开放课程,它是为了增强知识传播而由具有分享和协作精神的个人组织发布的、散布于互联网上的开放课程。
本学期,新海高中将更加深入广泛尝试慕课这种教学方式。之前,该校将部分学科制作微课放在校园网上,供学生在课前学习,如凭借该校省生物课程基地的优势来打造生物课程的微课。本学期,将把这种方式推广到所有学科。
李校长还告诉记者,今年上半年,省教育厅还将在全省中小学范围内开展微课竞赛。这是一个面向全省的面广量大的活动,要从校级竞赛、市级竞赛,最终到省级竞赛,在全省范围内掀起慕课的风暴。该校目前正在整合资源,通过深入研究,把知识的重点、难点,通过信息技术的制作,展现慕课的特点。在此项工作中,该校提出了“先人一步、高人一筹、位居一流”的目标和要求。
打开电脑来学习
数字化学习风暴
据美国培训与文献学会统计,过去十年间知识总量翻了一番,而预计再翻一番的时间将缩短至一年半。可以供学习的内容以指数倍的速度增长,人类已经进入知识大爆炸的时代。专家认为,对于学生来说,如果要在有限的学校学习时间里用原有的学习方式来掌握今天的知识,这显然是不可能的。而在网络时代的今天,网络技术和网络资源则会是教育的重要组成部分,网络有着信息储存量大、信息形式多样化、搜索使用信息极为方便等优势,学生很容易就能在网上查到自己要学习的内容。
近年来,我国中小学开展电子网络教学已经不是什么新闻,学生用着电脑、平板电脑等工具进行课堂教学,我国也不断开展试点和实验项目。
记者在网上搜索“慕课”,跳出了若干个慕课网站,记者在其中一家慕课网上看到,其教学内容非常丰富,文学、教育、工科、经济、电脑、流行文化„„虽然针对中小学学生课程的还比较少,但微课的数量已经形成了一定的规模。以往的一些网络课程大多都是将老师上课的内容拍摄并记录下来,而慕课则仅仅是一段或多段4、5分钟的视频,学生通过视频前的学习目标等内容了解课程大致情况,让学生带着问题去看视频。在这样一家慕课网上,有学术视频近10万部,学生既可以学习自己课本上的内容,也可以按照自己的兴趣去进行更大范围的学习。
促成师生角色转变
课堂发生了翻转
记者从新海高级中学学术部主任孙运利处了解到,通常情况下,学生的学习过程由两个阶段组成:第一阶段为“信息传递”,是通过教师和学生、学生和学生之间的互动来实现的;第二个阶段为“吸收内化”,是在课后由学生自己来完成的。由于缺少教师的支持和同伴的帮助,“吸收内化”阶段常常会让学生感到挫败,丧失学习的兴趣和成就感。“翻转课堂”对学生的学习过程进行了重构。“信息传递”是学生在课前完成的,老师不仅提供了微课视频,还可以在线为学生进行辅导;“吸收内化”是在课堂上通过互动来完成的,教师能够提前了解学生的学习困难,在课堂上给予辅导,同学之间的相互交流更有助于促进学生知识的吸收内化过程。
学生观看了教学视频之后,是否理解了学习的内容,视频后面紧跟着的四到五个小问题,可以帮助学生及时进行检测,并对自己的学习情况作出判断。如果发现几个问题回答的不好,学生可以回过头来再看一遍,仔细思考哪些方面出了问题。学生对问题的回答情况能够及时地通过云平台进行汇总处理,帮助教师了解学生的学习情况。教学视频另外一个优点,就是便于学生一段时间学习之后的复习和巩固。评价技术的跟进使学生学习的相关环节能够得到证实性的资料,有利于教师真正了解学生。
“翻转课堂”的时间带来了师生角色转变,教师变成辅导员、助学者、引导者、帮助者,在教学中,要掌握新的教学技能,它们要进行微课程设计;要为学生进行学习课程设计;要根据学习反馈实时调整教学,要不断提高课堂教学组织技巧,让学生变成了主动学习者、自我导向学习,学习中遇到困难可以随时向老师及同学求助,无错误积累,增强了学习积极性,是一种基于理解的学习。
近年来,我市课堂教学改革不断深入,从“三案六环节”教学模式的理论探索和教学实践,又经过“六模块”建构式课堂、建构式生态课堂,不断推进课堂教学改革。李宏伟校长认为,慕课的引入,翻转课堂的推进必将使我市建构式生态课堂的改革向更高层次发展。
慕课这种教学方式对老师的要求也更高,老师要能够制作微课,在课堂教学的环节中,要形成知识的内化,对老师在教学过程当中的要求也比以往更高,对教师的理念也更为重视。
“慕课进入中国后,影响到中国的基础教育,这将对缓解盲目有偿家教产生积极的作用,它甚至将引发全民学习方式的变革。”李校长表示。
慕课
学生喜爱并期待
在新海高级中学,就慕课这一话题,记者采访该校高二年级的学生。学生小海表示,上学期,已经在校园网上看到了生物学科的“慕课”,尤其是对重点问题的讲解,可以反复地看,直到理解为止。“对于这些问题,平常都是请教老师或同学,有时的确是弄懂了,但有时也是一知半解,有了慕课,我可以随时看,反复地学,既能掌握重点,解决难点,又能温故知新。”
学生晓涵表示,高中教育指向是高考,如果能将各学科的知识点、必考点和历年的高考真题,作为慕课的内容,让同学们有针对性、有自主性地选择学习,必将提升学习效率,受到广泛欢迎。“我们非常期待这样的慕课,哪怕有些课程是收费的,只要我们需要,也是在合理的收费范围内,我们都愿意学。”
该校高一学生小丽表示,自己在寒假里看了多节慕课,“我在网上寻找自己喜爱的内容,有的和高中学习课程有关的,更多的是自己感兴趣的领域,很多是国际著名高校的课程,我认为这种学习方式太简单、太直观、也太有效了,在电脑前,就可以学到各种知识。”
相关链接
高校课程走进慕课平台
2013年,我国不少高等学府纷纷与“慕课”平台合作,将课程放到网上。北京大学《20世纪西方音乐》、《民俗学》、《电子线路》和《世界文化地理》四门课程在著名的“慕课”平台edX网站上线。与此同时,清华大学的两门课程《电路原理》和《中国建筑史》的课程介绍也出现在该平台,并向全球网民开放注册。
2013年,清华大学打造的大规模开放在线课程平台“学堂在线”正式开放,这是全球首个中文版“慕课”平台,本月中旬,来自清华大学、北京大学、麻省理工学院的7门课将陆续上线。
北大在edX推出的全球共享课受到热捧,截至去年10月7日,北大10门课程的注册人数将近37000人,已超过该校本部在校生人数。2013年10月17日、18日,清华大学两门在线课程《电路原理》和《中国建筑史》在edX平台开放,至10月9日,前者选修人数约7500人次,后者选修约5500人次,两门课选课者已达13000人次,其中8成以上学习者为海外用户。
第五篇:大数据时代的到来对体育的影响
大数据时代的到来对体育的影响
中图分类号:G81 文献标识:A 文章编号:1009-9328(2014)06-000-01
摘要由于科学实验与互联网的飞速发展,出现了大数据。在大数据时代,数据挖掘在体育领域中发挥了显著的作用,从大量的数据集中去分析和挖掘潜在价值。数据就像一个神奇的钻石矿,当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,而绝大部分都隐藏在表面之下。
关键词大数据体育影响
一、前沿
随着科技的进步和人们生活的互联网化,围绕大数据的应用范畴将越来越多。如今“大数据”这个词汇越来越火,但相当多的人并不清楚大数据究竟是什么。让人们更能直接感受到大数据存在的场景却是体育运动。
二、大数据概述
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。首先,大数据是结构化数据、半结构化数据与非结构化数据的总和。在如此庞大的数据中,只有10%的数据是存储在数据库中的结构化数据,其余的则是邮件、视频、微博、帖子、页面等点击等产生的大量的半结构化数据、非结构化数据。其次,大数据的“大”意义具有多样性。再次,大数据的“数据”不是数据储存,而是数据获取与数据应用。不能只空谈“大数据”的概念而不谈“分析”,“分析”才是承接大数据的价值体现。
三、体育领域中的大数据
《点球成金》这部电影点醒了不少企业家,那些看似呆头呆脑,缺乏运动细胞的数据分析人员原来都是火眼神探,那些看似无聊的数据下其实埋藏着金矿。在体育界,数据分析已经走到了企业应用的前面,传感器和3D雷达正采集着大量的运动员数据,而数据分析的广泛应用也促使职业体育内部发生着广泛而深刻的变化。从高尔夫到网球,从橄榄球到足球,数据分析如今正席卷职业体育界。每次击球,每次挥杆都可能会影响整场比赛的结果。运动员和球队如今越来越依靠数据分析来使他们更快更强。
IBM赞助网球赛事并提供技术支持始于1993年,在1998年,IBM就为美国网球公开赛提供了虚拟化技术。从2005年以来,IBM通过Slam Tracker追踪了四大满贯赛事八年来的全部8128场比赛,每场比赛收集4100万个数据点。有了这些数据,我们可以知道Ace球的数量,对比赛结果的影响很大,首先被破发的选手失败的可能性很大。
在网球领域,大数据包括锦标赛、比赛和球员统计,基于数据挖掘可以告诉小威廉姆斯,要战胜莎拉波娃,接对方一发的回球得分率要争取超过36%;而莎拉波娃要打败小威廉姆斯,接对方一发的回球得分率要争取超过28%。在互联网时代,数据的获取相对容易,但分析挖掘出大量数据中存在的价值,仍是一个重要的课题。
美国目前大约已有20支NBA球队,使用由IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。教练通过对球员及赛场采集的大量信息,通过数据分析来临场决定替换球员。教练员可以在家里或在工作途中运用此工具对储存在NBA中心服务器上的数据进行挖掘。在系统中,每场比赛的时间都按得分、抢断、助攻、失误等等指标被统计分析,且时间标记让教练员方便借助回放和定位NBA比赛的录影片段来帮助理解统计结果的含义。通过挖掘数据背后的含义,来制定每场比赛的排兵布阵,以及战术打法。
在NBA的官方网站上,有专门的统计页面,这里面把NBA历史上收集的几乎所有球员、球队信息以非常易用的方式提供出来,后台使用了SAP HANA这样的内存分析数据库,以应对网站数以万计的访问者的访问,提高随机、灵活查询的速度,提供了一种前所未有的用户体验,对上百个指标的不同过滤、统计、排序等等,可以定制分析报表,而不需要大量固化报表格式和场景。一个看似并不“高科技”的体育项目,都可以如此利用“大数据”的手段,以提供非常优秀的用户体验,从数据收集到数据统计和挖掘,到优秀的数据展现,都值得其他项目向其学习。
大数据对体育的影响不仅仅表现在运动场上,随着移动互联和计算机技术的飞速发展,对大数据的信息挖掘在体育产业中的作用也不可小视。根据特定的客户人群,向他们推送一些其他赛事的广告信息,从而增加赛事门票销售收益。数据挖掘从技术上可以判断哪些是他们潜在的最有价值客户、支持修改或重新制定产品推广策略,从而把合适的产品推销给需要他们的客户群体,以便用最经济的促销获得最好的销售结果。此外,对大数据的挖掘还可以对体育博彩线和运动员表现进行分析,成功找出其中的不正常交易。因此,建立系统的数据网络,及时、有效地利用数据挖掘技术,可以更好推动体育产业的进一步发展。
用分析从大量的数据中寻找相关性模式,发现以前不为人知的、超越于平凡知识之上的、至关重要的新知识。这样的新知识,是隐藏在表象之下的获胜关键,是决定竞争结局的密码,是价值,是财富,是自我实现之路。这才是为什么那大数据倍受追捧的原因。
参考文献:
[1] 刘同.大数据、云计算彰显智慧体育[J].互联网周刊.2013(23):22-23.[2] 冯举高.大数据加快体育科技创新[N].经济日报.2013-10-23004.[3] 徐?S,张辉.数据挖掘在体育领域中的应用[J].武汉体育学院学报.2012(11):27-30.[4] 袁博.体育与大数据[J].软件和信息服务.2013(11):23.[5] 忻韦武.数据挖掘在体育领域中的应用探究[J].科技创新导报.2013(23):10-12.[6] 胡斐.数据挖掘在体育领域中的应用研究综述[J].科技创新导报.2010(27):211-212.