关于大数据时代的机遇与挑战的学习心得

第一篇：关于大数据时代的机遇与挑战的学习心得

关于大数据时代的机遇与挑战的学习心得

《形势与政策》课是高校思想政治理论课的重要组成部分，是对我们学生进行形势政策教育的主要渠道、主要阵地，是我们每个大学生的必修课程，在我们大学生的思想政治教育中担负了重要的使命，具有不可替代的重要作用，更好地贯彻落实了中央的有关精神，是我们当代大学生关注的热点问题，帮助我们掌握正确分析形势的立场，观点和方法。

当今世界飞速发展，“两耳不闻窗外事，一心只读圣贤书”的时代过去了。地球村里的变化日新月异。生在当代，作为大学生的我们，岂能做那四角的书柜?抛掉陈旧的观念，拥抱外面精彩的世界，才是我们应该做的。

如今国内外形势风云变幻，进入21世纪的中国正面临着难得的机遇和巨大的挑战，当代大学生也面临着深刻的国内外环境，所以，在高校大学生中广泛开展形势政策教育，对当代大学生如何在纷繁复杂的国内外形势下，正视我国面临的机遇与挑战，坚定信念，振奋精神，努力学习，报效祖国，具有重大的现实价值，与深远的历史意义。

大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。

信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均0.1个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为5.64亿，手机网民为4.2亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达2.2ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。

大数据时代的机遇与挑战，越来越多的企业意识到了这种挑战：IT 负责人和职员无法有效地对海量数据进行收集、处理和分析；另一方面，企业CEO 以及高层管理人员因不能及时获得所需的信息，而无法预测出潜在的业务风险，坐等商机的流失

目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。

大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。

中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。

大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。

最后，我想说，学校开设的《形势与政策》课非常有必要。因为，高等学校的形势与政策教育是高校大学生思想政治教育的重要内容，是提高大学生综合素质、开阔胸怀视野、增强责任感和大局观十分重要的方面，它使我们更深刻地认识了中国，了解了世界，认识了我们与世界的差距，以及我们自身的不足，使我在思想上迈进了一大步，也为我们走出学校进入社会提前上了一课，让我们感受到社会的形势和国家政策，好让我们更有准备的为人民服务，为国家作出应有的贡献。

第二篇：大数据时代大学教育的机遇与挑战

大数据时代大学教育的机遇与挑战

摘要：随着大数据元年的到来，大数据已经开始冲击着各行各业，并影响着大学教育的方方面面。大数据时代将改善学习的核心要素，给大学教育带来深刻的影响。在大数据时代大学教育由单向度反馈转向多向度反馈，为实现个性化的教学方案提供必要的前提。同时大数据在大学教育中的应用还将面临技术层面、学生个人隐私及预测结果的正确运用等多方面的挑战。

关键词：大数据时代；大学教育；机遇；挑战

1.大数据时代的实质

早在2011年5月，麦肯锡公司发布的《大数据：下一个创新、竞争和生产力的前沿》报告中指出：大数据的规模以及其存储容量正在迅速增长，大数据已经渗透到各个行业中，成为重要的生产因素，成为可以与物质资料和人力资本并论的生产要素。正如马克思。所说“各种经济时代的区别，不在于生产什么，而在于怎样生产，用什么劳动资料生产。劳动资料不仅是人类劳动力发展的测量器，而且是劳动借以进行的社会关系的指示器。”大数据的演进与生产力的提高将产生直接的关系，大数据将成为重要的生产资料。同时，用于大数据分析的关键技术包括云计算、数据仓库、Big Table等日趋成熟，使大数据的整合、处理、管理、分析成为可能。2013年，被称为“大数据时代元年”，标志着大数据时代的正式开始。进入2013年“大数据”走入了我们的生活，对各行各业产生了深刻的影响，每个行业的经营模式、生产模式、管理模式等正产生翻天覆地的变化，也为各行业带来了改革的契机。维克托?迈尔?舍恩伯格在《大数据时代》中指出：“大数据开启了一次重大的时代转型。大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……”大数据时代不仅仅包含着各种类型数量众多的数据，更重要的是代表了快速取得并有效利用有价值资料的能力。在大数据时代到来之前，由于定量研究是建立在假设和有限的抽样数据的基础上，使得定量研究复杂而缺乏准确性，大数据时代将彻底改变这一状况，它可以让纷繁复杂、单调枯燥的数据变成可以说话的信息，它的实质不仅在于大量的占有数据，更多的是提供了预测性和前瞻性的信息和知识。淘宝、京东等众多购物网站可以根据顾客的浏览历史数据判断出顾客的喜好和最近的需求；沃尔玛等跨国连锁超市可以实现从啤酒、尿布、日用品等全系产品销售数据的分析，以此实现准确的物资仓储储备；美国洛杉矶警局利用各类案件的大数据的分析来合理安排巡逻车和布置警力。这些无疑不是大数据预测性的体现。大数据的预测性帮助我们在特定的背景下提炼出数据潜在的规律，从而指导实践，提高效率。

2.大数据时代给大学教育带来的深刻影响

麦肯锡公司发布的《大数据：下一个创新、竞争和生产力的前沿》报告中指出：大数据的有效应用可以创造出巨大的潜在价值。运用在教育领域也势必通过多种方式创造价值，第一，在大学教育中，让原本互相分离的部门之间更加容易的获得相关的数据就可以使教学方案、教学计划、教育回馈等实现并行，大大提高教学效率；第二，随着大学创造并储存更多数字形式的教育数据，应能够通过对比实验，提供更具有学习效果的教学方法；第三，利用大数据对学生进行具体的细分，可以精确的制定更具有个性化的教学方案；第四，在大学教育中利用大数据可以提供算法研究进而形成成熟的分析方法，可以改善教育决策的科学性，实现教育决策的风险最小化。大数据在大学校园里是无处不在的，网络、计算机及智能手机的普及让大学生的社交活动、在线学习，日常的信息管理等都成为大数据的主要来源。这些大数据在技术支持下将为教学本身提供数据驱动的检测，同时也给大学教育带来了深刻影响。首先，大数据时代的大学教育，学生的学习、老师的教学都发生在数字的环境中。大学教育所依赖的教学工具，电子教科书、数字化讲坛、甚至是大学本身都将是大数据获取的平台。在这个数字平台中，大学将收集以往无法收集或即使收集起来也没有反馈的数据，如大学生在线课堂的反馈、网络课程的中途退出、电子教科书上的标注、图书馆的借书记录等等都将被记录并进行处理。在这一过程中，大数据有能力将数据的生成、处理分析、利用分隔开来分类利用。其次，大数据时代大学教育可以实现符合每名学生的个体需求，而不是为一组类似的学生定制的个性化学习。传统的大学教育系统是基于平均水平的设计的教学方案，那么一定会同时伤害位于正态分布曲线两侧的学生。大数据时代学生将在各自的多媒体学习的平台进行学习、互动，老师给的教学回馈也将是具有针对性，真正实现维克托.迈克.合恩伯格所说的：实际上是“一个尺寸适合一个人”的方式。最后，通过对大数据的分析，通过概率预测优化学习内容，学习方式和学习时间等具体内容。在大学教育这个数字平台，将更全面的发挥“预测”这个大数据最重要的功能，帮助我们更加准确对学习内容、学习的方式和时间进行精准的安排设置，提高整体效率。

3.大数据时代大学教育面临的发展机遇

（1）单向度反馈向多向度反馈的变革。在传统大学教育中，反馈随处可见，课后作业、课堂参与、出勤率、论文及考试成绩等分数，都是学校及老师给学生及家长的反馈，但这种反馈几乎都是单向度的，即由教师和学校指向学生和家长。这些分数代表着学生在学校的学业表现，同时社会及用人单位也依赖这些分数作为衡量学生的学习行为的指标。现行的教育反馈只是对学生的学习表现进行打分，然而校方却很少评价自身，更不会全面和系统的对自身的教学进行评估，也不会对采用的教科书、测验和课堂讲解等教学内容和手段是否对学习有益进行衡量。大数据时代的到来正在彻底改变这一现状，大学将能够收集到过去无法获取的学习数据，并用于学习过程的处理。大数据还能使用新的方式组合数据，并充分发挥其作用以提高学习理解和学业表现，同时将分享给教师和学校管理者以改善教育系统，完成校方与学生的双向反馈。在传统大学教育中，学生在阅读教科书过程中，有的段落和篇章进行了反复阅读，那么是因为其讲述的内容丰富有趣，还是晦涩难懂，都无从可知。学生是否在特定的段落进行了标注及笔记，为什么这么做？学生是否在中途就已经放弃了阅读？如果是，放弃的位置是在哪里？这些问题传统方法无法给出准确答案。直到大数据时代的到来，才找到可行方案。当教科书出现在电脑上，上述的信息不仅可以采集还有可以进行处理，可是实现学生、教师、出版商之间的反馈。在传统大学教育中，也有专门的审核委员会对大量教材进行审核，但委员会的评估工作往往存在局限性，他们可以对内容的精确程度进行检验，并与公认的教学标准进行比较，但是缺少了解教材是否对学生有效的实证方法。在大数据时代，教科书出版商通过分析电子书平台上的综合数据分析，清楚地分析教科书中的有效内容和无效内容，以此作为完善写作的基础。在过去，教科书信息的反馈是单向的，即从出版商到学校，在大数据时代，信息的反馈是多项进行的，实现与校方、学生、教师、出版商的多项反馈。

（2）大学教育组织结构的变革。大数据时代大学的教学环节必然与大数据技术紧密相连，传统教育机构的组织管理机构势必作出调整与适应。

第一，大学教育将出现新的职业分工，大学数据的分析、处理和在教学中应用必须有专门的技术人员来完成。由一位对冲基金分析师创建的可汗学院，大数据成为了该学院运作的核心。截止2013年年底，这个非盈利组织共有50名员工，其中有10人专门从事数据分析并取得了骄人的成绩。因此，专业的数据管理人员，数据分析人员，数据开发应用技术人员必将成大学教育中的新成员。

第二，大学组织管理机构的重组。数据之所以在大学教育中可以发挥巨大的作用，其中最重要的原因就是大数据能够迅速反映知识在各个环节传递中所遇到的问题和发生的状况，具有数据价值的时效性。校方的政策执行过程中的数据、老师教授过程的数据、学生学习过程中的数据都会第一时间被收集、分析、挖掘。

分析的结果也会实时呈现出来，如果还是通过传统的直线型或智能型的组织结构模式，很难在有效的时间内将数据分析结果快递下去。为了适应大数据时代信心的快速响应及传播的要求，扁平化的大学组织管理机构将成为大数据时代发展的趋势。

（3）提供个性化的教学方案。至今为止，大学的教学方式虽然进行了很大的改变，学生可以进行诸如小组讨论等多种方式的学习，但从本质上看并没有什么不同。学生们接受相同内容的课程学习，使用同样的教材，做着同样的习题。大数据时代的来临将给大学教育注入新的活力，大数据时代的预测性和前瞻性，为大学教育的个性化教学提供了可行前提。在大学校园，能够借助大数据对学生的学习情况进行记录及分析。学生普遍使用的QQ、微信、微博等社交网站、图书馆、网络课程、在线教育平台等可以记录并分析学生的每个学生的思想动态、家庭背景、考试成绩、学习过程等等。这些数据不仅可以帮助学校完成学生各自的思想教育，还能有针对性的进行专业知识的学习，从而形成系统的，有针对性的教学方案。大数据能够实现学习知识的扁平化，不需要把学科的知识按照专业、科目、年级进行严格划分，而是构建学科知识库，通过大数据来分析和预测学生的学习态度、学习习惯、对知识的掌握程度、进而向每名学生提供合适的课程内容，恰当的课程进度，适宜的辅导教师及准确的课程形式。正如维克托?迈尔?舍恩伯格在《大数据同行》一书中举的案例：在可汗学院，教师通过控制面板取得学生的学习进度，学生也在系统中发挥积极作用。学生每一次与系统的交互都被记录下来，这些是数据用于分析，并向教师、学生及家长提供学习情况的反馈。

（4）科学的教育决策方法。教育决策方法一定会紧跟大数据时代发展，利用大数据的科学方法分析决策活动，改变以往的依靠经验进行判断，采用大数据的新技术和方法进行决定，保证决策的精准性和可靠性。第一，大数据时代使决策信息的获取与处理更加科学。现代决策理论创始人伯特.西蒙认为在决策的过程中至关重要的因素就是信息，信息是合理决策的生命线。大数据的信息平台为信息的收集提供了基础，大数据的数据处理技术让信息变得更加有效。决策者可以根据收集和处理过的信息，及时掌握问题的本质，做出科学的决策，同时在其后的反馈中发现决策方案的偏差，做出调整，保证教育决策的有效性和科学性。第二，定量分析与定性分析相结合的科学决策方法。以往的教育决策往往是按照决策人的经历和主观判断做出的，而忽视问题的复杂性、环境的多样性进行分析，特别是在大数据时代，教育决策呈现出很多新特点和新问题，传统的定性分析已经不能满足实际需求，定量分析则可以弥补定性分析在微观上的弱点，对备选方案进行定性和定量分析相结合的基础上，可以提升备选方案的可比性，做出科学的判断。

4.大数据时代大学教育的面临的挑战

（1）大数据技术层面的挑战。大数据技术层面的挑战既包括计算机等硬件条件的制约，同时也包括大数据人才缺乏的挑战。2012年10月，美国教育部发布的《通过教育数据挖掘和学习分析促进教与学》的报告中指出大数据在教育应用的技术挑战主要有3个方面：第一，大数据的应用基础是首先拥有大量的数据样本，那就会涉及到对海量数据的采集、分析、储存和整理的问题，包括计算机的数据处理能力、云计算的技术挑战；第二，大数据在大学教育中应用，对采集到的数据进行分析，最终得出解决问题的方法是大数据的核心环节，那必然要面对数据分析技术的挑战；第三，数据兼容性的挑战，大学教育中的数据是以多种形式存在的，不同数据在不同的存储系统中有着各自的编码和格式，造成不同系统间的数据可能无法共享问题。人才短缺的挑战也不容忽视，麦肯锡公司预测美国到2018年将缺乏数据分析人才14万～19万人，这些人才不仅需要具备固有的数学能力和专业知识，还要经过长时间的培训。面对中国大学教育大数据的挖掘及使用较晚，能够驾驭大学教育大数据的数据工程师也必将成为稀缺人才，从而制约着大数据在大学教育中的应用。

（2）大学生个人隐私及信息的挑战。在大学教育中，我们一方面享受大数据时代带给我们的便捷和具有个性化的教学方案，同时我们也在大数据的采集中为此付出了代价。每名学生在数字化的校园已经变得完成透明，课程内容、学习的进展，甚至于晚饭吃的什么都被一一记录下来，每个人似乎没有隐私可谈。虽然有一些国家和法律对已经颁布了一些隐私保护法，来防止对个人信息的全面采集和长期储存。这些法律通常都会要求数据的使用者公布数据采集的对象及用途，并且必须征得本人同意后才可以使用。大数据的价值在于数据可以重复利用，但在搜集数据的初期通常不会考虑数据的下次利用。个人的教育信息是特别敏感的，它深入到每名学生的成长历程中，在教育中，可以允许通过个人数据改进学习资料、学习工具，学习方法等，但如果要使用这些数据来预测学生未来的能来，必须有更加严格的监督管理机制。那么如何保护好每名学生的个人信息，让数据的使用机构为自己的滥用行为承担责任。在这个道路中还有很长的路要走，还要清除很多的障碍，面临着巨大的挑战。

（3）理性对待概率预测。在大学教育中，大数据的预测将无处不在，它会以所有人为对象进行教育数据的全面收集，用于对未来的学习进行预测。比如斯坦福大学的吴恩达教授发现在一门机器学习的课程中，有超过一半的同学做错了“计算成本”的线性回归，但经统计分析在浏览过编号为830的论坛文章的学生中，则有64%不会再犯同样的错误。如有学生再犯这个错误时，就不需要学生的自行判断而是依靠大数据的预测为驱动手段，系统将自动推送这篇文章帮助学生解决问题，提高学习效果。在大数据时代诸如此类的概率预测比比皆是，那这些概率的预测是否会限制学生学习的自由选择，并最终影响到学习的效率的提高。就如上面的例子，如果没有大数据的预测和驱动，有些学生可能只需要将相关知识遗忘的部分进行简单的温习，而不是需要花费大量时间进行大篇幅的阅读。如何利用旧的个人数据进行预测，预测的结果也必须理性的看待。大学生作为每个个体，都要不断的成长、发展和变化，而收集到的数据却始终保持不变，这些数据只能显示在数据收集的那个时期学生一些学习状况，那么未来的预测是否也要加入这些数据的影响呢。也就要求数据分析人员积极谨慎地对待这些数据，客观的判断这些数据信息与现在的学生是否存在着关联的关系。正如维克托?迈尔?合恩伯格在《大数据同行》一书中讲到：“全面教育数据带来的首个重大威胁，并不是信息发布的不当，而是束缚我们的过去，否定我们进步、成长和改变的能力。”

大数据时代大学教育面临以上3个方面的挑战，还要面临一些其他挑战，其一，在大学教育中大数据意识及大数据观念淡薄，缺乏一些数据公开和数据共享方面的政策和制度，导致虽然产生了大量的数据但对数据的保存、利用不够。其二，如何确定数据的可信性，在大学校园数据无处不在，社会的数据、通过传感器收集的数据和网络空间的数据，但这些数据并不都是可信数据。大数据在大学教育中面临的挑战是多种多样的，有些涉及技术层面，有些涉及政策层面，还有些涉及大数据本身，面对这些挑战，教育者只有前瞻性地思考应对大数据时代大学教育的策略，才可以利用好大数据的潜在价值，推动大学教育的变革。

第三篇：大数据时代的机遇与挑战论文3000字

大数据时代的机遇与挑战 什么是大数据时代？

“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

大数据时代是怎样产生的？

物联网、云计算、社交网络、社会媒体以及信息获取技术的飞速发展，数据正以前所未有的速度迅速增长和积累，数据是人类社会最重要的财富大数据时 代 的 到 来

大数据时代的特点? 1.数据量大（Volume）

第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。2.类型繁多（Variety）

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。3.价值密度低（Value）

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。4.速度快、时效高（Velocity）

第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

大数据时代的机遇

大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机遇。建立大数据中心，及时搜集、实时处理数据信息，为科学决策提供坚实基础。对社会大数据进行历时性和实时性分析，加强社会风险控制，提高政府预测预警能力和应急响应能力。在大数据概念出来之前，个人制造的数据往往被忽略，企业数据被谈及的更多。企业内部的数据多数都是结构性数据，并被企业在或多或少地利用着，无论是数据挖掘还是商业智能化应用都已经初露端倪。随着互联网的快速发展，在企业数据还没有井喷的时候，我们就发现个人用户以及社会应用产生的数据已经开始爆发了，比如社交、交互式应用带来了大量的网络数据。此时传统的硬件设备开始显得捉襟见肘，无法满足这种庞杂数据带来的应用需求。很多时候，也许我们会认为这些数据里会有价值，但是却不知道如何挖掘这些数据的内在价值，数据成为了堆砌。因此，对于数据精准分析的需求正在呼唤做数据分析的厂商们拿出下一步的举动。比如说，在淘宝庞大的用户群中，淘宝卖家如何精准掌握一个新用户的需求？一家饭馆如何利用细节满足每一个食客对于美味的需求？越来越多的应用需求推动着大数据的发展。更主要的是，未来可能各种传感器会出现在社会的各个地方，数据会更多，比如交通、医疗等等，数据的采集已经不是问题，难点已经转换为处理和分析。如此巨量的数据，处理难度可想而知。大数据给中国市场带来什么？ 大数据应用需求在中国更加明显。中国人口众多，各行各业都呈现出极快的增长速度，电商、快递、微博、社交等都承载了大量的个人信息；大型超市、卖场、商场、银行等集聚了大量交易信息，日新月异的城市建设中，连接着更多数据采集传感器和嵌入式设备的物联网开始成型„„

如何应对机遇与挑战

大数据时代，人们能做些什么？ 大数据产生和存在于各行各业，尽管分析和处理困难，但也可以通过相关性的技术手段对大数据进行统计分析，应用其结果。例如：在教育领域使用大数据来分析学生的个性和爱好，真正做到因材施教，提高教学质量；在企业管理领域应用大数据分析，真正将粗放型管理变为精细型管理，提高效率，节省开支，并应对公司在发展进程中带来的管理问题。在企业生产中应用大数据分析，优化各项生产、工作流程提高效率效益。在商业领域应用大数据分析商品销售热点和了解顾客即时需求。今后，在大数据技术领域的竞争将直接关系到国家安全和未来，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力。美国已率先将大数据应用从商业行为上升到国家意志：2012 年 3 月 29 日，美国奥巴马政府投资 2 亿美元启动“大数据研究与开发计划”，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式”。在我国，与大数据相关的产业刚刚起步，无疑将迎来很好的发展机遇！保障数据及应对人隐私泄露的解决办法有：

①通过物理隔离以及与权限控制相结合，实现对数据的 隔离，保证数据不被非法访问并保证用户数据的隐私。②通过信息加密的功能，防止用户信息被盗取。用户的关 键信息，如登录密码和系统访问等其他鉴权信息，无论是传输 时还是在存储时必须加密。

③通过对硬盘实施有效的保护：保证即使硬盘被窃取，非 法用户也无法从硬盘中获取有效的用户数据。将数据切片存 储在不同的云存储节点和硬盘上，数据无法通过单个硬盘恢 复。故障硬盘无需进行数据清除即可直接废弃，用户数据不会 通过硬盘泄露。

④通过立法来保障企业的商业机密及个人隐私不被非法 应用。

大数据时代的挑战

大数据面临的挑战是多方面的：

（1）数 据 的 快 速 增 长 对 存 储 空 间、存 储 技术、数 据 压 缩 技 术、能源消耗的挑战：大数据需要占用大量的存储空间，尽管 存储性价比在提高，压缩技术也在不断发展，但保存数据所消 耗能也在大量增长。解决办法是研制出新一代高密度、低能耗 存储设备。

（2）数 据 本 身 安 全 及 个 人 隐 私 泄露 面 临 的 挑战 ：在 海 量 数 据洪流中，在线对话与在线交易活动日益增加，其安全威胁更 为严峻。大数据环境下通过对用户数据的深度分析，很容易了 解用户行为和喜好，严重的将导致企业的商业机密及个人隐 私泄露。

（3）网络 带 宽 能 力与 对 数 据 处 理能 力 面 临 的 挑战 ：网络 带 宽是瓶劲，尤其表现在各网络接入商之间的互联互通出口上； 大数据时代网络必须有足够的带宽支持，才能保证数据实时 性。数据计算能力是应对数据洪流时的又一挑战，采用分布式 计算可以解决其中的一些问题，但部署相对较复杂。

（4）有 效数 据 撷 取 面 临 的 挑战 ：从 海 量 数 据 中 提 取 隐 含 在 其中的、潜在有用信息和知识的过程十分复杂的，需要反复 “去 伪 存 真 ”。通 常 要 经 过 业务 理 解、数 据 理 解、数 据 准备、建 立 挖掘模型、评估和部署等多个步骤。即在开始数据分析之前，我们必须了解业务需求，根据需求明确业务目标和要求；接下来便是对现有数据进行评估，并对原始数据进行组织、清理、集成、变换等一系列数据收集和预处理工作；在搞好数据清理的基础上，应用相关算法和工具建立分析模型；之后对所建立的模型进行评估，重点具体考虑得出的结果是否符合最初的业务目标；最后，便可将发现的结果以及过程利用各种可视化技术（报表、报告、图形等）呈现出来。

大数据给人文社会科学带来哪些挑战？大数据时代的来临,数据逐渐成为重要的生产要素。而传统人文社科普遍数据采集能力不足,只有通过技术创新和方法上的创新,文科与理科、工科相结合,才能带来质的突破。

大数据时代为突发公共事件的舆情带来什么机遇和挑战？数据的最终作用是为领导者决策或执行部门的行动提供参考,如何有效整合大数据,首先要做到快速分析、及时反应和动态应用,其次是在技术上实现对海量数据和信息的存储、深度挖掘和实时监测,实现精准地采集和预警。目前人民网已建立了基于全网大数据内容的突发公共事件舆情应对方案,可通过信息化的手段对全网大数据信息进行一小时实时监测,能从海量信息中及早发现可能引起民众广泛关注的突发公共事件潜在源头,进行实时预警。

总之，大数据时代已经到来，它带给人类的机遇和挑战是前所未有的，在一些关键行业和关键领域，大数据的分析和处理问题已经突现，例如：颇受争议的 12306.cn 春节售票系统。只有提前认识大数据、全面勇敢地迎接它带来的挑战，才能在大数据时代不至于落后挨打。

第四篇：大数据的机遇与挑战

BIG DATA 大数据

当我们的一切行为与生活都可以“数据化”的时候，掌握这些数据的公司便像是拥有了一座蕴藏丰富的金矿山。正如维克托·迈尔-舍恩伯格所说，大数据时代是“已经发生的未来”，而在这个已经发生的未来里，没有旁观者。

2013年12月19日，由精品传媒《数字商业时代》主办的“大数据创造的颠覆时代”2013智造中国高峰论坛在北京悠唐皇冠假日酒店隆重举行。

大数据的爆炸毫无悬念，当今世界正在高速数字化，全球的数据量正以每18个月翻一倍的惊人速度增长。大数据时代正以“侵略”式的速度蔓延并占领我们生意、生活每个细小的角落。它带给我们的是一种全新的思维方式，思维方式的改变在下一代成为社会生产中流砥柱的时候就会带来产业的颠覆性变革。在全球拥抱大数据变革之时，智造中国高峰论坛也正掀起一场颠覆的革命，寻找更具生命力的创新智慧。

本次高峰论坛的主题为“大数据创造的颠覆时代”，寻找颠覆的力量，期待这股创新力量撬动整个商业。大数据如何驱动商业价值？大数据时代有哪些科学研究挑战？物联时代的创新之旅是怎样的？在大数据旅程刚刚开始时，来自世界顶级研究院的专家及跨国公司CEO的现场报告，为我们描绘了大数据时代下的新图景。本期《数字商业时代》摘录了演讲的精华部分，与读者共享大数据时代的智慧大餐。

IBM[微博]

大数据和分析驱动商业价值

大数据对商业来说有巨大的价值，它可以被形容成是一个自然的资源，取之不尽。

IBM中国开发中心总经理王阳

今天，什么样的数据在产生？传统的数据大家都知道，比如在一个企业内部，有大量的数据，它们基本上是格式化的，像CRM、ERP等，还有在整个运行当中的处理企业内部的数据。此外，社交网络给我们带来大量人类的一些数据，你可以看到各方面的数字：每天3亿的用户，大量的微博、微信等等。但是不要忘记人类其实产生了很多的机器，这些感应器产生的数字更大，它每天都在产生。

大数据：记录人类历史

大数据对人们有什么作用？大数据正在记录着我们人类发生的历史。也许往前追溯1000年、2000年，甚至3000年，我们并不是很知道人类在干些什么，而是通过考古去挖掘，去发现以前文献里的一些蛛丝马迹。但是试想1000年、2000年之后的人类看我们今天，有如此大量的信息，他便可以重现，到了这种程度，他可以重新模仿和重现今天的世界。通过定位我们每个人使用的手机，一生的轨迹都可以重现。所以在网上所说的话和所做的事情，不知不觉当中就成为数字足迹，都已经被记录下来。大数据对商业来说有巨大的价值，它可以被形容成是一个自然的资源，取之不尽，不像石油挖了之后没有了。

回顾一下大数据的“4个V”：Volume（大量）、Variety（多样）、Velocity（高速）、Veracity（精确）。首先是大量，第二是多样性，比如各种各样的语音、非结构的数据、图像等，第三个是速度，大数据产生的速度非常快。最后一个并不是很多人注意的，是不精确性，并不是说每个数据都相当精确，有很多的含糊性和矛盾的。其实矛盾是一件好事，往往说信息量大是什么意思？不精准，挖掘出来才是有价值的，大家都知道的就不是消息了，就不是新闻了。

大数据要跟应用相结合，就像我们讲云计算一样，云计算的关键并不在于技术，而主要是应用。大数据只有通过分析才真正可以找到它的应用，跟应用相结合，行动是挖掘和采集大数据的根本原因，并不是为了记录而记录。

大数据的商业价值体现在几个方面，比如制造业中新产品的开发过程。2006年我曾与马云[微博]交流，探讨淘宝真正的竞争实力是什么？我认为真正的竞争实力是C2B，就是小米的模式。淘宝手上拿着大量的用户，它的每一个产品都可以让这些消费者进行决策，这些决策当中有很多的数据可以挖掘，然后根据消费者的喜好，创造新的产品。

此外，还有反洗钱、资产的管理优化，对客户的洞察等方面的应用。所有这些都需要有一个非常好的平台，云计算是大数据能够运算的基础。一方面它是大数据的平台，有信息的整合和治理的过程；另一方面是一个分析平台，大数据离开分析平台是无法进行挖掘的。再有就是解决方案，所谓应用为王，就是进行实施、服务。

从球场到商场应用无处不在

这里面有几个比较关键的技术，第一是存储级的内存；第二是流计算，因为它的速度相当快；第三是硬软件的结合；最后是创新的算法来进行大数据的分析。给大家举一个例子，前不久中国的网球公开赛，我们就运用了大数据进行分析。我们进行大量的数据采集，这个软件在法网、澳网等一些大赛当中，已经应用了十几年。它抓取了大量数据，有些数据我们有可能认为是没什么用的，比如一个球打完之后，周边的人的呐喊声或者鼓掌声，这些都是数据。但是在这种数据当中其实体现了很多的信息，是人们对它的一种热情呢？还是说氛围、气场好呢？我们都说不清楚。但是所有的数据放在一起之后，你可以精确地判断出这场球球没打完之前谁可以赢，试想我们对一个球赛可以做到如此，商业就像战场一样，你怎么样胜过你的对手，你的企业哪些是弱点，哪些是强处？都可以来计算。在医学上面我们有很多应用，在一个新生儿刚刚出生的时候，这时生命刚刚开始，如果对这段时间所有的医疗数据监控并且进行处理，你可以看到很多规律，并且可以预测这个新生儿会不会出现问题。

零售业中有很多大数据的应用，比较知名的是一个父亲通过一家百货店寄来的商品促销广告，知道了女儿怀孕的事。女性在怀孕过程中会有一些行为习惯的改变，比如不喜欢买有味道的商品，如果一个人以前都是买某一种润肤膏，突然买了一个没有味道的润肤膏，种种的蛛丝马迹加在一起，从大数据的运算当中就可以推测出这位女性怀孕了。

大数据对电力行业也有相当多的帮助，特别是智能电表，放在一些场所，可以及时地计算电量，可以为电网部署带来很大的帮助。在金融方面，反洗钱、反欺诈等，金融当中有相当多的领域可以用大数据进行帮助。

IBM推出智慧地球，智慧地球的落地是在智慧城市和智慧的行业和企业。智慧城市当中有一点大家都是比较熟悉的就是交通，现在世界上某一个城市，正在应用IBM的技术，当一个交通事故刚刚发生的时候，交警已经到达现场，救护车也到达现场。就好像是它们已经知道在这个地方交通事故会发生，而救护车早到一分钟和晚到一分钟对他的生命，对他的救护都是至关重要的。我们怎么能够做到这一点？其实人类很多的行为和行动是可预知的，在以往的大量的交通数据，包括时间、路况和行车速度，再加上别的一些因素，可以分析出，有90％的概率在这个点可能会发生交通事故。那么，能不能避免这个交通事故的发生？也是可以的。我们只要加上一些参数，比如说用交通车控制它，使得流量慢慢减弱，或者把灯光打得更加亮一些，使当地车流的每一个驾驶员都得到警示等，这些措施可以使得交通事故的发生率降低，使得一个交通事故不容易发生。这就是大数据对我们人类所带来的事情，给我们每个企业和每一个人的生活所带来的便利。

INTEL

物联时代的创新之旅

在大数据时代，芯片可做的事情有很多，英特尔[微博]希望从物联网里面找到正确的商业模式，以及对应的技术，推动成产业。

英特尔中国研究院院长方之熙

在大数据时代，芯片可以做什么？

计算在今天已经成为生活方式的一部分了，我们无意识中会用到很多计算，比如手机，虽然我们并没有感觉到我们是在用计算机，但其实有很多计算机程序在手机里。将来无论是我们的眼镜、手表、衣服、鞋子，都会有更多的电脑存在，他们在后台有云计算和大数据支持。这个时代很快就要到来，比如谷歌[微博]的眼镜和苹果的手表，大家已经很熟悉了。

英特尔的摩尔定律众所周知，即单位芯片面积上的晶体管个数，每两年可以翻一倍。晶体管更多，就可以有更先进的电脑，编程就会越好，就可以做出更好的芯片，可以通过提高芯片的性能把价格降下来。我们比较一下现在的技术，3年里速度快了4000倍，功耗省了5000倍，每一个晶体管的价格便宜了50000倍，这个速度在其他行业很难做到。大家可能没有注意到，手机的速度已经很快了。

除了大家熟悉的摩尔定律，还有一个贝尔定律，意思是每20年，计算形态会出现一次变化。大约40年以前，PC出现使得整个计算形态变了，计算机从机房搬到了家里。十几年以前，智能手机出现了，手机变得更小，随身可携带。很可能新一代的计算形态将要出现，就是可穿戴式的计算机，这会带来整个IT行业非常大的变化。

近来美国提出第三次工业革命的说法，第一次革命是用蒸汽机解决动力问题，第二次革命是IT行业改变各行各业，第三次革命是指，将来每个产品，无论是咖啡杯，还是衣服、鞋，都成为个性化产品，你的个人特点会反映在日常生活里，打印机、材料、微型的传动和控制等，都可以通过电脑发挥很大作用。

对中国来说，中国现在是世界工厂，很多产品都在中国生产。到了产品智能化的时代，怎样做产业升级，怎样把附加价值加在产品上？这些对中国来说是一个挑战。

互联网出现给传统工业的变化带来了可能，英特尔看到这样的趋势，所以它宣布了一种产品，叫夸克系列。英特尔夸克处理器系列比最早的处理器小40%，功耗只有最早的5%。这个架构是开放的，未来可能变成一个产业，应用到各种各样的机器人(50.940, 0.17, 0.33%)、可穿戴式设备上，这个可能是将来的趋势。

这个趋势中有几个特点，第一是小尺寸，比现在的手机更小，功耗也会很小，并且可连接性非常强，这样的小电脑里面可以将CPU、无线及各种通讯硬件都装进去。

为了实现创新，英特尔必须与上下游的产业一起合作才行，比如和微软、雅虎、谷歌结合。如果说创新是IQ，合作是EQ，一个企业成功只有好的IQ不行，一定还要有好的EQ。

基于这样的想法，英特尔研究院在中国也和我们的战略合作伙伴一起成长，我们与国内的一些研究院、大学以及政府建立了很多联合研究院。比如英特尔的移动互联和计算机协同研究院与东南大学和中国科技大学合作，探讨下一代移动架构的变化。另外与政府一起成立中国英特尔物联技术研究院。希望从物联网里面找到正确的商业模式，以及对应的技术，推动成产业。

KINGSOFT

拥抱变革

移动设备的爆发给人们的生活带来了巨大的改变，对传统软件行业带来了巨大的冲击，金山选择了拥抱移动互联网，拥抱大数据。

金山软件[微博]集团CEO 张宏江

过去一年，移动互联网的发展给我们每个人的生活带来了很多变化。举例来说，打车的软件已经是打车人士离不开的软件，而E家洁这样的软件，可以让你在手机上找到小时工和保姆。还有年轻人已经不常去超市了，在网上就可以把每天需要的东西买回来。这些都是移动互联网和电商给我们带来的变化。

在这一年中，我们的生活习惯已经被移动互联网冲击得非常厉害，这种冲击给我们带来的是方便和解放，此外商业模式也发生了深刻的变革。我先举一个美国的例子，IBM公司大家知道，IBM是知名的专门拿政府大项目的，无论在中国还是美国，它的长项就是拿到一些政府大项目，美国政府的很多项目过去都是被IBM垄断的，但是最近一个很大的美国中央情报局的项目，却被亚马逊[微博]拿走了。它所代表的是什么？代表的是传统的IT已经被云计算所取代。

近来很多人谈互联网金融对金融业的冲击。中国的国有银行在过去几十年从来没有照顾到中小企业，它们拿不到贷款，为什么？因为大银行没有做好小企业的信用评分，不知道小企业有没有偿还能力。而通过互联网，很容易对信用历史做很好的评测，从而决定可不可以提供贷款，从而把风险控制在可以接受的范围内，这也是为什么有一系列小的创业公司敢进入移动互联网，更不要说像百度[微博]、腾讯、阿里这样的公司了。

移动设备的爆发带来了巨大的改变。PC在经历了曾经的迅猛增长以后，现在数量出现了下降，但智能手机过去10年突飞猛进，而另外三类设备的增长比智能手机更快，一个是智能电视的量，在2013年达到10亿台，还有增长更快的是什么？是可穿戴设备，预测2014年下半年就会比上半年增长500%，这一切的设备都是带上网功能的设备，可以想象它可以带来多么大的数据量。

我们要面临如此大的冲击，我们能做的一定是拥抱这种冲击，而不是试图抵制它。在移动互联网时代，我们可以在结合处找到一些产业的机会，这就是为什么金山进行了一系列的布局。金山一款移动应用软件清理大师6个月以前才上线，今天全球的活跃用户达到了5000万，其中一半在国外，大部分在美国。可以看到，人们对手机的依赖越来越高，人们对泛安全的需求越来越高。另外一个就是金山非常传统的服务办公软件。在PC时代，因为盗版猖獗，很长时间才培养了一亿用户，而我们在18个月内在安卓上的活跃用户达到了3000万。这是因为我们拥抱了移动互联网，拥抱了大数据，我们可以看到过去两年中金山的业绩增长，尤其反映在金山的股价上，在过去的12个月涨了400%，过去两年涨了600%。大数据是我们的今天，也更是我们的未来。

YAHOO

智能数据创领商业未来

美国有一项统计，仅美国到2018年就会缺14万～19万能够做深度数据挖掘的人才，以及150万以上能够做数据分析，并通过数据分析做商业决策的经理人。

雅虎全球北京研发中心总裁张晨

从互联网诞生那天起，数据就成几何级发展。有研究认为全世界在线数据的92%都是在过去两年产生的，到2015年我们会有250亿台设备连在互联网上，这些设备包括PC、平板电脑、智能手机、智能汽车、智能家电、智能建筑等，产生的数据量到2015年将是今天云计算处理量的12倍。

有人说大数据是座金矿，我非常赞同这个说法，而且这个金矿才刚刚被开采。大数据本身没有价值，大数据的价值在于通过数据的处理和分析帮助用户做出商业决策。大数据带来的挑战也有很多，商业模式还不清楚。尤其是从互联网角度看，移动互联网的大数据商业模式也并不清晰。大数据的技术门槛较高，不光要建立数据处理平台，还要建立数据模型，验证数据结果。每一步都需要很大的投资。人才的缺乏也是大数据面临的挑战。美国有一项统计，仅美国到2018年就会缺14万～19万能够做深度数据挖掘的人才，以及150万以上能够做数据分析，并通过数据分析做商业决策的经理人。

近几年，互联网业界对数据的挖掘越来越深刻。不只是对互联网上的内容有深刻的了解，对用户的了解也越来越深，从地理位置、兴趣爱好、历史记录、社交网络、社交圈子、个人资料等方面的深度挖掘，通过科学建模、工程开发，推出一些智能便捷的服务产品，这是大数据的趋势。

另一个有关大数据的趋势是移动，移动的发展速度超过很多人的想象。从三个方面来看：第一是设备的销售。全球主要市场今天移动设备的销售都已经超过桌面设备的销售。第二是用户使用移动设备的习惯越来越明显。谷歌地图和推特网，在两年前移动用户流量已经超过了桌面用户流量，脸谱网2013年也是如此。我相信整个雅虎的产品在接下来一两年里面也会达到这个阶段。然而，移动互联网的商业模式并不清晰。有人认为这是一个巨大的挑战，因为移动小屏幕的特点不容易承载广告。也有人认为这是个机会，可以实现高度精准的广告。好的消息是现在已经有好几个互联网公司在移动上的收入超过了桌面上的收入。

雅虎在做什么？作为互联网的鼻祖，雅虎的搜索、广告、新闻、体育、财经都是大数据平台驱动的。全球8亿用户，已经有4亿用户在移动设备上了。

2013年2月，雅虎在移动端跟桌面端同时推出了个性化的服务。什么是个性化的服务？个性化服务就是根据对内容的了解，再根据对用户的了解，找出你最感兴趣的事情。雅虎推出个性化主页后，通过一年时间我们几乎将所有雅虎的网页都建在雅虎个性化的平台上面，包括新闻、体育、商业、财经等，雅虎真正变成了一个个性化的公司。

值得一提的是，雅虎全球个性化平台最底层的构建全部是在北京做的。北京的科学家和工程师对雅虎全球8亿用户做了巨大贡献，我们把世界级的难题拿到中国来，拿出了世界级的解决方案。这个个性化的服务推出以后，2013年7月份雅虎再一次在美国超过谷歌，成为全美用户量最大的公司。

大数据对广告有什么帮助？当广告足够相关和精准，它就变成了内容和信息。现在在美国最前沿的广告叫什么？互联网业界叫原生广告，什么是原生广告？第一具有高度个性化，第二具有高度相关性，第三有很漂亮的界面。所以个性化、相关性、漂亮的界面，就是原生广告。原生广告现在哪些公司在做？谁做得比较成功？推特网是第一个在互联网出现的、比较成功的原生广告。脸谱网的广告在移动端和桌面端都是原生广告。雅虎在原生广告上也做了大量投资，我们现在在移动端跟桌面端都对原生广告有很大的研究和布置，原生广告在雅虎会成为主流。

未来我们将真正进入移动时代基于大数据的个性化服务时代，个性化服务有很多特征，第一个性化服务必须是安全可信的，第二也必须是低成本和低门槛的。云计算服务的推出大大降低了创新的门槛，提高了创新的速度，我希望数据分析和个性化服务也可以走这条路。

中国的人口规模和经济规模决定了我们的数据规模，巨大的数据规模为我们大数据发展创造了非常好的数据资源。我希望我们携手共同来开发这座大数据的金矿，让大数据给我们带来智慧明天。

MICROSOFT

大数据与人工智能

大数据加上机器学习，代表了软件产业一个新时代来临：不再是人写软件，而是数据加算法，在数字化之后，以计算机驱动，用光速来推进人类社会。

微软亚洲研究院[微博]常务副院长马维英

大数据不是一个单一的现象，在过去5～10年，借着越来越强大的计算能力，加上知识挖掘等算法上的突飞猛进，我们可以构建更大的模型。

我们都知道，其实很多的人工智能、机器智能，或者驱动一个数字世界的自动化，都需要模型。在过去的很长一段时间内，这些模型因为数据的不足，通常只能做一些小的模型或者浅的模型，但特别在过去的两三年里，在机器学习领域有了突飞猛进的发展，可以构建更大、更深度的模型。

另外是知识挖掘，知识挖掘是怎样在互联网上大规模进行的？在这些结构化、半结构化的数据中构建人类最完整的知识表达，一旦我们掌握了这样的表达，我们就可以对很多的数据做更深度的理解。

软件产业新时代

微软为什么看重大数据？微软是从一家软件企业开始的，在30年前，微软就知道软件会改变全世界，软件几乎可以做所有的事情。但今天，软件的时代已经不一样了。过去是程序员写，接下来的软件是靠数据，靠机器学习，自动写出软件。这意味着什么？当你拥有更大的数据的时候，软件就更强大，软件的性能就更好。大数据加上机器学习，这代表了软件产业一个新时代来临：不再是人写软件，是数据加算法，在数字化之后，以计算机驱动，用光速来推进我们人类社会的方方面面。因为都是靠数据和算法，我们能够产生一个非常大的一个信息量，所以我们看重下一代所有的应用和服务。

今天，为什么各个大公司都在不断地在人才、技术方面大量投入？就是因为我们已经在过去的几年不断地对这些数据进行加工，我们已经越来越接近从数据到信息，到知识到科技。

语音识别过去十几年一直没有突破，但就在这两年实现了很大进展。其中重要原因就是因为有一种新的机器学习，可以从数据里面学表达方式，做很多模式识别。大家知道做影像、语音等最难的是怎么找出特征向量表示数据，过去的二三十年的研究都在研究怎么找特征，大数据来到的时候我们发现，特征也可以直接从数据去学。而且在这个过程中我们发现一个非常有趣的现象，就是越大的数据表达方式越好。因为数据大，信息就增加，所以技术上的突破就是计算能力和数据大了，而且自动学出来的发现比过去人设计的特征向量更好。

大数据的城市应用

今天的技术非常令人兴奋，但今天很多城市里面的数据都是很低阶的，这么大的数据如何表达？今天深度学习、机器学习带来了革命性的机会。过去两年我们也把这样的机器学习开始应用在城市，所以微软有一个城市计算的项目。在北京，我们收集了很多方面跟城市有关的数据，例如北京交通路网的数据、北京商业各方面的历年数据，我们可以发现很多现象，比如北京过去10年酒吧在哪里越来越多，电影院也在一些地方增加了，这些其实代表了这个城市的发展。还有空气的数据、气象的数据等。我们还搜集了北京的30000辆出租车，特别装有定位系统的数据，这样便可以用出租车当做传感器实时检测城市的脉动，甚至交通的状况，可以算出更好的开车路径。

过去两年，微软与北京市政府及中国的高校合作，在城市计算这一领域实现了很多科研成果。大数据可以分析城市问题，改善城市规划。

空气质量是今天的城市居民最关注的一个话题。北京这么大规模的城市，现在只有15个空气检测站点，非常稀疏，每个站点的投入和花费与运营非常高。这些站点在任何时刻给的数据都是非常不一样的，说明一个城市里面空气质量分布是不均匀的。今天我们的问题是能不能用大数据，用机器学习的方法预测那些没有空气站点的地点的空气质量。我们也利用了大数据把历史上所有这些我们可以收集到的，关于侦测带里的历史的数据、气象数据、交通数据、人员流动等数据，建一个非常大的模型，包含空间和时间的预测，能够在有限的15个站点之上，进一步预测所有的位置。这就是大数据在智能城市里的应用，其中既有数据分析，而且是海量和一致性的数据。

实验证明，虽然我们用的很多数据从某个角度来讲是比较弱的信号，但是把大量相关的相对弱的信号收集起来，居然比原来最好的模型还好20%。利用大数据对整个城市的空气做预测的模型是非常有价值的，这预示了这样的应用将不只在城市，而是会进到人类社会方方面面，各个产业都会被大数据带动，用更智能的算法，让过程变得更有效。

AMAZON

开放平台应对商业变革

未来的发展都将与大数据紧密相关，亚马逊将通过深入的分析，知道什么样的客户群是企业需要的，什么样的客户群可能喜欢什么产品，配合有针对性的广告或不同的销售方式。

亚马逊副总裁方淦

近来，中国电商市场有很多的变化，人们有很多疑问，要不要打价格战，怎样竞争，市场该如何发展？

思考这个问题，可以回顾一下历史。美国的70、80、90年代，是美国线下的零售巨头出现的时间，沃尔马等有名的线下零售公司崛起。但沃尔玛也是在90年代末才在美国变成最大的零售巨头，它的股价在1999年才爆发上涨。在1997年到2005年，美国线下零售业出现了一些有趣的现象，它与中国电商有什么相同的地方？也许我们从中可以看出一些问题。

亚马逊的战略布局

在这个阶段，沃尔马做了一些事情，首先，它建了“大数据”，它的大数据是把供应链全部IT化，这样便可以实现全国调货。它实现了在48个小时之内全美国任何一个店都可以供货，这是一个很有价值的供应链系统。

第二件事情是什么？沃尔玛还把他的店建设得与众不同。别人的店比较小，他摆到郊外，把面积做得很大，因为成本低，所以商品价格也可以压到最低，同时增加商品品种。沃尔玛又把价格做了些调整，不打普通的价格战，而是“天天低价”，不需要等到减价消费者才买东西。通过这个技巧，把城区里的人吸引到郊外。

可以看到，从1997年到2005年，沃尔玛实现了快速扩张，股价上涨，但是，为什么在2000年的时候成长速度又平稳了？我猜想这与互联网有关，因为从1997年开始，美国的电商在互联网里就开始了进攻。亚马逊是1997年上市的，此后把电商攻势做了起来。

但是，仅把线下的方式移到线上还不够，因为线下跟线上消费不一样。1999年的互联网付款不是很方便，配送也不像现在这么方便。网上消费从头疼两个事，第一是付款，第二是配送。从电商角度来看，就算有很好的供应链，怎么把线下的客户体验做好？2000年左右，亚马逊做了一个决定，建立自己的库房，并把沃尔马最强的IT人才请到公司当CIO，建立起了供应链，客户体验方面也做了调整，把线下与线上客户体验的概念融合到电商的模型里去。

从亚马逊的股价走势图可以看到，亚马逊1995年成立，1997年上市，刚刚开始的几年都在亏钱。这跟中国的现象相似，唯一不一样的是亚马逊那时没有花很多广告费，而是投入创新的基本理念，把库房建起来，2000年的时候最大的投入是在线下的库房、物流方面。

2003年开始赚钱的时候我们也继续投入，并改变了投资模式，从电商慢慢往不同的方面发展，比如云计算、亚马逊物流，为卖家提供供应链的大数据及网上服务，并且在平板电脑和阅读器方面做很多投资。在数码、数据方面也做了很多，比如在音乐、视频方面都进行了大量的投入。

但是消费者很认可我们的投入方式，即时股价亏损，消费者可以理解原因是亚马逊为客户做创新，为客户的体验做投资。他们都认可这样的投资会有回报。我们的指南针和方向一定是以客户体验为核心，可以看到客户体验这方面的创新服务。

此外，亚马逊有自己的物流系统，而库房里面的库存都是机器人去做的，它不会因为过年而不上班，也不会因为生病而请假，它可以24小时都为客户服务。

中国电商的全球启迪

2011年，亚马逊把第三方平台带到了中国，即把电商平台开放给卖家。现在在中国有15个物流中心，这是全世界除了美国之外最大的物流网、营运网络。

亚马逊也在打造全球开店的项目，把中国卖家带到世界平台，带到美国、欧洲、日本。

中国现在有很多线下的公司希望往线上转型。美国一些公司也经历过了这种尝试，但是很艰难。美国的传统零售公司像沃尔玛将如何改变，也在探索中，他们在尝试线上和线下的运营模式。

中国与美国、欧洲、日本不一样的是地理分散，并且人口收入不平均，这和别的国家很不一样。这对于中国的电商来说，不论是本土电商还是外资电商，都是很大的挑战。

此外，中国的移动市场发展速度很快，很多新的移动方面的购物模型很有可能就在中国发生。中国的社交平台，比如微信已经在很多国家使用了。在微信、移动领域，中国电商的竞争可以带给世界很多启发。

未来的发展都将与大数据紧密相关，因为现在的数据跟15年前的数据不一样，你的购物信息、配送信息等，都在数据库里。这样可以通过深入的分析，知道什么样的客户群是企业需要的，什么样的客户群可能喜欢什么产品，配合有针对性的广告或不同的销售方式。

SOFTSTON

大数据创造新机遇

软通动力创新研究院院长倪敦

关于大数据，未来将会出现什么？首先是数据运营商，未来数据运营商是非常重要的，它会掌握所有相关的产业、销售、用户个人的信息，这些信息的深度挖掘中创造新的商机，它们会构成了一种新的数据的垄断。所以，在大数据的环境下我们如何制定规则，怎样反对数据的垄断？我们如何创造一种开放的大数据的环境，这是大数据的产业未来必须要考虑的一个问题。

此外，我们会出现各种大数据产业的服务公司，它会提供各种专业的技术和工具，在垂直的行业中成为大数据服务的领先者。

第三各种大数据产品和平台公司涌现，它们会成为基于产品提供的大数据公司，比如像IBM。

第四种是基于为大数据提供服务的服务商，软通目前的定位就是基于大数据的服务提供者，通过在中国提供大数据的服务、搜索，帮助用户解决现在无法通过大数据来进行企业转型升级的问题。

大数据改变了我们传统的思维和服务的模式。例如，软通的智慧业务是一个重要方向。软通做智慧城市的分析，通过分析社会人员的模式，看看如何解决城市中的一些问题。我们发现有一类手机用户形成了一个相应的网络，这类网络用户通过不相关的关联分析，发现它与一类疾病的族群人员有一定的关联度。这两种不同纬度的信息是重叠在一起的，在智慧城市的决策中，就可以通过新的渠道解决这类疾病的防治问题，所以这种思维就是数据思维的模式，而不是通过传统的把相关的信息做一些单独的连接和分析的思路。

软通在大数据业务中，帮助城市来进行智慧城市的转型，进行大数据的分析和云计算的平台支撑，通过分析信息提供城市转型和升级的能力。

在大数据的时代必须要考虑第一是合作，第二是要通过颠覆性的方式来打破传统的边界，通过新的服务能力我们可以看到，在未来可能传统的行业边界会消失，而不是说会变得更加坚固。比如零售业已经通过云计算和大数据变成了一种新的模式，互联网金融、新的物流的服务，人与人之间社交的方式接下来可能都会发生改变。这些都是通过这种打破行业边界的服务能力和新的技术来提供的。

GRIDSUM

数据怎么就变「大」了

国双科技CEO 祁国晟

数据挖掘和数据分析的区别是什么？数据挖掘挖掘出来的是人类未知的东西。数据分析的是我们已知的，天气不好的时候交通可能会堵，这是分析出来的，不是数据挖掘的，因为我们知道天气不好和交通不好有关系，这个知识我一开始就有了。数据挖掘是挖掘未知知识。

大数据的挑战是什么？一个是实时的海量数据分析，数据量太大，但又要实时分析，时效性要求特别高。第二是高度可扩展的数据仓库。数据仓库是数据挖掘的基础技术，数据仓库和现在的大数据概念也有一定的冲突，因为数据仓库要求所有数据之间的关联都被保留，不被切断。我们希望数据仓库能够一天比一天分析更多的数据，这是一个挑战。解决这个问题，对于未来的数据挖掘，未来的高速联机分析都有很大帮助。

数据是资产。当你拥有了大量的历史数据，便可以在历史数据上去做数据挖掘，做数据发现。如果有机会让数据资产化，将是很大的价值。

CITRIX

移动办公开创时代机遇

思杰大中华区总裁曹衡康

移动办公是很多人心中的向往，但是怎样实现移动办公？IDC调研发现，很多企业逐渐认为，竞争力来自移动办公，这是一个重要的趋势。

思杰提供的是云的解决方案，让移动办公触手可及。什么叫移动办公？办公最重要的元素，第一是设备，像笔记本、台式机、平板，第二是数据，随时随地使用数据。可以用平板、手机获取所有的公司数据吗？答案是可以。你可以用平板手机或者其他设备获取公司应用吗？当你打开家里的电脑，甚至平板、电视都可以办公，打开云档案，随时通过任何设备接到后台数据中心移动办公，这是移动办公的定义。

企业要动起来，需要提供什么？很简单，IT人员只要给你一个很快速便捷的方式让你使用后台的数据，你就可以工作了。

移动办公之后很大的一个问题就是安全。怎样做到数据不落地，就必须结合云计算。你在做任何操作的时候，基本上都是在中心使用计算资源，虚拟的资源，计算本身不是在手机或平板上面，数据使用都没有传输到手机上，你可以看得到，但是带不走。为了实现安全，我们提供端到端的软件，提供打造云服务的软件。

我们始终相信，人的工作生活是可以和谐的，你可以利用一些时间工作，车上、等车、等机时间也可以工作，这个梦想是我们过去一直崇尚的。

第五篇：大数据时代思想政治工作的机遇和挑战

大数据时代思想政治工作的机遇和挑战

思想政治工作历来是我们党和国家的重要政治优势。人类进入“互联网+”时代，因为计算机和网络的普及，特别是移动通信和互联网的融合，使我们今天日常生活中无处没有数据的存在，大数据给思想政治工作带来新机遇和新挑战。

一、大数据显示的是过去，但揭示的却是未来

“大数据”之大，就在于将各种分散的数据（信息），彼此联系，由点而线，由线至面，由面到层，多维度综合，彰显出事件（事物）更完整、更全面的真貌，让人们能更清楚地理解事件（事物）的本质和未来的趋势。在“互联网+”时代，大数据将像传统的“人、财、物”一样，逐步成为社会重要的生产资料和创新资源，并将成为国家发展的新动力和社会创新的新活力。

研究表明，从人类文明开始到2003年，人类共创造了5TB（兆亿字节）的信息，而现在，这样的数据量却仅需两天就被创造出来，且速度仍在加快。数据显示，2011年全球创建和复制的数据总量，就达到了1.8ZB(1ZB等于10的21次方比特)，相当于全球每人产生300GB以上的数据。目前这个数字仍在快速增长，预计2020年，全球产生的数据量将超过80ZB。

数据就是信息，信息就是数据。移动互联网在线，让数据24小时随身随时可复制、可传播、可整合。同一份数据可以在不同的服务器上快速流转、重复使用，不同的数据可以快速互相整合、产生新的效用，数据的价值越来越凸显，而它们的保存成本和分享成本却越来越降低。人们使用数据，不应该仅仅局限于用数据说话、用数据来支持自己的观点，而是要通过数据获得启示，发现新的知识和规律。

大数据对人类带来的影响主要有：1.“大数据资源”将成为重要战略资源。2.“大数据决策”成为一种新决策方式。3.“大数据应用”推进信息技术与各行业深度融合。4.“大数据开发”推动新技术和新应用不断涌现。5.“大数据安全”上升为国家战略安全。

大数据显示的是过去，但揭示的却是未来。我国“单独二孩”政策的出台，就是通过对巨大的人口普查数据进行建模，可视化分析，沙盘演练后做出的科学决策。中国高铁建设、中国路桥建设、中国通信技术、中国金融业……之所以能在国际市场竞争中占有一席之地，就是因为他们背后有中国“大数据”在支撑，这也是党中央作出“一带一路”国际合作发展战略的坚实基础。

二、大数据给思想政治工作带来的机遇和挑战

我们党现有8800多万名党员，这本身就是一个大数据。这个大数据也表明，我们党的思想政治工作具有强大的凝聚力和创造力。不论在新民主主义革命时期、社会主义革命和建设时期，还是在改革开放新时期，党依靠强有力的思想政治工作，动员亿万人民群众团结在党的周围，奋发有为，开拓创新，创造出了一个又一个的世界奇迹。我们党的思想政治工作优良传统就是：贴近实际、贴近生活、贴近群众。

然而，大数据的“精准营销”对“三贴近”的传统思想政治工作的理念、机制、内容、方式等方面都提出了新的要求：

第一，思想政治工作的理念必须与互联网、大数据的时代特征相融合。也就是思想政治工作的理念必须贴近时代特征、贴近社会热点。比如，传统的电影、电视剧的制作理念，强调的是好本子、名导演、名演员、封闭式拍摄和强势广告宣传。而“互联网+”的制作理念则是开放、协同、共赢，在操作层面上：一是采取互联网调查、统计出民众的期待热点，再写剧本。并且在边拍摄、边上映过程中不断听取观众反馈意见调整剧情；二是采用植入式广告降低成本；三是采取网上调查，起用“偶像型”演员；四是采用开放的“粉丝探班”形式，来炒作“热点话题”。可见，今天微博、微信、APP、二维码、电子考勤等等“大数据”载体都可以成为思想政治工作多维度整合考虑工具，并可作为“精准营销”解决问题的思路和依据。

第二，思想政治工作的机制必须与互联网、大数据的时代节奏要求相融合。也就是思想政治工作的机制必须贴近生活节奏、贴近“社会生态区”。淘宝十多年发展的颠覆性数据故事的背后，是商业模式和运营机制顺应“互联网+”时代要求的创新。首先，是大数据统计指导下的“精准销售”商业模式的创新，数据是社会规律、商业规律的载体，统计分析则是发现这种规律的手段；其次，是扁平化管理机制告别了官僚式分层管理，节点化驱动模糊部门界限，依据工作流程为导向建立临时工作团队，让每一个发起流程“节点”的人来驱动业务发展总进程。人人都将成为核心，人人又都不是核心，流程完成，部门解散。这些“精准营销”商业模式和运营机制的创新为思想政治工作机制的创新提供了范本。

第三，思想政治工作的内容必须与互联网、大数据时代人民群众的需求相融合。也就是思想政治工作的内容必须贴近人民群众，贴近人民群众的中国梦。不同的历史阶段，人民共同的向往和追求是不同的，当前，我们必须要把实现中国梦，实现企业（集体）梦，实现个人（家庭）梦三者有机结合起来，思想政治工作才可能在人民群众中“走心”。总书记说：“中国梦归根到底是人民的梦”。“实现中华民族伟大复兴的中国梦，就是要实现国家富强、民族振兴、人民幸福”。在全民创业、万众创新的时期，我们要结合实现中国梦的大目标，通过互联网开放数据（信息），将原来由少部分社会精英垄断的知识和资源，向人民大众开放，集合大众智慧，推动创业创新，这就是“众创”。因此，思想政治工作内容“大数据”的收集、统计、分析、提炼、利用等工作对我们提出了新的课题。

“大数据”时代为思想政治工作的“精准营销”提供了广阔的舞台。