中国大数据技术大会干货分享

第一篇：中国大数据技术大会干货分享

中国大数据技术大会干货分享

2016年12月8日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办的2016中国大数据技术大会在京盛大开幕。

作为大数据领域规模最大、最具影响力的IT盛会，本次活动共历时三天。大会围绕“聚焦行业最佳实践，应用与数据深度融合”这一主题展开，同时涵盖金融大数据论坛，人工智能论坛、数据库论坛等在内的十二场专题论坛。与往届相比，本届大会更关注行业应用最佳实践，突出应运和数据的深度融合，并首次将人工智能、高性能计算等热点话题引入大会。粤科创投界熊昊博士、技术总监黄卓斌和来自国内外数千名大数据从业者与技术专家一同参加了本次大会。

中国科学院院士、北京理工大学副校长、CCF大数据专家委员会主任梅宏发表大会致辞。他表示，大数据对社会经济的发展、科学技术的研究，对国家治理甚至安全，都将产生重要的影响，推动大数据技术、科学及相关应用的发展已经成为国际社会的一个共识。加速相关的研发部署、深化大数据应用，已经成为稳增长、促改革、调结构、惠民生的内在需要和必然选择。

近年来，随着互联网金融的蓬勃发展，金融大数据已成为技术圈热议话题。在12月9日的金融大数据专题论坛上，平安大数据首席总监肖京分享了平安正在策划推出智能+金融大数据打造平安脑智能引擎，以及一系列大数据企业风险管理方案，如数据量化解决方案、数据整合解决方案、大数据企业风险管理平台。百度金融研发负责人沈抖表示大数据已经从用户画像、精准营销、风险管理、运营优化等各个方面支持银行、保险、证券的业务。有了大数据的支持，百度希望做到千人千面，即根据客户的兴趣爱好、人生阶段、对生活品质的要求、消费水平等方面，为不同用户制定不同的营销方案。

来自粤科创投界的技术专家熊昊博士，现场以”大数据时代的股权智能投资“作为分享议题，展开了精彩演讲，熊昊认为互联网股权投资将要进入2.0阶段，这一阶段特征表现为：积极应用人工智能、大数据技术，应用金融科技手段重塑金融核心业务过程。这个阶段面临的难点是对业务知识的理解、数据来源、技术的选择与应用。

论坛现场，粤科创投界熊昊博士着重讲到了大数据知识图谱在智能股权投资领域的应用，并结合大数据尽调和母基金智能报告两个场景做了详细介绍。基于中文语义的实体、概念、关系、情感数据的抽取，进行文本挖掘，语义分析，实体识别和关联挖掘，包含了大图划分算法、子图融合算法、碎片化知识整合等。通过知识图谱可以把数据用活，具体体现为三个方面，一个是持续不断的有消息的输入；第二是可以沿知识图谱定义的作用链进行自动推理；第三是知识图谱可以背靠大数据，实现人工+自动模式下的自我生长。从而形成尽调知识图谱、企业知识图谱、产业知识图谱，并最终生成自动化尽调报告。

据粤科创投界相关人士介绍，粤科创投界隶属广东省人民政府授权经营的国有独资企业粤科金融集团。2015年6月，粤科金融集团为响应“双创四众“的国家号召，联合中科招商集团等知名金融公司成立了互联网金融平台——粤科创投界，公司从成立之初，就注重大数据的应用和科技金融的探索，不断自学习大数据风控系统和海量基础数据的信审系统并应运于实践，是集团在金融大数据应用领域和科技金融领域的先锋兵。

第二篇：大数据：不是技术难题

90%以上的企业可以用他们90%的现有需求和技术、工具来解决现在的大数据问题。企业并不是缺乏解决这些大数据难题的工具、技术甚至人才.他们真正面临的问题是，如何在公司建立一个和大数据相匹配的文化与流程。

虽然眼下十分火热，然而“大数据”概念并没有明确的范畴，时大数据的定义只是相衬于当前可用的技术和资源而言的，因此，某一个企业或行业所认为的大数据，可能衬于另一个企业或行业就不再是大数据，时于大的电子商务企业，它们眼中的大数据要比小厂商眼里的大数据“大”得多;同时，大数据也会特续地演进，现在被我们认为庞大和恐饰的数据在10年之后只是小事一桩，但那时候将会有那个时代的新数据源。然而，面衬这些源源不断出现的“大数据”，哪些事情是希望从中发掘机会的企业需要注意的?

新数据源是核心

欧博思分析师认为大数据的三个“V”特征，即Volume(规模)，Variety(种类)，和Velocity(高速度)，这些只是大数据的第二位要素。大数据真正重要的“V”是Value(价值)。那么是什么带来了大数据的价值?

答案是新的数据源。

过去，获取网络浏览数据的技术门槛和成本都很高，而现在获取这些数据已经很容易，企业可以通过了解消费者浏览数据中展示的偏好以及未来购买倾向，来给他们推出最合适的折扣优惠。这都是新数据源的力量，这才是大数据的价值核心。

但在客户的沟通实践中，常常发现:大多数时候，人们都将精力投注在如何在“大数据”时代优化处理模型，或者升级技术装备以希求能提升分析的效果。

但是真正能提升分析效果的方式，是搜集并加入完全崭新的信息源。一旦新的、和从前不同的数据源出现并且能够被收集，你最好将自己的注意力转到这些新的数据上去一一比起你将精力放在模型优化上，新的数据源将能带来更大的收获。因此，在大数据时代，建议 就是，将你的精力放到不断寻求祈的数据源上吧。如今很多企业都会有很多新的数据源，如果正确使用的话，它们会带给企业非常有竞争力的优势。

小步快跑式

对大数据的另一个误解是，“大数据其实就是一个技术问题”。

事实上90%以上的企业可以用他们90%的现有需求和技术、工具来解决现在的大数据问题。企业并不是缺乏解决这些大数据难题的工具、技术甚至人才，他们真正面临的问题是，如何在公司建立一个和大数据相匹配的文化与流程，是缺乏对技术做投资的公司文化，他们的挑战是做出一个商业案例来证明技术升级是有价值的。

为了促进公司文化的转变，更建议一种“小步快跑”的运作方式，即在处理新数据源的过程中，企业内部的分析专家们应该积极寻找代价小、见效快的方法，不断向企业展示一些有价值的东西，来让人们保持对新数据源处理过程的兴趣。一个跨部门的大数据团队一定不能在组建一年之后，还对外宣称他们“正在试图搞明白”，要不时地迸发出想法，不管这一想法多么微小，然后迅速采取行动。

另外一个建议是，建立类似“创新中心”这样的地方，就是公司内部拿出少量的预算、人力资源、技术资源来做一些有一定未知风险的小实验，以小预算做试点，便于企业快速出击。

总的来说，大数据将为企业提供更多视角和洞察，通过和其他企业数据的结合，消费者洞察无论从数量还是质量上都会有指数级增长，因此最重要的一点，是大数据策略必须和其他数据结合形成整体数据战略，而不是独立的战略。

第三篇：中国大数据行业调查报告

中国大数据行业调查报告

公司使用大数据的基本情况

无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生产环境实践大数据，并有成功的用例/产品；24.5%的公司已经做了足够的了解，开发准备就绪；基本不了解的只占3000+用户的13.5%。

现有公司大数据的使用情况

其中，大家对大数据平台提出的的主要需求有：36.5%是进行海量数据的离线处理，比如大数据BI；23.2%是为了大量数据的实时处理，比如在线交互式分析；40.3%的公司的大数据平台则同时负责这两种业务。

大数据平台主要负责的业务

传统观念下，大数据往往是大型互联网公司的玩物。然而，通过本次调查，我们却发现在那些对大数据平台有需求的公司中，研发团队规模远没有我们想象的大，29.11%的研发团队仅有1-10人，次居第二的10-50人的规模占到了25.77%,两种规模的研发团队就超过了一半。可见，当下大数据的需求已不止步于大型公司。

研发团队规模 从传统架构到大数据时代应用程序架构的转变往往都会遇到一些问题和挑战。在对计算框架门槛调查中，非专业人士难于入手这一难题的比例达到了46.5%，这对企业人才的培训提出了迫切的要求。

当下计算框架使用过程中存在的问题

打造大数据平台需要企业克服诸多问题和挑战，尤其是安全性和可靠性方面。

大数据平台打造的主要挑战 大数据技术现状 大数据技术在开发者或从业人员的应用中逐步走向成熟，这些成熟的技术在开发人员的探索中得到了初步的稳定发展，公司的使用便是对这些技术的肯定。包括开发语言，数据分析语言、数据库等在内的大数据工具，究竟哪个更适合自己的业务，相信开发者们都有自己的评判标准。

在众多的开发语言中，大数据平台开发者们尤为青睐Java，占到了总比例的65%，远远超过其他开发语言。值得一提的是，Hadoop本身就由Java实现的。

大数据开发语言

在大数据分析语言中，SQL的使用比例达到了64%，是R语言使用者人数的2倍之多。我们从中不难看出SQL-on-XXX项目的前景；同时从R的支持率上，也看到了更多非技术人员，比如数据分析师对低门槛分析类语言的需求。

大数据分析通常用的语言

在大数据存储上，HBase则以67.55%的比例位居榜首，远超其他数据仓库，当然这点与Hadoop原生支持是分不开的。

大数据存储中适合的数据库

对存储在HBase或Cassandra这样NOSQL数据库中的数据进行复杂查询，Solr、Elasticsearch、Splunk等主流的搜索引擎差距并不大。

对存储在NOSQL数据库中的数据进行复杂查询，比较合适的工具 大数据未来发展

诚如上文所说，许多对大数据有需求的公司并不一定具备强大的研发团队，在大数据处理过程中往往遭遇众多挑战。那么，在面临这些挑战时，开发者最迫切需要的是什么？

为了解决公司中的实际问题，39.28%的人希望拥有更犀利和通用的计算框架；37.88%的人希望能拥有更好的数据挖掘算法；21.59%的人则对保障性更高的运维有了更多的期盼。

为了解决公司的实际问题，最希望拥有的新技术

良好的大数据计算平台能够有效地支撑企业的海量数据，对于下一代通用大数据技术平台，Spark和Hadoop是公司的主要选择。同时，我们也看到了新贵Spark的发展前景，对比老将Hadoop，差距也仅有3.7%。

人们看好的下一代通用大数据计算平台

现有公司中，大数据平台已包含的部件位居前三的主要是SQL数据库（90.3%）、NoSQL数据库（50.7%）和HDFS（47.2%），在此基础上，公司计划添加的部件主要包含SQL数据库（57.2%）、Spark（41.5%）和NoSQL数据库（26.9%）。从各公司已有大数据部件和计划添加的部件可以看出，SQL数据库和NoSQL数据库在公司的大数据平台中发挥了重要的作用，得到了各公司的青睐。

现有大数据平台已包含的部件

现有大数据平台计划添加的部件

为了获取更高的收益，企业在前期需要进行有效地成本投入，对大数据平台的投资，公司更加不会吝啬，其中被调查的人群中，45.7%的人所在企业有追加投资大数据平台的打算，同时，公司也期望能够通过多种途径完善大数据平台，主要的完善途径包括基于开源平台自主研发、购买成熟的解决方案，使用公有云。

企业期望完善大数据平台的途径

使用公有云也是企业期望完善大数据平台的有效途径之一，在选择公有云平台方面，企业也面临着很大的倾向性，45.26%的人将阿里云作为首选。

公有云平台的选择 大数据技术培训

技术培训能够对开发者起到一定的指导作用，使得听众可以系统全面的把握新技术的知识脉络，了解技术的发展趋势。在此次调查活动中，69.4%的被调查者表示从未参加过大数据平台构建的技术培训。对于技术培训的形式，49%的人希望是线上培训，收费，成系列型的大数据解决方案，专攻一个方向，解决实际问题；37%的被调查者还是希望免费进行技术培训，即使不成系列，无论是线上线下，能听一节是一节。虽然收费在一定程度上影响了开发者对大数据技术培训的热情，但是能够切实解决实际问题，得到技术和能力的提升，仍是相关技术人员追求的培训目标。

更适合的技术培训形式

那么，对开发者来说，大家特别期望从技术培训中获取的知识又会是什么？

第四篇：大数据产业技术联盟宣言A

大数据产业技术联盟宣言

2014年8月，大数据产业联盟成立大会暨贵阳云计算—大数据产业高峰论坛在爽爽的贵阳隆重召开。这不仅是贵州，也是中国乃至世界大数据产业发展史上具有里程碑意义的重大事件。

大数据产业继云计算、物联网和移动互联网之后，正逐渐成为全球信息技术的新热点和产业发展的新方向，也将成为政府宏观调控、国家治理、社会管理的重要信息基础和技术手段，可以预见，大数据产业的发展将对人类的生产与生活产生巨大影响，将会对世界经济与人类社会发展带来深刻变革。

我们一致认为，在全球经济深刻变革中，对大数据产业的发展既创造了机遇，也带来挑战。贵州大数据产业发展前景广阔，挑战与机遇并存，唯有加强合作，才能让大数据产业在自身发展及拓展世界市场的进程中取得丰硕成果。

我们的目的，是联合所有求发展的全球大数据企业、教育机构和研究机构，共享联盟内的资源，准确定位企业的竞争力，加强合作，形成共生共荣的大数据产业链，共同拓展市场。与此同时，配合政府的工作，扩大联盟的影响力，推动大数据产业的发展。

我们深知，产业联盟作为一种新型合作机制，要实现顺畅运行和预期目标，将会是一个很大的挑战。我们将相互理解，相互尊重，自觉履行产业联盟的权利和义务，为贵州乃至中国大数据产业发展和国家经济建设发挥更大的作用。

大数据产业联盟作为一个开放的合作交流平台，欢迎国内外大数据企业加入及开展多种形式的合作。我们有理由相信，大数据产业必将为贵州乃至中国的科技创新和经济社会发展做出卓越贡献，必将深刻地改变全球经济的发展格局，推动人类社会生活的重大变革，成为21世纪世界历史上的一大奇迹！

大数据产业技术联盟成员（签名）：

第五篇：“大数据”时代计算机信息处理技术探索

“大数据”时代计算机信息处理技术探索

现代社会中无论是计算机的硬件设施还是软件的技术水平的提升不断更新换代，大量数据应运而生，数据机构和数据的储存不断的发生着巨大的改变。创新的数据的不断升级为计算机信息处理技术提出了更高的要求，同时带来了更大的机遇和挑战。对于数据处理的精确性和高效性，提供了关心，进而使他被运用的数量和重视的程度都特别高。

1“大数据〞的概念与特点

1．1大数据的概念

大数据时代，信息的数据量不断的上涨，这样等待处理的数据十分浩大，目前的计算机主流软件在短时间内无法实现对其进行获取、处理、存储、传输、管理等方面的功能，它不仅包括数据量大，同时还包括数据比较难以处理、冗杂多样，同时在处理的过程中，还会出现数据处理的重复性。对于大数据的数据量大到什么程度，目前还没有一个统一的标准，一般认为数据量在10tB－1pB(1tB=1024gB，1pB=1024tB)以上的数据为大数据。

1．2大数据的特点

1．2．1数量大

大数据的产生是基于大量数据信息处理而产生的，需要运用计算机技术处理数据的量越来越大，从tB及已经进展到pB技术的数据处理。

1．2．2速度快

海量的数据，就需要高速度的对数据进行处理，这样才能满足使用者对信息数据的需求，假如大数据的处理出现滞后，将不利于信息的传播与扩大。

1．2．3种类多

随着信息技术在生活应用中普及，现代人们对信息的需求日益多样化，信息数据的来源也越来越多样化，结构化和半结构化的原始数据也出现了多样化，使得大数据呈现出多样化的进展趋势。

2“大数据〞时代的计算机信息处理技术要点

2．1分布式处理技术

分布式数据处理，主要是为了实现数据的分布式存储和处理的一种方式，它是由谷歌公司提出的gFs技术。它采纳了存储列的概念，对数据进行存储后以列为单位，这种技术特点是，循环利用的效率比较高，数据信息的压缩比较快，这种存储结构是采纳了行列混合的方式，能够快速的缩短数据的查询时间和加载海量数据的实际，更加能够把利用磁盘空间提升到最高。目前，分布式处理技术在百度、iBm得到了广泛的应用。

2．2信息安全处理技术

数据飞速进展的时代，互相关联的数据结构从各种数据信息原来独立的形式中脱颖而出，也正是由于关联结构的影响，无论是那一个数据出现问题，伴随其他数据也会受影响而改变。硬件性能在计算机处理技术中常常会起到干扰问题，在大数据安全管理工作的性能中没有完全得到需求，与此同时，这种方式却为计算机网络技术的进展制造了良好条件。不断的进展的信息安全技术为保证大数据信息的安全提供了前提。单个数据或者是单个数据的基础之上不适合建立对信息的安全管理，最重要的是对整个全面的信息系统进行有效管理，正是这种方式，为计算机信息处理技术带来了很大的进展机遇，与此同时也有肯定的挑战。

2．3大数据中的数据存储处理技术

随着网络的日益普及越来越多的内容诸如视频、影像以及虚拟化等等，他们的数据不断的上涨，这是一个巨大的挑战对于存储数据技术而言。在以往的一般数据存储过程中对于计算机网络性能要求并不是很高，因为他的存储量是普遍比较小的，一般的计算机就可以满足这些数据的需求的要求，但是对于出现的特别大的数据而言这样的性能就很难保证存储的效率和容量了。但是假如大数据的存储中应用了一般数据存储技术，那就会造成资源的浪费，所以需要结合当前大数据中的性质特点，对于大数据的存储应当实行新的存储方法大大提升大数据信息的存储中的稳定性和存储信息的快捷性。

2．4聚类分析技术和分类分析技术的特点

在没有明确数据点的前提下，将数据集中在一起分为许多个对象组，然后对每一组对象进行数据分析，进行实现综合去查询数据，这就是聚类分析技术。类分析和聚类分析技术在数据挖掘方面应用的比较广泛。把信息的数据点进行归类总结，在综合数据点之后形成新的数据点，在对他们进行明确的假设和客观结构预报，最终大大预报将来信息的进展的要求，这就是分类分析技术。

2．5数据分析技术

数据分析技术在大数据处理中具有十分重要作用，它是一种应用比较广泛的数据处理技术主要包括了网络的分析技术、空间的分析技术、数据时域的序列分析技术、数据回来的分析技术以及情感的分析技术等等。在这些数据分析技术当中，对自然语言进行编码分析的技术是情感分析技术;在网络的特征基础之上对数据的特征进行分析的技术是网络分析技术。将网络拓扑、地理和几何当中的数据编码技术有机的融合在一起，对数据进行综合分析的统计技术是空间分析技术。

2．6大数据时代，云计算被广泛认可

大数据时代日益进展，云计算也被大家普遍认可和接受，不断被普及与人，这样就让云服务的浪潮趋势不断上涨。云计算把传递过来的信息数据，拟定云平台，互通电子数据进行整合管理。在云平台上可上传信息、下载必要信息等任意操作。云计算具有打破常规，不断提升自身服务，对自身成长不断的挖掘，遵循自主创新的原则，不断的提高日常中常用的流程性能，进行创新性的整合。

2．7新颖的数据挖掘。在搜寻过程中提炼出大量的数据，对于这类数据进行分别解析，查找内在的规律性。这就是数据挖掘涵盖的范畴。目前大部分企业自身拥有的数据库单纯只能进行录入数值、查验并且统计这些功能。很难在大量搜集得出的数值当中提炼出有价值必备的信息，更难总结出查找规律的潜在信息。遵循这种进展很难把深层次的规律进行深挖，也就很难进行规律的表达。总体上来看，数据挖掘可以分为初始预备阶段、探求潜在规律、表示这一规律等这三个时段。数据挖掘为决策流程内增添了的更多的便利。当在大量数据中，又缺失了信息，这种状况下就可以求救于这样的数据挖掘。缘由是因为，假如能够精准的区分出信息的要点，就可以很快的挖掘出潜藏深处的必要信息，这样就更能进行正确的选择。综上所述，当今时代的大数据处理技术，对计算机信息处理技术提出了更高的挑战和更高的要求，需要实行比较冗杂的信息技术对海量的技术进行分析，需要运用计算机技术建立真正适应大数据时代的网络系统和信息处理系统。

作者:童建

单位:云南工商学院

参考文献:

［1］崔杰，李陶深，兰红星．基于Hadoop的海量数据存储平台设计与开发［J］．计算机讨论与进展，2022，49(zl):12～18．

［2］耿秋，孟剑．大数据时代机遇和挑战［J］．中国新时代，2022:172．

本文来源：网络收集与整理，如有侵权，请联系作者删除，谢谢！