bloomberg数据供应情况报告

第一篇：bloomberg数据供应情况报告

 彭博API概述：

彭博api为开发人员提供全天候的编程访问数据来自彭博社的数据中心客户应用程序使用。彭博api，您可以集成流实时和延迟数据，参考数据，历史数据，盘中的数据，彭博派生数据导入自定义和第三方应用程序。

您可以选择您需要的数据单独的字段级别。

彭博api支持运行时可下载的架构提供的服务和提供方法来查询这些架构在运行时。这意味着彭博api可以支持其他服务没有增加接口。

这也使得编写服务能适应变化的应用程序或全新的服务简单。

彭博api对象模型包含少量的关键应用程序使用的对象请求，接收和解释数据。应用程序创建会话对象来管理其与彭博基础设施的连接。某些应用程序可能选择创建多个会话对象为冗余。

使用会话对象，应用程序创建一个服务对象，然后"打开'，它将使用每个彭博服务。例如，彭博提供的流媒体市场数据和引用数据服务。

有两种编程范式可以使用的服务对象。

通过请求数据的对象或客户端可以开始通过订阅管理对象与该服务进行数据更新的订阅的客户端可以进行单独的请求。

根据所使用的服务，客户可以编写处理中的应用范例。

使用哪种范式或范式，彭博基础设施答复邮件与客户端接收到该客户端必须处理异步事件对象的事件。

以编程方式，客户应用事件的对象获取会话，然后从这些事件对象的一个或多个包含彭博社的消息对象的提取物. 支持的调用方式：

RequestResponseParadigm 同步调用机制下的方式.请求响应方式,在请求/响应消息传送模式中，一方发送一个请求消息，接收方将返回一个响应消息。请求/响应处理的两个典型示例是浏览器使用 HTTP 适配器与 Web 服务器进行交互，以及使用简单对象访问协议(SOAP)适配器进行 Web Services 处理。Subscription Paradigm 多线程的委托实现订阅.订阅发布模式定义了一种一对多的依赖关系，让多个订阅者对象同时监听某一个主题对象。这个主题对象在自身状态变化时，会通知所有订阅者对象，使它们能够自动更新自己的状态。Asynchronous Event Handling 异步方式调用,线程不用等待直接继续执行任务.如果想检索消息但不阻碍应用程序的处理，可异步检索消息。在异步消息处理中，启动任务的方法被立即返回而不等待结果。应用程序可以在任务完成过程中继续它原来的工作。任务完成时，服务器可以通知应用程序消息已被成功处理。

Request Response Multiple 同步调用请求响应的多种方式组合使用.Subscription Multiple 订阅多组合消息的方式. 返回结果数据类型及结构：

EventType: SUBSCRIPTION_DATA messageType: MarketDataEvents { LAST_PRICE = 90.89 BID = 90.88 ASK = 90.9 VOLUME = 14304168 HIGH = 93.62 LOW = 90.6 BEST_BID = 90.88 BEST_ASK = 90.9 LAST_TRADE = 90.89 OPEN = 92.6 PREV_SES_LAST_PRICE = 93 INDICATIVE_FAR = 92.62 INDICATIVE_NEAR = 92.62 IMBALANCE_BID = 92.6 VWAP = 91.9119 LAST_ALL_SESSIONS = 90.89 IMBALANCE_INDIC_RT = BUY BID_ALL_SESSION = 90.88 ASK_ALL_SESSION = 90.9 TRADING_DT_REALTIME = 2009-01-30+00:00 EQY_TURNOVER_REALTIME = 1294308731.96565 LAST_UPDATE_BID_RT = 18:45:46.000+00:00 LAST_UPDATE_ASK_RT = 18:45:46.000+00:00 TOT_CALL_VOLUME_CUR_DAY_RT = 12783 TOT_PUT_VOLUME_CUR_DAY_RT = 17211 TOT_OPT_VOLUME_CUR_DAY_RT = 29994 PUT_CALL_VOLUME_RATIO_CUR_DAY_RT = 1 IN_AUCTION_RT = false RT_API_MACHINE = p060 ALL_PRICE_SIZE = 100 ALL_PRICE = 90.89 BID_ASK_TIME = 18:45:46.000+00:00 LAST_AT_TRADE_TDY = 0 SIZE_LAST_AT_TRADE_TDY = 0 OPEN_YLD_TDY = 0 HIGH_YLD_TDY = 0 LOW_YLD_TDY = 0 LAST_YLD_TDY = 0 MID_TDY = 0 SIZE_LAST_TRADE_TDY = 100 SES_START = 14:30:00.000+00:00 SES_END = 21:30:00.000+00:00 RT_PX_CHG_NET_1D =-2.11 RT_PX_CHG_PCT_1D =-2.26882 IND_BID_FLAG = false IND_ASK_FLAG = false OPEN_TDY = 92.6 ASK_SIZE_TDY = 19 BID_SIZE_TDY = 5 VOLUME_TDY = 14304168 LAST_PRICE_TDY = 90.89 BID_TDY = 90.88 ASK_TDY = 90.9 HIGH_TDY = 93.62 LOW_TDY = 90.6 BID_YLD_TDY = 0 ASK_YLD_TDY = 0 LAST2_PRICE = 90.89 LAST_DIR = 1 LAST2_DIR = 1 BID_DIR =-1 ASK_DIR = 1 BID2 = 90.88 ASK2 = 90.9 SIZE_LAST_TRADE = 100 ASK_SIZE = 19 BID_SIZE = 5 TIME = 18:45:45.000+00:00 API_MACHINE = p060 TRADE_SIZE_ALL_SESSIONS_RT = 100 EID = 14005 IS_DELAYED_STREAM = false }

EventType=SESSION_STATUS messageType=SessionStarted SessionStarted = { }

EventType=SERVICE_STATUS messageType=ServiceOpened ServiceOpened = { }

第二篇：45899_造价员应掌握的数据

造价员应掌握的数据

一、普通住宅建筑混凝土用量和用钢量：

1、多层砌体住宅： 钢筋30KG/m2、砼0.3—0.33m3/m2

2、多层框架： 钢筋38—42KG/m2、砼0.33—0.35m3/m2

3、小高层11—12层 ：钢筋50—52KG/m2、砼0.35m3/m2

4、高层17—18层 ：钢筋54—60KG/m2、砼0.36m3/m2

5、高层30层H=94米 ：钢筋65—75KG/m2、砼0.42—0.47m3/m2

6、高层酒店式公寓28层H=90米： 钢筋65—70KG/m2、砼0.38—0.42m3/m2

7、别墅混凝土用量和用钢量介于多层砌体住宅和高层11—12层之间

以上数据按抗震7度区规则结构设计.二、普通多层住宅楼施工预算经济指标

1、室外门窗（不包括单元门、防盗门）面积占建筑面积0.36—0.4

2、模版面积占建筑面积2.2左右

3、室外抹灰面积占建筑面积0.4左右

4、室内抹灰面积占建筑面积3.8

三、施工功效

1、一个抹灰工一天抹灰在35平米

2、一个砖工一天砌小红砖2600—2900块

3、一个砖工一天砌空心砖800—1000块

4、瓷砖15平米

5、刮大白第一遍300平米/天，第二遍180平米/天，第三遍压光90平米/天

四、基础数据

1、混凝土重量2500KG/m3

2、钢筋每延米重量0.00617*d*d

3、干砂子重量1500KG/m3，湿砂重量1700KG/m3

4、石子重量2200KG/m3

5、一立方米红砖525块左右（分墙厚）

6、一立方米空心砖175块左右

7、筛一方干净砂需1.3方普通砂

第三篇：土建工程师应掌握的数据

土建工程师应掌握的数据

12墙一个平方需要64块标准砖18墙一个平方需要96块标准砖24墙一个平方需要128块标准砖 37墙一个平方需为192块标准砖49墙一个平方需为256块标准砖

计算公式：

单位立方米240墙砖用量1/(0.24*0.12*0.6)单位立方米370墙砖用量1/(0.37*0.12*0.6)

空心24墙一个平方需要80多块标准砖

一、普通住宅建筑混凝土用量和用钢量：

1、多层砌体住宅： 钢筋30KG/m2 砼0.3—0.33m3/m22、多层框架 钢筋38—42KG/m2 砼0.33—0.35m3/m23、小高层11—12层 钢筋50—52KG/m2 砼0.35m3/m24、高层17—18层 钢筋54—60KG/m2 砼0.36m3/m25、高层30层H=94米 钢筋65—75KG/m2 砼0.42—0.47m3/m26、高层酒店式公寓28层H=90米 钢筋65—70KG/m2 砼0.38—0.42m3/m27、别墅混凝土用量和用钢量介于多层砌体住宅和高层11—12层之间

以上数据按抗震7度区规则结构设计

二、普通多层住宅楼施工预算经济指标

1、室外门窗（不包括单元门、防盗门）面积占建筑面积0.20—0.242、模版面积占建筑面积2.2左右

3、室外抹灰面积占建筑面积0.4左右

4、室内抹灰面积占建筑面积3.8

三、施工功效

1、一个抹灰工一天抹灰在35平米

2、一个砖工一天砌红砖1000—1800块

3、一个砖工一天砌空心砖800—1000块

4、瓷砖15平米

5、刮大白第一遍300平米/天，第二遍180平米/天，第三遍压光90平米/天

四、基础数据

1、混凝土重量2500KG/m32、钢筋每延米重量0.00617*d*d3、干砂子重量1500KG/m3，湿砂重量1700KG/m34、石子重量2200KG/m35、一立方米红砖525块左右（分墙厚）

6、一立方米空心砖175块左右

7、筛一方干净砂需1.3方普通砂。

一点不同观点：

1、一般多层砌体住宅： 钢筋25-30KG/m2，其中经济适用房为16--18KG/m22、一般多层砌体住宅，室外抹灰面积占建筑面积0.5--0.7。

3、一般多层砌体住宅，模版面积占建筑面积1.3--2.2，根据现浇板多少、柱密度变化很大。

4、一个砖工一天砌240砖墙1000—1800块，370或500墙2000--3000块。

5、钢筋混凝土重量2200KG/m3，素混凝土重量2100KG/m3。

6、工程石子重量1800KG/m3。

0.617是圆10钢筋每米重量。钢筋重量与直径（半径）的平方成正比。

G=0.617*D*D/100 每米的重量(Kg)＝钢筋的直径(mm)×钢筋的直径(mm)×0.00617

其实记住建设工程常用的钢筋重量也很简单φ6＝0.222 Kg φ6.5＝0.26kg φ8＝0.395kg φ10＝0.617kg φ12＝0.888kg Φ14＝1.21kg Φ16＝1.58kg Φ18＝2.0kg Φ24＝2.47kgΦ22＝2.98kgΦ25＝3.85kgΦ28＝4.837kg.....Φ12(含12)以下和Φ28(含28)的钢筋一般小数点后取三位数，Φ14至Φ25钢筋一般小数点后取二位数 Φ6=0.222Kg Φ8=0.395Kg Φ10=0.617Kg Φ12=0.888Kg Φ14=1.21Kg Φ16=1.58Kg Φ18=2Kg Φ20=2.47Kg Φ22=3Kg Φ25=3.86Kg

我有经验计算公式，你自己计算一个表格就可以了。也可以去买一本有表格的书，用起来也很方便的。

钢材理论重量计算简式 材料名称 理论重量W（kg/m）扁钢、钢板、钢带 W＝0.00785×宽×厚 方钢 W＝0.00785×边长2 圆钢、线材、钢丝 W＝0.00617×直径2 钢管 W＝0.02466×壁厚（外径--壁厚）等边角钢 W＝0.00785×边厚（2边宽--边厚）不等边角钢 W＝0.00785×边厚(长边宽+短边宽--边厚)工字钢 W＝0.00785×腰厚[高+f（腿宽-腰厚）] 槽钢 W＝0.00785×腰厚[高+e（腿宽-腰厚）]

备注：

1、角钢、工字钢和槽钢的准确计算公式很繁，表列简式用于计算近似值。

2、f值：一般型号及带a的为3.34，带b的为2.65，带c的为2.26。

3、e值：一般型号及带a的为3.26，带b的为2.44，带c的为2.24。

4、各长度单位均为毫米

市政工程挖掘机、压路机，这个根据合同协议相互协商的，我朋友帮忙打听了一下，挖掘机进场测油，3000元入场费，出场2000元，加进场同等油料；压路机1500元入场费，出场自费，添加满箱油料。原因压路机遍地都是，好找，挖掘机需要板车拖运，在市区内不好操作。仅供参考。

第四篇：大数据读书报告

大数据读书报告

网络13-1戴崇卓

大数据的概念

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。

大数据的5V特点（IBM提出）

Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。

大数据的意义

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。

大数据的结构

大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它

保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开：

第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

大数据的应用

洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。Google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。麻省理工学院利用手机定位数据和交通数据建立城市规划。

梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。

大数据的趋势

趋势一：数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

趋势四：数据科学和数据联盟的成立

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

趋势五：数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。

趋势六：数据管理成为核心竞争力 数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。

趋势七：数据质量是BI(商业智能)成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。

趋势八：数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分;系统机制的调整，也就是商业模式的创新;系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。

大数据的IT分析工具

大数据概念应用到IT操作工具产生的数据中，大数据可以使IT管理软件供应商解决大广泛的业务决策。IT系统、应用和技术基础设施每天每秒都在产生数据。大数据非结构化或者结构数据都代表了„所有用户的行为、服务级别、安全、风险、欺诈行为等更多操作‟的绝对记录。

大数据分析的产生旨在于IT管理，企业可以将实时数据流分析和历史相关数据相结合，然后大数据分析并发现它们所需的模型。反过来，帮助预测和预防未来运行中断和性能问题。进一步来讲，他们可以利用大数据了解使用模型以及地理趋势，进而加深大数据对重要用户的洞察力。他们也可以追踪和记录网络行为，大数据轻松地识别业务影响；随着对服务利用的深刻理解加快利润增长；同时跨多系统收集数据发展IT服务目录。

大数据分析的想法，尤其在IT操作方面，大数据对于我们发明并没有什么作用，但是我们一直在其中。Gartner已经关注这个话题很多年了，基本上他们已经强调，如果IT正在引进新鲜灵感，他们将会扔掉大数据老式方法开发一个新的IT操作分析。

第五篇：大数据调研报告

大数据技术市场调查报告：“BigData浪潮”迫使企业做出抉择

发表于2012-02-06 13:26| 2517次阅读| 来源CSDN| 0 条评论| 作者李智

数据中心浪潮数据挖掘数据分析大数据

摘要：大数据时代的数据格式特性 首先让我们先来了解一下大数据时代的数据格式特性。从IT角度来看，信息结构类型大致经历了三次浪潮。必须注意这一点，新的浪潮并没取代旧浪潮，它们仍在不断发展，三种数据结构类型一直存在，只是其中一种结构类型往往主导于其他结构： 结构化信息这种信息可以在关...根据IDC的调查报告预测到2020年全球电子设备存储的数据将暴增30倍，达到35ZB（相当于10亿块1TB的硬盘的容量）。大数据浪潮的到来也为企业带来了新一轮的挑战。对于有准备的企业来说这无疑是一座信息金矿，能够合理的将大数据转换为有价值信息成为未来企业的必备技能。恰逢此时，CSDN专门针对企业相关人员进行了大规模问卷调研，并在数千份的调查报告中总结出现今企业大数据业务的现状。在此我们也将调研结果展示与此以供大家参考。

大数据时代的数据格式特性 首先让我们先来了解一下大数据时代的数据格式特性。从IT角度来看，信息结构类型大致经历了三次浪潮。必须注意这一点，新的浪潮并没取代旧浪潮，它们仍在不断发展，三种数据结构类型一直存在，只是其中一种结构类型往往主导于其他结构：

结构化信息——这种信息可以在关系数据库中找到，多年来一直主导着IT应用。这是关键任务OLTP系统业务所依赖的信息，另外，还可对结构数据库信息进行排序和查询； 半结构化信息——这是IT的第二次浪潮，包括电子邮件，文字处理文件以及大量保存和发布在网络上的信息。半结构化信息是以内容为基础，可以用于搜索，这也是谷歌存在的理由； 非结构化信息——该信息在本质形式上可认为主要是位映射数据。数据必须处于一种可感知的形式中（诸如可在音频、视频和多媒体文件中被听或被看）。许多大数据都是非结构化的，其庞大规模和复杂性需要高级分析工具来创建或利用一种更易于人们感知和交互的结构。

企业内部大数据处理基础设施普遍落后

从调查结果可以看出，接近50%的企业服务器数量在100台以内，而拥有100至500台占据了22%的比例。500至2000台服务器则占据剩下28.4%的比例。可以看出面对大数据现今大部分企业还没有完善其硬件基础架构设施。以现阶段企业内大数据处理基础设施的情况来看50%的企业面临大数据处理的问题（中小企业在面对大数据的解决之道应遵循采集、导入/处理、查询、挖掘的流程）。

但这只是暂时状况，“廉价”服务器设施会随着企业业务的发展逐渐被淘汰出历史的舞台，在未来企业基础架构体系的硬件选用上，多核多路处理器以及SSD等设备会成为企业的首选。Facebook的Open Compute Project就在业界树立了榜样，Open Compute Project利用开源社区的理念改善服务器硬件以及机架的设计。其数据中心PUE值也是领先与业内的其他对手。

而在具有大数据处理需求的企业中52.2%的日数据生成量在100GB以下，日数据生成量100GB到50TB占据了43.5%，而令人惊讶的是，日数据生成量50TB以上也有4.4%的份额。数据量持续的增长，公司将被迫增加基础设施的部署。专利费用将一直增加，而开源技术，则省了这笔一直持续的专利费。对于急需改变自己传统IT架构的企业而言，传统的结构化数据与非结构化数据的融合，成了所有人关心的问题。

企业面对大数据处理的挑战与问题

现今大数据呈现出“4V + 1C”的特点。既Variety：一般包括结构化、半结构化和非结构化等多类数据，而且它们处理和分析方式有区别；Volume：通过各种设备产生了大量的数据，PB级别是常态；Velocity：要求快速处理，存在时效性；Vitality：分析和处理模型必须快速变化，因为需求在变；Complexity：处理和分析的难度非常大。

从图中我们可以看出资源利用率低、扩展性差以及应用部署过于复杂是现今企业数据系统架构面临的主要问题。其实大数据的基础架构首要需要考虑就是前瞻性，随着数据的不断增长，用户需要从硬体、软件层面思考需要怎样的架构去实现。而具备资源高利用率、高扩展性并对文件存储友好的文件系统必将是未来的发展趋势。

应用部署过于复杂也催生了大数据处理系统管理员这一新兴职业，其主要负责日常Hadoop集群正常运行。例如直接或间接的管理硬件，当需要添加硬件时需保证集群仍能够稳定运行。同时还要负责系统监控和配置，保证Hadoop与其他系统的有机结合。

而多格式数据、读写速度（读写速度是指数据从端点移动到处理器和存储的速度）以及海量数据是企业面临大数据处理急需解决的技术挑战。众所周知随着大容量数据（TB级、PB级甚至EB级）的出现，业务数据对IT系统带来了更大的挑战，数据的存储和安全以及在未来访问和使用这些数据已成为难点。同时大数据不只是关于数据量而已。大数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。充分利用有用的数据，废弃虚伪无用的数据，是数据挖掘技术的最重要的应用。

企业内部数据分析与挖掘工具应用现状

云时代企业数据挖掘面临如下三点挑战。挖掘效率：进入云计算时代后，BI的思路发生了转换。以前是基于封闭的企业数据进行挖掘，而面对引入互联网应用后海量的异构数据时，目前并行挖掘算法的效率很低；多源数据：引入云计算后，企业数据的位置有可能在提供公有云服务的平台上，也可能在企业自建的私有云上，如何面对不同的数据源进行挖掘也是一个挑战；异构数据：Web数据的最大特点就是半结构化，如文档、报表、网页、声音、图像、视频等，而云计算带来了大量的基于互联网模式提供的SaaS应用，如何梳理有效数据是一个挑战。抛去价格因素之外可以看出反应速度慢、操作不方便、数据不准确、分析不准确这四项是企业数据分析与数据挖掘面临的主要问题。商业化解决方案固然成熟，但成本也是显而易见的。而具备在开源平台之上处理分析大数据能力的数据科学家则成为另外的一种选择。数据科学家具备专业领域知识并具备研究利用相应算法分析对应问题的能力，可帮助创建推动业务发展的相应的大数据产品和大数据解决方案。

从调查结果中我们可以看出Hadoop占据了半壁江山，而同为开源的HBase也有将近四分之一的占有率。而商业化的数据分析与挖掘平台（如Teradata、Netezza、Greenplum等）总共只有13.9%的份额。短期来讲，开源分析将越来越广泛的使用，并且增长迅速。长期来看，混合技术的应用将在高度竞争的市场上出现，两者将同样有巨大的需求。可以预见的是，Hadoop作为企业级数据仓库体系结构核心技术，在未来的10年中它将会保持增长。随着云时代的到来，企业面临的应用方式更加多元化，通过云的手段提供海量数据挖掘的方法，提高了挖掘的效率，增加了挖掘的精度，更利于挖掘应用的推广以及专业的行业知识库的构建。同时收集、存储庞大的新型数据充满了挑战，然而分析这些数据的新方法才是帮助最成功企业甩开竞争对手的利器。