大数据学习总结

第一篇：大数据学习总结

《大数据时代》读后感

一、学习总结

1、关于作者

维克托·迈尔-舍恩伯格（Viktor Mayer-Schönberger），他是十余年潜心研究数据科学的技术权威，他是最早洞见大数据时代发展趋势的数据科学家之一。

2、关于大数据 1）大数据是什么

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume（大量）、Velocity（（高）速率）、Variety（多样性）、Veracity（真实）。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。2）大数据的来源

所谓的“Big Data”是由IBM和Gartner分析师提出的概念，我们比较时髦的称其为大数据。

3）大数据现状、应用

通过分析和优化企业数据实现一种对未来的企业运营的精准的预测能力。采用一系列的技术，从技术中获得洞察力，也就是BI或者分析；另外一个是分析路径，寻找关键绩效指标，从仪表盘这样的工具进行数据分析，实现预测性工作。4）大数据未来

Fayyad曾被视为数据挖掘领域的No.1，他用下图向我们解释了为什么说分析是大数据未来的发展方向。

3、关于大数据时代 1)思维变革

 更多：不是随机样本，而是全体数据；“样本=总体”。

 更杂：不是精确性，而是混杂性；允许不精确，最大化利用全体数据。 更好：不是因果关系，而是相关关系；“是什么”，而不是“为什么”。2)商业变革

 数据化：一切皆可“量化”；关注信息本身。 价值：发现、利用数据的价值。

 角色定位：大数据掌控、大数据技术、大数据思维的三足鼎立。3)管理变革

 责任：数据来源有效性、数据存储安全性、数据使用合法性。 自由：反对数据垄断大亨。

二、读后感

1、大数据时代，是名符其实的“信息社会”

经历了口口相传、纸媒传播，到现在的网络技术，我们可以获得比以前更多的信息并进行分析，可以从更多的维度诠释世界。

通讯技术的发展，促进了个人/组织在信息获取上的平等发展，数据不再是限制我们努力的因素了。数据的的爆炸式产生，促使我们必须从海量的信息中做出选择、掌握数据挖掘技术和筛选工具。

2、大数据技术支持预测工作

大数据的4V特点，及对相对关系的发掘，改变了传统的基于少量样本的预测思维。思维的转变，将会在各行各业中爆发出更多的预测技术和工具，进而支撑预测工作的大力发展。

大数据技术越完善，我们越能更快更全面的获得更多的有效数据，预测则越准确。

3、知识管理迫在眉睫

大数据的未来是数据分析，而分析的目的是转化为经验、规律、总结„„，它们的集合就是知识。知识是个人/组织成长的直接推动因素。

知识管理要遵循积累原则（知识积累是实施知识的管理基础）、共享原则（一个组织内部的信息和知识要尽可能公开，使每一个员工都能接触和使用公司的知识和信息）、交流原则（知识管理的核心就是要在公司内部建立一个有利于交流的组织结构和文化气氛，使员工之间的交流毫无障碍）。这三原则不正是大数据技术的组织基础吗？

三、在工作中的而应用

1、关注运作工作向数据管理方向的转化

在仓储工作中，为物品对象（仓库、货物、设备、员工等）、流程对象（如作业、异常处理、管理等）建立属性列表，关注数据积累。

同时，关注仓储数据与运输、客服、园区等各方面环境数据的对应。

2、重视数据挖掘，提高数据分析能力

根据运作问题和目标，通过数据挖掘和分析，寻找有效的数据指标。通过对关键指标的趋势预测，发现潜在风险、发掘改善途径。

3、推动数据转化，促进建立知识管理系统

在实际工作中，重视对裸数据、经验、执行文件的管理，引导各项目的知识转化。建立从数据积累、知识转化（数据到知识、隐性知识到显性知识、个体知识到组织知识等）、知识共享的知识管理体系，形成仓储管理知识体系及其良性循环。

（正文结束）

第二篇：大数据学习路线

大数据学习路线

年薪30W大数据学习路线图：

一、Hadoop入门，了解什么是Hadoop

1、Hadoop产生背景

2、Hadoop在大数据、云计算中的位置和关系

3、国内外Hadoop应用案例介绍

4、国内Hadoop的就业情况分析及课程大纲介绍

5、分布式系统概述

6、Hadoop生态圈以及各组成部分的简介

7、Hadoop核心MapReduce例子说明

二、分布式文件系统HDFS，是数据库管理员的基础课程

1、分布式文件系统HDFS简介

2、HDFS的系统组成介绍

3、HDFS的组成部分详解

4、副本存放策略及路由规则

5、NameNode Federation

6、命令行接口

7、Java接口

8、客户端与HDFS的数据流讲解

9、HDFS的可用性（HA）

三、初级MapReduce，成为Hadoop开发人员的基础课程

1、如何理解map、reduce计算模型

2、剖析伪分布式下MapReduce作业的执行过程

3、Yarn模型

4、序列化

5、MapReduce的类型与格式

6、MapReduce开发环境搭建

7、MapReduce应用开发

8、更多示例讲解，熟悉MapReduce算法原理

四、高级MapReduce，高级Hadoop开发人员的关键课程

1、使用压缩分隔减少输入规模

2、利用Combiner减少中间数据

3、编写Partitioner优化负载均衡

4、如何自定义排序规则

5、如何自定义分组规则

6、MapReduce优化

7、编程实战

五、Hadoop集群与管理，是数据库管理员的高级课程

1、Hadoop集群的搭建

2、Hadoop集群的监控

3、Hadoop集群的管理

4、集群下运行MapReduce程序

六、ZooKeeper基础知识，构建分布式系统的基础框架

1、ZooKeeper体现结构

2、ZooKeeper集群的安装

3、操作ZooKeeper

七、HBase基础知识，面向列的实时分布式数据库

1、HBase定义

2、HBase与RDBMS的对比

3、数据模型

4、系统架构

5、HBase上的MapReduce

6、表的设计

八、HBase集群及其管理

1、集群的搭建过程讲解

2、集群的监控

3、集群的管理

九、HBase客户端

1、HBase Shell以及演示

2、Java客户端以及代码演示

十、Pig基础知识，进行Hadoop计算的另一种框架

1、Pig概述

2、安装Pig

3、使用Pig完成手机流量统计业务

十一、Hive，使用SQL进行计算的Hadoop框架

1、数据仓库基础知识

2、Hive定义

3、Hive体系结构简介

4、Hive集群

5、客户端简介

6、HiveQL定义

7、HiveQL与SQL的比较

8、数据类型

9、表与表分区概念

10、表的操作与CLI客户端演示

11、数据导入与CLI客户端演示

12、查询数据与CLI客户端演示

13、数据的连接与CLI客户端演示

14、用户自定义函数（UDF）的开发与演示

十二、Sqoop，Hadoop与rdbms进行数据转换的框架

1、配置Sqoop

2、使用Sqoop把数据从MySQL导入到HDFS中

3、使用Sqoop把数据从HDFS导出到MySQL中

十三、Storm

1、Storm基础知识：包括Storm的基本概念和Storm应用

场景，体系结构与基本原理，Storm和Hadoop的对比

2、Storm集群搭建：详细讲述Storm集群的安装和安装时常见问题

3、Storm组件介绍: spout、bolt、stream groupings等

4、Storm消息可靠性：消息失败的重发

5、Hadoop 2.0和Storm的整合：Storm on YARN

6、Storm编程实战

第三篇：数据网学习心得体会

数据通信技术与维护管理学习心得体会

在我们的仔细聆听中，我们期盼已久的培训学习在我们的恋恋不舍中敲响了结尾的钟声。对于一个月的培训课程，我想我只能用受益匪浅这四个字来形容了。老师们的博文广识、生动讲解、精彩案例无不在我的脑海里留下了深刻的印象，我只恨自己才疏学浅、文笔糟糕，不能够将所有的感触都通过文字显然于纸上。但是我还是尽力绞尽脑汁，以祈求能将培训完后心中所想所获能表达出来。

此次精彩的培训学习主要心得有以下几个方面：

一、让自己更加了解数据通信系统，了解数据通信原理，了解局域网技术和网络协议。

通过这次的培训学习，我知道了是一个由分布在各地的数据终端设备、数据交换设备和数据传输链路构成的网络，其功能是在网络协议支持下，实现数据终端间的数据传输和交换。数据通信网的组成包括:数据终端设备；数据交换设备；数据传输链路；通信协议。此外还掌握了网络协议分析软件的基本操作，并对ARP、TCP和UDP协议等做了基本的实作分析。

二、了解了综合视频监控、会议电视等数据通信业务 综合视频监控采用网络化、数字化视频监控技术和IP传输方式构建的视频监控系统，提供铁路各业务部门和信息系统所需的视频信息，实现网络和视频信息资源共享。全路现有视频系统达500多个，安装摄像机18524套。包括模拟和数字系统，除近年来建设的有青藏线路视频监视系统、客运专线、编组站及大站视频监视系统等，早期建设的视频系统大部分没有经过联网，仅为本地区单业务部门用户服务。

视频会议（会议电视）是视讯传输技术的典型应用之一，一种在不同地点的用户以电视的方式举行会议，传输图像、声音和文件的通信方式。视频会议具有节省时间、缩短空间、提高效率等优点。视频会议是现代计算机技术、通信技术和视频技术完美结合的产物。

三、学习了综合网管，数据网组网及相关技术规章，并了解了数据网常见故障分析及维护策略

网络管理功能可概括为OAM﹠P，即网络的操作(Operation)、管理(Administration)、维护(Maintenance)、服务提供(Provisioning)等所需要的各种活动。有时也只考虑前三种，即把网络管理功能归结为OAM.数据网网管的主要功能：对网络中的设备进行配置管理，以利于运营维护；实现网络的运行状况监控，包括：故障监视、告警等功能；实现网络的计费，例如：流量统计等；实现网络的安全管理，例如：相关安全设置、用户设置等。

铁路IP数据网分为专用IP数据网和综合IP数据网。专用IP数据网指独立组网的信息网络，包括：客票网、CTC/TDCS网、公安网、机要网等；铁路数据通信网是综合IP数据网（以下简称数据网），是铁路信息业务及通信系统数据通信业务共用的数据通信基础网络平台。

数据网应承载铁路信息化发展总体规划中的客货运营销、经营管理和部分运输组织的信息应用系统（包括：旅客信息服务信息系统、办公信息化、运输生产及调度指挥信息系统、各类监测系统等），以及通信系统数据通信业务（包括：铁路综合视频监控系统、GSM-R GPRS、会议电视系统、网管系统、SIM卡管理等系统）。

四、最后我们学员间还进行了工作交流

通过交流我们互相之间了解了各铁路局数据网的使用情况，并通过交流我们互相学习数据网的维护，从而提高了我对数据网维护工作的技术水平。以便以后能够更好的进行工作。

学习是可贵的，培训是精彩的。通过这次可贵而精彩的培训学习，我们向铁路数据通信更进了一步。感叹与憧憬之余，我想我们只有靠自己的聪明与才智、努力与勤奋去建设好铁路，为我们的铁路数据通信更好的发展贡献自己微薄的力量。

太原通信段技术支持中心

武威

2013年12月13日

第四篇：消防 年终 数据 总结

2012年工作总结

3.1本着投资节约的原则，加强对公司消防设施、设备的精心维护和保养，保证了消防设施、设备处于良好备用状态。申请配置了部分较为经济实用的消防设施、设备，为股份公司更换各类灭火器129具、灭火器箱25个、室内消火栓4套、室外地上式消火栓2根、消防水带16盘；为改制企业更换各类灭火器112具，灭火器箱21个，室内消火栓箱5套，室外消火栓6根，水带44盘，水枪17支；充装氧气瓶235个、空气瓶107个，校准氧气呼吸器730台次，检测空气呼吸器132台、氧气气瓶120个，送检氧压表340块。

3.2坚持消防救护安全巡检和日常工作，发现隐患，及时整改。2012年共进行消防、气防安全月度检查35人次，查出各类隐患48起，全部督促整改完毕；坚持每周对股份公司和改制单位进行氧气呼吸器巡查、每季度检查防毒面具，查出的问题都及时处理。开展气防安全、防火防爆、冬季防火等专项检查，共查出各类隐患34起，全部督促整改。坚持每周检查抢险救援器材，并启动、试验、保养；每日车辆例检，发现问题，及时解决。

3.3接警及时，出动迅速。共接报火警22起，出动火警消防车31台/次，消防人员173人/次（其中公司内10次，地方12次）；完成各类动活作业监护276次，出动消防车辆311台/次，消防员1258人次；生产现场救护6次，出动救护车辆6台/次，救护人员19人/次；抢险救援9次，出动车辆22台/次，人员103人/次（其中公司内2次，地方7次），成功救出5人。参加泸州市人员密集场所、宾馆以及泸州市、纳溪区防灾救灾综合演练等，共出动消防救护车辆22台次，消防指战员112人次；其他工作任务50次，出动消防救护车辆58台次，人员265人次。社会救助2次，救出1人。在“7.23”抗洪抢险中，共出动消防车辆14台次、人员84人次投入到抗洪抢险中，成功救出落水群众1人、疏散30余人、清洗淤泥路面1500余平方米。

3.4强化消防救护人员的基本功、适用性训练，不断提高消防救护人员专业技能。全年组织消防救护人员进行了为期6个月的消防救护理论和技能训练，其中春训安排在4-6月，秋训9-11月，由中心领导亲自任教、督促，抽调业务骨干和当班班长担任教员进行消防业务22项基本功及业务应用性训练。春训结束已进行了考核，目前，秋训工作正在开展中，待训练结束后完成考核任务。

3.5加强从业人员和特种作业人员的消防救护安全教育、培训，不断提高他们的消防救护安全知识和技能。上半年对各单位进行教育培训9次，培训人员约200余人次。积极宣传消防好人好事，利用安全生产月和119宣传日等，大力宣传消防法律法规、消防常识、火场逃生自救技能等。向报社投稿10余篇。

（统计起止日期：2011年10月20日—2012年10月19日）

第五篇：基础数据总结

基础数据

1、混凝土重量2500KG/m3

2、钢筋每延米重量0.00617*d*d

3、干砂子重量1500KG/m3，湿砂重量1700KG/m34、石子重量2200KG/m3

5、一立方米红砖525块左右（分墙厚）

6、一立方米空心砖175块左右

7、筛一方干净砂需1.3方普通砂

一点不同观点：

1、一般多层砌体住宅： 钢筋25-30KG/m2，其中经济适用房为16--18KG/m2.2、一般多层砌体住宅，室外抹灰面积占建筑面积0.5--0.7。

3、一般多层砌体住宅，模版面积占建筑面积1.3--2.2，根据现浇板多少、柱密度变化很大。

4、一个砖工一天砌240砖墙1000—1800块，370或500墙2000--3000块。

5、钢筋混凝土重量2200KG/m3，素混凝土重量2100KG/m3。

6、工程石子重量1800KG/m3。

0.617是圆10钢筋每米重量。钢筋重量与直径（半径）的平方成正比。

G=0.617*D*D/100 每米的重量(Kg)＝钢筋的直径(mm)×钢筋的直径(mm)×0.00617 其实记住建设工程常用的钢筋重量也很简单φ6＝0.222 Kg φ6.5＝0.26kg φ8＝0.395kg φ10＝0.617kg φ12＝0.888kg Φ14＝1.21kg Φ16＝1.58kg Φ18＝2.0kg Φ24＝2.47kgΦ22＝2.98kgΦ25＝3.85kgΦ28＝4.837kg............Φ12(含12)以下和Φ28(含28)的钢筋一般小数点后取三位数，Φ14至Φ25钢筋一般小数点后取二位数 Φ6=0.222Kg Φ8=0.395Kg Φ10=0.617Kg Φ12=0.888Kg Φ14=1.21Kg Φ16=1.58Kg Φ18=2Kg Φ20=2.47Kg Φ22=3Kg Φ25=3.86Kg

钢材理论重量计算简式

材料名称 理论重量W（kg/m）

扁钢、钢板、钢带 W＝0.00785×宽×厚

方钢 W＝0.00785×边长2 圆钢、线材、钢丝 W＝0.00617×直径2 钢管 W＝0.02466×壁厚（外径--壁厚）

等边角钢 W＝0.00785×边厚（2边宽--边厚）

不等边角钢 W＝0.00785×边厚(长边宽+短边宽--边厚)工字钢 W＝0.00785×腰厚[高+f（腿宽-腰厚）] 槽钢 W＝0.00785×腰厚[高+e（腿宽-腰厚）] 备注：

1、角钢、工字钢和槽钢的准确计算公式很繁，表列简式用于计算近似值。

2、f值：一般型号及带a的为3.34，带b的为2.65，带c的为2.26。

3、e值：一般型号及带a的为3.26，带b的为2.44，带c的为2.24。

4、各长度单位均为毫米

一、普通住宅建筑混凝土用量和用钢量：

1、多层砌体住宅：

钢筋30KG/m2

砼0.3—0.33m3/m2

2、多层框架

钢筋38—42KG/m2

砼0.33—0.35m3/m2

3、小高层11—12层

钢筋50—52KG/m2

砼0.35m3/m2

4、高层17—18层

钢筋54—60KG/m2

砼0.36m3/m2

5、高层30层H=94米

钢筋65—75KG/m2

砼0.42—0.47m3/m2

6、高层酒店式公寓28层H=90米

钢筋65—70KG/m2

砼0.38—0.42m3/m2

7、别墅混凝土用量和用钢量介于多层砌体住宅和高层11—12层之间

以上数据按抗震7度区规则结构设计

二、普通多层住宅楼施工预算经济指标

1、室外门窗（不包括单元门、防盗门）面积占建筑面积0.20—0.24

2、模版面积占建筑面积2.2左右

3、室外抹灰面积占建筑面积0.4左右

4、室内抹灰面积占建筑面积3.8

三、施工功效

1、一个抹灰工一天抹灰在35平米

2、一个砖工一天砌红砖1000—1800块

3、一个砖工一天砌空心砖800—1000块

4、瓷砖15平米

5、刮大白第一遍300平米/天，第二遍180平米/天，第三遍压光90平米/天

四、基础数据

1、混凝土重量2500KG/m3

2、钢筋每延米重量0.00617*d*d

3、干砂子重量1500KG/m3，湿砂重量1700KG/m3

4、石子重量2200KG/m3

5、一立方米红砖525块左右（分墙厚）

6、一立方米空心砖175块左右

7、筛一方干净砂需1.3方普通砂