好程序员大数据培训心得感悟 敬谢恩师大数据赋能之路

第一篇：好程序员大数据培训心得感悟 敬谢恩师大数据赋能之路

好程序员大数据培训心得感悟 敬谢恩师大数据赋能之路

时光飞逝，日月如梭，转眼间我踏进千锋这个大家庭度过五个多月的奋斗时光。从最开始的编程入门---Java学习阶段（这是非常重要的阶段，只有打下扎实的基础才能在以后的阶段里不落后），到后来的大数据核心课程---hadoop学习阶段（期间不断地接触新技术、新概念、新知识，一个又一个的知识点就呼啸而来，需要坚韧的毅力坚持下来），再到后来的spark学习阶段（这里的感受同hadoop阶段是一样一样的），大数据学习的最后阶段便是在前面学习的基础上，通过项目来进行知识点的巩固和理解，以及对以后工作的流程和业务有一定的了解。在这五个多月的时光里，有汗水、有努力、有辛劳；有就业老师、技术老师、班主任对我孜孜不倦的教诲和同学对我的帮助，这里对大家说一句谢谢！

关于大数据培训，我是零基础来学习的，之前也只是在网上或听朋友们聊起过，自己开始根本不知道它是什么样子。起初我还是有些担心，因为没有“底子”怕跟不上高端班学习的进度，但是周围的老师、同学都很热心，也慢慢的和他们打成一片。老师讲课内容很细致，从简单的赋值、运算，到进程、线程的运用，老师每天辛苦传授我们专业知识，为我们解答各种学习上的‘疑难杂症’。日积月累，我渐渐的跟上大家的进度。而且，一旦上课内容消化不了，老师就会讲第二遍甚至第三遍，如果还不懂，课后还能私下请教老师，老师都会细致的讲解问题。

子曰“:学而不思则罔，思尔不学则殆”，老师将技术传授于我们，我们要好好结合运用，多敲代码多思考才能理解这个程序运行的思路。有了思路代码就能够很快的写出。

在这五个多月里，我收获许多，从开始的陌生人到现在的同学，从原来的不习惯到现在的适应，从刚开始的懵懂无措到现在自己能够独立的完成一些作业和代码，有很多成就感和满足感。

在好程序员的大数据培训生活虽然很累（每晚十点左右回去），但每天都能学到新东西，每天都过得很充实。使我的知识面又得到了拓展，也许今后的坎坷和困难绝对不会少，但我早已做好准备！也愿大家都前程似锦，加油冲冲冲！

第二篇：好程序员大数据培训-大数据用到哪些技术？

好程序员大数据培训-大数据用到哪些技术

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。

想要学好大数据需掌握以下技术：

1.Java编程技术

Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的!

2.Linux命令

对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令。

3.Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作!

4.Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

5.Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

6.ZooKeeper

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

7.HBase

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。

8.phoenix

phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

9.Redis

Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。

10.Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。

11.SSM

SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作为数据源较简单的web项目的框架。大数据开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用SSM进行整合操作。

12.Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现!

13.Scala

Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识!

14.Spark

Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。

15.Azkaban

Azkaban是一个批量工作流任务调度器，可用于在一个工作流内以一个特定的顺序运行一组工作和流程，可以利用Azkaban来完成大数据的任务调度，大数据开发需掌握Azkaban的相关配置及语法规则。

16.Python与数据分析

Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。

好程序员特训营自2014年成立至今，一直立志培养高薪，高能，高职的程序员人才，截至目前，好程序员学员就业均薪1万5以上，学员薪资最高达到2万9千元。现开设大数据、Html5、JavaEE、Python等高端精品课程，坚持100%全程面授;这里将是你通向软件开发工程师的新起点。

只有完整的学完以上技术，才能算得上大数据开发人才，真正从事大数据开发相关工作，工作才更有底气，升职加薪不成问题!

第三篇：好程序员大数据Java语言基础学习12条心得感悟（本站推荐）

好程序员大数据Java语言基础学习12条心得感悟

入学千锋好程序员大数据高端班有一个月了，首先学习的是Java语言基础阶段，以下是我在这一月中的学习经验，希望对迷茫的Java爱好者有所帮助：

第一步：首先要做好学习前的准备工作：Java语言一般用于大型的服务器程序开发，所有有必要了解如下内容：Unix开发环境Unix系统原理、Unix开发环境、Unix常用命令。熟练掌握Unix常用命令；熟练构建下的Java开发环境。

第二步：然后进入Java语言基础的学习阶段，学习任何一门语言都要打好基础，曾经学过高级程序语言（C，C++等）来说，Java语言基础有自己的特点，但是基本规律都是相通的，如：算法基础、常用数据结构、企业编程规范。掌握常见的数据结构和实用算法，培养良好的企业级编程习惯。

第三步：掌握Java语言基础后接下来就是面向对象语言的共性：Java面向对象面向对象特性：封装、继承、多态等。掌握面向对象的基本原则以及在编程实践中的意义；掌握Java面向对象编程基本实现原理。

第四步：JDK核心API语言核心包、异常处理、常用工具包、集合框架。熟练掌握JDK核心API编程技术；理解API设计原则；具备熟练的阅读API文档的能力；JavaSE核心异常处理、多线程基础、IO系统、网络编程、Swing组件、JVM性能调优（JVM内存结构剖析、GC分析及调优、JVM内存参数优化）、Java泛型、JDK新特性。熟练掌握JavaSE核心内容，特别是IO和多线程；初步具备面向对象设计和编程的能力；掌握基本的JVM优化策略。XML XML语法、XML解析（SAX、DOM）、Dom4j组件、Digester组件。熟练掌握XML语法规则；理解DOM模型；熟悉Java对XML的各种解析方式。

第五步：SQL语言SQL语句基础和提高、SQL语句调优。熟练的掌握SQL语句；掌握一定的数据库查询技巧及SQL语句优化技巧。Oracle数据库开发Oracle体系结构及系统管理、Oracle数据库高级编程、数据库设计基础。掌握Oracle体系结构及核心编程技术

第六步：连接数据库：JDBC JDBC核心API（Connection、Statement、ResultSet）、JDBC优化技术（缓存技术、批处理技术、连接池技术）。理解JDBC作为规范的设计原则；熟练掌握JDBC API；具备使用JDBC对数据库进行高效访问的能力。

第七步：软件工程基础软件过程和软件活动；需求设计、概要设计、详细设计基本原则和文档规范；配置管理的基本概念和必要性；CVS基本操作；Ant简介理解软件过程的普遍概念和基本的软件活动；理解迭代的意义；掌握Ant、CVS等常用配置管理及部署工具。

第八步：OOAD及设计模式面向对象基本设计原则、工厂模式、策略模式、适配器模式、代理模式等、门面模式。理解面向对象设计的一般原则；理解重用的意义；掌握常见的设计模式。

第九步：HTML/CSS HTML基本文档结构、掌握CSS基础语法、关于HTML文档块、链接、列表、表格、表单等。掌握HTML基本原理；掌握CSS各种选择器及常见样式设置；熟练使用HTML常用元素。

JavaScript核心JavaScript语言基础（数据类型、函数、对象、闭包）、Java DOM编程、事件模型、JavaScript面向对象编程。深入理解JavaScript语言原理；熟练的使用JavaScript对HTMLDOM进行编程；熟练掌握JavaScript对象对象封装技巧，为后续的JavaScript学习打下坚实的基础。

Servlet/JSP Servlet生命周期及Servlet服务器、Tomcat部署配置、JSP语法、自定义标记、JSTL和EL表达式、JSP新特性、Java Web设计模式。透彻理解Servlet核心原理；熟练掌握Servlet API；透彻理解JSP引擎工作原理；透彻理解标记库原理；熟悉常见的Java Web设计模式；为后续的Java Web开发打下坚实的理论基础。

第十步：Ajax Ajax基础、XHR对象、Ajax设计模式、JSON技术掌握Ajax的基本通信原理；掌握基于XML和JSON的Ajax数据规则。

第十一步：JavaScript框架JQuery、JQuery插件、DWR。掌握JQuery核心API；了解JQuery基本设计原则；了解多种JQuery插件；掌握DWR的基本原理及应用技巧。

第十二步：ssh三大框架的学习，这是企业实际应用的框架模型：

1.Struts 2.1.6 Struts2核心控制流程、Ognl、Action、Interceptor、,Result、FreeMarker、Struts2标记库、Struts2扩展、Struts2应用技巧（输入验证、消息国际化、文件上传和下载、防止重复提交等）。熟练掌握Struts2核心要件，特别是Interceptor和Result；掌握基于模板技术的Struts2 UI组件；掌握基于Ognl的数据共享方式、掌握Struts2各种定制及扩展方式；熟练掌握基于Struts2的Web开发技巧。

2.Hibernate 3.2.1 ORM概念、Hibernate核心API、Hibernate实体映射技术、Hibernate关系映射技巧、HQL查询、OSCache及Hibernate缓存技术。重点掌握Hibernate多种关联映射技巧及其实用背景，做到在合适的时候使用合适的关联方式；掌握多种Hibernate查询技巧及优化技术。

3.Spring 2.5 Spring Ioc基础、Ioc注入技巧、对象高级装配（自动装配、模板装配、组件扫描特性、FactoryBean、对象生命周期）、Spring AOP原理、AspectJ、Spring JDBC支持、Spring事务及安全管理；Spring整合Hibernate、Spring整合Struts、Spring MVC简介。深入理解Ioc和AOP的基本原理和实现方式；熟练掌握SpringIoc及AOP实现方式；熟练掌握Spring事务管理；熟练掌握Spring与其他组件的整合技术。

Java语言基础阶段作为大数据基础，学习完以上内容你会对Java开发有一个新的认识，希望我的这些心得体会会对想学习Java的同学有所帮助。如有疑问，欢迎加入大数据交流之家：608538939，我们可以共同讨论、一起进步。

第四篇：大数据培训心得

一、学习总结

1． 大数据的定义

也叫巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理的时间内达到采集、管理、处理、并整理成为帮助企业营或政府更积极目的资讯。

2.4V特点

规模性（volume）、高速性（Velocity）、多样性（variety）、价值性（value）

3.应用

采用某些技术，从技术中获得洞察力，也就是BI或者分析，通过分析和优化实现对企业未来运营的预测。

二、心得体会

在如此快速的到来的大数据革命时代，我们还有很多知识需要学习，许多思维需要转变，许多技术需要研究。职业规划中，也需充分考虑到大数据对于自身职业的未来发展所带来的机遇和挑战。当我们掌握大量数据，需要考虑有多少数字化的数据，又有哪些可以通过大数据的分析处理而带来有价值的用途？在大数据时代制胜的良药也许是创新的点子，也许可以利用外部的数据，通过多维化、多层面的分析给我们日后创业带来价值。借力，顺势，合作共赢。

第五篇：黑马程序员：动态数据写入pdf心得

黑马程序员：动态数据写入pdf模板心得

前言

1.背景: 在项目中前段时间遇到一个问题,就是客户要求学生在线填写一些基础信息,保存到数据库的同时,给学生提供下载填写好的信息的pdf文件供下载,一开始我选择用Itext类去解析word文档模板,生成rtf文件,之后将学生填写的信息保存到数据时将数据同时写入到rtf模板中,在进行转为pdf,但是实现之后下载查看发现,中文不会乱码,纯数字也不会乱码,但是中文加数字,和特殊符号会出现名义上的乱码,(其实不是程序的乱码,只是写到word的rtf文件中的数据不会自动识别要用那些字体导致的),上网,翻墙,茶不思饭不想的去找解决办法,终于在我不懈的努力下还是没有解决,故放弃.注:程序员要有一个舍得的心,不能在一个方向上钻牛角尖,跳跳代码同我家,有舍必有得.2.正文: 好了,废话不大多说,上正确的代码和思路(其中有完成之前我所遇到的问题和踩的坑): 材料: itext的jar包包：官网：http://sourceforge.net/projects/itext/files/ Word文档模板-->转为pdf(不会的,网上有教程)Adobe Acrobat软件编辑pdf加载文本域填充数据用(网上有关于此软件的使用教程)

黑马程序员郑州中心 编著

Demo展示: public void test1_1(){

BaseFont bf;

Font font = null;

try {

bf

=

BaseFont.createFont（“STSong-Light”, “UniGB-UCS2-H”，BaseFont.NOT_EMBEDDED);//创建字体

font = new Font(bf,12);//使用字体

} catch(DocumentException | IOException e){

e.printStackTrace();

}

Document document = new Document();

try {

PdfWriter.getInstance(document，new FileOutputStream(“pdfFolder/2.pdf”));

document.open();

document.add(new Paragraph(“hello word 你好 世界”,font));//引用字体

document.close();

} catch(FileNotFoundException | DocumentException e)

黑马程序员郑州中心 编著

{

System.out.println(“file create exception”);

}

} 上处代码会产生一个pdf文件,如下:

以上掌握之后,只是塞个牙缝,总不能用代码去向pdf中花一些复杂的表格吧,要死人不说,还不能优化和变通,最主要的是不能控制样式.---编辑pdf模板文件:

网上截图(展示利用此软件进行编辑pdf的文本域):

黑马程序员郑州中心 编著

Word模板(部分截图):

黑马程序员郑州中心 编著

代码展示: public void fillTemplate(){//利用模板生成pdf //模板路径

String templatePath = “pdfFolder/template_demo.pdf”;//生成的新文件路径

String newPDFPath = “pdfFolder/newPdf.pdf”;PdfReader reader;FileOutputStream out;ByteArrayOutputStream bos;PdfStamper stamper;try {

out = new FileOutputStream(newPDFPath);//输出流 reader = new PdfReader(templatePath);//读取pdf模板 bos = new ByteArrayOutputStream();stamper = new PdfStamper(reader, bos);AcroFields form = stamper.getAcroFields();

String[] str = {“123456789”,“传智播客”,“男”,“1994-00-00”,“110”,“郑州市”};

int i = 0;

java.util.Iterator it = form.getFields().keySet().iterator();while(it.hasNext()){

String name = it.next().toString();

黑马程序员郑州中心 编著

System.out.println(name);form.setField(name, str[i++]);}

stamper.setFormFlattening(true);//如果为false那么生成的PDF文件还能编辑，一定要设为true stamper.close();

Document doc = new Document();PdfCopy copy = new PdfCopy(doc, out);doc.open();

PdfImportedPage importPage =copy.getImportedPage(new PdfReader(bos.toByteArray()), 1);copy.addPage(importPage);doc.close();

} catch(IOException e){ System.out.println(1);

} catch(DocumentException e){ System.out.println(2);} }

3.成品代码:

上述代码只是一个小的demo,下面是进行再开发中自己写的符合业务需求

黑马程序员郑州中心 编著 的代码配合上述的word文档模板进行编写,代码改变度不大,自己可以琢磨一下: public void save(Page page,HttpServletResponse

response,httpServletRequest request){ //利用模板生成pdf //模板路径

String templatePath = “项目中的模板路径”;//生成的新文件路径

String newPDFPath = “要生成的文件的存放文件”;PdfReader reader;FileOutputStream out;ByteArrayOutputStream bos;PdfStamper stamper;try { //设置种字体,默认选中的是下面这个,在windows系统中是这样的,在其他的非windows系统中不敢保证:(不想用这种,可以在Adobe Acrobat去设置一个为Adobe 宋体 SL的字体,一下代码可以省略,并且不用在塞入数据是加入font字体,以下代码中的三处①一起使用,一起死亡)

//BaseFont bfChinese = BaseFont.createFont(“STSongStd-Light”, “UniGB-UCS2-H”, false);--①

//Font font = new Font(bfChinese, 10, Font.NORMAL);--①

out = new FileOutputStream(newPDFPath);//输出流

reader = new PdfReader(templatePath);//读取pdf模板

黑马程序员郑州中心 编著

bos = new ByteArrayOutputStream();stamper = new PdfStamper(reader, bos);

//读取pdf模板中的文本域们,(此处的用Adobe Acrobat编辑的模板没有截图,仿照上面的demo中的盗图进行对比)

AcroFields form = stamper.getAcroFields();

//form.setField(“studentName”, “font”,null,”数据”);//姓名中文--①

foem.setField(“studentName”, ”数据”);

form.setField(“sex”, “男”);//婚前姓名

stamper.setFormFlattening(true);//如果为false那么生成的PDF文件还能编辑，一定要设为true stamper.close();

Document doc = new Document();PdfCopy copy = new PdfCopy(doc, out);

//打开模板文档进行开始编辑: doc.open();

PdfImportedPage importPage =copy.getImportedPage(new PdfReader(bos.toByteArray()), 1);copy.addPage(importPage);//此处一定要关闭,否则有一个进程会一直使用此模板文件,就会造成下载时报异常,此异常自己体会是什么异常: doc.close();

} catch(IOException e){

黑马程序员郑州中心 编著

System.out.println(1);

} catch(DocumentException e){ System.out.println(2);} }

到此处已经完成了此小小功能,希望能帮助一些遇到此问题的人,以下附上本人参考的大神播客地址: http:// http://zhuchengzzcc.iteye.com/blog/1603671

https://jingyan.baidu.com/article/295430f1fb049f0c7e0050d5.html

黑马程序员郑州中心 编著