第一篇：【八斗学院】2018年最新Hadoop大数据开发学习路线图
2018年最新Hadoop大数据开发学习路线图
来源：八斗学院
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。
作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。
下面详细介绍一下，学习Hadoop开发技术的路线图。
Hadoop本身是用java开发的，所以对java的支持性非常好，但也可以使用其他语言。
下面的技术路线侧重数据挖掘方向，因为Python开发效率较高所以我们使用Python来进行任务。
因为Hadoop是运行在Linux系统上的，所以还需要掌握Linux的知识。
第一阶段：Hadoop生态架构技术
1、语言基础 Java：掌握javase知识，多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。
Linux：系统安装（命令行界面和图形界面）、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。
Python：基础语法，数据结构，函数，条件判断，循环等基础知识。
2、环境准备
这里介绍在windows电脑搭建完全分布式，1主2从。
VMware虚拟机、Linux系统（Centos6.5）、Hadoop安装包，这里准备好Hadoop完全分布式集群环境。
学Hadoop大数据，就到八斗学院
www.xiexiebang.com
3、MapReduce MapReduce分布式离线计算框架，是Hadoop核心编程模型。主要适用于大批量的集群任务，由于是批量执行，故时效性偏低。
4、HDFS1.0/2.0 Hadoop分布式文件系统(HDFS)是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
5、Yarn（Hadoop2.0）
前期了解即可，Yarn是一个资源调度平台，主要负责给任务分配资源。Yarn是一个公共的资源调度平台，所有满足条件的框架都可以使用Yarn来进行资源调度。
6、Hive Hive是一个数据仓库，所有的数据都是存储在HDFS上的。使用Hive主要是写Hql，非常类似于Mysql数据库的Sql。其实Hive在执行Hql，底层在执行的时候还是执行的MapRedce程序。
7、Spark Spark 是专为大规模数据处理而设计的快速通用的计算引擎，其是基于内存的迭代式计算。Spark 保留了MapReduce 的优点，而且在时效性上有了很大提高。
8、Spark Streaming Spark Streaming是实时处理框架，数据是一批一批的处理。
9、Spark Hive 基于Spark的快速Sql检索。Spark作为Hive的计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算，可以提高Hive查询的性能。
10、Storm Storm是一个实时计算框架，和MR的区别就是，MR是对离线的海量数据进行处理，而Storm是对实时新增的每一条数据进行处理，是一条一条的处理，可以保证数据处理的时效性。
11、Zookeeper Zookeeper是很多大数据框架的基础，它是集群的管理者。监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。
最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户
学Hadoop大数据，就到八斗学院
www.xiexiebang.com
12、Hbase Hbase是一个Nosql 数据库，是一个Key-Value类型的数据库，是高可靠、面向列的、可伸缩的、分布式的数据库。
适用于非结构化的数据存储，底层的数据存储在HDFS上。
13、Kafka kafka是一个消息中间件，在工作中常用于实时处理的场景中，作为一个中间缓冲层。
14、Flume Flume是一个日志采集工具，常见的就是采集应用产生的日志文件中的数据，一般有两个流程。
一个是Flume采集数据存储到Kafka中，方便Storm或者SparkStreaming进行实时处理。
另一个流程是Flume采集的数据存储到HDFS上，为了后期使用hadoop或者spark进行离线处理。
第二阶段：数据挖掘算法
1、中文分词
开源分词库的离线和在线应用
2、自然语言处理 文本相关性算法
3、推荐算法
基于CB、CF，归一法，Mahout应用。
4、分类算法 NB、SVM
5、回归算法
LR、Decision Tree
6、聚类算法
层次聚类、Kmeans
学Hadoop大数据，就到八斗学院
www.xiexiebang.com
7、神经网络与深度学习NN、Tensorflow
以上就是学习Hadoop开发的一个详细路线，鉴于篇幅原因只列举和解释了框架作用，如果需要了解具体框架的开发技术，可以百度搜索八斗学院大纲，详细了解。
学习完第一阶段的知识，已经可以从事大数据架构相关的工作，可以在企业中负责某些或某个的开发与维护工作。
学习完第二阶段的知识，可以从事数据挖掘相关的工作，这也是目前进入大数据行业含金量最高的工作。
学Hadoop大数据，就到八斗学院
www.xiexiebang.com
第二篇：【八斗学院】2018年最新Hadoop大数据简历,Hadoop工程师简历
八斗学院
3年大数据开发经验
求职意向：大数据开发工程师
个人信息
姓名：八斗学院 工作地点：北京 电话：*** 邮箱：55723447@qq.ccom
性别： 男 生日：1992.10.26 学历：本科 微信：55723447 个人技能
精通MapReduce原理，熟练使用Java（Python）开发和优化MapReduce 熟悉Storm、Hbase、Hive、Flume、Kafka、Mahout等Hadoop框架及工具 熟悉Spark工作流程，能看懂Spark部分源码，能使用scala编写Application 熟悉推荐相关算法和相关技术，常用机器学习模型、自然语言处理、数据挖掘方法 熟悉Oracle/MS SQL Server等关系型数据库，具备基本的SQL编写及优化能力 了解tika、jsoup、RabbitMQ、Lucene等工具并运用到项目中 了解python（Java）、scala等脚本语言，能进行阅读和简单的编写
项目经验
xx推荐系统
项目描述：
此项目分为数据采集，数据预处理，推荐策略算法模块，检索引擎模块，数据分析。
数据来源于日志分析系统和DPI，采用HttpClient + HTMLParser对DPI中的URL进行数据爬取，通过字符转换、标签提取、数据清洗、特征预处理等进行数据预处理，使用MapReduce/Spark进行离线推荐序列计算，使用ElasticSearch作为检索引擎模块，为xx站点推荐服务，日志分析系统做数据分析。
其中特征预处理使用特征相似度矩阵进行特征扩展（特征相似度矩阵由推荐策略算法模块计算得出），采用Cosine归一法对特征进行归一化；推荐算法模块采用Content Based、协同过滤计算推荐序列，使用Mahout朴素贝叶斯算法计算用户偏好，Content Based结合用户偏好和用户个人信息解决Item和系统冷启动问题；利用日志分析的KPI结果进行验证并对模块进行优化。
学Hadoop大数据，就到八斗学院
www.xiexiebang.com 2015.8-至今
项目职责：
a)推荐算法架构设计与搭建，搭建整套Online、Nearline和Offline架构，为提高推荐效果和质量找出适合的解决方法，提高产品体验，提升指标；
b)基于人群行为的统计特征和文本相关性特征，实现xx联合推荐服务模型
c)基于NLP HMM的标签提取服务，提供用户和TV标签化指纹特征赋权的离线和在线接口； d)用户行为大数据预处理及分析，用户行为记录偏好挖掘，完善效果反馈机制； e)数据中心设计与搭建，为推荐策略提供基础数据服务
日志分析系统2014.5-2015.10
项目描述：
此项目采用Flume实现数据采集和分发数据到HDFS和Kafka，Storm实时消费Kafka数据并对数据预处理和计算KPI指标及监控错误信息等，Hive离线统计过去数据并与实时数据做Merge，采用Hbase做多维度存储。
项目职责：
1、集群架构设计与搭建
2、storm编写
3、flume二次开发
学Hadoop大数据，就到八斗学院
www.xiexiebang.com
第三篇：2017大数据数据分析学习资料(含学习路线图)
2017大数据、数据分析学习资料合集（含学习路线图）
给大家整理一下本一些优质的文章，根据大数据相关的知识点一个个整理的，整理的内容包括知识点普及、学习书籍、学习路线图、学习笔记、学习资料、学习视频等等。AI时代就业指南未来已来：AI时代就业指南AI时代就业指南：计算机、统计完全零基础，到底能不能学数据分析？AI时代就业指南：数据科学人才成长之路AI时代就业指南：Java 程序员如何转行做大数据？AI时代就业指南：企业在招什么样的大数据工程师？AI时代就业指南：女生适合做数据分析吗？AI时代就业指南：数据挖掘工程师成长之路AI时代就业指南：数学专业，你看不见的前尘似锦AI时代就业指南：数据挖掘入门与指南AI时代就业指南：普通程序员如何转向AI方向AI时代就业指南：作为大数据从业人员，如何写好一份可堪入目的简历？大数据【入门】大数据行业如何入门-书籍、工具、案例（问题集锦）【工具】2017 年你应该学习的编程语言、框架和工具【资料】史上最全的“大数据”学习资源（上）【资料】史上最全的“大数据”学习资源（下）【路线图】大数据工程师学习路线图【路线图】2017年最全的数据科学学习计划【就业】2016年数据科学薪酬大盘点【学习群】数据挖掘-机器学习数据分析【入门】数据分析那些事（数据分析师入门必看）【职业】数据分析与数据挖掘类的职位必备技能【职业】与大数据相关的工作职位有哪些？【路线图】数据分析师学习路线图【路线图】数据科学学习路线图【书单】数据分析师的必读书单【学习群】人人都是数据咖统计学【书单】统计学入门经典书单【视频】大数据统计学基础【学习群】大数据-统计分析SQL【文章】实用SQL语句大全【笔记】SQL学习点滴合集【视频】13次课了解sql2008的故事Python【教程】python快速教程【文章】python爬虫实战【文章】Python-pandas技巧系(量化小讲堂)【路线图】python学习路线图【路线图】Python大数据学习之路【资料】python机器学习入门资料梳理【视频】Python入门：数据分析与数据挖掘【课程】Python进阶：数据挖掘实战【学习群】Python数据挖掘-初级【学习群】Python数据挖掘-高级R【文章】R语言知识体系【文章】怎样学习R（上、下)【文章】ggplot2绘图入门系列【文章】R利剑NoSQL系列文章【文章】R语言常用数据挖掘包【路线图】R语言学习路线图【视频】R学习免费学习视频【课程】R语言入门【课程】R语言实战【课程】机器学习与R语言实践【课程】R语言量化交易【工具】全球最火的R工具包一网打尽，超过300+工具，还在等什么?【学习群】R语言数据挖掘-初级【学习群】R语言数据挖掘-中高级Hadoop【文章】Hadoop学习路线图【文章】RHadoop实践系列文章【教程】Spark入门实战系列教程【课程】大数据实战工具Spark【学习群】大数据-hadoop-spark数据挖掘/机器学习【入门】机器学习和数据挖掘推荐书单【路线图】R语言学习路线图及R数据挖掘包【路线图】Python数据分析和数据挖掘学习路线图【路线图】机器学习路线图【资料】近200篇机器学习&深度学习资料【学习群】大数据-机器学习因文本问题无法嵌入链接，请复制http://www.xiexiebang.com/Blog/archives/27665至浏览器查看原文
第四篇：学习路线图
C学习
C陷阱与缺陷
C和指针
基本C++学习
Essential C++
Effective C++
More Effective C++
C++沉思录中面向对象的部分 设计模式精解
深入C++学习
深度探索C++对象模型 模版学习
C++ Template：Complete Guide Modern C++ Design
模版库学习
C++标准程序库
Effective STL
STL源码剖析
C++学习收工
Exceptional C++
More Exceptional C++ C算法卷
一、卷二
Linux系统操作
鸟哥的Linux私房菜：基础学习篇 鸟哥的Linux私房菜：服务器架设篇 Linux系统API
Unix环境高级编程
Unix网络编程卷
一、卷二
C++网络编程卷
1、卷2
ACE程序员指南
Linux内核学习
Linux设备驱动程序
Linux内核完全剖析—基于0.12内核 操作系统学习
80X86汇编语言程序设计教程（清华）
WindowsAPI学习
Programming windows（上下册） Windows核心编程
MFC学习
MFC基本使用的学习
深入浅出MFC
COM学习
COM原理与应用
ATL Internals
.NET平台学习
Programming C#
C# 2008和.NET.3.5平台 Effective C#
More Effective C#
.NET框架程序设计
Windows Forms
WPF
Windows内核程序设计 Programming WDM
Windows驱动开发技术详解 Winnt文件系统内幕
第五篇：学习炒股路线图
作为一个没有做过股票的朋友，如果现在开始准备做股票了
我觉得第一步要知道做股票的游戏规则，就是怎么玩
记得《专业投机原理》的开篇讲了一个很生动的故事“赌博例”
乔是扑克好手，但他却在一次和农民玩的扑克赌局中输的身无分文
不是农民的技巧有多高，一切只因为乔不了解当地扑克的游戏规则
那么，做股票也是同样的道理
你首先要充分了解整个股票的操作流程和交易规则，越详细越具体越好例如，怎么买入怎么卖出怎么参与配股，st和非st有什么区别，代星号的st又代表什么意思，具体的成交顺序，交易时间，买入最小单位是1手，卖出可以零碎，1手表示多少股，怎么参与新股配售，各项交易费用，交易者的权利，证券公司对你应尽的义务。。。。
还有很多很多的必备知识，我不再一一举例
反正个人认为
最好能做到象营业部大厅里的咨询小姐那样的了解程度就可以了
对于这些股票交易知识的资料可以问问自己开户的营业部有没有
也可以到网上搜索查找一下
新华书店应该也有这样子的书
不过可能不容易找到
印象里，《炒股就这么几招》的前面几册曾有比较详细的介绍，适合新股民看看
呵呵，其实有些老股民也应该补补课
（二）在掌握了基本的交易知识以后，下面就可以开始交易技能的学习
第一本书很重要
因为到此为止，你或许还是一张白纸
白纸上落的第一笔，在某种程度上预示着以后发展的方向
我考虑了许久
决定推荐《股市操练大全》
这一推荐可能会引起争议
因为多数读过书的交易老手都不建议看国内的书
甚至把国内书定为糟粕
但我不这么认为
国内书总体格局小，却也不乏好书
在入门书上一下子就去读国外书容易发生断层
这套书非常本土化，使人产生很强的亲切感
尤其是新颖的写作模式让人有不忍释卷的冲动
我不打算用自己的语言来多介绍这套书
想偷个懒，贴这套书的目录和简介
《股市操练大全》作者自述：
参与股市的人都知道，股市如战场，输赢全在一瞬间。为了把握股市胜机，很多人忙着听股评，参加股市沙龙，钻研股票操作书，可谓乐此不疲。但是，令人遗憾的是，最终效果并不理想。一场股市风暴来临，大多数人仍然免不了被套的结局。那么，是什么原因造成这种状况呢？我们以为，其真正的原因是股民在学习股票操作技巧时缺少了“强化训练”这一环节。
从现代教学理论来说，人们要掌握一门知识和技巧，强化训练是必不可少的。譬如，要掌握开车技术，就先要在练车场接受一套严格的驾驶技术的训练，只有在练车场过关后，才能正式到马路上开车；又如，学生参加高考，事先都要有针对性复习，做大量练习题，并进行反复多次的模拟考试训练，高考才能取得好成绩。但是，奇怪的是，这种在现代教育中屡试不爽的强化训练，一到股市就被人遗忘了，丢弃在一边。谓子不信，请看：有的人买卖股票只凭自己的感觉，有的人买卖股票完全依赖于股评，有的人买卖股票跟着市场消息转，等等。这里面不要说什么强化训练，恐怕连基本的操作原则都没有。虽然也有人买卖股票时，阅读了不少股票操作技巧方面的书，但那也只是理论上的学习，自己并没有做过大量有针对性的练习，因此，也就谈不上接受了股市操作的强化训练。于是乎，作为现代教育中最重要的强化训练，在股市中完全没有了踪影。正因为这个原因，许多人买卖股票时失去了方向，陷入了屡买屡套，屡战屡败的怪圈。可见，缺少股市操作强化训练，对投资者，尤其是对广大中小散户会造成多么严重的伤害。
股市操作强化训练的重要性这里不再多说了。但是如何开展股市操作强化训练呢？首先要有这方面的参考书籍，否则一切就无从谈起。而迄今为止，图书市场上还没有这样的书出现。别看现在的股票书如汗牛充栋，多得令人目不暇接，如你要想找一本用于股市操练的书，踏破铁鞋无觅处。有鉴于此，我们在上海三联书店的大力支持下，组织有关专家和股市操盘手按照现代教育强化训练的理论，并根据沪深股市实际情况，设计编写了中国股市第一本强化训练习题集。该习题集采用了“先易后难，循序渐进，反复比较，集中做题”的方式，对股民进行强化训练，以此来帮助投资者真正掌握股市操作技巧，达到熟能生巧、运用自如的目的。我们在设计这本股市操作强化训练习题集时，注意到很多投资者是新入市不久的股民，他们对股市操作技巧知之甚少。因此本书编写的格调又有别于类似学生复习迎考习题集那种编写方式，在指导读者做习题的同时，兼顾了股市操作知识的介绍，并把它系统化、条理化。读者如果把书中习题与参考答案连起来阅读，它就成了一本浅近易懂，专事介绍股市操作技巧的科普读物。所以，本书实际上是一本兼有股市知识、技巧学习和股市操作强化训练两方面用途的实用性操盘工具书。
作为用于强化训练类的书，最大特点是：案例多、习题多。本书也不例外。本书的图形就有600多幅，它几乎把沪深股市10年来有代表性的K线走势和技术图形都选了进去；习题100多个，概念题、选择题、是非题、．简答题、问答题，应有尽有。另外，每幅图例都有专家、名人的精辟分析，每道题都有值得投资者一读的参考答案，内容十分丰富。为了发挥本书的效用、读者在阅读本书时，不能只看不练，而要多做练习。因为只有通过练习，才能发现问题，纠正操作中的错误；只有通过练习，才会驾轻就熟，把股市操作技巧用好用活。在学中练，在练中学，反复比较，反复运用，唯此才能达到股市操作强化训练的预期目的。这点必须引起投资者的高度重视。
本书在选用沪深K线图走势时，将个股的名称、价位作了删除（只有极少数图案中的个股名称、价位，因书中内容需要作了保留），这主要是为了避免因投资者对某些股票的偏爱和价位上的错觉，造成对K线技术图形上的买卖信号作出错误判断，而所作的一种特殊处理。读者对此不要有什么误解。从K线、技术图形操作理论上来说，任何股票都有强弱转化的时候，这里面股质本身是次要的，重要的是我们能不能在技术上找到买卖它们的理由和依据。当K线和技术图形走势告诉我们可以买的时候，无论是绩优股、绩差股，无论高价股、低价股，都要敢于买。反之，则要敢于卖。沪深股市上就有不少投资者因为对绩优股的偏爱，当它们股价高高在上时，仍然不断追涨，对K线、技术图形发出的见顶信号置之不理，结果被深套，损失惨重。这个教训是十分深刻的。因此，我们认为删除图形上的个股名称、价位，对促使投资者养成按图形信号操作的习惯有很大的好处。
本书每一章结束都安排了两套测验题，这些测验题既是对读者掌握K线或技术图形操作技巧熟练程度的检测，也是对本书内容的一个总结。因此，读者必须认真待之。测验题每一小栏都有得分多少说明，并附有参考答案。读者做完测验题后可自行打分。其评分标准和一般考试评分标准相同。60分为及格，80分以上为良好，90分以上为优秀。如第一次测验成绩较差者，说明你对股市操盘技巧还没掌握，参于股市操作的风险就较大。此时，最佳的办法是暂停股市买卖活动，重新学习，反复练习，待第二次测验成绩提高后再积极参于股市运作，这样投资收益就会有很大的提高。
书读到这里，应该开始看国外的经典了
呵呵，所谓“取法乎上，得乎其中”
如果老是在国内的书里打转，恐怕会限制自己的视野，无法往高层进阶
有时候，决定你是否能在市场里成为赢家的关键，不是在于你有多高的技巧，而更重要的是你的理念
《期货市场技术分析》这是一本很适合初学者看的技术分析的经典书籍
讲得不深，但很透彻，把每项技术分析的重点都拎了出来
加上丁圣元先生流畅贴切的翻译
使之成为中文版技术分析书籍中难得的好书
当然，这本书的价格可能稍贵
如果想追求性价比的朋友，可以选择该书的更新版《金融市场技术分析》
《金融市场技术分析》是《期货市场技术分析》的新版，增加了一些内容
翻译者是陈鑫。陈鑫先生也是国内翻译交易书籍的一把好手
不过，对于我个人来说
捧着《期货市场技术分析》这本大书
好像感觉更舒心和温暖些
接下去要看的书是《股市趋势技术分析》
记得我曾经说过这样的话，如果要出远门，而只能让我带一本交易书籍在身上，我会选择《期货交易策略》
现在我要说的是，如果要拿走我书架上的交易书籍，而只能留一本下来，我会选择把《股市趋势技术分析》留下
这本书可以称之为伟大，她的伟大主要体现在1）用具体图表走势对道氏理论进行了细致和精彩的描述
道氏理论之重要，交易者皆知，可惜很多人看道氏理论觉得空洞和枯燥，不过《股市趋势技术分析》却能给你一种豁然开朗的欣喜；她不仅能让你领略到道氏理论的精髓，更可以给你一种对道氏理论震撼性的再认识。我无意吹捧该书，因为这些都是我当年读书时的感觉。
2）图表分析的巅峰之作
在我印象里，应该没有哪本书论述图表分析能达到《股市趋势技术分析》的高度
该书在图表分析这一项，不仅告诉我们应该如何去分析图表中各种力量的消长，平衡，突变，尺度，及我们就此所该做的应对策略和手段，她更引导我们去思考探寻隐藏在图表背后的东西，即引起这些变化的实质。我觉得，如果我们能领会该书的要义，那当面对任何一张图表的时候，我们都不仅能够看出“然”，且会明了“所以然”。
《股市趋势技术分析》的中文版有个缺憾，就是翻译好像并不理想（李先生翻译）
这对初学者的阅读会带来些障碍
但在读完上面几本书后，我还是愿意向初学者推荐该书
因为读这本书能够大幅度提升你的格局，包括交易思想，交易策略以及技术分析的大局观
在读完上面这些书后
你可能在脑子里已经形成了初步的交易思想
并且对各种技术分析方法有了总体上的认识
但如果你打算现在就去进行交易的话
那还是远远不够的 面对宏大的市场
你会不知从何下手
所以，接下来你需要做的是构建属于自己的交易体系
这是一个成熟的交易者必须要去做的一件事
当然，在开始做此事以前
因为很可能你并不知道如何取舍，还不知道哪些东西是适合你的 所以你需要看一些书
希望这些书能够给你一些启发，便于让你作出你的抉择
这些书包括
1）《股票作手回忆录》
2）《交易冠军》
3）《华尔街操盘高手》（金融怪杰）
4）《华尔街点金人》（新金融怪杰）
5）《操盘建议--全球顶尖交易员的成功实践和心路历程》
6）《美国期货专家经验谈》
7）《攻守四大战技》
8）《投机智慧》
9）《期货交易策略》
10）《刀疤老二的文章》
点击咨询 