Hadoop的顶级汇报、分析、可视化、集成和开发工具

第一篇：Hadoop的顶级汇报、分析、可视化、集成和开发工具

驯服大数据的七种武器

随着泰国洪水抬高的硬盘价格逐渐回落到正常水平，数据存储容量的增长速度有望重新开始飙升。这将让风头盖过商业智能的“大数据”应用更加火爆，上至白宫下至沃尔玛都在使用Hadoop、NoSQL数据库和廉价通用服务器的组合进行低成本的大数据分析，不过虽然大数据分析的软硬件成本在降低，但是为数十台大数据服务器编写应用依然比传统SQL数据库来得复杂。而且Hadoop任务是用Java编写的，这进一步增加了复杂性。目前已经有很多大数据工具能够帮助人们驾驭大数据的分布式计算马力，这些工具大多也能与NoSQL数据库一起工作，这与传统数据库相比，NoSQL数据库要灵活得多。

面对大数据，最大的挑战也许来自对数据的理解和提出正确的分析命题/问题，这远比让你的Hadoop任务运行得更快有意义。所以以下列举的这些工具也只是大数据的”器“，而非”道“。

一、Jaspersoft BI Suite

Jaspersoft是从列数据库生成PDF报告的最好的开源软件。JasperReport正跳上大数据的班车，在大数据和其报告生成软件之间增加了一个软件层。JasperReports服务器目前提供软件用于从许多主流存储平台读取数据，包括MongoDB，Cassandra、Redis、Riak、CouchDB和Neo4j。Hadoop自然也不会缺席，JasperReports向HBase提供了一个Hive Connector。但是Jaspersoft的大数据整合工作开始不久，还没有实现完全的集成，例如可视化查询设计工具还不能跟Cassandra的CQL对接，你需要手动输入。

二、Pentaho Business Analytics

Pentaho也是以报告生成引擎起步的软件平台，与Jaspersoft的策略类似，也是通过增加新的数据源来进入大数据市场。你可以讲Pentaho的工具与大多数流行的NoSQL数据库如MongoDB和Cassandra挂接起来。当连接上数据库后，你就能拖放数据库列到窗口和报告界面，就像是用来自SQL数据库的信息一样。Pentaho还提供软件用于从Hadoop集群中抽取HDFS文件数据和HBase数据。其中最新吸引人的工具要数图形编程界面Kettle，也称Pentaho Data Integration。

三、Karmasphere Studio and Analyst

并非所有大数据工具都从报告工具开始。Karmasphere Studio就是基于Eclipse开发的一组插件。它是一个专业化的IDE集成开发环境，可以让Hadoop任务的创建和运行更加容易。

四、Talend Open Studio

Talend也提供了一个基于Eclipse的IDE，用于串联Hadoop的数据处理任务。Talend的工具可用于数据集成、数据质量和数据管理工作，同时为这些工作准备了相应的子程序。Talend Studio允许你通过向模板拖拽建立任务，例如获取RSS的feeds。Talend的TalendForge是一些列的开源扩展，可以与该公司的其他软件搭配工作。大多数工具看上去都是库过滤器，用于将Talend的软件与其他主流厂商如Salesforce.com和SugarCRM的产品进行连接。你可以从这些系统读取数据到到你自己的项目中，这简化了集成工作。

五、Skytree Server

并非所有的工具都被设计用来简化代码与虚拟机制的串联。Skytree提供了一个功能群组，提供了更加复杂的机器学习（Machine-learning）算法。你只需要将正确的命令输入正确的命令行。

六、Tableau 桌面和服务器版

Tableau桌面版是一个可视化工具，能让你更直观地审视数据，你还能抽离数据从不同角度观察，你还能降其他数据混合进来获得新的结果。Tableau在几个版本前就开始拥抱Hadoop，现在你能想处理其他数据一样处理Hadoop的数据。Tableau通过Hive来结构化查询，然后将尽可能多的数据缓存在内存里以实现交互。其他的报告工具都是离线生成报告，而Tableau洗完功能提供一种交互机制，这样你就能不断分割数据。缓存能够部分解决Hadoop集群的延迟问题。

七、Splunk

Splunk与上述工具有所不同，它并不是一个纯粹的报告生成工具或AI路径的集合，虽然它在很大程度上也能实现这些功能。Splunk为你的海量数据创建一个索引，将其整理成可以搜索的链接，其方式就好像这些数据是一本书或者文本块。虽然数据库也内建有指标，但是Splunk的索引方式更像是文本搜索处理。

Splunk的索引功能非常灵活，可以兼容很多数据源，包括日志、配置文件、消息等，基本上所有应用产生的文本数据它都能”吃“下去。Splunk还有很多解决方案套装出售，其中包括监控微软Exchange服务器以及政策web攻击。

Splunk围绕索引抽取文本串和搜索、提供报警和报告功能。你可以敲入重要文章的URL或者IP地址。Splunk会根据数据中的时间戳将结果以时间轴的方式展示出来。这只是一个简单的应用，但如果你在数据Feed中找到的正确的指针，Splunk将非常强大。Splunk非常适合处理日志文件。

Splunk的一个新工具Shep，目前正在Beta内测，提供Hadoop和Splunk之间的双向集成，可以在两个系统间交换数据，你还可以从Hadoop中查询Splunk的数据。

第二篇：Java开源集成开发工具

Java开发工具点评

Java开发工具点评

在计算机开发语言的历史中，从来没有哪种语言象Java那样受到如此众多厂商的支持，有如此多的开发工具，Java菜鸟们如初入大观园的刘姥姥，看花了眼，不知该何种选择。的确，这些工具各有所长，都没有绝对完美的，就算是老鸟也很难做出选择。在本文中我简要介绍了常见的十五种Java开发工具的特点，管中窥“器”，希望能对大家有所帮助。

一、JDK（Java Development Kit）

SUN的Java不仅提了一个丰富的语言和运行环境，而且还提了一个免费的Java开发工具集(JDK)。开发人员和最终用户可以利用这个工具来开发java程序。

JDK简单易学，可以通过任何文本编辑器（如：Windows 记事本、UltrEdit、Editplus、FrontPage以及dreamweaver等）编写Java源文件，然后在DOS状况下利通过javac命令将Java源程序编译成字节码，通过Java命令来执行编译后的Java文件，这能带给DOS时代程序员美好的回忆。Java 初学者一般都采用这种开发工具。

从初学者角度来看，采用JDK开发Java程序能够很快理解程序中各部分代码之间的关系，有利于理解Java面向对象的设计思想。JDK的另一个显著特点是随着Java（J2EE、J2SE以及J2ME）版本的升级而升级。但它的缺点也是非常明显的就是从事大规模企业级Java应用开发非常困难，不能进行复杂的Java软件开发，也不利于团体协同开发。

二、Java Workshop

Sun MicroSystems公司于1996年3月26日推出了Java WorkShop 1.0，这是业界出现的第一个供Internet网使用的多平台开发工具，它可以满足各公司开发Internet和Intranet网应用软件的需要。Java WorkShop完全用Java语言编写，是当今市场上销售的第一个完全的Java开发环境，目前Java WorkShop的最性版本是3.0。Java Workshop的特点表现如下：

1、结构易于创建：在创建平台中立的网格结构方面，Java Workshop比其他任何一种Java开发工具都要方便。

2、可视化编程：Java Workshop的可视化编程特性是很基本的。Java Workshop允许程序员重新安排这些操作，甚至可以确定触发操作行为的过滤器。1

Java Workshop产生的模板带有许多注释，这对程序员是很有帮助的。

此外，Java WorkShop支持JDK1.1.3以及JavaBeans组件模型，API和语言特征增加了编译Java应用程序的灵活性。Java WorkShop开发环境由于完全用Java写成，所以可移植性极好,以致于多个平台都能支持,目前Java WorkShop支持Solaris操作环境SPARC及Intel 版）、Windows95、WindowsNT、以及HP/Ux等平台。适合于初学者进行一些简单的Java编程。Java WorkShop的缺点是Java Workshop中的每一个可视化对象都迟早会用到网格布局，这种设计方法是许多人不习惯的；Java Workdshop的调色板是较差的，仅仅能满足绝大部分应用的基本要求。

三、NetBeans 与Sun Java Studio 5

NetBeans是开放源码的Java集成开发环境(IDE)，适用于各种客户机和Web应用。Sun Java Studio是Sun公司最新发布的商用全功能Java IDE，支持Solaris、Linux和Windows平台，适于创建和部署2层Java Web应用和n层J2EE应用的企业开发人员使用。

NetBeans是业界第一款支持创新型Java开发的开放源码IDE。开发人员可以利用业界强大的开发工具来构建桌面、Web或移动应用。同时，通过NetBeans和开放的API的模块化结构，第三方能够非常轻松地扩展或集成NetBeans平台。

NetBeans3.5.1主要针对一般Java软件的开发者，而Java One Studio5则主要针对企业做网络服务等应用的开发者。Sun不久还将推出Project Rave，其目标是帮助企业的开发者进行软件开发。NetBeans 3.5.1版本与其他开发工具相比，最大区别在于不仅能够开发各种台式机上的应用，而且可以用来开发网络服务方面的应用，可以开发基于J2ME的移动设备上的应用等。在NetBeans 3.5.1基础上，Sun开发出了Java One Studio5，为用户提供了一个更加先进的企业编程环境。在新的Java One Studio5里有一个应用框架，开发者可以利用这些模块快速开发自己在网络服务方面的各种应用程序。

NetBeans是开放源码的Java集成开发环境(IDE)，适用于各种客户机和Web应用。Sun Java Studio是Sun公司最新发布的商用全功能Java IDE，支持Solaris、Linux和Windows平台，适于创建和部署2层Java Web应用和n层J2EE应用的企业开发人员使用。

NetBeans是业界第一款支持创新型Java开发的开放源码IDE。开发人员可以利用业界强大的开发工具来构建桌面、Web或移动应用。同时，通过NetBeans和开放的API的模块化结构，第三方能够非常轻松地扩展或集成NetBeans平台。

NetBeans3.5.1主要针对一般Java软件的开发者，而Java One Studio5则

主要针对企业做网络服务等应用的开发者。Sun不久还将推出Project Rave，其目标是帮助企业的开发者进行软件开发。NetBeans 3.5.1版本与其他开发工具相比，最大区别在于不仅能够开发各种台式机上的应用，而且可以用来开发网络服务方面的应用，可以开发基于J2ME的移动设备上的应用等。在NetBeans 3.5.1基础上，Sun开发出了Java One Studio5，为用户提供了一个更加先进的企业编程环境。在新的Java One Studio5里有一个应用框架，开发者可以利用这些模块快速开发自己在网络服务方面的各种应用程序。

四、Borland 的JBuilder

Jbuilder进入了Java集成开发环境的王国，它满足很多方面的应用，尤其是对于服务器方以及EJB开发者们来说。下面简单介绍一下Jbuilder的特点:

1、Jbuilder支持最新的Java技术，包括Applets、JSP/Servlets、JavaBean以及EJB(Enterprise JavaBeans)的应用。

2、用户可以自动地生成基于后端数据库表的EJB Java类，Jbuilder同时还简化了EJB的自动部署功能.此外它还支持CORBA，相应的向导程序有助于用户全面地管理IDL(分布应用程序所必需的接口定义语言Interface Definition Language)和控制远程对象。

3、Jbuilder支持各种应用服务器。Jbuilder与Inprise Application Server紧密集成，同时支持WebLogic Server，支持EJB 1.1和EJB 2.0，可以快速开发J2EE的电子商务应用。

4、Jbuilder能用Servlet和JSP开发和调试动态Web 应用。

5、利用Jbuilder可创建(没有专有代码和标记)纯Java2应用。由于Jbuilder是用纯Java语言编写的，其代码不含任何专属代码和标记，它支持最新的Java标准。

6、Jbuilder拥有专业化的图形调试介面，支持远程调试和多线程调试，调试器支持各种JDK版本,包括J2ME/J2SE/J2EE。

JBuilder环境开发程序方便，它是纯的Java 开发环境，适合企业的J2EE开发；缺点是往往一开始人们难于把握整个程序各部分之间的关系，对机器的硬件要求较高，比较吃内存，这时运行速度显得较慢。

五、Oracle 的JDeveloper

Oracle9i JDeveloper（定为9.0版，最新为10g）为构建具有J2EE功能，XML和Web services的复杂的，多层的Java应用程序提供了一个完全集成的开发环境。它为运用Oracle9i数据库和应用服务器的开发人员提供特殊的功能和

增强性能，除此以外，它也有资格成为用于多种用途Java开发的一个强大的工具。

六、Oracle9i JDeveloper的主要特点如下：

1、具有UML（Unified Modeling Language，一体化建模语言）建模功能。可以将业务对象及e-business应用模型化。

2、配备有高速Java调试器（Debuger）、内置Profiling工具、提高代码质量的工具“CodeCoach”等。

3、支持SOAP（Simple Object Access Protocol）“简单对象访问协议”、UDDI（Universal Description, Discovery and Integration）“统一描述、发现和集成协议”、WSDL（Web Services Description Language）“WEB服务描述语言”等Web服务标准。JDeveloper 不仅仅是很好的 Java 编程工具，而且是 Oracle Web 服务的延伸，支持 Apache SOAP，以及 9iAS，可扩充的环境和 XML 和 WSDL 语言紧密相关。Oracle9i Jdeveloper完全利用Java编写，能够与以前的Oracle服务器软件以及其他厂商支持J2EE的应用服务器产品相兼容，而且在设计时着重针对Oracle9i，能够无缝化跨平台之间的应用开发，提供了业界第一个完整的、集成了J2EE和XML的开发环境，允许开发者快速开发可以通过Web、无线设备及语音界面访问的Web服务和交易应用，以往只能通过将传统Java编程技巧与最新模块化方式结合到一个单一集成的开发环境中之后才能完成J2EE应用开发生命周期管理的事实，从根本上得到改变。缺点就是对于初学者来说，较复杂，也比较难。

第三篇：Hadoop之JobTrack分析

Hadoop之JobTrack分析

1.client端指定Job的各种参数配置之后调用job.waitForCompletion(true)方法提交Job给JobTracker，等待Job 完成。

[java] view plaincopyprint?

1.public void submit()throws IOException, InterruptedException, 2.ClassNotFoundException { 3.ensureState(JobState.DEFINE);//检查JobState状态

4.setUseNewAPI();//检查及设置是否使用新的MapReduce API

5.6.// Connect to the JobTracker and submit the job

7.connect();//链接JobTracker

8.info = jobClient.submitJobInternal(conf);//将job信息提交

9.super.setJobID(info.getID());

10.state = JobState.RUNNING;//更改job状态

11.}

以上代码主要有两步骤,连接JobTracker并提交Job信息。connect方法主要是实例化JobClient对象，包括设置JobConf和init工作：

[java] view plaincopyprint?

1.public void init(JobConf conf)throws IOException {

2.String tracker = conf.get(“mapred.job.tracker”, “local”);//读取配置文件信息用于判断该Job是运行于本地单机模式还是分布式模式

3.tasklogtimeout = conf.getInt（4.TASKLOG_PULL_TIMEOUT_KEY, DEFAULT_TASKLOG_TIMEOUT);5.this.ugi = UserGroupInformation.getCurrentUser();

6.if(“local”.equals(tracker)){//如果是单机模式，new LocalJobRunner

7.conf.setNumMapTasks(1);

8.this.jobSubmitClient = new LocalJobRunner(conf);9.} else {

10.this.jobSubmitClient = createRPCProxy(JobTracker.getAddress(conf), conf);

11.} 12.}

分布式模式下就会创建一个RPC代理链接：

[java] view plaincopyprint?

1.public static VersionedProtocol getProxy(2.Class protocol，3.long clientVersion, InetSocketAddress addr, UserGroupInformation ticket，4.Configuration conf, SocketFactory factory, int rpcTimeout)throws IOException { 5.6.if(UserGroupInformation.isSecurityEnabled()){ 7.SaslRpcServer.init(conf);8.}

9.VersionedProtocol proxy =

10.(VersionedProtocol)Proxy.newProxyInstance（11.protocol.getClassLoader(), new Class[] { protocol }，12.new Invoker(protocol, addr, ticket, conf, factory, rpcTimeout));

13.long serverVersion = proxy.getProtocolVersion(protocol.getName(), 14.clientVersion);15.if(serverVersion == clientVersion){ 16.return proxy;17.} else {

18.throw new VersionMismatch(protocol.getName(), clientVersion, 19.serverVersion);20.} 21.}

从上述代码可以看出hadoop实际上使用了Java自带的Proxy API来实现Remote Procedure Call 初始完之后，需要提交job [java] view plaincopyprint?

1.info = jobClient.submitJobInternal(conf);//将job信息提交

submit方法做以下几件事情：

1.将conf中目录名字替换成hdfs代理的名字

2.检查output是否合法：比如路径是否已经存在，是否是明确的3.将数据分成多个split并放到hdfs上面，写入job.xml文件

4.调用JobTracker的submitJob方法

该方法主要新建JobInProgress对象，然后检查访问权限和系统参数是否满足job，最后addJob：

[java] view plaincopyprint?

1.private synchronized JobStatus addJob(JobID jobId, JobInProgress job)2.throws IOException { 3.totalSubmissions++;4.5.synchronized(jobs){

6.synchronized(taskScheduler){

7.jobs.put(job.getProfile().getJobID(), job);

8.for(JobInProgressListener listener : jobInProgressListeners){ 9.listener.jobAdded(job);10.} 11.} 12.}

13.myInstrumentation.submitJob(job.getJobConf(), jobId);14.job.getQueueMetrics().submitJob(job.getJobConf(), jobId);15.16.LOG.info(“Job ” + jobId + “ added successfully for user '”

17.+ job.getJobConf().getUser()+ “' to queue '”

18.+ job.getJobConf().getQueueName()+ “'”);19.AuditLogger.logSuccess(job.getUser()，20.Operation.SUBMIT_JOB.name(), jobId.toString());21.return job.getStatus();22.}

totalSubmissions记录client端提交job到JobTracker的次数。而jobs则是JobTracker所有可以管理的job的映射表

Map jobs = Collections.synchronizedMap(new TreeMap());taskScheduler是用于调度job先后执行策略的，其类图如下所示：

hadoop job调度机制； public enum SchedulingMode { FAIR, FIFO } 1.公平调度FairScheduler 对于每个用户而言，分布式资源是公平分配的，每个用户都有一个job池，假若某个用户目前所占有的资源很多，对于其他用户而言是不公平的，那么调度器就会杀掉占有资源多的用户的一些task，释放资源供他人使用 2.容量调度JobQueueTaskScheduler 在分布式系统上维护多个队列，每个队列都有一定的容量，每个队列中的job按照FIFO的策略进行调度。队列中可以包含队列。

两个Scheduler都要实现TaskScheduler的public synchronized List assignTasks(TaskTracker tracker)方法，该方法通过具体的计算生成可以分配的task

接下来看看JobTracker的工作： 记录更新JobTracker重试的次数：

[java] view plaincopyprint?

1.while(true){ 2.try {

3.recoveryManager.updateRestartCount();4.break;

5.} catch(IOException ioe){

6.LOG.warn(“Failed to initialize recovery manager.”, ioe);7.// wait for some time

8.Thread.sleep(FS_ACCESS_RETRY_PERIOD);9.LOG.warn(“Retrying...”);10.} 11.}

启动Job调度器,默认是FairScheduler: taskScheduler.start();主要是初始化一些管理对象，比如job pool管理池

[java] view plaincopyprint?

1.// Initialize other pieces of the scheduler

2.jobInitializer = new JobInitializer(conf, taskTrackerManager);3.taskTrackerManager.addJobInProgressListener(jobListener);4.poolMgr = new PoolManager(this);5.poolMgr.initialize();

6.loadMgr =(LoadManager)ReflectionUtils.newInstance(7.conf.getClass(“mapred.fairscheduler.loadmanager”, 8.CapBasedLoadManager.class, LoadManager.class), conf);9.loadMgr.setTaskTrackerManager(taskTrackerManager);10.loadMgr.setEventLog(eventLog);11.loadMgr.start();

12.taskSelector =(TaskSelector)ReflectionUtils.newInstance(13.conf.getClass(“mapred.fairscheduler.taskselector”, 14.DefaultTaskSelector.class, TaskSelector.class), conf);15.taskSelector.setTaskTrackerManager(taskTrackerManager);16.taskSelector.start();

[java] view plaincopyprint?

1.JobInitializer有一个确定大小的ExecutorService threadPool，每个thread用于初始化job

[java] view plaincopyprint?

1.try {

2.JobStatus prevStatus =(JobStatus)job.getStatus().clone();3.LOG.info(“Initializing ” + job.getJobID());4.job.initTasks();

5.// Inform the listeners if the job state has changed 6.// Note : that the job will be in PREP state.7.JobStatus newStatus =(JobStatus)job.getStatus().clone();8.if(prevStatus.getRunState()!= newStatus.getRunState()){ 9.JobStatusChangeEvent event =

10.new JobStatusChangeEvent(job, EventType.RUN_STATE_CHANGED, prevStatus，11.newStatus);

12.synchronized(JobTracker.this){ 13.updateJobInProgressListeners(event);14.} 15.} 16.}

初始化操作主要用于初始化生成tasks然后通知其他的监听者执行其他操作。initTasks主要处理以下工作：

[java] view plaincopyprint?

1.// 记录用户提交的运行的job信息

2.try {

3.userUGI.doAs(new PrivilegedExceptionAction