第一篇：cent_OS_下hadoop完全分布式安装-hadoop2.6.1版-亲测自己总结
一、安装Cent OS 6
1、首先，要有一张CentOS 6.4的安装介质，使用介质启动电脑出现如下界面 界面说明：
Install or upgrade an existing system 安装或升级现有的系统 install system with basic video driver 安装过程中采用基本的显卡驱动 Rescue installed system 进入系统修复模式 Boot from local drive 退出安装从硬盘启动 Memory test 内存检测
注：用联想E49安装时选择第一项安装时会出现屏幕显示异常的问题，后改用第二项安装时就没有出现问题
2、介质直接“skip”就可以了
3、出现引导界面，点击“next”
4、选中“English（English）”否则会有部分乱码问题
5、键盘布局选择“U.S.English”
6、选择“Basic Storage Devies“点击”Next“
7、询问是否忽略所有数据，新电脑安装系统选择”Yes,discard any data“
8、Hostname填写格式“英文名.姓”
9、网络设置安装图示顺序点击就可以了
这里可以不设置在安装完毕后可以通过Linux命令进行设置
10、时区可以在地图上点击，选择“shanghai”并取消System clock uses UTC前面的对勾
11、设置root的密码（重要必须牢记密码）
12、硬盘分区，一定要按照图示点选
如果想安装双系统这里不能这么选，请查找资料进行选择
13、调整分区，必须要有/home这个分区，如果没有这个分区，安装部分软件会出现不能安装的问题
14、询问是否格式化分区
15、将更改写入到硬盘
16、引导程序安装位置
17、最重要的一步，也是本教程最关机的一步，也是其他教程没有提及的一步，按图示顺序点击
18、取消以下内容的所有选项
根据自己的需要进行选择这些都是系统提供的一些工具可以选择安装这些工具 Applications Base System Servers 并对Desktops进行如下设置 即取消如下选项：
Desktop Debugging and Performance Tools Desktop Platform Remote Desktop Clients Input Methods中仅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消
19、选中Languages，并选中右侧的Chinese Support然后点击红色区域
20、调整完成后如下图所示
21、至此，一个最精简的桌面环境就设置完成了，22、安装完成，重启
23、重启之后，的License Information
24、Create User Username：填写您的英文名（不带.姓）Full Name：填写您的英文名.姓（首字母大写）
25、”Date and Time" 选中 “Synchronize data and time over the network” Finsh之后系统将重启
26、第一次登录，登录前不要做任何更改，这个很重要！！登录之后紧接着退出 第二次登录，选择语言，在红色区域选择下拉小三角，选other，选中“汉语（中国）”
27、登录之后，请一定按照如下顺序点击！
至此，CentOS安装完成，如有其他问题，请随时与我联系！
二、安装hadoop 1.新建运行hadoop专属用户名cast503，修改主节点为master，从节点名称为slave*
这里使用三台主机进行搭建，分别为 Master 10.0.4.70 Slave1 10.0.4.71 Slave2 10.0.4.72 以下设置均在root权限下进行设置
2.将所有的主机进行组网 修改所有的主机文件
/etc/hosts
添加主机名称和对应的IP，形式如下所示 127.0.0.1
localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 10.0.4.70 Master 10.0.4.71 Slave1 10.0.4.72 Slave2 2修改/etc/sysconfig/network-script/ifcgf-eth0 文件，定义网卡的IP DNS 工作组
IP地址类型（动态或者静态）广播地址等信息
注意当一台主机有多张网卡时 /etc/sysconfig/netrok-script/ 文件中包含多个ifcgf-文件，修改接入网络的那张网卡的对应文件，文件内容的正确与否直接关系到时否能正确组网
文件内容包括
DEVICE=eth0
#网卡名称
BOOTPROTO=static #静态/动态IP IPADDR=10.0.4.70 #网卡的IP地址 NETMASK=255.255.255.0 #子网掩码 GATEWAY=192.168.0.1 #默认网关 TYPE=Ethernet 3 关闭防火墙（如果对防火墙有很好的认识可以对防火墙规则进行配置，在满足Hadoop需要的同时增强系统的安全性，这里只介绍完全关闭防火墙）
关闭所有机器上的防火墙，不然会导致datanode起不来 临时关闭：service iptables stop 永久关闭：chkconfig iptables off
经过上面步骤后，计算机组网已经完成，我们可以通过
ping IP地址/主机名如 ping 10.0.4.71 或者ping slave1的方式来验证网络是否联通
3.安装JDK
注意：各主机JDK安装版本和安装位置必须相同
JDK可以去Oracl官网进行下载，可以根据自己电脑安装的是 Linux系统来选择是 64位还是 32 位 JDK for Linux 这里以jdk-7u45-linux-x64.gz为例下载JDK 存放在 /home/cast503/ 目录下 JDK安装在/usr/java录下（需要新建文件mkdir /usr/java 1进入/usr/java文件 cd /usr/java 2解压软件包jdk-7u45-linux-x64.gzgunzip /home/cast503/jdk-7u45-linux-x64.gz 3解压后会在 /usr/java/ 目录下生成 jdk1.8.0_60 文件夹
4配置Java系统环境变量，在root权限下打开 /etc/profile 文件
vim /etc/profile 5在文件的末尾添加上如下内容(包含hadoop环境变量)export JAVA_HOME=/usr/java/jdk1.8.0_60 export HADOOP_HOME=/home/cast503/hadoop-2.6.1 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_HOME/sbin export JRE_HOME=$JAVA_HOME/jre 6由于Linux系统默认安装openJDK所以这里要修改默认JDK为我们安装的JDK 在cast503账户下输入下列命令
sudo update-alternatives-install /usr/bin/javacjavac/user/java/jdk1.7.0_45/bin/javac 300(注意红色部分是设置的JAVA_HOME的文件路径，也就是Java的安装路径)Sudo update-alternatives--config java 会出现Linux中所有可用的JDK 我们选择自己安装的JDK 安回车键即可 7 查看Linux是否是我们安装的JDK 输入命令 Java-version
如果出现如下图所示即为安装成功
4配置SSH免密码登录
如果出现agent admitted failure to sign using the key 解决方式为使用ssh-add指令将私钥加进来
ssh-add /home/cast503/.ssh/id_rsa.ssh目录的权限为700
chmod 700 /home/cast503/.ssh authorized_keys文件的权限为600 chmod 600 /home/cast503/.ssh/authorized_keys
5.配置 hadoop 4.1.1 配置 hadoop-env.sh # cd /usr/lib/hadoop # vim etc/hadoop/hadoop-env.sh(注意，此处不是系统的 etc 目录)将 JAVA_HOME 修改为刚才配置的位置
4.1.2 配置 core-site.xml # vim etc/hadoop/core-site.xml 添加以下内容：
6.启动Hadoop 1.将master结点上配置好的hadoop文件夹拷贝到所有的slave结点上 以slave1为例：命令如下：
scp-r ~/hadoop-2.6.1 hadoop@slave1:~/ 安装完成后，我们要格式化HDFS然后启动集群所有节点。2.格式化HDFS文件系统的namenode（这里要进入hadoop-2.6.1目录来格式化好些）： cd hadoop-2.6.1 //进入hadoop-2.6.1目录 bin/hdfs namenode-format //格式化
3.启动Hadoop集群 启动hdrs命令如下：
sbin/start-dfs.sh //开启进程
成功的话输入jps会出现如下界面：
注：如果不能启动，需要把 hadoop 目录下 tmp、dfs 目录删除，重新格式化 NN再启动
点击咨询 