Linux下安装Hadoop集群详细步骤

大家好，本篇文章主要讲的是Linux下安装Hadoop集群详细步骤，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览

1.在usr目录下创建Hadoop目录，将安装包导入目录中并解压文件
2.进入vim /etc/profile文件并编辑配置文件
3.使文件生效
4.进入Hadoop目录下
5.编辑配置文件
6.进入slaves添加主节点和从节点
7.将各个文件复制到其他虚拟机上
8.格式化hadoop (仅在主节点中进行操作)
9.回到Hadoop目录下（仅在主节点操作）

1.在usr目录下创建Hadoop目录，将安装包导入目录中并解压文件

2.进入vim /etc/profile文件并编辑配置文件

 #hadoop export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/bin

3.使文件生效

 source /etc/profile

4.进入Hadoop目录下

 cd /usr/hadoop/hadoop-2.6.0/etc/hadoop

5.编辑配置文件

（1）进入vim hadoop-env.sh文件添加（java jdk文件所在位置）

 export JAVA_HOME=/usr/java/jdk1.8.0_181

（2）进入 vim core-site.xml（z1:在主节点的ip或者映射名(改成自己的)）

   hadoop.tmp.dirfile:/root/hadoop/tmp fs.default.namehdfs://z1:9000 fs.trash .insterval10080 io.file. buffer.sizei4096 39,9         底端

（3）Hadoop没有mapred-site.xml这个文件现将文件复制到这然后进入mapred-site.xml

 cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml

（z1:在主节点的ip或者映射名(改成自己的)）

   mapreduce.framework.nameyarn mapred.job.ubertask.enabletrue mapred.job.trackerz1:9001 mapreduce.jobhistory.addressCMaster:10020

（4）进入yarn-site.xml

 vim yarn-site.xml

（z1:在主节点的ip或者映射名(改成自己的)）

   yarn.resourcemanager.hostnamez1 The address of the appiications manager interface inthe RM.yarn.resourcemanager.addressz1:8032 yarn.resourcemanager.scheduler.addressz1:8030 yarn.resourcemanager.webapp.addressz1:8088 yarn.resourcemanager.webapp.https.addressz1:8090 yarn.resourcemanager.resource-tracker.addressz1:8031 yarn.resourcemanager.admin.addressz1:8033yarn.nodemanager.aux-servicesmapreduce_shuffle yarn.scheduler.maximum-a11ocation-mb2024每个节点可用内存,单位M,默认8182MB yarn.nodemanager.vmem-pmem-ratio2.1 yarn.nodemanager.resource.memory-mb1024 yarn.nodemanager.vmem-check-enabledfalse yarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler

(5)进入hdfs-site.xml

 vim hdfs-site.xml

   dfs.namenode.name.dirfile:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas dfs.datanode.data.dirfile:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas dfs.replication3 dfs.permissionsfalse dfs.bloksize134217728

6.进入slaves添加主节点和从节点

 vim slaves

添加自己的主节点和从节点（我的是z1,z2,z3）

7.将各个文件复制到其他虚拟机上

 scp -r /etc/profile root@z2:/etc/profile #将环境变量profile文件分发到z2节点 scp -r /etc/profile root@z3:/etc/profile #将环境变量profile文件分发到z3节点 scp -r /usr/hadoop root@z2:/usr/   #将hadoop文件分发到z2节点 scp -r /usr/hadoop root@z3:/usr/   #将hadoop文件分发到z3节点

生效两个从节点的环境变量

 source /etc/profile

8.格式化hadoop (仅在主节点中进行操作)

首先查看jps是否启动hadoop

 hadoop namenode -format

当看到Exiting with status 0时说明格式化成功

9.回到Hadoop目录下（仅在主节点操作）

 cd /usr/hadoop/hadoop-2.6.0 sbin/start-all.sh  启动Hadoop仅在主节点操作

主节点输入jps效果：

从节点输jps效果：

到此这篇关于Linux下安装Hadoop集群详细步骤的文章就介绍到这了,更多相关Linux安装Hadoop集群内容请搜索0133技术站以前的文章或继续浏览下面的相关文章希望大家以后多多支持0133技术站！

以上就是Linux下安装Hadoop集群详细步骤的详细内容，更多请关注0133技术站其它相关文章！