#前言

  初次部署Hadoop,折腾了一整天,到处找资料,发现找到的资料配置都略有差别，一脸懵懂。还好这几天不忙，能慢慢折腾。晚上貌似部署成功了,怎么验证呢？等部署好Spark时再检查是否正常运行出结果吧。

#闲扯

  上周未至现在这几天（上班就晚上干了），把基本的hoovip.com 改成一个电影站,采集了5个电影站，每3个小时采集一次,做了微博自动分享电影功能。慢慢优化吧，弄完后再打算弄一个api接口，针对 Youtube,B站,Tumblr 提供下载服务。因为查了下后台,这三个查询的比例最大，最后今天上google站长统计发现，csdn上的  带来100~200的访问IP,哈哈。

#来上代码吧

1, vim /etc/hosts   192.168.1.101 had001(master)  192.168.1.102 had002  192.168.1.103 had003   #复制到102,103 主机  一，操作had001主机2,将101 的 .ssh/authorized_keys 复制到 102,103二台服务器  scp -i /home/xxx.pem .ssh/authorized_keys root@had002:/root/.ssh/  scp -i /home/xxx.pem .ssh/authorized_keys root@had003:/root/.ssh/  #如果没问题，在101上就可以直接 ssh root@had002 连上102服务器了  3，将路径写入环境变更 vim /etc/profile  ,保存后执行 source /etc/profile  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64  export HADOOP_HOME=/home/hadoop  export HDFS_NAMENODE_USER=root  export HDFS_DATANODE_USER=root  export HDFS_SECONDARYNAMENODE_USER=root  export YARN_RESOURCEMANAGER_USER=root  export YARN_NODEMANAGER_USER=root   echo export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh 4,配置core-site vim $HADOOP_HOME/etc/hadoop/core-site.xml      
    
               
     
                     
      
       hadoop.tmp.dir
                     
      
       file:/usr/local/hadoop/tmp
       
               
              
     
                  
      
       fs.defaultFS
                  
      
       hdfs://had001:9000
       
               
          
    5,配置 vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml     
    
             
     
                  
      
       dfs.replication
       
                  
      
       1
              
              
     
                  
      
       dfs.namenode.name.dir
       
                  
      
       file:/usr/local/hadoop/tmp/dfs/name
               
              
     
                  
      
       dfs.datanode.data.dir
       
                  
      
       file:/usr/local/hadoop/tmp/dfs/data
               
             
     
                
      
       dfs.namenode.secondary.http-address
       
                
      
       had001:9001
              
         
    6，配置 vim $HADOOP_HOME/etc/hadoop/mapred-site.xml     
    
             
     
                  
      
       mapreduce.framework.name
                  
      
       yarn
              
         
    7,配置 vim $HADOOP_HOME/etc/hadoop/yarn-site.xml    
    
             
     
                  
      
       yarn.resourcemanager.hostname
                  
      
       had001
              
             
     
                  
      
       yarn.nodemanager.aux-services
                  
      
       mapreduce_shuffle
              
             
     
                  
      
       yarn.resourcemanager.address
                  
      
       had001:8032
              
             
     
                 
      
       yarn.resourcemanager.scheduler.address
                 
      
       had001:8030
              
             
     
                 
      
       yarn.resourcemanager.resource-tracker.address
                 
      
       had001:8031
              
             
     
                 
      
       yarn.resourcemanager.admin.address
                 
      
       had001:8033
              
             
     
                 
      
       yarn.resourcemanager.webapp.address
                 
      
       had001:8088
              
         
    8，指定datanode 节点主机名 vim $HADOOP_HOME/etc/hadoop/workers     had002    had0039, 配置完之后,把101上面的 hadoop 打包传到 102，103二台主机上   zip -R hadoop.zip hadoop   scp /home/hadoop.zip  root@had002:/home   scp /home/hadoop.zip  root@had003:/home10,传输完之后,在102,103上进行解压    ssh root@had002  #登录    unzip -r /home/hadoop.zip    11，在101上格式化hdfs    $HADOOP_HOME/bin/hdfs namenode -format12,启动dfs $HADOOP_HOME/sbin/start-dfs.sh,使用jps查看启用的服务 (stop-dfs.sh是停止）13,启动yarn(分布式计算) $HADOOP_HOME/sbin/start-yarn.sh14，查看HDFS系统状态  $HADOOP_HOME/bin/hdfs dfsadmin -report15,最后执行jps查看后台运行的服务   101主机        22656 Jps        21205 ResourceManager        20405 SecondaryNameNode        10233 NodeManager        20155 NameNode   102，103主机        3697 Jps        3001 DataNode        3389 NodeManager

参考 http://www.cnvirtue.com/547.htmlhttps://www.linode.com/docs/databases/hadoop/how-to-install-and-set-up-hadoop-cluster/

还有这几个官方文档，方便查询http://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-common/core-default.xmlhttp://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttp://hadoop.apache.org/docs/r3.0.3/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xmlhttp://hadoop.apache.org/docs/r3.0.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

您有什么不同的意见或看法? 欢迎留言共同学习,谢谢。

本文链接：

关键字：Hadoop 3.0.3 集群部署

若无特别注明,文章皆为原创,转载请注明出处...O(∩_∩)O