hadoop 伪分布式搭建配置

安装JDK

1. 上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

2. 解压jdk

   #创建文件夹
   mkdir /home/hadoop/app
   #解压
   tar -zxvf jdk-7u65-linux-i586.tar.gz -C /home/hadoop/app

3. 将java添加到环境变量中

   vim /etc/profile
   #在文件最后添加
   export JAVA_HOME=//usr/tools/jdk-7u_65-i585    //jdk安装路径
   export PATH=$PATH:$JAVA_HOME/bin
   
   #刷新配置
   source /etc/profile

安装hadoop-2.4.1

先上传hadoop的安装包到虚拟机上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件

配置hadoop

第一个：hadoop-env.sh
    vim hadoop-env.sh
    #第27行
    export JAVA_HOME=/software/jdk1.7.0_65   //jdk安装路径

第二个：core-site.xml
    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.175.130:9000（虚拟机IP。9000不改）</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>//usr/soft/hadoop-2.4.1/tmp（hadoop运行时产生文件的存储目录）</value>
            </property>

第三个：hdfs-site.xml   
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

第四个：mapred-site.xml 
    mv mapred-site.xml.template mapred-site.xml   //剪切更改模板
    vim mapred-site.xml
    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

第五个：yarn-site.xml
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.192.168.175.130(你的虚拟机IP)</name>
        <value>（你的主机名）</value>
</property>
    <!-- reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>

将hadoop添加到环境变量

vim /etc/proflie
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    export HADOOP_HOME=//usr/soft/hadoop-2.4.1               //jdk安装路径
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
添加完成后刷新环境
source /etc/profile

格式化namenode（是对namenode进行初始化）

hadoop namenode -format

启动hadoop

先启动HDFS
start-dfs.sh

再启动YARN
start-yarn.sh

验证是否启动成功

使用jps命令验证：输入jps命令出现下列说明启动成功
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.175.130:50070 （HDFS管理界面）
http://192.168.175.130:8088 （MR管理界面）