windows下安装部署 hadoop

 

一、安装下载

1.首先在hadoop官网下载一个稳定版本，选择binary包

官网地址：https://hadoop.apache.org/releases.html

下载下来是tar.gz文件，用winrar解压即可。

2.因为这个压缩包是for linux系统的，win下还需要安装几个dll winutils, 

下载地址：https://www.jianguoyun.com/p/Dcs2UoQQzuztCxiq89oFIAA

二、环境变量

1.在环境变量中配置好JAVA_HOME

2.将压缩包解压到 D:\hadoop-3.3.6 ，并在环境变量里将此路径添加到 HADOOP_HOME。

3.将 hadoop-3.3.6 目录下的 bin 文件夹添加到 PATH 变量中。

4.并把 winutils 压缩包解压后的 dll 文件拷贝复制到 hadoop 的 bin 目录下。

三、配置HADOOP

1.配置 hdfs-site.xml

<configuration>  <property>         <name>dfs.replication</name>         <value>3</value>     </property>     <property>         <name>dfs.namenode.name.dir</name>         <value>file:///D:/hadoop-3.3.6/data/namenode</value>     </property>     <property>         <name>dfs.datanode.data.dir</name>         <value>file:///D:/hadoop-3.3.6/data/datanode</value>     </property> </configuration>

2.配置 core-site.xml

<configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://127.0.0.1:9000</value>     </property>          <property>       <name>hadoop.tmp.dir</name>       <value>/D:\hadoop-3.3.6datatmp</value>     </property> </configuration>

3.配置 mapred-site.xml

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>     </property>     <property>        <name>mapred.job.tracker</name>        <value>hdfs://localhost:9001</value>     </property> </configuration>

4.配置 yarn-site.xml

<configuration>  <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>     </property>     <property>         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>         <value>org.apache.hahoop.mapred.ShuffleHandler</value>     </property> </configuration>

 

四、启动执行

1.执行 hdfs namenode -format 命令, 初始化数据目录

成功后会生成如下文件

 

2.执行 start-dfs.cmd ， 启动 namenode 和 datanode 进程

 3.执行 start-yarn.cmd , 启动 resourcemanager 和 nodemanager进程

 五、WEB访问

1.启动成功后, 访问 localhost:8088，可以看到 hadoop 的管理页面

 2. 访问 localhost:9870, 查看 namenode 节点的管理信息