专业的JAVA编程教程与资源

网站首页 > java教程 正文

没有集群环境?你的Windows机器竟然也可以学习Hadoop大数据开发

temp10 2024-09-25 21:12:16 java教程 8 ℃ 0 评论

Hadoop 最初是Linux平台使用的,集群环境也是搭建在linux系统。其实在学习的时候完全可以在Windows去练习它的使用,这样不需要安装虚拟机也可以学习Hadoop了。下面我通过实践总结了一套步骤供你一步步实现。其中更改配置的部分可以到Github上下载。


没有集群环境?你的Windows机器竟然也可以学习Hadoop大数据开发

1.Java

· 下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java,在启动资源节点管理器时会出现错误

· Java 安装自选目录, 必须是中间不带空格的目录结构:比如 C:\java64

· 安装完成后,使用"java -version"命令在命令行中确认运行了正确的版本

  • C:\Users>java -version
  • java version "1.8.0_251"
  • Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
  • Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)


2.WinRAR/7-ZIP

· 下载并安装WinRAR 64位版本,用来解压Windows上的Linux类型tar.gz包:

· 或者使用7-zip:


3. Hadoop

· 安装Hadoop发行版。二进制包:

· 解压并将文件夹名重命名为hadoop,并将其放在C:\Learning

· 目录名字中间不要有空格(因为Hadoop初始开发基于linux, linux 文件名字不能有空格)。


3. 1 Setup Environmental Variables



添加以下目录到path变量:



3.2 Edit Hadoop Configuration

注意:如果你不想自己配置下面 3.2 过程, 除了3.2.3 其它的步骤可以忽略, 那么下载下面链接(bin data etc)文件夹放到你的hadoop目录下覆盖(https://github.com/yjy24/bigdata_learning ), 然后从3.2.3 开始继续!


3.2.1 新建data 目录和子目录

· c:/Learning/hadoop/data

· c:/Learning/hadoop/data/namenode

· c:/Learning/hadoop/data/datanode


3.2.2 修改 Hadoop 配置文件

· HDFS服务地址

· 加入如下内容到mapreduce 框架设置文件

· 添加namenode 和 datanode 目录设置



· 添加如下内容到Yarn配置文件


· 设置 JAVA_HOME 目录到 hadoop-env.cmd. 文件第一行。


3.2.3 下载配置Windows 环境需要的库文件

· 1. 安装 Visual C++ 2010 Redistributable Package (x64):

· 2. 把 winutils.exe 等 windows 需要的文件放到 C:\Learning\hadoop\bin 下面。

    下载 下面的bin 直接覆盖C:\Learning\hadoop\bin。

· 3. 把里面的 hadoop.dll 拷贝到 C:\Windows\System32 一份


3.3 启动Hadoop

3.3.1 格式化 Hadoop namenode:


3.3.2 启动 Hadoop 所有的服务:

· 要用管理员身份运行,四个service窗口会打开运行, 包括HDFS 的数据节点 和 Yarn 管理器服务进程

C:\Learning\hadoop\sbin\start-all.cmd


3.4 Open Hadoop GUI

· 完成以上步骤后,打开浏览器,导航到: , 这里可以查看job的运行情况 log 信息。



Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表