网站首页 > java教程 正文
Hadoop 最初是Linux平台使用的,集群环境也是搭建在linux系统。其实在学习的时候完全可以在Windows去练习它的使用,这样不需要安装虚拟机也可以学习Hadoop了。下面我通过实践总结了一套步骤供你一步步实现。其中更改配置的部分可以到Github上下载。
1.Java
· 下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java,在启动资源节点管理器时会出现错误
· Java 安装自选目录, 必须是中间不带空格的目录结构:比如 C:\java64
· 安装完成后,使用"java -version"命令在命令行中确认运行了正确的版本
- C:\Users>java -version
- java version "1.8.0_251"
- Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
- Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)
2.WinRAR/7-ZIP
· 下载并安装WinRAR 64位版本,用来解压Windows上的Linux类型tar.gz包:
· 或者使用7-zip:
3. Hadoop
· 安装Hadoop发行版。二进制包:
· 解压并将文件夹名重命名为hadoop,并将其放在C:\Learning
· 目录名字中间不要有空格(因为Hadoop初始开发基于linux, linux 文件名字不能有空格)。
3. 1 Setup Environmental Variables
添加以下目录到path变量:
3.2 Edit Hadoop Configuration
注意:如果你不想自己配置下面 3.2 过程, 除了3.2.3 其它的步骤可以忽略, 那么下载下面链接(bin data etc)文件夹放到你的hadoop目录下覆盖(https://github.com/yjy24/bigdata_learning ), 然后从3.2.3 开始继续!
3.2.1 新建data 目录和子目录
· c:/Learning/hadoop/data
· c:/Learning/hadoop/data/namenode
· c:/Learning/hadoop/data/datanode
3.2.2 修改 Hadoop 配置文件
· HDFS服务地址
· 加入如下内容到mapreduce 框架设置文件
· 添加namenode 和 datanode 目录设置
· 添加如下内容到Yarn配置文件
· 设置 JAVA_HOME 目录到 hadoop-env.cmd. 文件第一行。
3.2.3 下载配置Windows 环境需要的库文件
· 1. 安装 Visual C++ 2010 Redistributable Package (x64):
· 2. 把 winutils.exe 等 windows 需要的文件放到 C:\Learning\hadoop\bin 下面。
下载 下面的bin 直接覆盖C:\Learning\hadoop\bin。
· 3. 把里面的 hadoop.dll 拷贝到 C:\Windows\System32 一份
3.3 启动Hadoop
3.3.1 格式化 Hadoop namenode:
3.3.2 启动 Hadoop 所有的服务:
· 要用管理员身份运行,四个service窗口会打开运行, 包括HDFS 的数据节点 和 Yarn 管理器服务进程
C:\Learning\hadoop\sbin\start-all.cmd
3.4 Open Hadoop GUI
· 完成以上步骤后,打开浏览器,导航到: , 这里可以查看job的运行情况 log 信息。
猜你喜欢
- 2024-09-25 java并发编程之原子性问题(java实现原子性)
- 2024-09-25 Java代码非常实用的小技巧(一段java代码的详细解说)
- 2024-09-25 Java 代码性能优化总结(过来人经验)
- 2024-09-25 你写的Java对象究竟占多少内存?(java一个对象占多少内存)
- 2024-09-25 图文详解Java对象内存布局(java对象的内存地址)
- 2024-09-25 Java调用native本地方法实例:控制台下的中英文字符对齐问题
- 2024-09-25 Waterfox水狐浏览器——基于火狐开发的64位浏览器
- 2024-09-25 分布式id生成器(分布式id算法)
- 2024-09-25 Java 中 long 和 double 的原子性?
- 2024-09-25 java对象在内存中如何分布 | java上锁原来就是内存占位,so easy
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- java反编译工具 (77)
- java反射 (57)
- java接口 (61)
- java随机数 (63)
- java7下载 (59)
- java数据结构 (61)
- java 三目运算符 (65)
- java对象转map (63)
- Java继承 (69)
- java字符串替换 (60)
- 快速排序java (59)
- java并发编程 (58)
- java api文档 (60)
- centos安装java (57)
- java调用webservice接口 (61)
- java深拷贝 (61)
- 工厂模式java (59)
- java代理模式 (59)
- java.lang (57)
- java连接mysql数据库 (67)
- java重载 (68)
- java 循环语句 (66)
- java反序列化 (58)
- java时间函数 (60)
- java是值传递还是引用传递 (62)
本文暂时没有评论,来添加一个吧(●'◡'●)