博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
2.7.3版本hadoop之HDFS环境搭建之浅谈
阅读量:6673 次
发布时间:2019-06-25

本文共 1414 字,大约阅读时间需要 4 分钟。

环境:vm虚拟机、centos7 x64  

相关软件:

1.8版本jdk安装包  Hadoop安装包等

OK,接下来,重头戏开始了!!!

首先关闭防火墙 便于虚机之外的主机访问(坑一)

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

操作步骤:

1.把相关软件包上传到虚机,此处用到的工具 WinSCP

2.解压到指定路径,便于统一管理.

3.配置Java环境

  /etc/profile下添加如下内容即可:

此处,切记 属性值不要有空格之类的,不然会出错,致使整个系统的内置的shell指令,无法使用,若真出现上述问题,

还是有解决之法的:export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin 即可

修改完成后,执行,使配置文件生效。

输入上述指令验证Java环境是否配好。

4.安装hadoop至/usr/local/mysoft/hadoop

Hadoop解压后即可使用,通过如下指令验证Hadoop是否可用

Hadoop配置文件说明

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。

此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

./etc/hadoop 

core-site.xml

hdfs-site.xml

上述配置完毕,执行

结果:

 

 如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误,则说明之前设置 JAVA_HOME 环境变量那边就没设置好,请按教程先设置好 JAVA_HOME 变量,否则后面的过程都是进行不下去的。

解决方案1:./etc/hadoop hadoop-env.sh 添加

           2:~/.bashrc中设置,添加内容如上

启动Hadoop完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。

可以访问web界面,查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。

 

转载于:https://www.cnblogs.com/meiCode/p/6928661.html

你可能感兴趣的文章
Java抽象类与接口的区别
查看>>
一张图让自己搞懂(mēng)原型&原型链
查看>>
前端每日实战:75# 视频演示如何用纯 CSS 创作一支摇曳着烛光的蜡烛
查看>>
.NET或将引入类型类和扩展
查看>>
Windows 使用 ln -s 创建软链接
查看>>
来看一场 AI 重建的 3D 全息世界杯比赛!
查看>>
动态权限<三>华为小米特殊机制
查看>>
Python黑帽编程2.6 模块
查看>>
远端访问MySQL
查看>>
f(f(x))=-x, x是Int32,这类函数的抽象理解
查看>>
[LeetCode] Longest Consecutive Sequence
查看>>
CentOs~程序部署那些事
查看>>
关于查询扩展版ESI高被引论文的说明
查看>>
亚信安全与成都市政府达成战略合作
查看>>
SSH::Batch,在公有云中使用 ssh 工具箱
查看>>
“外围”消亡 企业安全防护需要新形态
查看>>
三招教你如何选择企业网盘
查看>>
轻量函数式 JavaScript:一、为什么要进行函数式编程?
查看>>
替代SSD?Crossbar进军中国存储市场
查看>>
红杉计越:AI、大数据、SaaS、云计算为何在中国一体迸发?
查看>>