如何启动并运行 Hadoop

一则或许对你有用的小广告

欢迎加入小哈的星球 ,你将获得:专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡/ 赠书活动

目前,正在 星球 内带小伙伴们做第一个项目:全栈前后端分离博客项目,采用技术栈 Spring Boot + Mybatis Plus + Vue 3.x + Vite 4手把手,前端 + 后端全栈开发,从 0 到 1 讲解每个功能点开发步骤,1v1 答疑,陪伴式直到项目上线,目前已更新了 204 小节,累计 32w+ 字,讲解图:1416 张,还在持续爆肝中,后续还会上新更多项目,目标是将 Java 领域典型的项目都整上,如秒杀系统、在线商城、IM 即时通讯、权限管理等等,已有 870+ 小伙伴加入,欢迎点击围观

如果您不想使用专用硬件来进行快速设置和研究,那么虚拟机将是正确的选择。

设置虚拟机

第一步:下载虚拟机​​播放器

您可以从 这里 免费下载 VM Player。

继续并在您的主机操作系统上安装。

第二步:下载虚拟机

你可以从 这里 下载合法的 CentOs6 镜像。

您甚至可以 下载 为大数据需求量身定制的 Cloudera Quick Start VM。

下载后,将其解压缩到主机操作系统中的合适位置。

第三步:启动虚拟机

点击“打开虚拟机”

选择您已经提取的那个

点击“播放虚拟机”

您可能需要帮助 VM Player,当出现提示时点击“我复制了它”

使用密码“tomtom”登录

登录成功会显示桌面画面

安装Java

第 1 步:确保 CentOS 系统是完全最新的

成为超级用户并运行 yum update


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第二步:安装JDK


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

在 Windows 中,它是一键安装过程


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

CentOS6下,JDK安装在以下文件夹下


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

安装 Hadoop

第 3 步:创建新用户以运行 hadoop


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 4 步:下载 Hadoop


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

现在我们可以将 hadoop 放在 /usr/share/hadoop 文件夹下


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 5 步:更改所有权


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

步骤 6:更新环境变量


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

在 Windows 中一切都很简单


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 7 步:测试 Hadoop


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

步骤 8:修复 SSH 问题

如果您在启动 dfs(名称节点、数据节点或纱线)时遇到与 SSH 相关的问题,则可能是 SSH 未安装或未运行。

问题#1:


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

问题#2:


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

解决方案

安装 SSH 服务器/客户端


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

启用 SSH


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

创建空短语 SSH 密钥,这样您就不必在 hadoop 工作时手动输入密码


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

验证执行 SSH 不会提示输入密码


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

启动所有组件


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

Hadoop集群

硬盘文件系统

以伪分布式模式运行 Hadoop

第 1 步:更新 core-site.xml

将以下内容添加到 core-site.xml


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 2 步:更新 hdfs-site.xml

将以下内容添加到 hdfs-site.xml


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 3 步:更新 mapred-site.xml

将以下内容添加到 mapred-site.xml


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 3 步:更新 yarn-site.xml

将以下内容添加到 yarn-site.xml


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 4 步:名称节点格式


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

第 5 步:停止 Hadoop 组件


 [tom@localhost ~]$ su
Password:
[root@localhost tom]# yum update

Windows 问题

问题 #1:JAVA_HOME 相关问题

解决方案: 设置不同

问题 #2:无法找到 winutils 二进制文件

解决方案: 下载 并复制 hadoop-common-2.2.0/bin 文件夹并将它们粘贴到 HADOOP_HOME/bin 文件夹。或者,您可以按照 此处 所述为您自己的环境构建 hadoop。

问题 #3:“系统找不到 指定的批次标签

解决方案: 这里 下载 unix2dos 并运行所有 hadoop 批处理文件。