VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程

目录
  • 1.先决条件
    • 1.1 支持平台
    • 1.2 jdk及hadoop安装包
    • 1.3 Xshell 7与Xftp 7工具安装
  • 2.具体安装步骤
    • 2.1 网络配置
    • 2.2 Xshell连接
    • 2.3 Xftp传输
    • 2.4 jdk环境配置
    • 2.5 ssh服务配置
    • 2.6 hadoop配置
    • 2.7 hadoop单机模式操作方法

1.先决条件

1.1 支持平台

GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
所以首先我们需要下载Linux的ISO安装包安装,具体安装参考我的上一篇博客:
VirtualBox虚拟机以及CentOS系统的安装【详细】

1.2 jdk及hadoop安装包

可以去官网下载或者下载我上传的资源,我所用的具体版本如下图所示:

链接: https://pan.baidu.com/s/1XTZfzl0t79Dtz0-jmQrQuQ 提取码: pkwy

1.3 Xshell 7与Xftp 7工具安装

主要作用是用Xshell 7进行虚拟机各项操作,用Xftp 7将本地的jdk及hadoop安装包传输到虚拟机上

两个工具均可以在官网下载,选择个人使用方式可以免费下载

2.具体安装步骤

2.1 网络配置

需要注意的是在参考上篇博客安装CentOS设置网络连接时两个网关都要打开,具体如下:
启动之前进行网络设置


然后点击启动,进行到下列步骤时注意将两个网关打开并对第二个网络进行手动配置

点击配置,手动配置Ipv4,将框内地址填入对用项,点击保存。

Centos安装后,点击启动,在终端登录root账户后,输入ifconfig命令,检查网络配置,如果不存在,执行命令yum install net-tools.x86_64,弹出y/n的话,选择y。

执行

vi /etc/sysconfig/network-scripts/ifcfg-enp0s8

把onboot=no改成yes
点击insert键(即键盘i键),上下移动到那里改好之后,按esc建退出编辑模式,然后再按:wq就可以保存退出了,注意有:
不出意外,网络已经配置好了。
重启虚拟机或者重启网卡服务

service  network restart

登录后 再次输入ifconfig命令,已经有了反馈信息,如图将框内IP地址记下

2.2 Xshell连接

打开Xshell,新建连接,将IP地址写入下图框内,即可在本地建立与虚拟机的连接,后续对虚拟机的各项操作均可在Xshell终端中进行。


2.3 Xftp传输

点击下图按钮,新建文件传输,自动调用Xftp进行文件传输

在右侧root文件夹下新建java子文件夹,找到本地文件右键->传输,即可将两个压缩包上传到虚拟机

2.4 jdk环境配置

输入以下命令检测是否默认安装jdk,没有反馈信息说明没有安装

使用

> cd 对应文件夹路径

将目录切换到java子文件夹下,
使用如下命令开始解压jdk压缩包

通过/etc/profile 配置环境变量

[root@bogon ~]# vi /etc/profile

进入编辑模式(i),添加以下代码,然后保存退出(esc+:+wq)

#最后添加以下内容,注意查看自己的路径及jdk版本
export JAVA_HOME=/root/java/jdk-16
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

让/etc/profile文件修改后立即生效 ,可以使用如下命令:

[root@bogon ~]# source /etc/profile

检测是否安装成功:

[root@bogon ~]# java -version

2.5 ssh服务配置

ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程
检查是否安装ssh服务:

> [root@bogon ~]# rpm -qa|grep ssh

若已经安装会显示相应版本

没有安装,使用以下命令安装

[root@bogon ~]# yum install openssh-server

开启sshd服务

[root@bogon ~]# sudo service sshd start

为了免去每次开启 CentOS 时,都要手动开启 sshd 服务,可以将 sshd 服务添加至自启动列表中,输入

[root@bogon ~]# systemctl enable sshd.service

可以通过输入

[root@bogon ~]# systemctl list-unit-files | grep sshd

查看是否开启了sshd 服务自启动

2.6 hadoop配置

为了获取Hadoop的发行版,从Apache的某个镜像服务器上下载最近的稳定发行版,
这里我们使用安装包中的稳定版hadoop-1.0.3.tar.gz
如之前解压jdk操作一样,将放置在java文件夹下的hadoop-1.0.3.tar.gz解压
具体操作为终端切换到java路径下,使用以下命令解压压缩包

tar -zxvf hadoop-1.0.3.tar.gz

解压结果如下

尝试如下命令:

[root@bogon java]# cd /root/java/hadoop-1.0.3
[root@bogon hadoop-1.0.3]# bin/hadoop

将会显示hadoop 脚本的使用文档

2.7 hadoop单机模式操作方法

默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助,
以下命令即运行了一次hadoop程序并获取了输出。

下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目,输出写入到指定的output目录

[root@bogon hadoop-1.0.3]# mkdir input
[root@bogon hadoop-1.0.3]# cp conf/*.xml input
[root@bogon hadoop-1.0.3]# bin/hadoop jar hadoop-examples-1.0.3.jar grep input output 'dfs[a-z.]+'
[root@bogon hadoop-1.0.3]# cat output/*

以下显示该hadoop程序运行结果



到此这篇关于VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程的文章就介绍到这了,更多相关VirtualBox CentOS安装配置JDK、Hadoop内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • CentOS7.4下 安装JDK1.8的图文教程

    Linux安装JDK1.8步骤 1.检查CentOS是否有自带的openJDK,不建议使用自带的,所以先进行卸载. 输入命令"java -version",下图显示为自带openJDK 2.卸载自带openJDK方法: 先查询带有java的文件:输入命令"rpm -qa|grep java",删除.norach以外的java文件 执行删除命令:"rpm -e --nodeps java-1.8.0-openjdk-headless" 执行删除命令

  • 在无界面centos7上部署jdk和tomcat的教程

    1. 安装xshell6 2. 创建服务器连接,输入用户名和密码 3. 输入 sudo su -root 获取root权限 4. 输入 cd /usr/local 进入local文件夹 5. 输入 wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/

  • Centos中安装jdk案例讲解

    step1:先移除centos自带的jdk rpm -qa|grep java rpm -e --nodeps xx step2:安装jdk (所有软件安装在/opt/tools) vim /etc/profile # JAVA_HOME settings JAVA_HOME=/opt/tools/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin export JAVA_HOME step3:使环境变量生效,查询java版本 source /etc/pr

  • Linux系统(Centos6.5以上)安装jdk教程解析

    文章结构 1.准备工作 2.安装Java JDK8.0 3.配置环境变量 3.验证是否安装成功 5.卸载Java jdk 1, 准备工作 ①,Java JDK区分32位和64位系统,在安装的之前先通过命令查看Centos系统的版本号,具体查看命令:#uname -a 解释:如果有x86_64就是64位的,没有就是32位的.后面是X686或X86_64则内核是64位的,i686或i386则内核是32位的. 如图: ②,下载JDK,这里小编给你提供了地址如下:JKD下载地址,点击直达 ③,操作需要的

  • Linux centOS安装JDK和Tomcat的教程

    首先下载JDK. 这里使用的是jdk-8u181-linux-x64.tar.gz 下载Tomcat. 这里使用的是apache-tomcat-8.5.35.tar.gz 创建目录 $ cd / $ mkdir soft $ cd soft 把安装包放到soft里 可以使用yum命令上传 安装 yum install -y lrzsz rz回车选择文件 安装JDK $ cd /usr $ mkdir java $ tar -zxvf jdk-8u181-linux-x64.tar.gz -C /

  • CentOS8 安装 jdk8 / java8的教程(推荐)

    前言 最开始我是想在CentOS8上使用 wget 下载,然后对它进行解压,配置环境变量,奈何搞了很长时间都没有搞好,于是放弃,使用yum直接安装. 1.安装方法 CentOS8上使用 yum 直接安装,环境变量自动配置好 2.查看是否已安装 看到下面结果,说明已经安装配置 jdk [root@localhost ~]# java -version openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_

  • CentOS7上以rpm方式安装JDK8

    CentOS 7 安装成功后可能已经默认安装了OpenJDK的JRE,但平时进行JAVA开发时需要用完整的JDK,所以为了避免以后不必要的麻烦,在此卸载了OpenJDK的JRE,并重新安装了Oracle的JDK8 1.安装说明 系统环境:CentOS 7 安装方式:rpm 安装包:jdk-8u131-linux-x64.rpm 2.检查系统原安装版本 [hadoop@centos7-1 ~]$ java -version OpenJDK Version "1.8.0_131" Open

  • Linux系统(CentOS7安装)安装JDK8的教程详解

    JDK 的安装 系统安装就不做过多介绍,大家从网上寻找安装步骤进行安装,不过我推荐大家进行安装时选择桌面图形化格式进行安装,方便做一部分操作,同时在安装过程中选择英文模式,同时我自己在安装的过程中发现使用Oracle VM VirtualBox这个虚拟机工具比使用VM工具开发更加方便些 使用工具 系统:CentOS7_64位(推荐使用最小配置命令窗口) Jdk:jdk1.8.0_191 虚拟机:Oracle VM VirtualBox 文档编写工具:EditPlus 文件传输工具:FileZil

  • VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程

    目录 1.先决条件 1.1 支持平台 1.2 jdk及hadoop安装包 1.3 Xshell 7与Xftp 7工具安装 2.具体安装步骤 2.1 网络配置 2.2 Xshell连接 2.3 Xftp传输 2.4 jdk环境配置 2.5 ssh服务配置 2.6 hadoop配置 2.7 hadoop单机模式操作方法 1.先决条件 1.1 支持平台 GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证. 所以首先我们需要下载L

  • Win10下jdk安装及环境变量配置详细教程

    目录 前言 一. 准备工作 二.安装 三. 配置环境变量 1.点击"新建"会出现一个弹窗: 2.新建CLASSPATH变量 3.配置path,找到path,双击或者点编辑 四.验证环境变量配置 ① java 验证 ② javac 验证 ③ java -version 验证 前言 为什么写这篇文章呢,因为我不想再去百度搜别人的文章了,所以自己写一篇以作记录. 一. 准备工作 JDK8下载地址 JDK8下载地址2 由于有的读者说Oracle需要账号才能下载,不想那么麻烦再去注册一个,那么你

  • Win10 Java jdk14.0.2安装及环境变量配置详细教程

    1.下载安装 下载地址:https://www.oracle.com/java/technologies/javase-jdk14-downloads.html ,根据提示进行安装,记住安装路径,这里路径为:E:\Java\jdk14.0.2 2.环境变量配置  新版的jdk中默认不含有jre目录,通过如下方式生成:首先进入命令行,切换至安装路径,并运行以下命令: bin\jlink.exe --module-path jmods --add-modules java.desktop --out

  • WIN10环境 Maven的安装与配置详细教程

    WIN10环境 Maven的安装与配置,步骤如下所示: 第一步:安装JDK并配置环境变量     注意:全部配置到系统变量或者用户变量!! cmd输入java -version验证是否安装: 第二步:安装Maven 下载地址: http://maven.apache.org/download.cgi 下载好之后,解压并选择存放路径: 第三步:Maven环境变量配置 首先打开我的电脑->属性->高级系统设置. 新建系统变量:MAVEN_HOME,复制Maven的路径: 在系统变量:Path中复制

  • mysql 8.0.20 安装配置详细教程

    本文为大家分享了mysql 8.0.20 安装配置详细教程,供大家参考,具体内容如下 1.下载mysql8.0.20安装包 MySQL官网:链接 直接点击链接也可以下载:mysql 8.0.20 找到安装包后下载.(官网为英文,如果看不懂的小伙伴可以将网站复制到谷歌进行翻译) 点击跳过登录,直接下载到本地. 安装mysql1.下载下来之后是一个zip的压缩包文件 将其解压. 2.解压之后,接下来设置环境变量 右击我的电脑===>点击属性===>点击高级系统设置===>环境变量===>

  • IntelliJ IDEA安装scala插件并创建scala工程的步骤详细教程

    具体步骤如下: 1.找到与IntelliJ IDEA对应的scala版本 如图,在File下找到Settings 在弹出的对话框中点击Plugins,然后点击Install JetBrains plugin 在搜索框中输入scala,点击scala,在对话框右边出现该IntelliJ对应的scala版本,从图中看到该版本的IntelliJ对应的scala版本是2018/2/11更新的 在网站 https://plugins.jetbrains.com/plugin/1347-scala 可查看到

  • windows 安装解压版 mysql5.7.28 winx64的详细教程

    1. 解压 解压到 D:\Mysql-5.7 路径下,并重命名文件为 mysql. 2.创建 data 文件夹 打开 mysql 文件夹创建 data 文件夹 3.给 mysql 添加环境变量 3.1 打开控制面板,点击'系统和安全' 3.2点击'系统'之后,点击'高级系统设置' 3.3点击环境变量,进入环境变量设置菜单 选中系统变量中的 "path",在 path 值里面输入: D:\Mysql-5.7\mysql\bin 保存退出 4.到 mysql 文件夹中创建 my.ini 文

  • VMware Workstation安装并安装WIN10操作系统连接外网步骤指导(超详细教程)

    首先下载VMware Workstation15.1版本,我保存在迅雷链接里面,下载速度非常可观. 链接: https://pan.baidu.com/s/1_orx0T1hDpadaBznwWzW1A 提取码: 6grf 安装步骤: 双击打开,傻瓜式安装一直点击下一步下一步即可.当然安装过程中会让我们选择安装的软件夹,可自行选择要安装的软件夹位置. 当我们安装完成之后学选择输入许可证,许可证就可以理解为一个激活码一样的东西. 这里有一个此版本的许可证,大家按照这个许可证输入进去并选择完成就ok

  • MySQL数据库压缩版本安装与配置详细教程

    一.下载MySQL 下载地址: https://dev.mysql.com/downloads/mysql/ https://dev.mysql.com/downloads/mysql/5.7.html#downloads (MySQL Community Server 5.7.34) 二.解压压缩包 下载完成后,将压缩包直接解压. 三.初始化mysql 新建data文件并新建my.ini配置文件 在解压后的mysql目录下面新建一个data的空文件夹,再在D:\Program Files\my

  • MySQL的安装与配置详细教程

    免安装版的Mysql MySQL是一种关系数据库管理系统,所使用的 SQL 语言是用于访问数据库的最常用的 标准化语言,其特点为体积小.速度快.总体拥有成本低,尤其是开放源码这一特点,在 Web应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一. 在本博文里,我主要以Mysql免安装版为例,帮助大家解决安装与配置mysql的步骤. 首先:要先进入mysql官网里(Mysql的官网-->https

随机推荐