Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置

Hadoop是Java写的,他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK(1.6以上)

原材料:在Oracle官网下载的32位JDK:

说明:

1、CentOS 7.0系统现在只有64位的,但是,Hadoop一般支持32位的,在64位环境下有事会有Warning出现,避免真的有神马问题,选择i586的JDK(即32位的),当然,64位的CentOS 7 肯定是兼容32位JDK的,记住:64位系统肯定兼容32位的软件,32位系统不能兼容64位软件。64位只是说明了CPU一次运算的位数为64位,比32位多,64位性能更高。

2、以前的Linux版本JDK有”.bin”文件可供下载,但是,现在官网只提供rpm的安装包与tar.gz的压缩包了,rpm安装包是RedHat系列系统(RedHat/RHEL/Fedora/CentOS)特有的安装文件,直接运行即可,但我们不知道其中的配置方法。所以,为接近底层,我选择tar.gz的压缩包予以安装。

安装方式:

自带的OpenJDK与之后安装的JDK,不可兼得,故而有两种操作:1、卸载删除原有的OpenJDK,再安装JDK    2、二者依然共存,但是,配置何者为真正有效的JDK

Method 1: 卸载删除原有的OpenJDK,再安装JDK

第一步:卸载删除OpenJDK

卸载删除OpenJDK,首先需要知道到底要删除哪些东西:

[Randy@localhost ~]$ rpm -qa|grep openjdk -i #查找已经安装的OpenJDK,-i表示忽略“openjdk”的大小写

现在将之全部删除:

[Randy@localhost ~]$ sudo yum remove java-1.6.0-openjdk-devel-1.6.0.0-6.1.13.4.el7_0.x86_64 java-1.7.0-openjdk-devel-1.7.0.65-2.5.1.2.el7_0.x86_64 java-1.7.0-openjdk-headless-1.7.0.65-2.5.1.2.el7_0.x86_64 java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el7_0.x86_64 java-1.6.0-openjdk-1.6.0.0-6.1.13.4.el7_0.x86_64#用RedHat系列系统自带的yum进行删除openjdk,yum类似ubuntu中的apt-get,均用于安装、卸载及更新系统自带的软件,注意:以上均以空格间隔

第二步:安装JDK

1、解压

首先解压下载得来的JDK:(JDK的tar.gz压缩包放在了~/dev目录下)

[Randy@localhost ~]$ sudo mkdir /usr/lib/jdk #如若没有/usr/lib/jdk路径,则执行此句予以创建jdk文件夹[Randy@localhost ~]$ sudo tar -zxvf jdk-8u11-linux-i586.tar.gz -C /usr/lib/jdk #注意:-C, --directory=DIR        改变至目录 DIR[Randy@localhost ~]$  ls /usr/lib/jdkjdk1.8.0_11[Randy@localhost ~]$ ls /usr/lib/jdk/jdk1.8.0_11/bin        javafx-src.zip  man          THIRDPARTYLICENSEREADME-JAVAFX.txtCOPYRIGHT  jre             README.html  THIRDPARTYLICENSEREADME.txtdb         lib             releaseinclude    LICENSE         src.zip[Randy@localhost ~]$

移动jdk1.8.0_11中的文件到/usr/lib/jdk,并删除jdk1.8.0_11文件夹:

[Randy@localhost ~]$ sudo cp -rf /usr/lib/jdk/jdk1.8.0_11/* /usr/lib/jdk/ #移动[Randy@localhost ~]$ [Randy@localhost ~]$  ls /usr/lib/jdkbin        javafx-src.zip  LICENSE      src.zipCOPYRIGHT  jdk1.8.0_11     man          THIRDPARTYLICENSEREADME-JAVAFX.txtdb         jre             README.html  THIRDPARTYLICENSEREADME.txtinclude    lib             release[Randy@localhost ~]$ sudo rm -rf /usr/lib/jdk/jdk1.8.0_11/ #删除[Randy@localhost ~]$  ls /usr/lib/jdkbin        javafx-src.zip  man          THIRDPARTYLICENSEREADME-JAVAFX.txtCOPYRIGHT  jre             README.html  THIRDPARTYLICENSEREADME.txtdb         lib             releaseinclude    LICENSE         src.zip[Randy@localhost ~]$

2、配置环境变量

[Randy@localhost ~]$ sudo vim /etc/profile在最后一行插入:
#JAVA Environmentexport JAVA_HOME=/usr/lib/jdkexport JRE_HOME=/usr/lib/jdk/jreexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHexport CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib

3、修改系统默认的JDK

[Randy@localhost ~]$  sudo update-alternatives --install /usr/bin/java java /usr/lib/jdk/bin/java 300  #使系统默认的java命令是/usr/lib/jdk/bin中的java命令[Randy@localhost ~]$  sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jdk/bin/javac 300  #使系统默认的javac命令是/usr/lib/jdk/bin中的javac命令  [Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jdk/bin/jar 300 #使系统默认的jar命令是/usr/lib/jdk/bin中的jar命令 [Randy@localhost ~]$  sudo update-alternatives --config java   #配置默认java命令共有 1 个提供“java”的程序。  选项    命令-----------------------------------------------*+ 1          /usr/lib/jdk/bin/java按 Enter 保留当前选项[+],或者键入选项编号:1[Randy@localhost ~]$ sudo update-alternatives --config javac   #配置默认java命令共有 1 个提供“java”的程序。  选项    命令-----------------------------------------------*+ 1          /usr/lib/jdk/bin/javac按 Enter 保留当前选项[+],或者键入选项编号:1

第三步:测试JDK

[Randy@localhost ~]$ java -versionjava version "1.8.0_11"Java(TM) SE Runtime Environment (build 1.8.0_11-b12)Java HotSpot(TM) Server VM (build 25.11-b03, mixed mode)[Randy@localhost ~]$ javac -versionjavac 1.8.0_11

测试是遇到了一个问题:

[Randy@localhost ~]$ java-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录[Randy@localhost ~]$ ls /lib/ld-linuxls: 无法访问/lib/ld-linux: 没有那个文件或目录[Randy@localhost ~]$ java -version-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录[Randy@localhost ~]$

解决方法是:

[Randy@localhost ~]$ sudo yum install glibc.i686 #在64系统里执行32位程序如果出现/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory,安装下glic即可

Method 2: 二者共存,配置何者为真正有效的JDK

与Method1类似,只是不需要卸载删除OpenJDK

1、解压

首先解压下载得来的JDK:(JDK的tar.gz压缩包放在了~/dev目录下)

[Randy@localhost ~]$ sudo mkdir /usr/lib/jdk #如若没有/usr/lib/jdk路径,则执行此句予以创建jdk文件夹[Randy@localhost ~]$ sudo tar -zxvf jdk-8u11-linux-i586.tar.gz -C /usr/lib/jdk #注意:-C, --directory=DIR        改变至目录 DIR[Randy@localhost ~]$  ls /usr/lib/jdkjdk1.8.0_11[Randy@localhost ~]$ ls /usr/lib/jdk/jdk1.8.0_11/bin        javafx-src.zip  man          THIRDPARTYLICENSEREADME-JAVAFX.txtCOPYRIGHT  jre             README.html  THIRDPARTYLICENSEREADME.txtdb         lib             releaseinclude    LICENSE         src.zip[Randy@localhost ~]$

移动jdk1.8.0_11中的文件到/usr/lib/jdk,并删除jdk1.8.0_11文件夹:

[Randy@localhost ~]$ sudo cp -rf /usr/lib/jdk/jdk1.8.0_11/* /usr/lib/jdk/ #移动[Randy@localhost ~]$ [Randy@localhost ~]$  ls /usr/lib/jdkbin        javafx-src.zip  LICENSE      src.zipCOPYRIGHT  jdk1.8.0_11     man          THIRDPARTYLICENSEREADME-JAVAFX.txtdb         jre             README.html  THIRDPARTYLICENSEREADME.txtinclude    lib             release[Randy@localhost ~]$ sudo rm -rf /usr/lib/jdk/jdk1.8.0_11/ #删除[Randy@localhost ~]$  ls /usr/lib/jdkbin        javafx-src.zip  man          THIRDPARTYLICENSEREADME-JAVAFX.txtCOPYRIGHT  jre             README.html  THIRDPARTYLICENSEREADME.txtdb         lib             releaseinclude    LICENSE         src.zip[Randy@localhost ~]$

2、配置环境变量

[Randy@localhost ~]$ sudo vim /etc/profile在最后一行插入:
#JAVA Environmentexport JAVA_HOME=/usr/lib/jdkexport JRE_HOME=/usr/lib/jdk/jreexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHexport CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib

3、修改系统默认的JDK

[Randy@localhost ~]$  sudo update-alternatives --install /usr/bin/java java /usr/lib/jdk/bin/java 300  #使系统默认的java命令是/usr/lib/jdk/bin中的java命令[Randy@localhost ~]$  sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jdk/bin/javac 300  #使系统默认的javac命令是/usr/lib/jdk/bin中的javac命令  [Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jdk/bin/jar 300 #使系统默认的jar命令是/usr/lib/jdk/bin中的jar命令 [Randy@localhost ~]$  sudo update-alternatives --config java   #配置默认java命令  共有 3 个提供“java”的程序。    选项    命令-----------------------------------------------*  1           /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el7_0.x86_64/jre/bin/java          /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java + 3           /usr/lib/jdk/bin/java  按 Enter 保留当前选项[+],或者键入选项编号:3[Randy@localhost ~]$ sudo update-alternatives --config javac   #配置默认java命令  共有 3 个提供“javac”的程序。    选项    命令-----------------------------------------------*  1           /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el7_0.x86_64/jre/bin/javac          /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/javac + 3           /usr/lib/jdk/bin/javac  按 Enter 保留当前选项[+],或者键入选项编号:3  [Randy@localhost ~]$

第三步:测试JDK

[Randy@localhost ~]$ java -versionjava version "1.8.0_11"Java(TM) SE Runtime Environment (build 1.8.0_11-b12)Java HotSpot(TM) Server VM (build 25.11-b03, mixed mode)[Randy@localhost ~]$ javac -versionjavac 1.8.0_11

测试是遇到了一个问题:

[Randy@localhost ~]$ java-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录[Randy@localhost ~]$ ls /lib/ld-linuxls: 无法访问/lib/ld-linux: 没有那个文件或目录[Randy@localhost ~]$ java -version-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录[Randy@localhost ~]$

解决方法是:

[Randy@localhost ~]$ sudo yum install glibc.i686 #在64系统里执行32位程序如果出现/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory,安装下glic即可

附:

说完了JDK的环境配置,顺便聊聊CentOS 7自带的数据库MariaDB的设置。

现在,RHEL 7/CentOS 7自带的数据库都不再是MySQL了,主要是因为开源的能力更大,现在google也正将其数据从MySQL迁移到MariaDB。为体验最先进的思想,以后我的Hive数据库平台将是MariaDB

系统装好后,系统的mariadb服务是出于stop状态的,所以应该先启动服务:

[Randy@localhost ~]$ sudo systemctl start mariadb  #之前CentOS版本执行sudo service mariadb start,而CentOS7执行service 命令也可生效,但提示:Redirecting to /bin/systemctl start  mariadb.service[Randy@localhost ~]$ sudo systemctl stop mariadb  #停止mariadb服务[Randy@localhost ~]$ sudo systemctl status mariadb  #查看mariadb状态[Randy@localhost ~]$

设置mariadb的root密码为“root”:

命令格式:

sudo mysqladmin -u 用户名 password "新密码"

如果root已经设置过密码,采用如下方法:

sudo mysqladmin -u 用户名 password 旧密码 "新密码"

由于安装系统后没有密码,所以设定root用户密码为“root”:

[Randy@localhost ~]$ sudo mysqladmin -u root password "root"

测试:

[Randy@localhost ~]$ mysql -u root -proot

显示:

Welcome to the MariaDB monitor.  Commands end with ; or \g.Your MariaDB connection id is 3Server version: 5.5.37-MariaDB-log MariaDB ServerCopyright (c) 2000, 2014, Oracle, Monty Program Ab and others.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.MariaDB [(none)]>
(0)

相关推荐

  • yarn的使用与升级Node.js的方法详解

    前言 在官方介绍里有这么一句话: Yarn is a package manager for your code. It allows you to use and share code with other developers from around the world. Yarn does this quickly, securely, and reliably so you don't ever have to worry. 关键意思就是,快速,安全,可靠.你下载的包将不再重新下载.而且

  • 利用yarn实现一个webpack+react种子

    一.初始化项目 首先确保你的node 版本 >=4.0.并且确保yarn可以正常工作,关于安装yarn,你可以看这里 我们先创建个空文件夹 比如yarn-react-webpack-seed,然后输入命令: yarn init yarn 如果没有安装,全程用 npm代替也没问题. 项目会初始化 package.json ,然后填写一些基本信息即可. 接下来我们开始安装依赖项,再 package.json 的添加下面内容 "dependencies": { "react&

  • yarn与npm的命令行小结

    一.首先需要了解的命令 npm install === yarn -- install 安装是默认行为. npm install taco --save === yarn add taco -- taco 包立即被保存到 package.json 中. npm uninstall taco --save === yarn remove taco 在 npm 中,可以使用 npm config set save true 设置 - -save 为默认行为,但这对多数开发者而言并非显而易见的.在 y

  • Node.js包管理器Yarn的入门介绍与安装

    前言 这两天大家有没有都被Yarn悄悄刷了屏,最近Facebook 发布了新的 node.js 包管理器 Yarn 用以替代 npm .为了跟上 Javascript 这股潮 流的脚步,大概的浅尝了一下这个自称是又快又可信赖又安全的包管理,所以写的内容不会很详细,更多的可能只是针对这个全新的包管理与 npm 的不同之处来对比.也可能有些地方写得不对,如果有的话,欢迎指正. 一.安装 首先当然是安装啦.跟 npm 这种被钦点而随 nodejs 一起被安装的包管理器不同, Yarn 需要自行手动安装

  • JS新包管理工具yarn和npm的对比与使用入门

    这篇文章会通过以下几个方面介绍yarn的: yarn对比npm解决了什么问题,带来哪些便利. 获取yarn的正确姿势 yarn的使用入门(介绍一些常用的命令 个人使用心得 yarn对比npm的优点 根据官方文档yarn具有6大优点 1.离线模式 yarn会有一个缓存目录,会缓存以前安装过的软件包,再次安装时就不必从网络下载了,大大加速安装速度. 这一点很重要,npm 饱受诟病的一点就是,每次安装依赖,都需要从网络下载一大堆东西,而且是全部重新下载,工程多的时候比较烦人. 我司部署node项目,是

  • Yarn的安装与使用详细介绍

    在官方介绍里有这么一句话: Yarn is a package manager for your code. It allows you to use and share code with other developers from around the world. Yarn does this quickly, securely, and reliably so you don't ever have to worry. 关键意思就是,快速,安全,可靠.你下载的包将不再重新下载.而且确保在

  • 利用yarn代替npm管理前端项目模块依赖的方法详解

    本文主要给大家介绍了关于yarn代替npm管理前端项目模块依赖的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 什么是 yarn? 简单来说,yarn 是一个与 npm 功能相同的工具,用于前端项目的依赖管理.在使用 npm 的项目中,使用 npm 命令的地方都可以使用 yran 来代替. 为什么要使用 yarn 替代 npm 呢?yarn 相对 npm 来说,主要的特点有: 离线.并行安装:依赖并行安装,缓存已下载过的依赖并优先使用,各种优化使得安装依赖速度显著提升

  • Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

    一.我缘何选择CentOS7.0 14年7月7日17:39:42发布了CentOS 7.0.1406正式版,我曾使用过多款Linux,对于Hadoop2.X/YARN的环境配置缘何选择CentOS7.0,其原因有: 1.界面采用RHEL7.0新的GNOME界面风,这可不是CentOS6.5/RHEL6.5所能比的!(当然,Fedora早就采用这种风格的了,但是现在的Fedora缺包已然不成样子了) 2.曾经,我也用了RHEL7.0,它最大的问题就是YUM没法用,而且总会有Warning提示注册购

  • Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置

    Hadoop是Java写的,他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK(1.6以上) 原材料:在Oracle官网下载的32位JDK: 说明: 1.CentOS 7.0系统现在只有64位的,但是,Hadoop一般支持32位的,在64位环境下有事会有Warning出现,避免真的有神马问题,选择i586的JDK(即32位的),当然,64位的CentOS 7 肯定是兼容32位JDK的,记住:64位系统肯定兼容32位的软件,32位系统不能兼容64位软件.64位只是说

  • Win10 GPU运算环境搭建(CUDA10.0+Cudnn 7.6.5+pytroch1.2+tensorflow1.14.0)

    目录 一.深度学习为什么要搭建GPU运算环境? 什么是CUDA? 什么是Cudnn? 二.搭建GPU运算环境 CUDA的下载 Cudnn的下载 三.Ananconda3的安装 什么是Anaconda? 下载Anaconda3 四.Anaconda虚拟环境的搭建 什么是虚拟环境? 虚拟环境的相关操作 五.选择要搭建的深度学习框架 Pytorch的安装 检查环境和GPU运算是否搭建成功 Tensorflow的安装 五.心得和一些建议 一.深度学习为什么要搭建GPU运算环境? 熟悉深度学习的人都知道,

  • windows下zendframework项目环境搭建(通过命令行配置)

    1.首先你要确定你的PHP版本不低于5.1.4,但强烈建议使用 5.2.3 或更高版本 2.确保你的php.ini开启了如下模块: extension=php_pdo.dllextension=php_pdo_mysql.dll 3.打开Apache的配置文件httpd.conf确保你已经开启如下模块: LoadModule rewrite_module modules/mod_rewrite.so 继续查找httpd.conf文件,如果AllowOverride为None的话,请一定把None

  • Android开发环境搭建过程图文详解

    一.工具 IDE:Android Studio4.1+genymotion (Android studio 自带AVD着实有些不好用,这里选择使用genymotion模拟器) JDK:1.8 SDK:7.1 版本管理:Git 二.环境搭建 1.安装jdk 这里使用的是jdk1.8 ,安装并配置环境变量,通用步骤,不一 一介绍了 2.安装Android Studio 安装:android-studio-ide-201.6858069-windows.exe ,默认安装即可配置sdk (可以选择设置

  • R语言基于Keras的MLP神经网络及环境搭建

    目录 Intro 环境搭建 本机电脑配置 安装TensorFlow以及Keras 安装R以及Rstudio 基于R语言的深度学习MLP 在Rstudio中安装Tensorflow和Keras MNIST数据集的预处理 深度学习MLP模型 总结和学习笔记 Intro R语言是我使用的第一种计算机语言,也是目前的主流数据分析语言之一,常常被人与python相比较.在EDA,制图和机器学习方面R语言拥有很多的的package可供选择.但深度学习方面由于缺少学习库以及合适的框架而被python赶超.但K

  • Hadoop2.8.1完全分布式环境搭建过程

    前言 本文搭建了一个由三节点(master.slave1.slave2)构成的Hadoop完全分布式集群(区别单节点伪分布式集群),并通过Hadoop分布式计算的一个示例测试集群的正确性. 本文集群三个节点基于三台虚拟机进行搭建,节点安装的操作系统为Centos7(yum源),Hadoop版本选取为2.8.0.作者也是初次搭建Hadoop集群,其间遇到了很多问题,故希望通过该博客让读者避免. 实验过程 1.基础集群的搭建 目的:获得一个可以互相通信的三节点集群 下载并安装VMware WorkS

  • Centos7 ftp环境搭建教程详解

    没玩过linux,折腾了半天的ftp,好不容易亲测通过了.不容易啊.下面把劳动成果分享到我们平台,感兴趣的朋友参考下吧! 操作环境:vm虚拟机 centos7 首先:搞定网络问题:默认情况下使用ifconfig可以看到虚拟机下是无网络的.(注:虚拟机网络设置为NAT或桥接模式都是可以的) 输入命令nmtui 打开网络配置 回车->回车 将倒数第二项 Automatically connect 勾上 然后就有网络了 然后更新系统:yum update 查看vsftpd是否已安装:vsftpd -v

  • centos7系统nginx服务器下phalcon环境搭建方法详解

    本文实例讲述了centos7系统nginx服务器下phalcon环境搭建方法.分享给大家供大家参考,具体如下: 之前我们采用的是Apache服务器,可是每秒响应只能达到2000,听说nginx可以轻易破万, 于是换成nginx试试. phalcon的官网有nginx重写规则的示例,可是却与apache的不一致,被坑了好久. 1.添加nginx源 vi /etc/yum.repos.d/nginx.repo [nginx] name=nginx repo baseurl=http://nginx.

  • Vue2.0 从零开始_环境搭建操作步骤

    简要:继项目空闲后,开始着手vue的学习;为此向大家分享其中的艰辛和搭建办法,希望能够跟各位VUE大神学习探索,如果有不对或者好的建议告知下:*~*! 一.什么是VUE? 是一种node.js框架,特点如下: 1.数据绑定 (特性:双向绑定:一旦发生变化,Dom节点实时更新:PS:尽量抛弃JQ,次特点已经可以解决很多特效等问题) 2.组件化(比如:乐高积木一样通过互相引用而组装起来) 二.开发环境 三.环境搭建 1. 包管理器安装 (1) Homebrew安装 (mac 环境,win无法安装)

随机推荐