linux下搭建hadoop环境步骤分享

1、下载hadoop包
wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
2、tar xvzf hadoop-0.20.2.tar.gz
3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录
5、配置java环境变量 vi /etc/profile


代码如下:

export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

在终端下执行 source /etc/profile 使配置生效

6、可以用以下命令查看
显示JAVA版本 java -vesion


代码如下:

echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH

如果java -version没有显示你的JDK的版本，请检查你的path的设置。

7、配置hadoop环境变量 vi /etc/profile


代码如下:

export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin

source /etc/profile 使配置生效

8、测试环境
hadoop version 显示
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

9、配置
hadoop每一个组件都使用一个XML文件配置，核心属性在core-site.xml中，HDFS属性在hdfs-site.xml中，MapReduce属性在mapred-site.xml中。这些文件都在conf子目录下。
hadoop有本地模式、伪分布模式和完全分布模式三种，默认配置为本地模式，没有守护进程，一切都运行在单个JVM上。

赞 (0)

相关推荐

  • Linux中安装配置hadoop集群详细步骤

    Linux中安装配置hadoop集群详细步骤

    一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本.(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明) 二. 准备工作 2.1 创建用户 创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好. sudo adduser hadoop sudo vim /etc/sudoers

  • linux下搭建hadoop环境步骤分享

    1.下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz2.tar xvzf hadoop-0.20.2.tar.gz3.安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html4.chmod +x jdk-6u21-linux-i586.bin;./jdk-

  • linux下搭建go环境的安装配置讲解

    linux下搭建go环境很简单: 1.下载go1.2.1.linux-386.tar.gz,网上到处有类似包,并放到linux目录下. taogeqq@taogeqq-virtual-machine:~/myspace$ ls a.out go1.2.1.linux-386.tar.gz test.cpp test.go taogeqq@taogeqq-virtual-machine:~/myspace$ 2.  切换到root用户,在root下解压,解压即安装,多么绿色的软件啊: root@t

  • MongoDB学习笔记—Linux下搭建MongoDB环境

    MongoDB学习笔记—Linux下搭建MongoDB环境

    1.MongoDB简单说明 a MongoDB是由C++语言编写的一个基于分布式文件存储的开源数据库系统,它的目的在于为WEB应用提供可扩展的高性能数据存储解决方案. b MongoDB是一个介于关系型数据库和非关系型数据库之间的产品,是非关系型数据库当中功能最丰富,最像关系型数据库的.它支持的数据结构非常松散,会将数据存储为一个文档,数据结构由键值对(key=>value)组成,是类似于json的bson格式, c MongoDB最大的特点就是它支持的查询语言非常强大,其语法有点类似于面向对象

  • linux下搭建scala环境并写个简单的scala程序

    在linux下安装scala环境很简单, 如果是ubuntu环境, 那就更简单了, 直接apt-get搞定, 我就是用的ubuntu.  java/scala系都需要基于jdk, 所以首先要安装jdk. 1.  安装jdk, 老生常谈, 不值得一说. 2.  安装scala, 如下: sudo apt-get install scala 如下: ubuntu@VM-0-15-ubuntu:~/taoge/scala$ scala -version Scala code runner versio

  • 在Linux下搭建Git服务器步骤

    在Linux下搭建Git服务器步骤

    环境: 服务器 CentOS6.6 + git(version 1.7.1) 客户端 Windows10 + git(version 2.8.4.windows.1)  ① 安装 Git Linux 做为服务器端系统,Windows 作为客户端系统,分别安装 Git 服务器端: #yum install -y git 安装完后,查看 Git 版本 [root@localhost ~]# git --version git version 1.7.1 客户端: 下载 Git for Windows

  • 在Linux下搭建Zookeeper管理中心步骤分享

    最近在做宜立方商城项目时要求使用dubbo-Zookeeper服务搭建一个SOA服务架构,虽然在Windows环境下也可以启动Zookeeper服务,但是作为搭建服务的不二选择,使用Linux服务器搭建Zookeeper服务无疑更为合适,今天我们就在Linux环境下搭建一个基于Zookeeper的分布式服务注册中心. 搭建环境要求 虚拟机(以下为虚拟机9的安装软件以及注册机) 链接: https://pan.baidu.com/s/1c2YbZ92 密码: jyya centos系统(CentO

  • 在Linux(Ubuntu)下搭建PHP环境的操作步骤

    在Linux(Ubuntu)下搭建PHP环境的操作步骤

    一.安装Apache2 sudo apt-get install apache2 二.测试Apache2 在地址栏输入以下地址,出现如图所示照片,则表明安装成功 http://localhost/ 三.重启apache2服务 sudo /etc/init.d/apache2 restart //'restart'->'stop'关闭服务; 'restart'->'start'启动服务 四.安装PHP sudo apt-get install php5 libapache2-mod-php5 `

  • Linux下Android开发环境搭建的操作方法

    Linux下Android开发环境搭建的操作方法

    要在Linux下搞个Android开发环境还是挺麻烦的,先看看我的效果吧: 想要在Linux下搭建Android开发环境或者其他开发环境的同学可以一起讨论哦! 步骤入下: ①由于我使用的是deepin的系统,里面会自带一个openjdk8,我们可以先将openjdk8卸载,卸载方法网上都有,不过我建议卸载之前先备份一下: ②下载JDK,AndrodStudio,SDK这一步就不用多说了吧! ③将JDK解压到你想要的目录就可以了,测试中要是出现了JAVA_TOOL_OPTIONS,之类的问题,肯定

  • Linux下Java开发环境搭建以及第一个HelloWorld

    想在Linux进行JAVA开发吗?环境如何搭建,第一个HelloWorld如何实现,下面马上奉献: 1环境搭建     1.1 Java JDK 的安装     Java JDK 是java编译和运行的必要环境,所以首先必须安装这一软件包,方法如下:     1)下载JDK压缩包,注意看好版本是x86还是x64,windows的还是           linux,要搞清楚,我下的是jdk-7u13-linux-i586.tar.gz:     2)解压压缩包,并将解压后的目录放到/usr/li

  • Linux下搭建Spark 的 Python 编程环境的方法

    Spark编程环境 Spark 可以独立安装使用,也可以和Hadoop 一起安装使用.在安装 Spark 之前,首先确保你的电脑上已经安装了 Java 8 或者更高的版本. Spark 安装 访问 Spark 下载页面 ,并选择最新版本的 Spark 直接下载,当前的最新版本是 2.4.2 .下载好之后需要解压缩到安装文件夹中,看自己的喜好,我们是安装到了 /opt 目录下. tar -xzf spark-2.4.2-bin-hadoop2.7.tgz mv spark-2.4.2-bin-ha

随机推荐