Linux下Hadoop 2.7.3 安装搭建过程

Linux Hadoop 2.7.3 安装搭建

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。

HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

Hadoop解决哪些问题？

海量数据需要及时分析和处理

海量数据需要深入分析和挖掘

数据需要长期保存

海量数据存储的问题：

磁盘IO称为一种瓶颈，而非CPU资源

网络带宽是一种稀缺资源

硬件故障成为影响稳定的一大因素

安装流程

安装JAVA 1.8

下载：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Java 环境安装配置 /etc/profile：

export JAVA_HOME=/usr/jdk/jdk1.8.0_112
export JRE_HOME=/usr/jdk/jdk1.8.0_112/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

安装Hadoop2.7.3

下载：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

配置启动Hadoop

1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el6_9.x86_64

2、修改hdfs的配置文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

3、启动

第一次启动得先格式化

/usr/hadoop/bin/hdfs namenode -format

启动hdfs

/usr/hadoop/sbin/start-dfs.sh

用jps命令查看启动的Java进程

预览地址：http://127.0.0.1:50070/dfshealth.html

4、停止

/usr/hadoop/sbin/stop-dfs.sh

到此这篇关于Linux Hadoop 2.7.3 安装搭建的文章就介绍到这了,更多相关Linux Hadoop安装搭建内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • linux下搭建hadoop环境步骤分享

    1.下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz2.tar xvzf hadoop-0.20.2.tar.gz3.安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html4.chmod +x jdk-6u21-linux-i586.bin;./jdk-

  • linux系统安装hadoop真分布式集群详解

    Hadoop真分布式完全集群安装,基于版本2.7.2安装,在两台Linux机器上面分别安装Hadoop的master和slave节点. 1.安装说明 不管NameNode还是DataNode节点,安装的用户名需要一致.master和slave的区别,只是在于配置的hostname,在config的slaves配置的hostname所代表的机器即为slave,不使用主机名也可以,直接配置为IP即可.在这种集群下面,需要在master节点创建namenode路径,并且使用格式化命令hdfs name

  • Linux下安装Hadoop集群详细步骤

    Linux下安装Hadoop集群详细步骤

    目录 1.在usr目录下创建Hadoop目录,将安装包导入目录中并解压文件 2.进入vim /etc/profile文件并编辑配置文件 3.使文件生效 4.进入Hadoop目录下 5.编辑配置文件 6.进入slaves添加主节点和从节点 7.将各个文件复制到其他虚拟机上 8.格式化hadoop (仅在主节点中进行操作) 9.回到Hadoop目录下(仅在主节点操作) 1.在usr目录下创建Hadoop目录,将安装包导入目录中并解压文件   2.进入vim /etc/profile文件并编辑配置文件

  • linux环境不使用hadoop安装单机版spark的方法

    linux环境不使用hadoop安装单机版spark的方法

    大数据持续升温, 不熟悉几个大数据组件, 连装逼的口头禅都没有. 最起码, 你要会说个hadoop, hdfs, mapreduce, yarn, kafka, spark, zookeeper, neo4j吧, 这些都是装逼的必备技能. 关于spark的详细介绍, 网上一大堆, 搜搜便是, 下面, 我们来说单机版的spark的安装和简要使用. 0.  安装jdk,  由于我的机器上之前已经有了jdk, 所以这一步我可以省掉. jdk已经是很俗气的老生常谈了, 不多说, 用java/scala的

  • hadoop基于Linux7的安装配置图文详解

    如上图 准备好该准备的食材(ps:其中的hadoop-3.1.2-src更改为hadoop-3.1.2 src为源文件的意思? 反正就是换了 大家注意一下 后面截图有错的地方有空我再改吧 肝疼) 安装好centos7 桌面右键打开terminal--输入ifconfig--查看ens33的ip--记住然后打开xftp6 点击新建 把食材多选,右键传输即可,内网传输速度不快不慢 所示很完美了 解压hadoop安装包 tar -zxvf hadoop-3.1.2-src.tar.gz 重新装了cen

  • Linux中Centos7搭建Hadoop服务步骤

    下载Hadoop 官网:http://hadoop.apache.org/releases.html 先配置jdk环境(教程:http://www.jb51.net/article/108936.htm) 下载以后 解压到到/usr/local tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local 为了方便操作 把hadoop-2.8.0 改为hadoop mv /usr/local/hadoop-2.8.0 /usr/local/hadoop 查看主机名 ho

  • Linux中安装配置hadoop集群详细步骤

    Linux中安装配置hadoop集群详细步骤

    一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本.(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明) 二. 准备工作 2.1 创建用户 创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好. sudo adduser hadoop sudo vim /etc/sudoers

  • Linux下Hadoop 2.7.3 安装搭建过程

    Linux下Hadoop 2.7.3 安装搭建过程

    Linux Hadoop 2.7.3 安装搭建 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS. HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据

  • Linux下Hadoop 2.7.3 安装搭建过程

    Linux下Hadoop 2.7.3 安装搭建过程

    Linux Hadoop 2.7.3 安装搭建 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS. HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据

  • Linux下Kafka分布式集群安装教程

    Linux下Kafka分布式集群安装教程

    Kafka(http://kafka.apache.org/) 是由 LinkedIn 使用 Scala 编写的一个分布式消息系统,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础,具有高水平扩展和高吞吐量.Spack.Elasticsearch 都支持与 Kafka 集成.下面看一下几种分布式开源消息队列系统的对比: Kafka 集群架构: 一般不建议直接使用 Kafka 自带的 Zookeeper 建立 zk 集群,这里我们使用独

  • 详解Linux 下开发微信小程序安装开发工具

    详解Linux 下开发微信小程序安装开发工具 1. git clone https://github.com/yuan1994/wechat_web_devtools 然后创建一个文件夹 mkdir /opt/tencent/ 移动文件 mv ./wechat_web_devtools /opt/tencent 修改用户组 chown -R root:root /opt/tencent/wechat_web_devtools 启动测试工具 /opt/tencent/wechat_web_devt

  • Linux下MySQL 5.6.27 安装教程

    Linux下MySQL 5.6.27 安装教程

    本文实例为大家分享了Linux下MySQL 5.6.27 安装教程,供大家参考,具体内容如下 1.下载地址 https://cdn.mysql.com/archives/mysql-5.6/mysql-5.6.27-linux-glibc2.5-x86_64.tar.gz 2.将压缩包上传到服务器 3.解压 tar -zxf mysql-5.6.27-linux-glibc2.5-x86_64.tar.gz 4.移动压缩包至mysql文件夹下 mp  mysql-5.6.27-linux-gli

  • Linux下Java环境变量的安装与配置

    安装 以JDK1.6.0_43为例 下载jdk-6u43-linux-x64.bin,http://www.oracle.com/technetwork/java/javase/downloads/index.html 增加可执行权限 chmod +x jdk-6u43-linux-x64.bin, 执行 ./jdk-6u43-linux-x64.bin 生成目录jdk1.6.0_43 拷贝到/usr/share下,mv jdk1.6.0_43 /usr/share 另外,jdk-6u43-li

  • linux 下以二进制的方式安装 nodejs

    在一些linux环境下,安装最新的nodejs比较麻烦,因为受到linux源的影响,往往直接通过yum/apt安装的都不是想要的版本,因此,必须自己去选择对应的版本 来安装.但是,nodejs官方又不会为所有的操作系统打包,而编译安装常常又会遇到依赖问题.所以在一些情况下,我们需要在linux机器上,直接下载官方构建好的产出结果来运行. 例如,我们现在需要安装v10.x版本,我们通过wget下载对应的-linux-x64.tar.gz文件,然后通过tar命令将其解压到~/.lib/目录下.(注意

  • Linux下redis5.0.5的安装过程与配置方法

    一. 下载redis 我一般去这里下载:redis下载地址 也可以自行去官网下载 提示:此处安装的为redis-5.05的版本 二.上传redis安装包(我的安装目录为/data/local/tool/redis-5.0.5) 1.创建目录/data/local/tool并进入该目录 mkdir -p /data/local/tool 2.上传下载好的压缩包 注:我用的xshell的配套工具xftp进行上传 三.安装redis 1.解压 在/data/local/tool目录下执行 [root@

  • 详解redis在服务器linux下启动的相关命令(安装和配置)

    1.在redis官网下载安装包 2.将安装包上传到FianlShell 3.建好对应文件路径,切换至安装包所在文件夹下 输入命令:(里面的路径根据实际情况进行改变) tar -zvxf redis-6.0.5.tar.gz -C /urs/local/redis 4.编译:(需要使用gcc,如果linux尚未安装gcc需要先进行安装) 使用命令: yum install gcc-c++ 5.然后进入redis-6.0.5,然后执行make 6.然后输入安装命令: make PREFIX=/urs

  • IDEA + Maven环境下的SSM框架整合及搭建过程

    IDEA + Maven环境下的SSM框架整合及搭建过程

    目录 0.开发工具 一.Maven安装配置 二.Maven配置阿里云镜像源 三.Idea + Maven搭建项目骨架 说明:本文记录如何在Idea下,利用Maven管理项目,并整合SSM(Spring + Spring MVC +Mybatis)框架,实现简单的增删改查功能. 0.开发工具 IntelliJ IDEA 2018.2.2 x64 JDK 1.8.0_181 Apache Maven 3.6.0 Apache Tomcat 7.0 MySQL 5.5.8 一.Maven安装配置 1.

随机推荐