Docker安装Presto连接Hive的详细过程
1、简介
Presto 是一个开源分布式 SQL 查询引擎，用于针对从千兆字节到 PB 级的各种规模的数据源运行交互式分析查询。Presto 允许查询数据所在的位置，包括 Hive、Cassandra、关系数据库甚至专有数据存储。单个 Presto 查询可以组合来自多个来源的数据，从而允许对整个组织进行分析。
2、下载安装
1)下载镜像
docker pull starburstdata/presto
2）下载客户端jar
因为pull下来的镜像是server，是没有presto-cli命令的，所以需要下载presto-cli-0.260.1-executable.jar，然后将下载好的jar包拉入Linux系统中。
下载完成后，run容器：
#端口号为8080，请自行修改，名字为presto docker run -d -p 8080:8080 --name presto starburstdata/presto
将客户端jar包拷贝到容器中的bin目录下：
docker cp [客户端jar包所在的linux路径] [容器名]:/bin
进入到hadoop配置文件目录，将core-site.xml和hdfs-site.xml复制到容器中
cd ${HADOOP_HOME}/etc/hadoop
docker cp core-site.xml presto:/usr/lib/presto/etc/
docker cp core-site.xml presto:/usr/lib/presto/etc/
进入容器（以下不标注都是在容器中进行的操作）：
#以root用户进入容器，防止没有权限操作文件 docker exec --user=root -it presto /bin/bash
将客户端jar包改名并赋予可执行权限：
cd bin mv presto-cli-0.260.1-executable.jar presto-cli chmod a+x presto-cli
3、配置文件
进入配置文件目录，创建hive配置文件：
cd /usr/lib/presto/etc/catalog vi hive.properties
hive.properties：
#连接名，固定 connector.name=hive-hadoop2 #hive元数据uri，在hive-site.xml里能够找到，请自行修改ip和端口 hive.metastore.uri=thrift://192.168.10.51:9083 #hive配置的资源 core-site.xml和hdfs-site.xml，请根据自己集群中的配置文件路径进行修改，中间用逗号隔开 hive.config.resources=/usr/lib/presto/etc/core-site.xml,/usr/lib/presto/etc/hdfs-site.xml
wq保存退出
重启容器（在linux命令行下）：
docker restart presto
4、测试连接
进入容器：
#以root用户进入容器，防止没有权限操作文件 docker exec --user=root -it presto /bin/bash #进入bin目录 cd bin #执行命令行脚本并测试hive连接，连接到hive配置文件，数据库是default ./presto-cli --server localhost:8080 --catalog hive --schema default presto>show tables;
到此这篇关于Docker安装Presto连接Hive的详细过程的文章就介绍到这了,更多相关Docker安装Presto内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！
相关推荐
-
Docker安装ClickHouse并初始化数据测试
clickhouse简介 ClickHouse是一个面向列存储的数据库管理系统,可以使用SQL查询实时生成分析数据报告,主要用于OLAP(在线分析处理查询)场景.关于clickhouse原理以及基础知识在以后学习中慢慢总结. 1.Docker安装ClickHouse docker run -d --name some-clickhouse-server \ -p 8123:8123 -p 9009:9009 -p 9091:9000 \ --ulimit nofile=262144:262144
-
安装Docker Desktop报错WSL 2 installation is incomplete的问题(解决报错)
报错描述 我们安装Docker Desktop的时候,他会问我们是否需要使用WSL2(基于Windows的Linux子系统),如果我们不适用,就会使用Hyper-v虚拟机运行,不过相比于虚拟机,子系统在性能方面更加出色.在我们选择使用WSL2之后,并且我们也确定打开了如下图所示的Windows功能(如果没有打开,请先百度如何打开wsl.) 还是会出现一个下图所示的报错. 解决报错 更加报错提示,猜测可能是我们使用的wsl2版本老了,需要我们自己手动更新一下,我们根据提示去微软官网下载最新版的ws
-
kali安装docker和portainer的配置方法
随着docker的出现,很多服务已经慢慢脱离了对硬件架构的依赖,很多arm结构的硬件也能运行x86的服务,docker启动速度和部署的快速性也受到广大极客的青睐,之前我是在自己买的树莓派4B安装了一个kali,我们都知道树莓派是arm架构CPU.我准备在上面部署一个nextcloud所以就想到了docker. 好了,不废话上命令: 1.安装docker和启动docker sudo apt-get install docker sudo systemctl start docker 2.docke
-
新手必看docker安装jenkins详细教程
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能. jenkins基本工作原理 以上为基本工作原理,只是为了开发人员更好的理解画的(个人理解),详情可查看官方文档:https://www.jenkins.io/zh/ 一.jenkins安装 1.查找,下载jenkins镜像文件 启动docker,查找Jenkins镜像文件 docker search jenkins 下载Jenkins镜像文件
-
docker安装部署 onlyoffice的详细过程
0. 系统要求 中央处理器 I5-10400F以上 内存 16 GB,最佳32G内存 硬盘 至少40 GB的可用空间 1:安装Docker Desktop 2:进入BIOS设置CPU的虚拟化 https://jingyan.baidu.com/article/ab0b56305f2882c15afa7dda.html 3:启动Docker desktop 报错解决:https://www.jb51.net/article/214820.htm 3:cmd进入,使用命令安装onlyoffice 安
-
Docker安装Presto连接Hive的详细过程
1.简介 Presto 是一个开源分布式 SQL 查询引擎,用于针对从千兆字节到 PB 级的各种规模的数据源运行交互式分析查询.Presto 允许查询数据所在的位置,包括 Hive.Cassandra.关系数据库甚至专有数据存储.单个 Presto 查询可以组合来自多个来源的数据,从而允许对整个组织进行分析. 2.下载安装 1)下载镜像 docker pull starburstdata/presto 2)下载客户端jar 因为pull下来的镜像是server,是没有presto-cli命令的,
-
使用DataGrip连接Hive的详细步骤
1. 从官网下载安装包 下载网址 2. 安装 第一步 第二步 第三步 第四步 3. 安装完成后输入激活码 使用安装idea的图 datagrip 与此类似 4. 配置Hive 第一步 第二步 第三步 可以在虚拟机上拷贝到本地 jar 包获取链接 第四步 第五步: 在主节点上执行如下代码 (后台开启 hive 服务) 不开启此服务无法连接 [root@node01 /]# nohup hive --service hiveserver2 & 克隆主节点测试是否能够连接的通 [root@node01
-
教你使用PLSQLDeveloper14连接Oracle11g的详细过程
目录 一.环境配置 1.安装PLSQLDeveloper14 2.下载并解压Oracle客户端 3.配置window操作系统环境变量 二.工具配置 1.Oracle客户端配置 2.PLSQLDeveloper14配置 3.重启PLSQLDeveloper14客户端 一.环境配置 1.安装PLSQLDeveloper14 https://www.allroundautomations.com/ PLSQL14下载地址: https://www.jb51.net/softs/740737.html
-
centos8安装nginx1.9.1的详细过程
1.17.9 更香,真的 nginx下载地址:https://nginx.org/download/ 1.下载nginx wget https://nginx.org/download/nginx-1.9.9.tar.gz 2.解压nginx tar -zxvf nginx-1.9.9.tar.gz 3.安装依赖包 yum -y install gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel 4.配置nginx
-
使用Dbeaver远程连接Hive的详细方法
0. Linux上Hive 启动Hadoop 启动Hive sh hive --service hiveserver2 & 需要总共有7个进程. 1. 下载DBeaver 下载与安装DBeaver过程,略过. https://dbeaver.io/ 建立新链接 编辑驱动 2. 驱动包 1.设置驱动 驱动包需要两个. 如下图. 一个位于:(可以用命令:sz xxx 从linux中下载) 另一个位于hadoop的安装包.:(可以用命令:sz xxx 从linux中下载) 也可以直接去maven网上下
-
idea整合docker快速部署springboot应用的详细过程
目录 一.前言 二.环境及工具 三.安装docker以及配置远程连接 四.idea连接远程docker 一.前言 容器化一词相信大家已经不陌生了,听到它我们可能会想到docker.k8s.jenkins.rancher等等.那么今天我来说一下idea如何使用docker快速部署springboot应用. 二.环境及工具 windows10(开发) centos 7.6 (部署) idea docker xshell 三.安装docker以及配置远程连接 安装docker步骤网上有很多,在这里还是
-
Docker部署搭建WebDav服务的详细过程
目录 问题分析 部署 前言 教程 问题分析 最近在用学校机房中的服务器搭建一个文件共享服务,前期使用了宝塔面板一键搭建了 FTP 服务器,使用一切正常.但是最近在使用其观看存储的视频文件时播放体验并不友好,决定更换共享服务. samba 可能由于端口等问题一直未能成功连接,且搭建过程较为复杂.DLNA 使用 minidlna 的搭建异常方便,但是在安卓手机上的 nplayer 和 vlc 不能通过 zerotier 搭建的虚拟局域网搜索到 DLNA 服务.NFS 由于未知原因也未能在 zerot
-
docker安装pxc集群的详细教程
前言 现在mysql自建集群方案有多种,keepalived.MHA.PXC.MYSQL主备等,但是目前根据自身情况和条件,选择使用pxc的放来进行搭建,最大的好处就是,多主多备,即主从一体,没有同步延时问题,方便易用. 本人使用过,直接安装pxc和docker容器方式的安装,个人觉得docker下安装更为方便,也更易维护,所以也推荐大家使用此方式. 搭建环境 环境 centos7 pxc版本镜像:最新版,目前为8.0+ 主机ip 部署 swarm 172.16.9.40 pxc1 manage
-
Docker安装及基本使用方法详细介绍
Docker是一个用了一种新颖方式实现的超轻量虚拟机,在实现的原理和应用上还是和VM有巨大差别,专业的叫法是应用容器(Application Container).(我个人还是喜欢称虚拟机) Docker应用容器相对于 VM 有以下几个优点: 启动速度快,容器通常在一秒内可以启动,而 VM 通常要更久 资源利用率高,一台普通PC 可以跑上千个容器,你跑上千个 VM 试试 性能开销小, VM 通常需要额外的 CPU 和内存来完成 OS 的功能,这一部分占据了额外的资源 Docker安装 CentO
-
在AWS-EC2中安装Minikube集群的详细过程
目录 一.启动EC2实例(Ubantu) 1.选择实例镜像 2.选择实例类型 3.添加存储(最低10GiB) 4.添加标签(可选) 5.添加安全组(按需求开放端口) 6.核验并启动实例 7.查看实例 二.登录到实例 1.打开SecureCRT 2.导入密钥 3.连接实例 三.安装kubectl(Ubuntu用户非root) 四.安装Docker(ubuntu用户) 五.安装并查看MiniKube 1.安装conntrack(root 用户) 2.安装minikube 六.启动miniKube并检