Azkaban3.81.x部署过程及遇到的坑

 Azkaban是什么?

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系,这个依赖关系必须是无环的,否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

一、前提安装

1.1 Java1.8环境搭建

  1) 下载jdk1.8并解压:

# tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local

2) 添加Java环境变量,在/etc/profile中添加:

export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

  3) 保存后刷新环境变量:

# source /etc/profile

  4) 检查Java是否配置成功,成功配置会有如下图所示。

# java -version

1.2 MySQL安装

  Ubuntu可以参考我的MySQL安装博文。

1.3 git安装

# sudo apt-get install git

1.4 下载azkaban

  从github选取版本下载azkaban:

https://github.com/azkaban/azkaban/releases

  在这里我选取了azkaban-3.18.4版本:

# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz

  解压:

# tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/
# cd /mnt/addDisk1/BigData/azkaban-3.84.4

1.5 编译

  执行gradlew编译命令,跳过测试:

# ./gradlew distTar -x test

  它会一下编译,直到编译成功,运行之后会生成5个压缩包,分别放在在azkaban-*/build/distributions/目录下:

azkaban-db-3.47.0-10-gdd67b02.tar.gz
azkaban-exec-server-3.47.0-10-gdd67b02.tar.gz
azkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gz
azkaban-solo-server-3.47.0-10-gdd67b02.tar.gz
azkaban-web-server-3.47.0-10-gdd67b02.tar.gz 

  接着把五个包分别解压在另外的目录下(/mnt/addDisk1/BigData/azkaban),并重命名:

cd /mnt/addDisk1/BigData
tar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-server
mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server
mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server
mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db
mv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin

二、azkaban部署

2.1在MySQL中创建azkaban数据库:

create database azkaban;
grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban';
flush privileges;
use azkaban;
# 将azkaban sql表结构导入mysql
source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

2.2 创建SSL配置:

# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:

输入keystore密码:
再次输入新密码:
您的名字与姓氏是什么?
 [Unknown]:
您的组织单位名称是什么?
 [Unknown]:
您的组织名称是什么?
 [Unknown]:
您所在的城市或区域名称是什么?
 [Unknown]:
您所在的州或省份名称是什么?
 [Unknown]:
该单位的两字母国家代码是什么
 [Unknown]: CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗?
 [否]: y
密码在此我输入的是hadoop
输入<jetty>的主密码
 (如果和 keystore 密码相同,按回车):
再次输入新密码:

  完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目:

# sudo mv keystore azkaban/azkaban-web-server

2.3部署 azkaban-web-server

# cd ./azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/
# cd ./azkaban-web-server/conf

  配置azkaban.properties:

# 默认时区,已改为亚洲/上海 默认为美国
default.timezone.id=Asia/Shanghai
database.type=mysql #数据库类型
# h2.path=./h2
# h2.create.tables=true
mysql.port=3306 #端口号
mysql.host=localhost #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码

jetty.use.ssl=true
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=hadoop #SSL文件密码
jetty.keypassword=hadoop #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=hadoop # SSL文件密码

# 执行服务器属性
executor.port=12321 #执行服务器端口

# 邮件设置 可不设计
mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=********** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录

  配置log4j.properties(默认就可以了,如有其他需求可修改):

log4j.rootLogger=INFO, Console
log4j.logger.azkaban=INFO, server
log4j.appender.server=org.apache.log4j.RollingFileAppender
log4j.appender.server.layout=org.apache.log4j.PatternLayout
log4j.appender.server.File=logs/azkaban-webserver.log
log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
log4j.appender.server.MaxFileSize=102400MB
log4j.appender.server.MaxBackupIndex=2
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n

  添加管理员用户:

# sudo vim azkaban-users.xml

<azkaban-users>
 <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
 <user password="metrics" roles="metrics" username="metrics"/>
 <user username="admin" password="admin" roles="admin,metrics" />
 <role name="admin" permissions="ADMIN"/>
 <role name="metrics" permissions="METRICS"/>
</azkaban-users>

2.4部署 azkaban-exec-server

# cd /mnt/addDisk1/BigData/azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/
# cd ./azkaban-exec-server/conf

  配置azkaban.properties:

# sudo vim azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai #时区

# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

#数据库设置
database.type=mysql #数据库类型(目前只支持mysql)
mysql.port=3306 #数据库端口号
mysql.host=localhost #数据库IP地址
mysql.database=azkaban #数据库实例名
mysql.user=azkaba #数据库用户名
mysql.password=azkaba #数据库密码
mysql.numconnections=100 #最大连接数

# 执行服务器配置
executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与web服务中一致)
executor.flow.threads=30 #线程数

  在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录,将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录:

# cd /mnt/addDisk1/BigData/azkaban
# sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/
# sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/

2.5启动web-server和exec-server

# ./azkaban-exec-server/bin/start-exec.sh
# ./azkaban-web-server/bin/start-web.sh

2.6访问https://ip:8443打开azkaban的web页面

2.7 测试

三、遇到的问题

3.1、 找到guava-*.jar包版本过低,但在/lib/下的是0.21版本,不低了,根据排除可知找到系统中版本过低的而使用。

2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.<clinit>(Status.java:40)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:177)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)

解决方案:https://www.jb51.net/article/185901.htm

# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh

将如下:
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$CLASSPATH:$file
done

改为:
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$file:$CLASSPATH
done

# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh

将如下:
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$CLASSPATH:$file
done

改为:
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$file:$CLASSPATH
done

3.2解决executor非active的问题

解决方案:

1)

# cd ./azkaban/azkaban-exec-server/
# curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

2)也可以通过在MySQL中修改:https://www.jb51.net/article/185900.htm

到此这篇关于Azkaban3.81.x部署过程及遇到的坑的文章就介绍到这了,更多相关Azkaban3.81.x部署内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found

    Issue 2019/05/09 21:50:07.380 +0800 ERROR [ExecutorManager] [Azkaban] No active executors found 2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect]

  • 解决启动Azkaban报错问题:java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap

    问题描述: 启动Azkaban报错: java.lang.NoSuchMethodError:com.google.common.collect.ImmutableMap.toImmutableMap 解决方法: 从报错信息来看,是找不到toImmutableMap这个方法.首先找到类ImmutableMap对应的Jar包为guava,然后在服务器查找这个Jar包: find / -name "guava*.jar" 发现除了Azkaban安装目录,其他程序目录下也有guava包.Az

  • Azkaban3.81.x部署过程及遇到的坑

     Azkaban是什么? Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系,这个依赖关系必须是无环的,否则会被视为无效的工作流.Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流. 一.前提安装 1.1 Java1.8环境搭建 1) 下载jdk1.8并解压:

  • .Net Core 之 Ubuntu 14.04 部署过程(图文详解)

    本篇文章主要介绍了.Net Core 之 Ubuntu 14.04 部署过程(图文详解) No.1 准备应用程序 1. 创建.Net Core Web项目 2. 使用VS2015发布 No.2 安装.Net Core for Ubuntu Ubuntu的安装就不介绍了.本人用的VMWare,装好Tools很方便. 具体安装步骤请参照:http://www.jb51.net/os/248849.html 1. 添加dotnet源 sudo sh -c 'echo "deb [arch=amd64]

  • Spring Boot运行部署过程图解

    这篇文章主要介绍了Spring Boot运行部署过程图解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 Main方法 直接运行启动类main方法 遵循应用程序入口点的Java约定的标准方法.我们的main方法SpringApplication通过调用委托给Spring Boot的类run. SpringApplication引导我们的应用程序,启动Spring,然后启动自动配置的Tomcat Web服务器.我们需要Example.class作为

  • java学习DongTai被动型IAST工具部署过程

    目录 01.环境准备 02.快速安装与部署 03.初步测试体验 我在5月份的时候就申请了洞态IAST企业版内测,算是比较早的一批用户了.聊聊几个我比较在意的问题,比如API接口覆盖率.第三方开源组件检测以及脏数据等问题,而这些都是安全测试过程中的痛点,那么在这款工具的应用上,我们将找到答案. 在这里,让我们做一个简单的安装部署,接入靶场进行测试体验. 01.环境准备 Docker安装 1.安装所需的软件包  sudo yum install -y yum-utils \   device-map

  • SpringBoot中整合Minio文件存储的安装部署过程

    目录 背景 Minio安装部署 配置pom文件 配置yml文件 Minio工具类 初始化client 上传文件 下载文件 删除文件 背景 公司的开发框架集成了附件本地存储,阿里云,华为云等,现项目有要求附件存储与应用部署环境不能是同一台服务器,也不能使用云存储,经过技术选型后决定框架整合minio,将minio部署在另一台服务器开通外网端口即可解决问题 Minio安装部署 下载minio安装部署包,创建对应配置文件,这里提供一个整合后的压缩包 下载地址:http://xiazai.jb51.ne

  • MacOS安装Docker的过程及遇到的坑

    有幸参与Skeleton项目,虽然我做的工作只是把bat脚本改写为shell脚本,以便支持项目在Mac/Linux环境下自动部署到Docker上的功能.一遍操作走下来,发现Docker是一个相当cool的项目.好了,收回题外话,这里把Mac安装Docker的过程及遇到的一些坑记录下来,方便后面的同学避开雷区. 前言 首先提供需要的原材料: Docker官网,您可能需要翻墙来访问 MacOS 10.X系统. 下载Docker 直接进入Docker官网,下载DMG安装包,云云. 安装完之后启动,不出

  • 浅谈PHP接入(第三方登录)QQ登录 OAuth2.0 过程中遇到的坑

    前言 绝大多数网站都集成了第三方登录,降低了注册门槛,增强了用户体验.最近看了看 QQ 互联上 QQ 登录的接口文档.接入 QQ 登录的一般流程呢,是这样的:先申请开发者 -> 然后创建应用(拿到一组 AppId 和 AppKey)-> 获取 access_token -> 获取 openid -> 调用 openApi 访问或修改用户信息. 然而,从申请个人开发者开始,坑就来了. 1. 申请(个人)开发者 QQ 互联中申请开发者信息的页面,一些重点太过简陋,缺失细节,比如身份证正

  • iOS 条码及二维码扫描(从相册中读取条形码/二维码)及扫码过程中遇到的坑

    文章重点介绍如何解决,从手机相册中读取条形码和二维码的问题 1.扫码. 网上有特别的关于iOS扫码的代码和示例,其中扫码主要使用的是自带的AVFoundation类.这里就不细说了,要注意的是如何设置扫描区域,识别区域(这个值是按比例0~1设置,而且X.Y要调换位置,width.height调换位置) <span style="font-size:14px;">//创建输出流 AVCaptureMetadataOutput * output = [[AVCaptureMet

  • 实例分析nodejs模块xml2js解析xml过程中遇到的坑

    本文实例讲述了nodejs模块xml2js解析xml过程中遇到的坑.分享给大家供大家参考,具体如下: 在一个项目中,用到nodejs模块xml2js解析xml,xml的数据如下: <xml> <MsgId>6197906553041859764</MsgId> </xml> 用xml2js中的xml2js.parseString 方法解析,本来以为是一个json,但总是解析失败,把解析的结果log下后如下: { xml: { MsgId: [ '619790

  • Docker部署Rancher的方法(无坑)

    操作前必看: 注:如想使用ranhcer进行管理,前提需要你的k8s集群在没组建起来的时候进行,如果k8s已经搭建rancher导入集群功能将无法使用,需要在搭建好master和node之后先将rancher在master启动好后将curl --insecure -sfL **这一条也就是第三行的导入命令,在master节点执行好后才可以将node执行kubeadm join这条加入集群的命令 注:如果部署k8s之前没更改主机名,当k8s部署后就不要更改了,一旦更改会导致你的节点直接NotRea

随机推荐