springboot引用kettle实现对接oracle数据的示例代码

简单记录一下springboot引用kettle对接数据

第一步(这一步讲述了下载kettle、创建数据库连接、转换等,如果这一步会的可以略过,直接看第二步)

先从kettle官网下载kettle,官网地址:https://sourceforge.net/projects/pentaho/

进入官网后点击files,选择需要的版本进行下载

下载完成后是一个压缩包,免安装的,选择一个路径,将压缩包解压,解压后进入到data-integration目录,该目录下有一个Spoon.bat文件,双击即可运行

打开后界面是这样的

然后选择依次点击文件->新建->转换就可以编辑对接数据的逻辑了

在编辑对接程序之前,是需要先设置一下数据库信息的,在这里说明一下,新解压的kettle没有oracle的驱动,需要手动的下载一个ojdbc的jar包放到\data-integration\lib目录下,否则测试连接的时候会报错(以oracle的为例,如果是其他数据库请忽略这一步,直接看下边)

放好以后,需要关掉kettle重启一下才行,我这里放的是ojdbc7,至于其他类型的数据库我还没有测试,不知道是不是也会出现这种情况,如果也出现这种情况的话,就下载一个相对应的驱动,放到data-integration\lib目录下就行

接下来就是在新建的转换当中选择工具->向导->创建数据库连接向导(这一步可以将要读取的数据库和要写入的数据库都配置好,这样在编写对接逻辑的时候就不用在返回来重做这一步了)

根据向导,选择要读取的数据库或者写入的数据库类型,给连接起个名字,点击next

然后是配置数据库信息,服务器主机名称就是ip地址,tcp/ip端口就是数据库的端口,例如oracle的就是1521,数据库名称就是数据库的连接符,例如oracle的orcl,填好后继续点击next

然后会出现让选择数据表空间和索引表空间的步骤,这一步可以选择不填,继续点击next,就到了最后一步,在这里填入数据库的账号密码,点击测试数据库连接

编辑好数据库后,接下来就是编辑对接逻辑了,这里就先简单的写个步骤,复杂的需要自己慢慢体会

首先在窗口的左侧核心对象下,从输入标签中找到表输入,双击或者拖拽都行,拖拽的话是往右侧转换里拖拽,这个表输入就是要读取的数据,然后关闭输入标签,或者向下滑动,找到输出标签,从输出标签中找到插入/更新,同样以双击或拖拽的方式加入到转换里,这个是要写入的数据,然后按住shift键,先点击表输入,再点击插入/更新,这样这个节点就创建好了

创建好节点连接后,就需要编辑表输入和插入/更新了,表输入就是要读取的数据,插入/更新就是要写入的数据,双击表输入

双击更新/插入

当这两个编辑好后,保存一下,就会生成一个ktr文件。

至此,在可视化界面中创建ktr文件的步骤就完成了

第二步,将生成的ktr文件集成到springboot里面

首先需要注意的是,相关依赖一定要引用全了,不然运行时会出现很多异常,我就是这样,公司同时给的代码,在他那里可以运行,到我这里以后就各种异常往外报,耗费一天的时间,终于可以进行数据对接了,下面记录一下需要引入的依赖

<!--kettle相关依赖-->
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-core</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-engine</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-dbdialog</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
<!--以上三个是最主要的依赖,相关jar包可以从kettle官网下载的下来的工具里面找,具体路径是:\kettle\data-integration\lib\下面,版本就对应上下载的工具版本就行,下面的是其他一些相关引用-->
 <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>29.0-jre</version>
        </dependency>
        <dependency>
            <groupId>pentaho</groupId>
            <artifactId>metastore</artifactId>
            <version>9.1.0.6-517</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-vfs2</artifactId>
            <version>2.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.5</version>
        </dependency>
        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.9</version>
        </dependency>
        <!--kettle相关依赖-->

至于对接的代码就比较简单了,网上到处都有,这里我也记录一下吧

try {
            //初始化kettle        //如果初始化失败,当加载完ktr文件后,会报database type with plugin id [Oracle] couldn't be found!
            KettleEnvironment.init();
        } catch (KettleException e1) {
            e1.printStackTrace();
        }try {
            //加载kettle的ktr文件
            String url=this.getClass().getClassLoader().getResource("test.ktr").getPath();
            System.out.println("########################"+url);
            TransMeta transMeta = new TransMeta(url);
            transMeta.setLogLevel(LogLevel.DEBUG);
            Trans trans = new Trans(transMeta);
            trans.prepareExecution(null);
            trans.startThreads();
            trans.waitUntilFinished();
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();
        }

总结:其实kettle集成到springboot里面没有多少代码,这个功能最主要的还是ktr文件的编写,只要ktr编写好了,放到指定文件夹下,写个定时任务就完事了,如果以上内容有什么不对的地方,还望各路大神指出,我加以修正

到此这篇关于springboot引用kettle实现对接oracle数据的文章就介绍到这了,更多相关springboot集成kettle对接oracle数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Kettle下载与安装保姆级教程(最新)

    目录 Kettle简介 主要功能 运行环境 Kettle下载 下载地址: 运行Kettle 导入数据库驱动jar包 Kettle使用 配置资源库与数据库 修改.添加用户信息 总结 Kettle简介 Kettle最早是一个开源的ETL(Extract-Transform-Load的缩写)工具,全称为KDE Extraction, Transportation, Transformation and Loading Environment.后来Kettle重命名为Pentaho Data Integ

  • Kettle连接Oracle数据库方法((Oracle19c&Oracle11g))

    目录 前言 Oracle驱动jar包: 连接Oracle ojdbc6.jar驱动可以链接11g和19c版本 迁移数据: 补充: 总结 前言 kettle通过域名或者IP连接Oracle,本地不需要安装Oracle,但是要把Oracle的驱动jar包复制到kettle的lib目录下. Oracle驱动jar包: (包括:ojdbc5.jar.ojdbc6.jar.ojdbc7.jar.ojdbc8.jar.ojdbc10.jar.ojdbc14.jar) 链接: https://pan.baid

  • kettle 入门使用教程(最新版)

    目录 前言 一.下载.安装 二.启动软件 三.转换的使用教程 四.作业的使用教程 总结 前言 Kettle下载与安装保姆级教程(最新) Kettle下载安装pdi-ce-7.1.0.0-12教程 win10环境安装kettle与linux环境安装kettle的详细过程 Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以

  • Docker 部署 SpringBoot 项目整合 Redis 镜像做访问计数示例代码

    最终效果如下 大概就几个步骤 1.安装 Docker CE 2.运行 Redis 镜像 3.Java 环境准备 4.项目准备 5.编写 Dockerfile 6.发布项目 7.测试服务 环境准备 系统:Ubuntu 17.04 x64 Docker 17.12.0-ce IP:45.32.31.101 一.安装 Docker CE 国内不建议使用:"脚本进行安装",会下载安装很慢,使用步骤 1 安装,看下面的链接:常规安装方式 1.常规安装方式 Ubuntu 17.04 x64 安装

  • 使用Vue调取接口,并渲染数据的示例代码

    刚接触vue.js框架的时候,很伤脑筋.今天整理一下post/get两种方式,简单的调取数据库数据,并进行渲染,希望帮助大家! 首先,在HTML页面引入: //引入vue.js文件 <script src="https://cdn.staticfile.org/vue/2.4.2/vue.min.js"></script> 引入vue-resource.min.js文件,就可以引入接口方法了 <script src="https://cdn.st

  • SpringBoot+WebSocket+Netty实现消息推送的示例代码

    上一篇文章讲了Netty的理论基础,这一篇讲一下Netty在项目中的应用场景之一:消息推送功能,可以满足给所有用户推送,也可以满足给指定某一个用户推送消息,创建的是SpringBoot项目,后台服务端使用Netty技术,前端页面使用WebSocket技术. 大概实现思路: 前端使用webSocket与服务端创建连接的时候,将用户ID传给服务端 服务端将用户ID与channel关联起来存储,同时将channel放入到channel组中 如果需要给所有用户发送消息,直接执行channel组的writ

  • SpringBoot中整合Shiro实现权限管理的示例代码

    之前在 SSM 项目中使用过 shiro,发现 shiro 的权限管理做的真不错,但是在 SSM 项目中的配置太繁杂了,于是这次在 SpringBoot 中使用了 shiro,下面一起看看吧 一.简介 Apache Shiro是一个强大且易用的Java安全框架,执行身份验证.授权.密码和会话管理.使用Shiro的易于理解的API,您可以快速.轻松地获得任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序. 三个核心组件: 1.Subject 即"当前操作用户".但是,在 Shi

  • SpringBoot应用整合ELK实现日志收集的示例代码

    ELK即Elasticsearch.Logstash.Kibana,组合起来可以搭建线上日志系统,本文主要讲解使用ELK来收集SpringBoot应用产生的日志. ELK中各个服务的作用 Elasticsearch:用于存储收集到的日志信息: Logstash:用于收集日志,SpringBoot应用整合了Logstash以后会把日志发送给Logstash,Logstash再把日志转发给Elasticsearch: Kibana:通过Web端的可视化界面来查看日志. 使用Docker Compos

  • springboot整合Mybatis、JPA、Redis的示例代码

    引言 在springboot 项目中,我们是用ORM 框架来操作数据库变的非常方便.下面我们分别整合mysql ,spring data jpa 以及redis .让我们感受下快车道. 我们首先创建一个springboot 项目,创建好之后,我们来一步步的实践. 使用mybatis 引入依赖: <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-

  • SpringBoot+Mybatis-Plus实现mysql读写分离方案的示例代码

    1. 引入mybatis-plus相关包,pom.xml文件 2. 配置文件application.property增加多库配置 mysql 数据源配置 spring.datasource.primary.jdbc-url=jdbc:mysql://xx.xx.xx.xx:3306/portal?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=

  • Springboot+Redis实现API接口限流的示例代码

    添加Redis的jar包. <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 在application.yml中配置redis spring: ## Redis redis: database: 0 host: 127.0.0.1 p

  • SpringBoot实现接口等幂次校验的示例代码

    目录 主流的实现方案如下: 第一步:书写redis工具类 第二步.书写token工具类 第三步:定义注解,使用在方法上,当控制层的方法上被注释时,表示该请求为等幂性请求 第四步:拦截器配置.选择前置拦截器,每次请求都校验到达的方法上是否有等幂性注解,如果有则进行token校验 第五步:对拦截器进行url模式匹配,并注入spring容器 第六步:控制层 接口等幂性通俗的来说就是同一时间内,发起多次请求只有一次请求成功:其目的时防止多次提交,数据重复入库,表单验证网络延迟重复提交等问题. 比如: 订

  • SpringBoot实现阿里云短信发送的示例代码

    阿里云accessID和secret请自行进入阿里云申请 sms.template.code 请进入阿里云,进行短信服务进行魔板添加 开源代码地址在文章末尾 话不多说,直接上代码: application.properties: server.port=8002 #server.servlet.context-path=/ spring.datasource.url=jdbc:mysql://localhost:3306/ssm_message?useUnicode=true&character

随机推荐