informatical lookup的使用详解

Lookup在ETL中是一种常见的操作，比如产品键到代理键的转换，ID到name的转换等，都可以通过lookup来实现。Informatica中的lookup transformation组件除了能实现这种普通的转换，还可以用来更新缓慢变化维等，功能可谓强大。本文根据Informatcia8.1的联机文档，简单介绍一下informatica的lookup transformation。
中英文名词对应：
•transformation:转换
•connected:连接的
•unconnected:未连接的
•cache:缓存

一、lookup的功能
•获得相关值：例如根据ID查找name
•执行计算：例如得到计算公式得到一个结果
•更新缓慢变化维：根据lookup的条件决定是插入还是更新记录等

二、rational lookups vs flat file lookups
lookup的源可以是关系数据库中的表，也可以是平文件。对于关系表，可以从source或者target中选择，也可以和平文件一样，通过import向导完成。

三、connected lookups vs unconnected lookups
informatica的转换可以分为连接的和非连接的两种。
所谓连接的转换，就是该转换是处于整个ETL的数据流中的，其输入ort是直接从另外一个转换，而非连接的，则独立于主数据流之外，通过其他转换中的表达式得到输入数据。
连接的lookup转换将处理数据流中的每一条数据，对于不符合lookup条件的，则输出预先指定的默认值,并且可以更新动态缓存。输出值是所有的output/lookup port。可以使用静态或者动态的缓存。
未连接的lookup转换只处理符合lookup条件的数据，并且只返回一个值。对于不符合条件的，输出NULL。未连接的lookup转换可以被多次调用。输出值在唯一的return port。只能使用静态缓存。

四、cache
informatica对于lookup使用了cache机制。服务器对于cache的处理流程大致如下：
开始处理第一条数据的时候，服务器会在内存中建立缓存，缓存的大小有lookup转换的一些属性决定。对于lookup条件，建立一个index cache，而对于输出值，则放在data cache中。
如果内存缓存大小不够，则会将溢出的缓存放到文件中。会话结束后，缓存会被清除，除非lookup缓存被设置为永久性的。
对于静态的cache，是不允许lookup转换对其进行更新的。而动态的cache，在lookup中如果发现不符合条件的值，可以对cache进行插入或者更新处理。
当然也可以选择不使用任何cache。

五、lookup transmation组件
lookup共有5个组件，也就是在lookup转换上点右键，选编辑后看到的5个标签页。实际上，基本上informatica所有的transformation都差不多是5个组件。
其中第一个transformation页签，第二个ports页签和第五个metadata extensions页签基本都差不多。只是lookup的port除了通常的I(input),O(output)外，还有L(lookup),R(return)。其中return port只能有一个，并且不能和其他转换直接连接，只能通过LKP:表达式获得。
第四个condition页签指定lookup的条件，实际上就是设置两个表的关联条件。
第三个properties是最重要的，可以在这里重写SQL来自定义lookup，设置符合条件返回多条记录时的处理方式，设置是否使用动态cache，以及cache的大小等等。

六、lookup tips
•在lookup条件列上创建index
•尽量使用=条件。如果有多个条件，尽量将=条件放到最前面
•对于小表，尽量使用cache，并且设置cache大小，使得整个table可以cache到内存中
•如果lookup的表和源表在同一个数据库中，并且cache不够大，那么尽量使用join而不是lookup
•对于静态的lookup，尽量使用永久cache(persistent cache),这样多个session可以重用。

赞 (0)

相关推荐

  • informatical lookup的使用详解

    Lookup在ETL中是一种常见的操作,比如产品键到代理键的转换,ID到name的转换等,都可以通过lookup来实现.Informatica中的lookup transformation组件除了能实现这种普通的转换,还可以用来更新缓慢变化维等,功能可谓强大.本文根据Informatcia8.1的联机文档,简单介绍一下informatica的lookup transformation.中英文名词对应:•transformation:转换•connected:连接的•unconnected:未连接

  • 详解Spring中Lookup注解的使用

    详解Spring中Lookup注解的使用

    我们知道在spring容器中单独的一个抽象类是不能成为一个bean的,那么有没有办法呢?这个时候我们可以使用Lookup注解,我们可以看下spring的扫描bean部分逻辑.我们知道在spring中要想成为一个bean,必须先生成BeanDefinition对象,如果一个抽象类中没有含有Lookup注解的方法,在spring扫描时就会被排除掉. /** * 1.判断是不是独立的类,非静态内部类则无法生成bean, * 2.判断是不是接口或者抽象类(有一种特殊情况),是则无法生成 * 3.判断如果

  • Java 数据库连接池详解及简单实例

    Java 数据库连接池详解 数据库连接池的原理是: 连接池基本的思想是在系统初始化的时候,将数据库连接作为对象存储在内存中,当用户需要访问数据库时,并非建立一个新的连接,而是从连接池中取出一个已建立的空闲连接对象.使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中,以供下一个请求访问使用.而连接的建立.断开都由连接池自身来管理.同时,还可以通过设置连接池的参数来控制连接池中的初始连接数.连接的上下限数以及每个连接的最大使用次数.最大空闲时间等等.也可以通过其自身的管理机制来监视数据库连接的

  • Docker Swarm入门实例详解

    Swarm 在 Docker 1.12 版本之前属于一个独立的项目,在 Docker 1.12 版本发布之后,该项目合并到了 Docker 中,成为 Docker 的一个子命令.目前,Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具.它可以把多个 Docker 主机组成的系统转换为单一的虚拟 Docker 主机,使得容器可以组成跨主机的子网网络. 1. Swarm 认识 Swarm 是目前 Docker 官方唯一指定(绑定)的集群管理工具.Docker 1.

  • Tomcat 7-dbcp配置数据库连接池详解

    Tomcat 7-dbcp配置数据库连接池详解 原理 关于连接池,大家都晓得用来限定对数据库的连接.基本的原理是预先在缓冲池中放入一定的空闲连接,当程序需要和数据库来交互时,不是直接新建数据库连接而是在连接池中直接取,使用完成后再放回到连接池中.为什么要这样牺牲一个缓冲来存放这些原本就会使用的连接呢?在上面讲了一个好处就是可以限定连接数,这样不会造成N多的数据库连接最后宕机:额外有了这样一个连接池,也可以来监听这些连接和便于管理. 配置 1.拷贝相关的jar 要知道连接池不是用来直接操作数据库的

  • linux系统下hosts文件详解及配置

    hosts文件 hosts -- the static table lookup for host name(主机名查询静态表). hosts文件是Linux系统上一个负责ip地址与域名快速解析的文件,以ascii格式保存在/etc/目录下.hosts文件包含了ip地址与主机名之间的映射,还包括主机的别名.在没有域名解析服务器的情况下,系统上的所有网络程序都通过查询该文件来解析对应于某个主机名的ip地址,否则就需要使用dns服务程序来解决.通过可以将常用的域名和ip地址映射加入到hosts文件中

  • java 中file.encoding的设置详解

    java 中file.encoding的设置详解 昨天有人在讨论关于设置System的property,file.encoding 修改defaultcharset无效 Properties pps=System.getProperties(); pps.setProperty("file.encoding","ISO-8859-1"); 在java中,如果没有指定charset的时候,比如new String(byte[] bytes),都会调用Charset.d

  • struts2配置静态资源代码详解

    Struts2框架有两个核心配置文件:struts.xml和Struts2默认属性文件default.properties(在struts2-core-2.3.20.jar中) default.properties可以通过自己在classpath下写一个struts.properties文件进行定制改写 为什么是struts.properties,这可以看org.apache.struts2.config下的DefaultSettings和PropertiesSettings源码 Default

  • 基于python内置函数与匿名函数详解

    基于python内置函数与匿名函数详解

    内置函数 Built-in Functions abs() dict() help() min() setattr() all() dir() hex() next() slice() any() divmod() id() object() sorted() ascii() enumerate() input() oct() staticmethod() bin() eval() int() open() str() bool() exec() isinstance() pow() super

  • SpringCloud之Feign示例详解

    Feign简介 Feign 是一个声明web服务客户端,这便得编写web服务客户端更容易,使用Feign 创建一个接口并对它进行注解,它具有可插拔的注解支持包括Feign注解与JAX-RS注解,Feign还支持可插拔的编码器与解码器,Spring Cloud 增加了对 Spring MVC的注解,Spring Web 默认使用了HttpMessageConverters, Spring Cloud 集成 Ribbon 和 Eureka 提供的负载均衡的HTTP客户端 Feign. 声明式REST

随机推荐