于贵洋的博客

BI、数据分析


  • 首页

  • 分类

  • 标签

  • 归档

  • 站点地图

  • 公益404

  • 关于

  • 搜索

Kettle手册(十)- 跨库查询

发表于 2017-04-10 | 分类于 ETL-Kettle

Kettle整体使用起来,还是很方便的,熟悉应用了之后,就是对控件的熟悉和使用了,只要思路有了,就是整合下Kettle中各个控件的使用就行。
这里,简单介绍下一个“跨库查询”的控件。
有的时候,我们一个脚本,可能只是临时性的,或者需要实时的去查一下,同步到数仓的话,可能不太方便,我们就可以使用跨库查询的控件
用到的表信息
Kettle-handbook-10-01.png
Kettle-handbook-10-02.png

阅读全文 »

Kettle手册(九)- 发送邮件

发表于 2017-03-30 | 分类于 ETL-Kettle

在Kettle里面,我们每天执行完调度之后,想要监控下JOB的执行状态,通常我们可以会发送邮件,可以的话,还可以发送短信。

在Kettle里面,发送邮件很方便,这里,我们就简单的测试下。

1. 在作业中发送简单邮件

我们只需要使用到这个控件就可以了,
Kettle-handbook-09-01.png
这样,一个简单的发送邮件流程就好了
Kettle-handbook-09-02.png

阅读全文 »

Kettle手册(八)- 循环

发表于 2017-03-29 | 分类于 ETL-Kettle

有的时候,我们想要在Kettle中实现这个循环的功能,比如,批量加载数据的时候,我们要对10张表执行同样的操作,只有表名和一些信息不一样,这时,写个循环就省事儿多了

1. 遍历结果集实现

Kettle-handbook-08-01.png
这里的话,我们主要是通过一个将结果集返回,然后通过转换的设置来实现的

阅读全文 »

Kettle手册(七)- 资源库的使用

发表于 2017-03-29 | 分类于 ETL-Kettle

1. 为什么使用资源库

之前,我们新建转换或者作业的时候,都是直接保存在本地,而如果我们是多人开发的话,除了使用SVN等版本控制软件,还可以使用Kettle的资源库,他会将转换、作业直接保存在数据库中,而且,连接资源库的话,我们就不需要每一次都新建数据库连接了,用起来还是蛮方便的。

2. 新建资源库

Kettle7.0里面,是在右上角这个Connect来连接的
Kettle-handbook-07-01.png

阅读全文 »

Kettle手册(六)- Hop小记

发表于 2017-03-29 | 分类于 ETL-Kettle

1. 什么是Hop

在我们前面,使用Kettle过程中,控件与控件之间的连线,这里,我们详细介绍下它,它在Kettle中叫Hop(跳)。
Kettle-handbook-06-01.png
Kettle-handbook-06-02.png

阅读全文 »
1…20212223
于贵洋

于贵洋

111 日志
17 分类
30 标签
RSS
GitHub
友情链接
  • 很久之前的CSDN博客
0%
© 2017 于贵洋
由 Hexo 强力驱动
|
主题 — NexT.Pisces v5.1.3
Hosted by GitHub Pages
本站访客数 人次 本站总访问量 次