Kettle多文件合并

在开发工作中，我们经常会处理将多个相同格式的文件，写到一张表里，或者一个文件中，也就是多文件合并，假设现在有2个相同格式csv文件，内容如下：

文件1内容

id,name,sex1,小赵,男2,小黄,男3,小美,女

文件2内容

id,name,sex4,小张,男5,小丽,女6,小红,女

此时我们需要将上面文件的内容写入一张user的表中，我们该如何做呢？具体步骤如下,先拖两个控件，并建立连接，如下图：

下面配置文本控件，如下图：

下面配置内容部分

下面配置字段，配置完成后点击确定

接着我们配置表输出控件

配置完成后，点击启动运行即可

最后我们去数据库里看一下数据，两个文件的数据都有了

Get data from XML组件

我们有一个xml文件，内容如下：

<?xml version="1.0" encoding="UTF-8" ?><all_data>    <row id="1">        <name>小红</name>        <age>10</age>    </row>    <row id="2">        <name>小明</name>        <age>12</age>    </row></all_data>

此时我们想要提取xml文件中的数据，输入到一个文本文件中，具体步骤如下，我们首先拖拽控件，并建立连接，如下图：

下面配置Get data from XML，如下图：

定位要循环的路径

获取字段，点击预览可以预览数据

配置完成后，点击启动即可

下面我们看一下最后的结果文件

JSON INPUT组件

上面我们说了从xml文件中获取数据，我们再看一下从json文件数据中获取数据，有一个JSON文件，内容如下：

{  "userinfo": [    {      "name": "张三",      "age": "20"    },    {      "name": "李四",      "age": "14"    },    {      "name": "王二",      "age": "52"    }  ]}

我们现在想将json文件中的name、age，提取到txt中，具体操作如下，拖拽如下控件：

下面我们双击该组件 进入配置页面,如下图：

配置名称、jsonpath路径、数据类型，配置完成后可以预览数据，看看对不对

这里贴一下jsonPath语法表

文本配置就不细说了，配置完成，直接点击允许，最后看下结果：

生成记录组件

生成记录的作用就是批量的生成一些数据，比如我们想生成1000条数据，并且写到文本文件里，用于测试，具体步骤如下，先拖拽两个控件，并且建立连接，如下图：

双击生成记录，配置该控件，如下图：

文本控件配置和之前一样，就不细说了，最后点击运行

查看文本文件内容：

表输入控件

该控件的作用就是从数据库中的数据，然后再给其他控件输出，比如我们有一张user表，如下：

我们现在将数据库的数据写入一个文本文件中，具体操作如下，先拖两个控件：

双击表输入控件，进行配置，如下图：

值得注意的是，如果你没有已有的数据库连接，需要新建，这里我们以mysql为例，连接mysql需要先去上网上下载如下图中的两个驱动包，并把它们放到kettle的lib目录，如下图：

然后我们点击新建创建连接，如下图：

配置完成后，保存即可，最后我们把文本文件配置一下，点击一下启动，结果如下：

我们最后看下结果：

SQL文件输出

我们有时候需要将数据库中的数据导成SQL文件，此时我们就可以使用该组件，我们假如想要将user表导成SQL文件，具体操作如下：

下面主要看一下SQL文件输出组件的配置，如下：

配置完成后，我们点击一下启动，看一下生成的sql文件，如下图：

更新控件

更新主要用于对比两个目标的数据是否存在更新，如果有变动，则更新目标表，如果数据不存在则会报错。我们现在有两张表，一张user表，另一张user1表，我们想把user表的数据更新到user1表中，两张表的内容如下：

下面我们开始具体操作，首先拖拽组件，如下图：

我们这里说一下更新组件，双击进入配置界面，如下图：

配置完成后，点击启动执行，最后查看一下user1表的数据，如下图：

更新成功 但是此时如果有数据不存在，就会有报错，如下图：

结尾

本期的内容就到这里了，如有不足之处还请大家多多指正，欢迎大家留言、关注、转发、收藏，我们一起交流，一起学习，谢谢。