Kettle（PDI）转换中输入步骤之XML文件输入详解

中年猿人 05-07 137

前言：

目前咱们对“xml格式在线转换”大体比较关心，你们都需要学习一些“xml格式在线转换”的相关文章。那么小编在网络上网罗了一些对于“xml格式在线转换””的相关资讯，希望小伙伴们能喜欢，咱们一起来学习一下吧！

概述

Get data from XML（XML文件输入）步骤提供了使用XPath规范从任何类型的XML文件读取数据的能力。有关XPath的更多信息，请参见本教程:或W3C推荐标准:。

Get data from XML（XML文件输入）可以在2种模式下从3种来源(文件、数据流和url)读取数据(用户可以在静态模式或动态模式下定义文件和url)。

选项介绍

添加XML文件输入

Get data from XML（XML文件输入）步骤有以下选项：

Step name（步骤名称）：在画布上指定Get data from XML（XML文件输入）步骤的唯一名称。您可以自定义名称或将其保留为默认名称。

文件选项卡

文件选项卡用于定义要从中读取的XML文件的位置。下面介绍了与文件选项卡相关的选项：

从字段获取XML源的选项内容

XML source is defined in a field？（XML源定义在一个字段里？）：上一步骤输入数据流中提供XML数据的某个字段。

XML source is a filename？（XML源是文件名？）：上一步骤输入数据流中提供文件名的某个字段。

Read source as URL （以URL的方式读取XML源）：上一步骤输入数据流中提供URL的某个字段。

Get XML source from a field （XML源字段名）：指定要从中读取XML、文件名或URL的字段。

File or directory（文件或目录）：指定输入文本文件的位置或名称。注意：单击增加(A)，将文件/目录/通配符组合添加到下面所选文件列表(网格)中。

Regular expression（正则表达式）：指定要用于选择前一个选项中指定的目录中的文件的正则表达式。

Exclude Regular expression（正则表达式（排除））：与上面正好相反。

Selected Files（选中的文件和目录）：包含选定文件(或通配符选择)的列表和指定是否需要该文件的属性。如果需要一个文件而没有找到它，将生成错误；否则，将跳过该文件名。

Show filename(s)...（显示文件名(S)）：显示将根据当前选定的文件定义加载的所有文件的列表。

内容项卡

设置的选项内容

Loop XPath（循环读取路径）：对于在XML文件中找到的每个“循环读取路径”位置，我们将输出一行数据。这是我们用来简化XML文件的主要规范。可以使用“获取XML文档的所有路径”按钮搜索XML文档中可能的重复节点。请注意，如果XML文档很大，这可能需要一段时间。

Encoding （编码）：XML文件名编码,以防在XML文档中未指定。

Namespace aware（考虑命名空间）：检查这个XML文档名称空间。

Ignore comments?（忽略注释？）：解析时忽略XML文档中的所有注释。

Validate XML?（验证XML？）：在解析之前验证XML。当需要动态替换Xpath字段值时，请使用标记。标记介于@_和- (@_fieldname-)之间。

Use token（使用标记）：标记与XML解析无关，而与PDI有关。

Igore empty file（忽略空文件）：空文件不是有效的XML文档。如果你想忽略这些，请选中此项。

Do not raise an error if no file（如果没有文件不要报告错误）：如果没有找到文件，不要报告。

Limit（限制）：将行数限制为这个数(zero (0)表示所有行)。

Prune path to handle large files（用于截取数据的XML路径（大文件））：与“循环读取路径”属性的值几乎相同，但有一些例外，更多细节参见从XML获取数据-处理大文件（）。注意，您可以使用此参数来避免多个HTTP URL请求。

附件字段的选项内容

Include filename in output?（输出中包含文件名？）：允许您指定一个字段名称，以便在此步骤的输出中包含文件名(字符串)。

Rownum in output? （输出中包含行号？）：允许您指定一个字段名称，以便在此步骤的输出中包含行号(整数)。

添加到结果文件中的选项内容

Add files to result filename（将文件增加到结果文件中）：将读取的XML文件名添加到此转换的结果中。在内存中保存一个唯一的列表，可以在作业中的下一个作业条目中使用，例如在另一个转换中。

字段选项卡

Name（名称）：输出字段的名称。

XPath（XML路径）：要读取的元素节点或属性的路径。

Element（节点）：要读取的元素类型：节点或属性。

Type（结果类型）：要转换为的数据类型。

Format（格式）：在数据类型转换中要使用的格式或转换掩码。

Length（长度）：输出数据类型的长度。

Precision（精度）：输出数据类型的精度。

Currency（货币符号）：在数据类型转换期间要使用的货币符号。

Decimal（小数点符号）：在数据类型转换期间使用的数字小数点符号。

Group（组）：在数据类型转换期间要使用的数字分组符号。

Trim type（去除空格类型）：数据类型转换期间要使用的修剪类型。

Repeat（重复）：如果列值为空(null)，则重复前一行的列值。

元数据注入支持

您可以在ETL元数据注入步骤中使用元数据注入支持的字段，以便在运行时将元数据传递给转换。下面的XML文件输入步骤的选项和值字段支持元数据注入：

选项：XML Source from Field, File and Directory, Regular Expression, Selected Files, Show Filenames, Settings, Additional Fields和Add to Result Filename。

字段：Name, XPath, Element, Type, Format, Length, Precision, Currency, Decimal, Group, Trim Type, Short Filename, Extension, Size, Is Hidden, Last Modification, URI和Root URI。

示例示例一：基本示例

双击输入中的XML文件输入，添加一个XML文件输入步骤。

添加XML文件输入

然后双击添加的步骤进行编辑。

编辑XML文件输入

首先通过文件选项卡添加一个XML文件，XML在您安装客户端的路径下：data-integration/samples/transformations/files/GetXMLData - test 1 - simple functionality test.xml，XML文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<Rows rowID="1">first row chunk of data

</Rows>

<Rows rowID="2">second row chunk of data

</Rows>

<Rows rowID="3">third row chunk of data

</Rows>

</AllRows>

点击浏览然后选择一个XML文件。然后点击添加即可。

然后在内容选项卡中设置其他选项。设置内容如下：

循环读取路径：点击获取XML文档的所有路径，并选择：/AllRows/Rows/Row。

编码：UTF-8。

使用标记：选中此项。

内容选项卡设置

切换到字段选项卡，然后点击获取字段。

获取字段

然后点击预览，查看预览数据列表。

预览数据

示例二：从父节点读取数据

双击输入中的XML文件输入，添加一个XML文件输入步骤。

添加XML文件输入

然后双击添加的步骤进行编辑。

编辑XML文件输入

首先通过文件选项卡添加一个XML文件，XML文件内容如下：

<name>Bisoprolol</name>

</detail>

<name>Aspirine</name>

</detail>

</item>

<name>Libitor</name>

</detail>

</item>

</database>

点击浏览然后选择一个XML文件。然后点击添加即可。

添加XML文件

接着切换至内容选项卡。

在本例中，我们希望从循环节点“database/item/detail”中读取数据。这允许我们为kettle在xml中创建的每个“database/item/detail”设置一行。但是，我们还需要来自父节点“database/item”的信息，更确切地说，是那里的属性，例如id。

在内容选项卡中设置内容如下：

循环读取路径：点击获取XML文档的所有路径，并选择：/database/item/detail。

编码：UTF-8。

设置字段选项卡中的XML路径：

../@id：读取id的值111, 112 (../允许我们向上一级，到根节点。数据将在相同父行中重复)

@child_id ：读取id的值1, 2和1。

name：读取节点name的值。

amount：读取节点amount的值。

设置选项

然后点击预览，查看预览数据列表。

预览数据

示例三：如何使用标记

双击输入中的XML文件输入，添加一个XML文件输入步骤。

添加XML文件输入

然后双击添加的步骤进行编辑。

编辑XML文件输入

首先通过文件选项卡添加一个XML文件，XML文件内容如下

<Session_header Code="xmltest">

</InfoSessionData>

</InfoSession>

</InfoSessionData>

</InfoSession>

</InfoSessionData>

</InfoSession>

<User>Username1</User>

<Password>password123</Password>

</Parameter>

<Step>

<Error_Message>Please have transaction ID and related information ready. Timestamp : 20070731 01:50:06 Session : 0201</Error_Message>

</Step>

</OutputData>

</SessionData>

<User>Username2</User>

<Password>password345</Password>

</Parameter>

<Step>

<Error_Message>error occurred Timestamp : 20070731 01:53:25</Error_Message>

</Step>

</OutputData>

</SessionData>

<User>Username3</User>

<Password>password567</Password>

</Parameter>

<Step>

<Error_Message>Transaction Id :361163328</Error_Message>

<Status>Processed according to contract/plan provisions</Status>

</Step>

</OutputData>

</SessionData>

</Session>

</Session_header>

点击浏览然后选择一个XML文件。然后点击添加即可。

添加XML文件

接着切换至内容选项卡。

在本例中，我们希望提取所有的SessionData，因此循环读取路径将是Session_header/Session/SessionData。我们希望获得以下字段：Code, User, Password, Status, Error_Message, Data。由于有了Xpath，很容易返回前五个字段。实际上，最后一个字段(Data)不在循环Xpath (InfoSession)中且依赖于User。因此，首先必须进入InfoSession (../../InfoSession)并返回每个用户的数据(<Data></Data>)。

因为我们之前有每个用户的值(参见User字段)，所以我们需要返回每个用户的数据。语法是：../../InfoSession/InfoSessionData[@User=当前用户值]/Data。我们必须找到一种方法，在Xpath表达式中使用字段的值通知PDI:这就是使用标记的目的。在我们的例子中在表达式中使用用户值；我们将写入@_User-，字段数据的表达式将变成../../InfoSession/InfoSessionData[@User=@_User-]/Data。完成时不要忘记选中“使用标记”选项。

在内容选项卡中设置内容如下：

循环读取路径：点击获取XML文档的所有路径，并选择：/Session_header/Session/SessionData。

编码：UTF-8。

使用标记：选中。

切换至字段选项卡，然后点击获取字段：

获取字段

可以看到没有获取到Data字段。然后添加字段Data，设置XML路径为：../../InfoSession/InfoSessionData[@User=@_User-]/Data

然后点击预览，查看预览数据列表。

查看预览数据

本文地址：http://www.longkongtuishu.com/ca918BmsKA1YPCg.html

标签： #xml格式在线转换 #asp 读取xml