龙空技术网

Kettle(PDI)转换中输入步骤之XML文件输入详解

中年猿人 154

前言:

目前咱们对“xml格式在线转换”大体比较关心,你们都需要学习一些“xml格式在线转换”的相关文章。那么小编在网络上网罗了一些对于“xml格式在线转换””的相关资讯,希望小伙伴们能喜欢,咱们一起来学习一下吧!

概述

Get data from XML(XML文件输入)步骤提供了使用XPath规范从任何类型的XML文件读取数据的能力。有关XPath的更多信息,请参见本教程:或W3C推荐标准:。

Get data from XML(XML文件输入)可以在2种模式下从3种来源(文件、数据流和url)读取数据(用户可以在静态模式或动态模式下定义文件和url)。

选项介绍

添加XML文件输入

Get data from XML(XML文件输入)步骤有以下选项:

Step name(步骤名称):在画布上指定Get data from XML(XML文件输入)步骤的唯一名称。您可以自定义名称或将其保留为默认名称。

文件选项卡

文件选项卡用于定义要从中读取的XML文件的位置。下面介绍了与文件选项卡相关的选项:

从字段获取XML源的选项内容

XML source is defined in a field?(XML源定义在一个字段里?):上一步骤输入数据流中提供XML数据的某个字段。

XML source is a filename?(XML源是文件名?):上一步骤输入数据流中提供文件名的某个字段。

Read source as URL (以URL的方式读取XML源):上一步骤输入数据流中提供URL的某个字段。

Get XML source from a field (XML源字段名):指定要从中读取XML、文件名或URL的字段。

File or directory(文件或目录):指定输入文本文件的位置或名称。注意:单击增加(A),将文件/目录/通配符组合添加到下面所选文件列表(网格)中。

Regular expression(正则表达式):指定要用于选择前一个选项中指定的目录中的文件的正则表达式。

Exclude Regular expression(正则表达式(排除)):与上面正好相反。

Selected Files(选中的文件和目录):包含选定文件(或通配符选择)的列表和指定是否需要该文件的属性。如果需要一个文件而没有找到它,将生成错误;否则,将跳过该文件名。

Show filename(s)...(显示文件名(S)):显示将根据当前选定的文件定义加载的所有文件的列表。

内容项卡

设置的选项内容

Loop XPath(循环读取路径):对于在XML文件中找到的每个“循环读取路径”位置,我们将输出一行数据。这是我们用来简化XML文件的主要规范。可以使用“获取XML文档的所有路径”按钮搜索XML文档中可能的重复节点。请注意,如果XML文档很大,这可能需要一段时间。

Encoding (编码):XML文件名编码,以防在XML文档中未指定。

Namespace aware(考虑命名空间):检查这个XML文档名称空间。

Ignore comments?(忽略注释?):解析时忽略XML文档中的所有注释。

Validate XML?(验证XML?):在解析之前验证XML。当需要动态替换Xpath字段值时,请使用标记。标记介于@_和- (@_fieldname-)之间。

Use token(使用标记):标记与XML解析无关,而与PDI有关。

Igore empty file(忽略空文件):空文件不是有效的XML文档。如果你想忽略这些,请选中此项。

Do not raise an error if no file(如果没有文件不要报告错误):如果没有找到文件,不要报告。

Limit(限制):将行数限制为这个数(zero (0)表示所有行)。

Prune path to handle large files(用于截取数据的XML路径(大文件)):与“循环读取路径”属性的值几乎相同,但有一些例外,更多细节参见从XML获取数据-处理大文件()。注意,您可以使用此参数来避免多个HTTP URL请求。

附件字段的选项内容

Include filename in output?(输出中包含文件名?):允许您指定一个字段名称,以便在此步骤的输出中包含文件名(字符串)。

Rownum in output? (输出中包含行号?):允许您指定一个字段名称,以便在此步骤的输出中包含行号(整数)。

添加到结果文件中的选项内容

Add files to result filename(将文件增加到结果文件中):将读取的XML文件名添加到此转换的结果中。在内存中保存一个唯一的列表,可以在作业中的下一个作业条目中使用,例如在另一个转换中。

字段选项卡

Name(名称):输出字段的名称。

XPath(XML路径):要读取的元素节点或属性的路径。

Element(节点):要读取的元素类型:节点或属性。

Type(结果类型):要转换为的数据类型。

Format(格式):在数据类型转换中要使用的格式或转换掩码。

Length(长度):输出数据类型的长度。

Precision(精度):输出数据类型的精度。

Currency(货币符号):在数据类型转换期间要使用的货币符号。

Decimal(小数点符号):在数据类型转换期间使用的数字小数点符号。

Group(组):在数据类型转换期间要使用的数字分组符号。

Trim type(去除空格类型):数据类型转换期间要使用的修剪类型。

Repeat(重复):如果列值为空(null),则重复前一行的列值。

元数据注入支持

您可以在ETL元数据注入步骤中使用元数据注入支持的字段,以便在运行时将元数据传递给转换。下面的XML文件输入步骤的选项和值字段支持元数据注入:

选项:XML Source from Field, File and Directory, Regular Expression, Selected Files, Show Filenames, Settings, Additional Fields和Add to Result Filename。

字段:Name, XPath, Element, Type, Format, Length, Precision, Currency, Decimal, Group, Trim Type, Short Filename, Extension, Size, Is Hidden, Last Modification, URI和Root URI。

示例示例一:基本示例

双击输入中的XML文件输入,添加一个XML文件输入步骤。

添加XML文件输入

然后双击添加的步骤进行编辑。

编辑XML文件输入

首先通过文件选项卡添加一个XML文件,XML在您安装客户端的路径下:data-integration/samples/transformations/files/GetXMLData - test 1 - simple functionality test.xml,XML文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>

<AllRows testDescription="1 - simple functionality test">

<Rows rowID="1">first row chunk of data

<Row><v1>1.1.1</v1><v2>1.1.2</v2></Row>

<Row><v1>1.2.1</v1><v2>1.2.2</v2></Row>

</Rows>

<Rows rowID="2">second row chunk of data

<Row><v1>2.1.1</v1><v2>2.1.2</v2></Row>

<Row><v1>2.2.1</v1><v2>2.2.2</v2></Row>

</Rows>

<Rows rowID="3">third row chunk of data

<Row><v1>3.1.1</v1><v2>3.1.2</v2></Row>

<Row><v1>3.2.1</v1><v2>3.2.2</v2></Row>

</Rows>

</AllRows>

点击浏览然后选择一个XML文件。然后点击添加即可。

然后在内容选项卡中设置其他选项。设置内容如下:

循环读取路径:点击获取XML文档的所有路径,并选择:/AllRows/Rows/Row。

编码:UTF-8。

使用标记:选中此项。

内容选项卡设置

切换到字段选项卡,然后点击获取字段。

获取字段

然后点击预览,查看预览数据列表。

预览数据

示例二:从父节点读取数据

双击输入中的XML文件输入,添加一个XML文件输入步骤。

添加XML文件输入

然后双击添加的步骤进行编辑。

编辑XML文件输入

首先通过文件选项卡添加一个XML文件,XML文件内容如下:

<database>

<item id="111" clientName="Sven Boden">

<detail child_id="1">

<name>Bisoprolol</name>

<amount>2</amount>

</detail>

<detail child_id="2">

<name>Aspirine</name>

<amount>20</amount>

</detail>

</item>

<item id="112" clientName="Gusia Jakobczyk">

<detail child_id="1">

<name>Libitor</name>

<amount>1</amount>

</detail>

</item>

</database>

点击浏览然后选择一个XML文件。然后点击添加即可。

添加XML文件

接着切换至内容选项卡。

在本例中,我们希望从循环节点“database/item/detail”中读取数据。这允许我们为kettle在xml中创建的每个“database/item/detail”设置一行。但是,我们还需要来自父节点“database/item”的信息,更确切地说,是那里的属性,例如id。

在内容选项卡中设置内容如下:

循环读取路径:点击获取XML文档的所有路径,并选择:/database/item/detail。

编码:UTF-8。

设置字段选项卡中的XML路径:

../@id:读取id的值111, 112 (../允许我们向上一级,到根节点。数据将在相同父行中重复)

@child_id :读取id的值1, 2和1。

name:读取节点name的值。

amount:读取节点amount的值。

设置选项

然后点击预览,查看预览数据列表。

预览数据

示例三:如何使用标记

双击输入中的XML文件输入,添加一个XML文件输入步骤。

添加XML文件输入

然后双击添加的步骤进行编辑。

编辑XML文件输入

首先通过文件选项卡添加一个XML文件,XML文件内容如下

<Session_header Code="xmltest">

<InfoSession>

<InfoSessionData User="Username1">

<Data>Data1</Data>

</InfoSessionData>

</InfoSession>

<InfoSession>

<InfoSessionData User="Username2">

<Data>Data2</Data>

</InfoSessionData>

</InfoSession>

<InfoSession>

<InfoSessionData User="Username3">

<Data>Data3</Data>

</InfoSessionData>

</InfoSession>

<Session>

<SessionData>

<Parameter>

<User>Username1</User>

<Password>password123</Password>

</Parameter>

<OutputData>

<Step>

<Error_Message>Please have transaction ID and related information ready. Timestamp : 20070731 01:50:06 Session : 0201</Error_Message>

</Step>

</OutputData>

</SessionData>

<SessionData>

<Parameter>

<User>Username2</User>

<Password>password345</Password>

</Parameter>

<OutputData>

<Step>

<Error_Message>error occurred Timestamp : 20070731 01:53:25</Error_Message>

</Step>

</OutputData>

</SessionData>

<SessionData>

<Parameter>

<User>Username3</User>

<Password>password567</Password>

</Parameter>

<OutputData>

<Step>

<Error_Message>Transaction Id :361163328</Error_Message>

<Status>Processed according to contract/plan provisions</Status>

</Step>

</OutputData>

</SessionData>

</Session>

</Session_header>

点击浏览然后选择一个XML文件。然后点击添加即可。

添加XML文件

接着切换至内容选项卡。

在本例中,我们希望提取所有的SessionData,因此循环读取路径将是Session_header/Session/SessionData。我们希望获得以下字段:Code, User, Password, Status, Error_Message, Data。由于有了Xpath,很容易返回前五个字段。实际上,最后一个字段(Data)不在循环Xpath (InfoSession)中且依赖于User。因此,首先必须进入InfoSession (../../InfoSession)并返回每个用户的数据(<Data></Data>)。

因为我们之前有每个用户的值(参见User字段),所以我们需要返回每个用户的数据。语法是:../../InfoSession/InfoSessionData[@User=当前用户值]/Data。我们必须找到一种方法,在Xpath表达式中使用字段的值通知PDI:这就是使用标记的目的。在我们的例子中在表达式中使用用户值;我们将写入@_User-,字段数据的表达式将变成../../InfoSession/InfoSessionData[@User=@_User-]/Data。完成时不要忘记选中“使用标记”选项。

在内容选项卡中设置内容如下:

循环读取路径:点击获取XML文档的所有路径,并选择:/Session_header/Session/SessionData。

编码:UTF-8。

使用标记:选中。

切换至字段选项卡,然后点击获取字段:

获取字段

可以看到没有获取到Data字段。然后添加字段Data,设置XML路径为:../../InfoSession/InfoSessionData[@User=@_User-]/Data

然后点击预览,查看预览数据列表。

查看预览数据

标签: #xml格式在线转换 #asp 读取xml