通过BODS的SAP ECC Delta AIE提取器到SQL Server

2020-09-23 09:05发布

         点击此处--->   EasySAP.com群内免费提供SAP练习系统(在群公告中)

加入QQ群:457200227(SAP S4 HANA技术交流) 群内免费提供SAP练习系统(在群公告中)


嗨,

我正在使用BODS从ECC中提取财务和库存模块到SQL数据库中。

在使用诸如GL_10或GL_4的类型为AIE的增量提取器(仅在图像之后)时出现问题,因为我们必须在数据流中使用表比较,以便BODS知道是否必须插入或更新记录。

这很简单,在BODS中,我们有两个数据流,即Init和Delta。

除了源提取器,查询转换,键生成和目标SQL表以外,init数据流不需要任何其他操作:

由于此表的逻辑主键将是除数量和数量列之外的所有列,因此我们添加了一个附加的代理键作为主键,并使用键生成对象对其进行填充。 基本上,这将为每个记录生成一个唯一的ID。

init加载将仅提取所有记录,并将为每个记录分配唯一的键。

增量数据流有些不同。 由于AIE提取程序仅带来图像,因此我们需要使用表比较来了解源记录是否已存在于目标中,如果源记录不同,则BODS将使用新值更新目标表记录。 如果我们不使用表比较,则将插入而不是更新来自增量的更改记录,并且最终将得到重复的数据。

从技术角度来看,它工作正常,如果有新记录,则插入增量记录;如果代表更改,则更新记录。 问题,最大的问题是性能。

对于GL订单项,我们目前遇到的情况是,增量加载需要花费超过24小时才能处理2000条记录。 这是不可接受的。

所以,人们的问题是,除了使用表比较之外,还有其他方法可以使AIE正常工作吗?

谢谢

(160.1 kB)

         点击此处--->   EasySAP.com群内免费提供SAP练习系统(在群公告中)

加入QQ群:457200227(SAP S4 HANA技术交流) 群内免费提供SAP练习系统(在群公告中)


嗨,

我正在使用BODS从ECC中提取财务和库存模块到SQL数据库中。

在使用诸如GL_10或GL_4的类型为AIE的增量提取器(仅在图像之后)时出现问题,因为我们必须在数据流中使用表比较,以便BODS知道是否必须插入或更新记录。

这很简单,在BODS中,我们有两个数据流,即Init和Delta。

除了源提取器,查询转换,键生成和目标SQL表以外,init数据流不需要任何其他操作:

由于此表的逻辑主键将是除数量和数量列之外的所有列,因此我们添加了一个附加的代理键作为主键,并使用键生成对象对其进行填充。 基本上,这将为每个记录生成一个唯一的ID。

init加载将仅提取所有记录,并将为每个记录分配唯一的键。

增量数据流有些不同。 由于AIE提取程序仅带来图像,因此我们需要使用表比较来了解源记录是否已存在于目标中,如果源记录不同,则BODS将使用新值更新目标表记录。 如果我们不使用表比较,则将插入而不是更新来自增量的更改记录,并且最终将得到重复的数据。

从技术角度来看,它工作正常,如果有新记录,则插入增量记录;如果代表更改,则更新记录。 问题,最大的问题是性能。

对于GL订单项,我们目前遇到的情况是,增量加载需要花费超过24小时才能处理2000条记录。 这是不可接受的。

所以,人们的问题是,除了使用表比较之外,还有其他方法可以使AIE正常工作吗?

谢谢

(160.1 kB)
付费偷看设置
发送
5条回答
CJones
1楼-- · 2020-09-23 09:54

嗨,安德烈斯,使用ODP提取器时无需使用表comapariosn。

请参考以下链接,并使用CDC提取模式。 浏览以下链接,并参考3.SAP EXTRACTOR主题,并相应地更改数据流。

https://blogs.sap.com/ 2017/03/13/extracting-data-from-sap-ecc /

空代码
2楼-- · 2020-09-23 09:46

确保在比较列上有索引。

Haoba3210
3楼-- · 2020-09-23 09:39

对不起,拉维,但我认为您错了。 查看此博客:

https://wiki.scn.sap.com/wiki/display/EIM/Dataflows+for+each+Extractor+Delta+Process+Type

BODS中使用的方法取决于每个提取器具有的增量类型。 试想一下,如果您有一个仅在图像之后才传送的提取器,那么地图CDC操作现在将如何更新或插入目标行。

Map CDC与在图像前后传送的提取器一起使用。

知道BODS + SAP提取器的人吗?

悻福寶寶
5楼-- · 2020-09-23 09:53

感谢Dirk。

我已经在逐行使用这似乎是最适合我的方案的方法,因为目标表比传入源(1 o 2K)大得多(100+百万条记录)。

一周热门 更多>