2020-09-01 20:52发布
加入QQ群:457200227(SAP S4 HANA技术交流) 群内免费提供SAP练习系统(在群公告中)
大家好,
我们正在选择ETL产品来在两个HANA数据库之间进行数据传输。 我们需要每小时加载1000万条记录(50个字段)。 因此,性能非常关键。 SDI或BODS,哪个更好?
我们做了一些测试。 令我们惊讶的是,我们发现BODS(通过odbc)更快,更稳定。 SDI速度很慢,并且始终存在内存问题。
由于SDI将成为趋势,所以我不确定是否进行了任何错误的配置。 有谁可以分享经验?
谢谢
在比较中我会更精确。
您的要求是"每小时10m条记录"。 那是批处理工作。 在该领域,数据服务无与伦比。 它执行并行加载,效率很高,但是事务不一致。 SDI专为交易担保量身定制,并行性能是次要要求。
如果您的需求可以用不同的方式表述,例如 "每个小时我们都希望看到当前状态,但是实时复制是很好的,并且数据确实在不断变化-这意味着源不立即插入50m条记录,而是不断地进行更改-然后,就像Jeff说的那样,SDI
关于SDI的性能和内存不足,这需要一些细心的照顾。SDI流程图在内部执行为"插入...选择..."(不是完全正确,而是 对于我的观点来说足够好了。)因此在短时间内可能需要两倍于正在传输的数据集的内存。但是即使有解决方案,例如分区也可以加快加载速度。
关于什么更好,这是一个棘手的问题,最初,当我设计SDI时,它应该是更好的数据服务,但仅限于Hana。我们设计了一个出色的新UI,以数据服务为榜样 结果尚未完成,因此,今天有四个SDI用户界面,每个界面各有优缺点 缺点:
(按年龄排序)
到目前为止,最好的ETL UI是使您迄今为止效率最高的ETL用户界面,也是转换次数最多的用户界面。 我认为数据服务。 没有什么比这更好的了,尽管它看起来有些旧。
我的建议:进行测试。 用例应是具有100列的任何源表。 数据应加载到具有90列的目标表中。 有些列的名称相同,另一些则使用不同的名称,有些则需要诸如concat(firstname,lastname)或substring()之类的映射。
使用Data Services,SDI和Data Hub来实现这一单一数据流。 通过工作流程进行协调。 然后再增加一列以模拟将来的更改。
SDI的优势在于,由于具有实时功能,因此您不必定期加载此数据。
对于 初始负载(非实时)性能,我们取决于dpagent计算机和HANA的大小以及用于并行查询的分区。 因此,有关测试细节的一些基础知识将帮助社区了解SDI是否正常运行。
您要比较的每种产品的哪个版本?
注意事项
Jeff
最多设置5个标签!
在比较中我会更精确。
您的要求是"每小时10m条记录"。 那是批处理工作。 在该领域,数据服务无与伦比。 它执行并行加载,效率很高,但是事务不一致。 SDI专为交易担保量身定制,并行性能是次要要求。
如果您的需求可以用不同的方式表述,例如 "每个小时我们都希望看到当前状态,但是实时复制是很好的,并且数据确实在不断变化-这意味着源不立即插入50m条记录,而是不断地进行更改-然后,就像Jeff说的那样,SDI
关于SDI的性能和内存不足,这需要一些细心的照顾。SDI流程图在内部执行为"插入...选择..."(不是完全正确,而是 对于我的观点来说足够好了。)因此在短时间内可能需要两倍于正在传输的数据集的内存。但是即使有解决方案,例如分区也可以加快加载速度。
关于什么更好,这是一个棘手的问题,最初,当我设计SDI时,它应该是更好的数据服务,但仅限于Hana。我们设计了一个出色的新UI,以数据服务为榜样 结果尚未完成,因此,今天有四个SDI用户界面,每个界面各有优缺点 缺点:
(按年龄排序)
到目前为止,最好的ETL UI是使您迄今为止效率最高的ETL用户界面,也是转换次数最多的用户界面。 我认为数据服务。 没有什么比这更好的了,尽管它看起来有些旧。
我的建议:进行测试。 用例应是具有100列的任何源表。 数据应加载到具有90列的目标表中。 有些列的名称相同,另一些则使用不同的名称,有些则需要诸如concat(firstname,lastname)或substring()之类的映射。
使用Data Services,SDI和Data Hub来实现这一单一数据流。 通过工作流程进行协调。 然后再增加一列以模拟将来的更改。
SDI的优势在于,由于具有实时功能,因此您不必定期加载此数据。
对于 初始负载(非实时)性能,我们取决于dpagent计算机和HANA的大小以及用于并行查询的分区。 因此,有关测试细节的一些基础知识将帮助社区了解SDI是否正常运行。
您要比较的每种产品的哪个版本?
注意事项
Jeff
一周热门 更多>