将数据从BW/HANA传输到Azure DataLake时的性能问题

2020-08-14 14:00发布

点击此处---> 群内免费提供SAP练习系统(在群公告中)加入QQ群:457200227(SAP S4 HANA技术交流) 群内免费提供SAP练习系统(在群公告中)你好专家 在我们的项目中,我们...

         点击此处--->   EasySAP.com群内免费提供SAP练习系统(在群公告中)

加入QQ群:457200227(SAP S4 HANA技术交流) 群内免费提供SAP练习系统(在群公告中)


你好专家

在我们的项目中,我们正在将数据从SAP BW/HANA传输到Azure DataLake Gen 1,并且见证了整个数据传输运行时的严重性能问题。 到目前为止,我们尝试过的选项包括

选项1-Azure SSIS IR

在Azure VM上托管的SAP BW/HANA-北欧>计算视图(170列-属性和指标,500万条记录)>在Azure SSIS IR上托管的SSIS包-西欧>第1代Azure DataLake-西欧

总运行时间-88分钟

选项2-Azure数据工厂V2

在Azure VM上托管的SAP BW/HANA-北欧>计算视图(170列-属性和指标,500万条记录)>具有自托管IR的Azure Data Factory V2-西欧> Azure DataLake Gen 1-西欧

总运行时间-80分钟

BW/HANA系统详细信息

SAP HANA-1.00.122.23.1548298510(fa/hana1sp12)

平台-SUSE Linux Enterprise Server 12.4

ODBC驱动程序-HDB_CLIENT

HANA ODBC版本-1.00.120.139.1589320942

我们已经获得了Microsoft支持,他们似乎建议这与ODBC驱动程序有关! 有没有人遇到过类似的情况?如何提高性能?

PS:我们也尝试在SSIS包级别(引擎线程,批处理大小,缓冲区大小..)调整配置/参数,但这对性能没有明显影响

谢谢

Abhishek Shanbhogue

4条回答
SAP砖家
2020-08-14 14:30

您是否进行了其他任何调查,将总时间分解成几个部分,例如 在HANA中选择数据,传输数据量,将其保存到int数据湖中? 数据卷在Azure中保留后的大小是多少? 您是否尝试过并行化数据移动以创建多个流来读取HANA中的数据分区?

一周热门 更多>