从源到目标的数据加载速度慢

SAP Data Services

从源到目标的数据加载速度慢

2020-08-25 00:04发布

站内问答 / DATA

1251 3

点击此处---> 群内免费提供SAP练习系统（在群公告中）

加入QQ群：457200227（SAP S4 HANA技术交流）群内免费提供SAP练习系统（在群公告中）

大家好，

尝试将数据从MSSQL（v17.9）中的表加载到MySQL（v 7.9.0.637）中的表中，但是要花费很长时间（180,000行超过2个小时）。我曾尝试将索引放在关键列上但无济于事，还增加了数组的获取大小和每次提交的行数，但没有帮助。

作业正在运行时，会再次发生错误：

操作警告消息：<[Microsoft] [ODBC Driver 13 for
                                                        SQL Server]字符串数据，右截断

无法更改源表的列长，但是目标表的varchar列均设置为最大长度，因此不确定为什么会出现此错误。

关于错误和缓慢的表加载的任何建议吗？

点击此处---> 群内免费提供SAP练习系统（在群公告中）

加入QQ群：457200227（SAP S4 HANA技术交流）群内免费提供SAP练习系统（在群公告中）

大家好，

作业正在运行时，会再次发生错误：

操作警告消息：<[Microsoft] [ODBC Driver 13 for
                                                        SQL Server]字符串数据，右截断

无法更改源表的列长，但是目标表的varchar列均设置为最大长度，因此不确定为什么会出现此错误。

关于错误和缓慢的表加载的任何建议吗？

3条回答

Nan4612

1楼-- · 2020-08-25 00:58

嗨Jatinder，

能否请您分享以下详细信息。

部署了SAP Data Services的操作系统版本：-
SAP Data Services 版本：-
如果您使用的是Unix，请检查您是否正在使用当前的驱动程序

此致

Daya Jha

# p#

谢谢，请尝试！！

樱桃小丸子0093

2楼-- · 2020-08-25 00:37

将nvarchar指定为目标字符列的数据类型。

如果是全表副本，请在您的索引上源表将无济于事。并且目标表上的索引会减慢ETL的过程。

wang628962

3楼-- · 2020-08-25 00:37

nvarchar数据类型在MySQL中指定为VARCHAR（n）CHARSET utf8。

如果在您的目标表，DBMS不仅将插入数据记录，而且还必须维护索引结构。这意味着额外的工作。