点击此处---> 群内免费提供SAP练习系统(在群公告中)
加入QQ群:457200227(SAP S4 HANA技术交流) 群内免费提供SAP练习系统(在群公告中)
你好
在SAP PO75中处理从DB到IDOC的接口时遇到问题。
我必须处理300 mb的海量数据,映射逻辑包括"变量",在运行时我从源保存数据,并将该变量值用于映射中的其他目标字段。
所以问题是:当我使用<50MB处理数据时,界面成功。 但是当我一次处理300mb的数据时,变量字段显示错误,因为"队列没有相同数量的值"。 因此,我怀疑在处理大量消息时,映射无法容纳该变量的所有值。
任何人都可以帮助我了解/如何更改堆大小或如何为映射对象分配更多的堆大小。
是否有任何特定的Java参数为映射对象添加更多的运行时内存? 或让我知道问题是否是由于其他原因造成的。
我们的Java堆大小已经达到3gb。 但是如何增加ESR映射对象的运行时内存。
谢谢。YQ
您需要与基础团队联系以进行缩放和调整大小。 如果源数据为300 mb,使用PI可能不是最佳选择。 您可以使用其他ETL工具。
嗨,Yeshua,
我建议使用分块处理数据来优化消息大小,而不是一次性处理大量记录 ..
检查以下链接以供参考。
https://answers.sap.com/questions/8558049/pi-71-jdbc-sender-adapter-huge-load-from-db-select。 html
https://answers.sap.com/questions/7561264/sending-data-in-chunks-in-jdbc-adapter-with-rollba.html
http://scn.sap.com/community/pi-and-soa-middleware/blog/2012/09/24/jdbc-receiver-scenarios-best-practices-- 如何处理大容量存储过程 esign-part6
或
如果可以从数据库生成文件,请使用文件适配器选择文件并分块处理文件。
< p> https://blogs.sap.com/2010/10/18/pixi-pi-73-processing-of-large-files-teaser/致谢
巴尔加瓦克里希纳
Majumder/Talasila,
感谢您的快速建议。
我们已经完成了SAP PI Server的大小调整和调整系统,以处理大量数据,而不会出现内存不足错误和消息阻塞的情况。
问题在于ESR映射,
1。 在运行时,我添加的"变量"(映射中的标准选项)似乎无法处理/保留大量数据/记录。
2。 上述问题可能是由于我用于"变量"字段映射逻辑的按示例格式化功能。 表示FormatByEample无法处理具有100,000条记录的大数据。 (这里没有数据问题,因为用formarbyexample映射的源字段和目标字段具有相同的记录计数)
那么NWA中是否需要更改任何特定的Java属性,以便为映射工具提供更多的Java内存?
而且我也无法拆分消息,因为我正在根据条件对从源系统接收到的记录进行分组。 因此我们无法预测记录会在源数据中的任何位置发生(逻辑可能包括对同一销售组的记录进行分组。并且销售组记录可能在100,000条记录中排在最前或最后)。 >
请提出建议。
最好的问候。 YQ
一周热门 更多>