微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何提高Talend Cloud Jobs的绩效以实现Salesforce

如何解决如何提高Talend Cloud Jobs的绩效以实现Salesforce

我在Talend中创建了一个工作,以捕获来自Salesforce的数据并将其作为目标放在雪花中。为此,我遵循以下架构。

tsaleforceinputComponent -----> tsNowflakebulkoutput -----> tsNowflakeBulkExec

我在tsaleforcecomponent中使用查询模式,并试图捕获机会表数据。该表有大约400万条记录。当前作业首先使用tsNowflakebulkloutput将数据复制到蔚蓝斑点作为暂存区域,然后使用tsNowflkaebulkexec组件将其复制到雪花。

作业在远程服务器上使用以下配置执行:

Syntax error in sql statement "CREATE TABLE HIGHLIGHTS2 (
   ID BIGSERIAL PRIMARY KEY NOT NULL,USER_REF_ID UUID,BODY VARCHAR(10000) DEFAULT NULL,ANNOTATION_ID INTEGER UNIQUE DEFAULT[*] NULL
)"; expected "NOT,NULL,COMMENT,CHECK,REFERENCES,)"; sql statement:
CREATE TABLE highlights2 (
   id bigserial PRIMARY KEY NOT NULL,user_ref_id uuid,body varchar(10000) DEFAULT NULL,annotation_id integer UNIQUE DEFAULT NULL
) [42001-200] 42001/42001

此操作当前花费的时间约为11小时。

有什么方法可以将工作或远程服务器中的性能提高到更少的时间,因为市场上的其他工具所花费的时间却更少。

如果需要更多详细信息,请告诉我。 谢谢

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。