如何解决在 Data Fusion 插件中实现节流
我正在开发一个数据融合转换插件,其工作方式如下:
配置:
url = "http://someUrl/with/some/{placeholder}"
urlVariable = ("placeholder" => "inputFieldName")
处理:
fieldValue = value of field "inputFieldName" in input data
processedURL = Replace placeholder "{placeholder}" in url by fieldValue
ouput = execute http Get on the new URL
emmit the output data
我现在想在这个插件上添加一个限制选项来限制每秒发送的消息数量。
我知道如何使用 com.google.common.util.concurrent.RateLimiter
实现节流,方法是调用 .acquire()
函数在需要时在发送前等待。
但在数据融合插件的上下文中,代码在 Dataproc 上并行执行。在这种情况下,节流将不起作用。
如何在我的插件中实现节流?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。