微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

CDAP的间歇性服务暂停和Python集成

如何解决CDAP的间歇性服务暂停和Python集成

我对大数据世界以及 CDAP 环境非常陌生。我目前正在做关于电池分析数据管道的最终论文,其中还包括其分析。我正在使用 CDAP,因为我的主管说这很容易。如果我的一些问题可以在 CDAP 的文档中找到,我很抱歉。

以下是我的提议和实施数据管道(请仔细检查,因为会进一步询问):

Data pipeline trategy

下面是它在 CDAP 上的实施:

enter image description here

*我每分钟使用 cron,最大并发数为 5。

到目前为止,唯一缺少的是 Python 程序。

但是,我在部署此管道时遇到了一个特殊问题:

  • 有时会停止并显示“必要的服务遇到间歇性问题”的消息,然后是自我修复协议。但是,在我的记录中并没有显示自我修复确实有效。因此,我必须在 CLI 上重新启动我的 CDAP。

上述错误主要是因为我的计算机上有活动,尤其是在 CDAP 的环境中。我的问题是,是否有任何解决方案可以防止这些错误。也许在 CLI 上部署数据管道?

我想问的另一个问题是,是否有任何可能的方法可以在 CDAP 的环境中部署 Python 程序(一个 ANN 程序)?据我所知,CDAP 上只有一个 Python 插件可用,这是我认为不适合我的用例的转换插件

至于现在,我必须使用 Cron 程序同时运行 Python 程序和 CDAP,我相信这种方法很容易失败和错误

TLDR;

  1. 我的系统一直卡在“必要的服务遇到间歇性问题”消息中,无法自我修复,必须手动重新启动。有什么解决办法吗?
  2. 是否可以通过 CLI 运行 CDAP?
  3. 是否可以使用嵌入在 CDAP 管道中的 ANN 部署 Python 代码来预测从管道下载的数据?

PS:我标记了 Cloud Data Fusion,因为它基于 CDAP 的基础架构

这就是我想问的。谢谢。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。