微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

无法在 Apache Spark 上执行来自 Aspectj 的建议

如何解决无法在 Apache Spark 上执行来自 Aspectj 的建议

我的 spark 项目使用 maven 进行依赖管理。我正在尝试使用 aspectj 向我的 spark 应用程序注入错误

我通过使用 aspectj 集成构建了我的项目, https://www.mojohaus.org/aspectj-maven-plugin/multimodule/multimodule_strategy.html

所以,我的项目结构是这样的,

parent_module

-----> spark_app_module

-----> aspect_module(aspectj相关代码和spark驱动的主要方法在这里,这也依赖spark_application_module)

-----> aspect_parent_module(这个依赖aspect_module,用于编译后编织)

我已将所有 jar 捆绑在一起,因此 spark_app_module 和 aspect_module 中存在的类都存在于捆绑的 jar 中。

现在,我已将 aspectjt.jar 和 aspectjweaver.jar 复制到客户端机器(从那里我将运行 spark 应用程序)以及 spark master 和 worker 机器。基本上是将它们复制到 spark 的 jar 位置。

当我运行 main 方法时,建议从 aspect_module 中的驱动程序代码中执行,而对于作为 spark_app_module 中 spark 执行程序代码一部分的类,建议不会被触发。

我是否缺少任何配置?感谢任何文档、教程或任何类型的帮助。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。