如何解决将日志文件与现有的数据块集群分开
我有一个 Airflow 管道，可将任务请求发送到 Azure Databricks。对于管道中的每个任务，都会在 Databricks 中创建一个新集群，这对于具有大量任务的管道来说非常耗时。我可以在 Databricks 中创建一个集群，并将其 id 赋予管道中的任务，以将其用作现有集群，从而解决为每个任务创建集群的问题。 但是，此解决方案的代价是所有任务都将其日志转储到同一文件中。 我的问题是有没有办法将每个任务的日志分开，以便轻松跟踪不同任务的进程或错误？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
