如何解决从数据块中的另一个笔记本返回数据帧
我有一个笔记本,它将处理文件并以结构化格式创建数据框。 现在我需要导入在另一个笔记本中创建的数据框,但问题是在运行笔记本之前,我需要仅针对我需要运行的某些场景进行验证。
通常要导入所有数据结构,我们使用 %run。但在我的情况下,它应该是 if 子句的组合,然后笔记本运行
if "dataset" in path": %run ntbk_path
if "dataset" in path": dbutils.notebook.run(ntbk_path)
这个我无法获得所有数据结构。
解决方法
要正确实施它,您需要了解事情是如何运作的:
-
%run
是一个单独的指令,应该放在单独的笔记本单元格中,不能与 Python 代码混合使用。另外,它不能接受笔记本名称作为变量。%run
正在做什么 - 它在当前 Spark 会话的上下文中评估来自指定笔记本的代码,因此在该笔记本中定义的所有内容 - 变量、函数等都可以在来电笔记本。 -
dbutils.notebook.run
是一个函数,它可以采用笔记本路径和参数,并在当前集群上将其作为单独的作业执行。因为它是作为单独的作业执行的,所以它不会与当前笔记本共享上下文,并且其中定义的所有内容在调用者笔记本中都不可用(您可以返回一个简单的字符串作为执行结果,但它的最大长度相对较小)。dbutils.notebook.run
的问题之一是调度作业需要几秒钟的时间,即使代码非常简单。
如何实现您的需求?
- 如果你使用
dbutils.notebook.run
,那么你可以在被调用的笔记本中注册一个临时视图,调用者笔记本可以从中读取数据(示例来自this demo)
称为笔记本(Code1
- 它需要两个参数 - name
用于视图名称和 n
- 用于生成的条目数):
name = dbutils.widgets.get("name")
n = int(dbutils.widgets.get("n"))
df = spark.range(0,n)
df.createOrReplaceTempView(name)
来电笔记本(我们称之为main
):
if "dataset" in "path":
view_name = "some_name"
dbutils.notebook.run(ntbk_path,300,{'name': view_name,'n': "1000"})
df = spark.sql(f"select * from {view_name}")
... work with data
- 甚至可以用
%run
做类似的事情,但它可能需要一种“魔法”。它的基础是您可以使用$arg_name="value"
将参数传递给被调用的笔记本,您甚至可以引用小部件中指定的值。但无论如何,值的检查都将在被调用的笔记本中进行。
被调用的笔记本可能如下所示:
flag = dbutils.widgets.get("generate_data")
dataframe = None
if flag == "true":
dataframe = ..... create datarame
呼叫者笔记本可能如下所示:
------ cell in python
if "dataset" in "path":
gen_data = "true"
else:
gen_data = "false"
dbutils.widgets.text("gen_data",gen_data)
------- cell for %run
%run ./notebook_name $generate_data=$gen_data
------ again in python
dbutils.widgets.remove("gen_data") # remove widget
if dataframe: # dataframe is defined
do something with dataframe
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。