在数据框中获取时间序列线图或列表中包含 pyspark 中缺失值的最佳做法是什么？

如何解决在数据框中获取时间序列线图或列表中包含 pyspark 中缺失值的最佳做法是什么？

归功于此 post，我有 pyspark 数据框，我想根据时间戳列绘制其中一列。问题是感兴趣的列包含缺失值 (None)，我不想绘制缺失值。

我的数据框的摘录如下，可以通过此 answer 轻松创建：

# +---------------------+-------+
# |      timestamp      |  col1 |
# +---------------------+-------+
# | 2021-05-10 19:48:36 |  714  |
# | 2021-05-10 15:34:26 |  None |
# | 2021-05-10 14:08:31 |  634  |
# | 2021-05-10 20:29:46 |  8453 |
# | 2021-05-10 19:48:36 |  None |
# | 2021-05-10 00:20:25 |  3825 |
# +---------------------+-------+

除了使用插值或插补的列包含缺失值建议here和here之外，我还想在可视化中保持间隙并且不触及数据的性质，如下例所示：

我尝试使用以下技巧使用 toPandas() 将数据从 pyspark 转换为 Pandas，然后应用 pythonic 脚本来绘制部署 seaborn 或 matplotlib 提供的 here特别是 sns.pointplot() 和 sns.lineplot()。

#read the data
sdf = spark.read.parquet(INPUT_PATH)
#Pandas
pdf = sdf.toPandas()

这个技巧的问题是我没有使用 pyspark 和它的workers 能力，并且为了可视化大数据（大约 800 万条记录）需要很长时间才能捕捉到情节和监视可用 timestamp 窗口上的异常值以推理异常值检测方法输出。

对于更新此问题的解决方案的任何帮助将不胜感激！