如何解决Spark-缓存新数据集会导致已缓存数据集的响应滞后
我已经在spark中缓存了一个数据集,并且我基于某个过滤器定期(每秒)访问数据,并以毫秒为单位获取其响应。
现在,在预定的时间,使用单独的线程,我触发了新数据帧中另一个不同数据集的缓存。
当第二个缓存过程开始时,我注意到从第一个缓存获得的响应中有一点滞后(而不是毫秒,我在不到1秒的时间内获得了响应),并且两个缓存都非常独立。
即使差异不大,只是一个响应,下一个响应又回到了毫秒,但我想了解这种情况的原因。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。