微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

线性回归外推的大数据分析

如何解决线性回归外推的大数据分析

我正在做一个项目来预测在不到 2 小时(7200 秒)内处理一个巨大的气候数据文件 (.nc) 需要多少 cpu。依次需要超过 100,000 秒。 我已经完成了整个程序来顺序和并行处理数据,最多 8 个工人(我的 cpu 限制)。

该程序获取包含一整天气候数据的数据文件,并将其划分为小时 (25),以便每小时处理一次。处理完成后,我在代码中使用了一个秒表来记录每个工人所花费的时间。 为了更容易地处理和测试并行处理,我使用了数据的一个子集(整个文件有超过 270,000 个数据块)。

如何使用从数据子集中获取的时间来推断整个数据文件所需的 cpu?我一整天都被这个问题迷住了......

提前致谢!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。