微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

将多处理池化到 parallel_map - 先知模型

如何解决将多处理池化到 parallel_map - 先知模型

我正在使用来自 Netflix 的 Metaflow,我使用的是 Prophet 模型。 按照文档中的建议,我尝试使用 Metaflow 中的 parallel_map 转换多处理池实现,但这不起作用。 你能帮我转换这段代码以利用 parallel_map 吗?

    from multiprocessing import Pool,cpu_count
    import itertools
    from modeling.modelFBProphet import model_fbprophet

    list_series = [self.acts_inbound.loc[idx] for idx in self.acts_inbound.index]
    with Pool(cpu_count()) as pool:
        predictions = pool.starmap(
            model_fbprophet,[
                (x,y)
                for x,y in itertools.zip_longest(
                    list_series,[],fillvalue=self.params
                )
            ],)
    self.predictions_inbound = predictions
    self.next(self.reconcile_weekly_ddp_to_daily_inbound)

基本上,我正在尝试执行以下操作,但我收到了 model_fbprophet() missing 1 required positional argument: 'params'

    from multiprocessing import Pool,cpu_count
    import itertools
    from modeling.modelFBProphet import model_fbprophet

    list_series = [self.acts_inbound.loc[idx] for idx in self.acts_inbound.index]
    with Pool(cpu_count()) as pool:
        predictions = pool.parallel_map(
            model_fbprophet,)
    self.predictions_inbound = predictions
    self.next(self.reconcile_weekly_ddp_to_daily_inbound)

函数 model_fbprophet 具有以下签名

def model_fbprophet(timeserie: pd.Series,params: dict=None):
    ...

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。