微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在训练Pytorch模型时,如何掩盖部分参数?

如何解决在训练Pytorch模型时,如何掩盖部分参数?

我正在训练一个像往常一样初始化的简单pytorch模型:

           model = nn.Sequential(
            nn.Linear(input_dim,output_dim)).

我还有一个特定的矩阵W,它的大小为(input_dim,output_dim),该矩阵W由零和一个我想用作整个训练和评分过程中的掩码的掩码来掩盖网络的不同参数。我该怎么办?

换句话说,我只想训练非零参数

nn.Linear(input_dim,output_dim)*W

并保持所有其他参数等于零。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。