如何解决深高斯过程如何工作? 实施明智
我知道深度 GP 的基本构建块是(变体)稀疏 GP 和 GPLVM。在(尝试)阅读相关论文(参见参考资料)并了解其要点*后,我仍然不确定我是如何理解它的实现(在代码中)是真正发生的事情。
*它的意思是它本质上是一堆(稀疏的)GP 层?。
我特别困惑的是将一层转移到另一层以及模型选择过程。也就是说,假设我有 3 层。我的问题是监督回归,所以我的 Y 输出是一维的(即 1 列输出)。我的问题是;
即优化第 1 层 -> 从第 1 层执行预测 (X) -> 将 (X,y_pred_layer1) 馈送到第 2 层 -> 优化第 2 层 -> 等等。 4. 如果模型选择是按顺序进行的,那么这会不会是一个(非常)昂贵的过程?
主要参考文献:
- http://proceedings.mlr.press/v31/damianou13a.pdf(主要 DGP 论文)
- https://www.researchgate.net/publication/220320048_Variational_Learning_of_Inducing_Variables_in_Sparse_Gaussian_Processes(稀疏 GP 如何工作/学习)
- https://arxiv.org/abs/1705.08933(双重随机变分推理 对于深度高斯过程,一种新的层间学习方式?)
- http://etheses.whiterose.ac.uk/9968/1/Damianou_Thesis.pdf(OG,damianou 的论文)
代码参考: 我试图远离 tensorflow/pytorch 实现,因为我想看看幕后发生了什么,所以主要参考是 GPy 的实现。 https://github.com/SheffieldML/PyDeepGP 然而调试 PyDeepGP 仍然很困难。
*注意:我使用过克里金模型,即标准 GPR(来自工程背景)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。