深高斯过程如何工作? 实施明智

如何解决深高斯过程如何工作? 实施明智

我知道深度 GP 的基本构建块是(变体)稀疏 GP 和 GPLVM。在(尝试)阅读相关论文(参见参考资料)并了解其要点*后,我仍然不确定我是如何理解它的实现(在代码中)是真正发生的事情。

*它的意思是它本质上是一堆(稀疏的)GP 层?。

我特别困惑的是将一层转移到另一层以及模型选择过程。也就是说,假设我有 3 层。我的问题是监督回归,所以我的 Y 输出是一维的(即 1 列输出)。我的问题是;

  1. 层是如何初始化的?既然单层是Sparse GP,那么所有层的诱导点都一样吗?
  2. “GP 的输入是另一个(先前的)GP”(以代码方式实现)是什么意思?
  3. 模型选择是否按顺序进行?

即优化第 1 层 -> 从第 1 层执行预测 (X) -> 将 (X,y_pred_layer1) 馈送到第 2 层 -> 优化第 2 层 -> 等等。 4. 如果模型选择是按顺序进行的,那么这会不会是一个(非常)昂贵的过程?

主要参考文献:

  1. http://proceedings.mlr.press/v31/damianou13a.pdf(主要 DGP 论文)
  2. https://www.researchgate.net/publication/220320048_Variational_Learning_of_Inducing_Variables_in_Sparse_Gaussian_Processes(稀疏 GP 如何工作/学习)
  3. https://arxiv.org/abs/1705.08933(双重随机变分推理 对于深度高斯过程,一种新的层间学习方式?)
  4. http://etheses.whiterose.ac.uk/9968/1/Damianou_Thesis.pdf(OG,damianou 的论文)

代码参考: 我试图远离 tensorflow/pytorch 实现,因为我想看看幕后发生了什么,所以主要参考是 GPy 的实现。 https://github.com/SheffieldML/PyDeepGP 然而调试 PyDeepGP 仍然很困难。

*注意:我使用过克里金模型,即标准 GPR(来自工程背景)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?
Java在半透明框架/面板/组件上重新绘画。
Java“ Class.forName()”和“ Class.forName()。newInstance()”之间有什么区别?
在此环境中不提供编译器。也许是在JRE而不是JDK上运行?
Java用相同的方法在一个类中实现两个接口。哪种接口方法被覆盖?
Java 什么是Runtime.getRuntime()。totalMemory()和freeMemory()?
java.library.path中的java.lang.UnsatisfiedLinkError否*****。dll
JavaFX“位置是必需的。” 即使在同一包装中
Java 导入两个具有相同名称的类。怎么处理?
Java 是否应该在HttpServletResponse.getOutputStream()/。getWriter()上调用.close()?
Java RegEx元字符(。)和普通点?