从个人理解的角度阐述深度学习、核方法、高斯过程之间的关系。在博文《高斯过程与岭回归》中已经讨论了核方法与高斯过程的关系。

机器学习模型的记忆机制主要分为两种，即参数型与非参数型。深度网络作为参数记忆型模型的代表，它将统计特性从所训练数据中以模型参数或者权重的方式提炼出来。而非参数模型中的代表之一是核方法（还有最近邻、GAM等等），它们的记忆机制是存储部分或者全部的训练数据。深度网络与核方法看上去是两种原理不同的由数据推导结论的方法，但是实际上，这些方法的研究过程却表明它们之间有着深远的联系以及基本的相似性。深度学习、核方法以及高斯过程三者形成了解决相同问题的一套连贯的方法。尽管它们的最终形式很不相同，但是它们本质上却是相互联系的。

从统计的角度而言，回归模型往往被分为两部分：系统性部分以及随机性部分。其中系统性部分是我们希望学习到的函数f，而观测值则是这个函数在噪声干扰下的所得值。为了将神经网络与线性模型更好的联系在一起，我们在此将神经网络最后的线性层与之前的其他层分开。于是对于一个L层的深度神经网络，我们用一个含有参数$\theta$的映射$\varphi(x;\theta)$代表前L-1层的映射结果，同时赋予最后一层权重$w$，此模型的参数空间为$q= { \theta,w }$。 $$系统性部分: f = w^T\varphi(x; \theta)\ \ \ q \sim N(0,\theta_q^2I)$$ $$随机性部分: y=f(x)+ \epsilon \ \ \ \ \epsilon \sim N(0,\sigma^2_y)$$