数据、问题性质、参数、特征、损失函数、泛化能力、商业转化

从个人理解的角度阐述深度学习、核方法、高斯过程之间的关系。在博文《高斯过程与岭回归》中已经讨论了核方法与高斯过程的关系。

先挖个坑，以后慢慢填，这个内容让我联想到前不久华为无线指标预测的项目。

这是我学习斯坦福大学课程的一个个人笔记，记录的是个人感觉有趣的东西。会从2015年7月3日开始每天攒一点点。希望在正式入职阿里之前完成。如有任何疑问，欢迎留言或者托梦。

高斯过程配上kernal后可以演绎出包罗万象的机器学习技法。本文说说高斯过程到岭回归的推导过程。如果今后有时间，我还会说说岭回归、PCA、Kmeans、SOM之间的关系。

自组织神经网络，又称为自组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。这类网络采用无监督机器学习算法，利用训练数据集的内在规律对样本空间进行降维和离散化表示(map)。不同于其他人工神经网络，自组织网络使用邻域函数(neighborhood function)来保留原始输入空间的位置信息。本文终点讨论用途最广泛的 Self-Organizing Map (SOM)。

本文根据Ronald Burt报告节选而成。Burt是结构洞(Structrual hole)理论发明人，社会资本(Social capital)理论奠基人、美国AAAS院士、计算社会学的大牛。

本文根据Yann LeCun, Yoshua Bengio 和 Geoff Hinton历年来的论文和综述，以及Hinton于UofT所授课程的相关资料整理而成。此外还参考了Sutskever的博士论文相关部分。RNN有recurrent neural network 和 recursive neural network两种，前者指的是一种人工神经网络，后者指的是一种深度神经网络。本文讨论的是前者。