Learning with kernel

《Learning with Kernels》是由Bernhard Schölkopf和Alexander J. Smola合著的书籍，由麻省理工学院出版社（The MIT Press）出版。该书详细介绍了支持向量（Support Vector, SV）学习的核心思想，旨在为读者提供一个关于基本概念的概览。书中特别强调了核函数（kernel）的概念，这是一种从特定模式表示中产生的相似性度量。作者首先非正式地引入核函数，然后描述了一个简单的核算法用于模式识别，并从统计学习理论中报告了一些基本见解，这是支持向量学习背后的数学理论。此外，书中还简要回顾了主要的核算法，包括支持向量机（Support Vector Machines, SVM）和核主成分分析（Kernel Principal Component Analysis, KPCA）。 书中第一章“教程介绍”旨在以最简单的方式描述支持向量学习的基本思想，同时提供一个全面的概述。作者在本章中尽量不涉及复杂的数学证明，而是通过引用后续章节的方式，让读者能够在不影响对主要思想理解的情况下，后续填补知识空白。 书中讨论了数据表示和相似性的概念，指出学习理论的一个基本问题是将新对象分配给两个已知类别之一。这个问题可以形式化为给定的经验数据，其中包含了模式（有时称为案例或输入）和标签（目标或输出）。作者强调，为了能够对未见数据点进行泛化，在模式识别中需要在域$mathcal{X}$和${ pm 1 }$中定义相似性度量。 书中进一步探讨了如何使用点积作为相似性度量，并引入了特征空间（Feature Space）的概念，这是一个可以通过映射$Phi: X o H$将数据嵌入到点积空间H中的方法。这种嵌入带来了三个好处：定义了从H中的点积派生的相似性度量，允许我们从几何上处理模式，以及选择映射$Phi$的自由度，这使得设计各种相似性度量和学习算法成为可能。 书中还介绍了一个简单的模式识别算法，该算法基于在特征空间中计算两个类别的均值，并将新样本分配给更接近其均值的类别。这个算法可以被表述为一个决策函数，该函数使用点积来确定新样本的类别。 最后，书中提供了一些统计学习理论的见解，讨论了如何设计“更好”的算法，并强调了限制函数集合的重要性，以确保模型的泛化能力。书中介绍了VC（Vapnik-Chervonenkis）理论，它提供了关于测试误差的界限，并且最小化这些界限可以导致结构风险最小化原则。