主要内容

想理解本节内容，首先理解上一节内容提到的版本空间。

归纳学习的过程就是在假设空间中进行搜索，最终获得所有与训练集一致的假设。多个与训练集一致的假设的集合形成一个版本空间。

归纳偏好(inductive bias)

当有多个假设与训练集一致的时候，只能选择一个假设作为最合适的假设，这种在学习过程中对某种类型假设的偏好，称为“归纳偏好(inductive bias)”或者偏好(bias)。

一个有效的机器学习算法必须有归纳偏好，否则无法产生结果。因为按照不同的假设，同一个输入会对应多种不同的输出。

一种一般性的引导算法确立归纳偏好的原则是奥卡姆剃刀(Occam’s razor)。该原则认为多个等效假设，选最简单的那个；对于假设在输出空间中的曲线，越平滑则越易表示，越被偏好。

NFL定理（No Free Lunch Theorem）