1.2 基本术语
预测离散值的学习任务是分类，预测连续值的学习任务是回归。回归任务的输出值范围是整个实数集。
分类和回归属于监督学习，聚类属于无监督学习。
强泛化能力是机器学习的目标，让学得的模型能很好地适用于新样本。
样本符合独立同分布。
1.4 归纳偏好
归纳偏好是在假设空间中对某种类型假设的偏好，避免随机抽取等效假设。
奥卡姆剃刀是最基本的归纳偏好原则，若有多个假设与观察一致，则选择最简单的那个。
算法的归纳偏好是否与问题本身相匹配，大多数时候决定算法是否能取得好的性能。
没有免费午餐定理：对于任意两个学习算法，总误差和期望性能都相同。
算法优劣只是针对具体学习问题。
2.2 评估方法
留出法采用分层采样，训练集一般占60%-80%。