(7.1)--7.1 模型评估基础.ppt

Foundation of Model Evaluation模型模型评估基估基础CHAPTER ONE假设与偏好Hypothesis and Bias已知输出数据已知输入数据可选函数集合映射关系机器学习算法一、假设与偏好一、假设与偏好有监督学习系统训练数据集模型假设空间优化搜索算法最优假设一、假设与偏好一、假设与偏好假设空间与版本空间假设空间：符合假设形式的所有映射关系的集合；版本空间：在当前训练集上满足任务需求的映射关系集合012300.511.522.533.5分分类问题版本空间=11+22+0假设空间一、假设与偏好一、假设与偏好归纳偏好问题：版本空间中的两个假设，哪个更好？在没有可靠的评估方法时，需要建立一种通用的“偏好”。常用偏好：“奥卡姆剃刀”“如非必要，勿增实体”解释：若有多个假设与观测一致，建议采用最简单的假设。上图摘自专著机器学习，周志华，清华大学出版社一、假设与偏好一、假设与偏好归纳偏好反思：“奥卡姆剃刀”一定正确吗？需要对泛化误差进行数学分析与论证上图摘自专著机器学习，周志华，清华大学出版社一、假设与偏好一、假设与偏好机器学习的任务任务模式：从训练集中归纳出最优假设 ；()核心问题评价依据在训练集上的性能？经验误差在未知数据上的性能？泛化误差泛化能力能否依据泛化能力？不但可以，而且必须！泛化能力能否预测？也许可以，未必精确！泛化能力如何预测？基于数据，基于偏好！CHAPTER TWO泛化误差Generalization Error二、泛化误差二、泛化误差问题描述二、泛化误差二、泛化误差用泛化误差评价算法二、泛化误差二、泛化误差没有免费午餐定理(No Free Lunch Theorem)原始版本(优化领域)对于基于迭代的最优化算法，不存在某种算法对于所有有限 空间中的搜索问题均有效；如果一个算法对某些问题有效，那么它一定在另外一些问题上比纯粹随机搜索算法更差；机器学习版本不存在某种机器学习算法适用于所有任务。二、泛化误差二、泛化误差没有免费午餐定理(No Free Lunch Theorem)对NFL定理的理解悲观的态度：不存在“通用”的最优学习算法，任何一个算法 最终只能在某个具体任务上体现价值。乐观的态度：不会因为某些“最优算法”的出现导致机器学习 研究的封闭，“有价值”的新算法将会层出不穷。客观的态度：脱离实际问题来谈论算法的优劣毫无意义，充分 利用领域知识和数据资源是解决机器学习问题的关键。对NFL的批判NFL无法用于机器学习算法的具体设计工作；NFL无法用于评价具体假设或模型的优劣；LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听