[TOC]机器学习第一章 机器学习概述01 机器学习-大纲介绍相关概述AI ML DL机器学习算法分类监督学习 无监督学习 半监督学习 强化学习机器学习三要素数据 算力 算法建模流程KNN算法K近邻算法近墨者黑近朱者赤02 课程介绍1.人工智能三大概念AI ML DL人工智能之父约翰麦卡锡机器学习之父亚瑟塞缪尔2.机器学习的应用领域和发展史3.机器学习常用术语样本、特征、标签、…1.人工智能的三大概念1.什么是人工智能AI -用计算机模拟人脑让计算机像人类一样理性的思考行动。2.什么是机器学习赋予计算机学习能力而不需要规则编程先训练再预测3.深度学习也加深度神经网络大脑仿生设计一层一层的神经元模拟万事万物4.案例总结找西瓜AI→给你一张图片判断是否是西瓜ML→基于大量西瓜图片音频视频文本等总结出规律→如何挑选一个还西瓜纹路、颜色、回弹、瓜缔、颜色。。。DL→基于西瓜的价格 产地 口感。。。搭建自己的知识库例如麒麟西瓜5.三者关系AI包含MLML包含DL6.学习方式基于规则的学习程序员根据经验利用手工的if-else方式进行预测学习方式很多问题无法明确写下规则比如图形、语音、视频基于模型的学习从数据中找规律训练集x_train→找规律找公式→y_train标签测试集x_test y_test基于模型学习做房价预测利用线性关系来模拟面积和房价之间的关系Ykxbk斜率→weight权重b截距→bias偏重总结2.机器学习的应用领域和发展史一.符号主义 20世纪50-701.达特茅斯会议1956年-人工智能元年约翰麦卡锡-人工智能之父亚瑟塞缪尔-机器学习之父2.1950年图灵设计国际象棋程序二 统计主义 20世纪80-20001993SVM三 神经网络 21世纪初期四 大模型训练模型 2017-至今AI发展三要素数据 算力 算法 三要素相互作用 是AI 发展的基石。CPU–主要是IO密集型任务GPU–主要适合计算密集型任务TPU–张量计算总结3. 机器学习常用术语样本、特征、标签样本–sample–一行数据就是一个样本特征–feature–一列数据就是一个特征也称为属性标签/目标–label/target–模型要预测的那一列数据数据集可划分为训练、测试集 比例8:2 7:3训练集 x_train y_train测试集 x_test y_test总结1.样本和数据集2.特征3.标签4.训练集和测试集4.机器学习算法分类1.有监督学习-有特征有标签欧氏距离对应维度差值 平方和 开平方切比雪夫距离曼哈顿距离闵式距离-分类分类问题不连续、二分类、多分类回归问题连续 ywxb2.无监督学习-有特征没标签-聚类发现事物内部结构及相互关系样本件相似性3.半监督学习-有特征部分有标签部分无标签-让专家标注少量数据利用已标记的数据训练一个模型→再利用模型去套用未标记数据→再询问领域专家分类结果与模型分类结果对比→进一步对模型提高改善-优势降低标记成本4.强化学习- 是机器学习的一个重要分支- 寻找最短路径以便获取最多奖励- 智能体环境行动奖励总结5.机器学习的建模流程1.获取数据–》2.数据基本处理–》3.特征工程–》4.机器学习模型训练–》5.模型评估1.获取数据图像 文本2.数据基本处理缺失值异常值3.特征工程特征提取特征预处理特征降维特征选取特征组合4.机器学习 模型训练线性回归逻辑回归决策树GBDT5.模型评估回归测评指标分类评测指标聚类评测指标6 特征工程0.特征过程概念入门利用专业背景知识和技巧处理数据让机器学习算法效果最好。这个过程就是特征工程。数据和特征决定了机器学习的上限。1.特征提取会改变原数据花瓣长度 花萼宽度从原始数据中提取与任务相关的特征构成特征向量。2.特征预处理归一化标准化原因因量纲问题有些特征对模型影响大、有些影响小防止鲁棒性交叉归一化 x‘当前值-最小值/最大值-最小值3.降维三维–》二维4.特征选择不会改变原数据5.特征组合MBI总结7 模型拟合问题拟合、过拟合、欠拟合、泛化1.拟合 fitting模型在训练集和测试集的表现情况欠拟合 under-fitting模型在训练集、测试集表现都不好过拟合 over-fitting模型在训练集表现好测试集表现不好2.泛化 generalization模型在新数据集非训练数据上表现好坏的能力3.奥卡姆剃刀原则给定两个具有相同泛化误差的模型较简单的模型比较复杂的的模型更可取总结8.开发环境基于python的scikit-learn库pip install scikit-learn官网scikit-learn.orgclassification 分类问题Regression 回归问题clustering 聚类问题preprocessing 预处理dimensionality 特征降维model selection 模型选择