机器学习算法类别

一. 机器学习概述与发展史

1. 机器学习的概念

机器学习作为人工智能的重要分支，致力于让计算机系统通过数据自主学习规律，并据此进行预测和决策，无需依赖显式编程。其主要类型包括：

有监督学习：使用带有标签的数据进行训练，如分类和回归。
无监督学习：使用无标签数据，如聚类和降维。
半监督学习：结合少量有标签数据和大量无标签数据。
强化学习：智能体通过与环境交互获取奖励，学习最优策略。

2.人工智能发展史

• 1950s~1970s：符号主义时代
图灵提出“图灵测试”，IBM的跳棋程序战胜人类，专家系统兴起。
• 1980s~2000s：统计主义时代
SVM等统计学习方法被提出，IBM深蓝击败国际象棋冠军。
• 2012年至今：神经网络与深度学习时代
AlexNet开启计算机视觉的深度学习浪潮，AlphaGo击败围棋冠军，Transformer架构推动自然语言处理发展。
• 2022年至今：大模型与AIGC时代
ChatGPT、GPT、BERT等大模型推动生成式AI的爆发，DeepSeek等开源模型推动技术普及。

二. 机器学习核心算法介绍

1 KNN（K-近邻）

• 类型：有监督学习，分类算法
• 原理：根据样本在特征空间中的最近邻样本的类别进行投票分类。
• 应用：影片分类、模式识别等。
• 特点：简单直观，适合小数据集，但对大数据集计算开销大。

2 线性回归

• 类型：有监督学习，回归算法
• 原理：通过线性方程拟合数据，最小化预测值与真实值之间的误差。
• 应用：房价预测、学生成绩预测等。
• 特点：模型简单，可解释性强，适合连续值预测。

3 逻辑回归

• 类型：有监督学习，分类算法
• 原理：使用Sigmoid函数将线性回归输出映射为概率，用于二分类或多分类。
• 应用：垃圾邮件识别、疾病诊断等。
• 特点：输出具有概率意义，适合分类问题。

4 决策树

• 类型：有监督学习，分类与回归
• 原理：通过树形结构对数据进行递归划分，每个节点代表一个特征判断。
• 应用：客户分群、信用评估等。
• 特点：易于理解和解释，支持可视化，但容易过拟合。

5 集成学习

• 类型：有监督学习，组合多个弱学习器
• 应用：竞赛建模、推荐系统等。
• 特点：泛化能力强，抗过拟合。

代表思想：
• （1）bagging思想：装袋法+有放回采样+平权投票+并行训练
• 代表算法：随机森林：多个决策树投票。

• （2）Boosting思想：提升法+关注上一个学习器不足+加权投票+串行训练
• 代表算法：AdaBoost、GBDT（梯度提升树）、XGBoost

6 朴素贝叶斯

• 类型：有监督学习，分类算法
• 原理：基于贝叶斯定理，假设特征之间相互独立。
• 应用：文本分类、情感分析等。
• 特点：计算效率高，适合高维数据。

7 聚类算法（如K-Means）

• 类型：无监督学习
• 原理：将样本按相似性划分为多个簇，使得同一簇内样本相似度高。
• 应用：客户细分、图像分割等。
• 特点：无需标签，适合探索性数据分析。