索引 / 标签
#机器学习
共 28 篇
- Ch04 机器学习
- Ch05 评估与特征工程
- Ch03 AI数学
信息熵 (Information Entropy)
信息熵（Information Entropy）是信息论的核心概念，由 Claude Shannon 于 1948 年提出。熵衡量一个随机变量的不确定性或信息量。在机器学习中，信息熵及其衍生概念（交叉熵、KL 散度）是理解损失函数、模型评估和信息理论的基础。几乎所有分类问题的损失
约 3 分钟916 字 - Ch04 机器学习
Bagging (Bootstrap Aggregating)
Bagging (Bootstrap Aggregating, 装袋法/自助聚合) 是一种并行式集成学习方法。其核心思想是：通过对训练集进行多次自助采样 (Bootstrap Sampling) 生成多个不同的子训练集，在每个子集上独立训练一个基学习器 (Base Learner
约 3 分钟1,019 字 - Ch04 机器学习
Boosting (提升法)
Boosting (提升法) 是一种串行式集成学习方法，核心思想是：通过迭代训练一系列弱学习器 (Weak Learners)，每个后续学习器都聚焦于前一个学习器的错误样本，最终将所有弱学习器加权组合成一个强学习器。
约 4 分钟1,166 字 - Ch04 机器学习
Isolation Forest (孤立森林/隔离森林)
Isolation Forest (iForest, 孤立森林/隔离森林) 是一种基于集成学习的无监督异常检测算法，由 Liu, Ting, 和 Zhou 于 2008 年提出。其核心思想极其简洁：异常点 (Anomaly) 是"少而不同"的，因此更容易被随机分割隔离。
约 4 分钟1,288 字 - Ch04 机器学习
SVM 支持向量机 (Support Vector Machine)
SVM 是一个"画线"的分类器——在两类数据之间画一条线(或超平面)，让这条线离两边最近的数据点都尽可能远。这条线不是随便画的，而是找"最大间隔"的那条。
约 5 分钟1,499 字 - Ch04 机器学习
概念-XGBoost
一句话理解 XGBoost（eXtreme Gradient Boosting）是 2014 年由陈天奇提出的梯度提升树算法，2026 年仍是结构化/表格数据的王者，在 Kaggle 竞赛和工
约 5 分钟1,533 字 - Ch04 机器学习
决策树 (Decision Tree)
决策树 (Decision Tree) 是机器学习中最基础、最直观的模型之一。它的核心思想非常简单：通过一系列 if-then 规则将数据不断划分，最终做出预测。决策树既可以用于分类 (Classification Tree) 也可以用于回归 (Regression Tree,
约 4 分钟1,261 字 - Ch04 机器学习
无监督学习 (Unsupervised Learning)
无监督学习（Unsupervised Learning）是机器学习的三大范式之一（另两个为监督学习和强化学习）。与监督学习不同，无监督学习处理的是没有标签的数据，目标是从数据本身发现隐藏的结构、模式或规律。无监督学习更接近人类的学习方式——我们大部分知识是通过观察和归纳获得的，而
约 4 分钟1,200 字 - Ch04 机器学习
核方法 (Kernel Method)
一句话理解 将数据隐式映射到高维空间,在原始空间计算高维内积——在低维空间中分不开的数据,映射到高维空间后可能就分开了,而且我们不需要真的去做这个映射。 零基础理解 想象桌子上有两个交叉的圆环
约 5 分钟1,659 字 - Ch04 机器学习
概念-随机森林
随机森林（Random Forest）是多棵决策树的 Bagging 集成：每棵树用随机抽样的样本和随机选择的特征训练，最终通过投票（分类）或平均（回归）输出结果。它是快速获得可靠 baseline 的首选算法，也是工业界最常用的可解释性模型之一。
约 5 分钟1,492 字 - Ch04 机器学习
集成学习 (Ensemble Learning)
集成学习（Ensemble Learning）是一种通过组合多个基学习器（Base Learner）来获得更优预测性能的机器学习范式。其核心思想是"三个臭皮匠，顶个诸葛亮"——多个弱学习器通过适当的组合策略，可以形成一个强学习器。集成学习是 Kaggle 竞赛和工业应用中的常胜将
约 4 分钟1,202 字 - Ch04 机器学习
深挖-SVM
一句话理解 SVM 的核心思想是 找到一个超平面，使得不同类别样本之间的间隔（margin）最大化。这个"最大间隔"的设计让 SVM 天然具有优秀的泛化能力，因为它不依赖于恰好落在决策边界附近
约 5 分钟1,745 字 - Ch04 机器学习
深挖-决策树
一句话理解 决策树是一种通过递归地将数据按特征值分裂成子集来构建的树形模型，每个内部节点代表一个特征上的判断（if-then 规则），每条从根到叶的路径就是一条分类规则。它就像玩"20 个问题
约 7 分钟2,173 字 - Ch05 评估与特征工程
交叉验证 (Cross-Validation)
概述 交叉验证（Cross-Validation, CV）是机器学习中评估模型泛化能力（Generalization）的核心技术。其基本思想是将数据集划分为多个互斥子集（Fold），轮流使用其
约 4 分钟1,150 字 - Ch05 评估与特征工程
偏差与方差 (Bias-Variance Tradeoff)
概述 偏差-方差权衡（Bias-Variance Tradeoff）是机器学习中最核心的理论困境之一。它描述了模型在拟合训练数据时面临的两种对立误差来源：偏差（Bias）衡量模型预测值与真实值
约 3 分钟1,058 字 - Ch05 评估与特征工程
偏差方差权衡 (Bias-Variance Tradeoff)
概述 偏差-方差权衡（Bias-Variance Tradeoff）是机器学习理论中最核心的概念之一，描述了模型预测误差可以被分解为三个不可约的成分：偏差（Bias）、方差（Variance）
约 4 分钟1,432 字 - Ch05 评估与特征工程
学习曲线 (Learning Curves)
概述 学习曲线（Learning Curves）是机器学习和深度学习中用于诊断模型性能的核心可视化工具。它通过绘制训练集大小与模型性能（误差/准确率）之间的关系，帮助我们回答一系列关键问题：模
约 4 分钟1,432 字 - Ch05 评估与特征工程
正则化 (Regularization)
正则化是机器学习中用于防止模型过拟合的一类技术统称。其核心思想是在模型训练过程中引入额外的约束或惩罚，迫使模型在拟合训练数据与保持简洁之间取得平衡。正则化遵循奥卡姆剃刀原则 (Occam's Razor)：在拟合能力相当的情况下，更简单的模型具有更好的泛化性能。 数学框架 正则化
约 5 分钟1,569 字 - Ch05 评估与特征工程
过拟合 (Overfitting)
过拟合是机器学习模型在训练数据上表现极好，但在未见过的测试数据上表现显著变差的现象。从统计学习角度看，过拟合意味着模型捕捉到了训练数据中的噪声和随机波动，而非真实的底层分布规律。过拟合与高方差 (High Variance) 直接对应，是偏差-方差权衡 (Bias-Varianc
约 5 分钟1,609 字 - Ch06 神经网络基础
损失函数 (Loss Function)
损失函数是机器学习中衡量模型预测值与真实值之间差异的数学函数。模型训练的目标是最小化损失函数，使预测结果尽可能接近真实标签。损失函数的选择直接影响模型的收敛速度、最终精度和泛化能力。 核心概念 损失函数 L(y, \haty) 接受真实标签 y 和模型预测 \haty，输出一个非
约 4 分钟1,290 字 - Ch04 机器学习
4.1 三大类学习
机器学习的所有算法，按照"有没有标准答案"和"怎么给反馈"，可以分成三大类：监督学习、无监督学习、强化学习。这三类的区别，决定了你需要什么样的数据、能解决什么样的问题、以及怎么评估好坏。
约 10 分钟3,194 字 - Ch04 机器学习
- Ch04 机器学习
4.5 过拟合和欠拟合
你花了三天三夜背了 100 道课后习题的全部答案。考试时，试卷原封不动地出了这 100 道题——你得满分。但下一次考试换了一套新题，你一道都不会。过拟合（Overfitting）就是这个意思：模型把训练数据的细节和噪声都记下来了，但并没有学到真正通用的规律 ^Goodfellow
约 10 分钟3,169 字 - Ch04 机器学习
- Ch04 机器学习
4.7 机器学习项目实战流程
一个真实的机器学习项目，写代码训练模型只是其中一小步。CRISP-DM（Cross-Industry Standard Process for Data Mining，跨行业数据挖掘标准流程）是业界最广泛采用的 ML 项目框架，诞生于 1999 年，至今（2026 年）仍然是所有
约 8 分钟2,591 字 - Ch04 机器学习
第4章 · 机器学习核心算法
深度学习统治了今天的 AI，但机器学习是地基。本章从基础范式出发，覆盖核心算法、关键概念和实战流程。 生活比喻：机器学习算法像不同类型的厨师——线性回归是拿尺子量着菜谱做的严谨派，决策树是"如果食材发黏就扔掉，如果颜色正常就下锅"一步步判断的经验派，XGBoost 是让多位厨师依
约 2 分钟717 字