索引 / 标签
#信息论
共 1 篇
- Ch03 AI数学
信息熵 (Information Entropy)
信息熵（Information Entropy）是信息论的核心概念，由 Claude Shannon 于 1948 年提出。熵衡量一个随机变量的不确定性或信息量。在机器学习中，信息熵及其衍生概念（交叉熵、KL 散度）是理解损失函数、模型评估和信息理论的基础。几乎所有分类问题的损失
约 3 分钟916 字
索引 / 标签
共 1 篇
信息熵（Information Entropy）是信息论的核心概念，由 Claude Shannon 于 1948 年提出。熵衡量一个随机变量的不确定性或信息量。在机器学习中，信息熵及其衍生概念（交叉熵、KL 散度）是理解损失函数、模型评估和信息理论的基础。几乎所有分类问题的损失
常用