做一个有温度和有干货的技术分享作者 —— Qborfy

今天我们来学习 损失函数

一句话核心：损失函数 = 用来衡量模型预测值与真实值之间差异的函数，是优化算法的目标

是什么

百科定义：损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。

核心三要素

1. 量化误差：计算预测结果 $ \hat{y} $ 与真实值 $ y $ 的差距（单值输出）
2. 优化导向：为梯度下降提供更新方向（最小化损失）
3. 任务适配：不同任务需匹配专属损失函数（如分类→交叉熵，回归→MSE）

生活化理解：驾校教练 → 根据学员压线距离扣分 → 损失函数就是那套评分标准 → 让学员学会不压线

怎么做

损失函数主要分为以下三类：

• 回归: 适用连续可导数据，常用于经济预测
• 分类: 适用x离散类别数据，常用于图像识别、垃圾邮件分类
• 生成: 适用生成新数据样本，常用于AI绘画、视频生成

五大经典损失函数

损失函数选择黄金准则：

1. 分类任务优先交叉熵，样本不平衡时升级为Focal Loss
2. 回归任务首选MSE，需抗噪时切Huber
3. 生成任务需组合损失（如GAN：对抗损失 + L1像素损失）

冷知识

1. 自然界中的损失函数：
   蜜蜂采蜜路径规划天然符合 TSP问题最短路径损失，误差<2%

2. 量子计算加速：
   谷歌用 量子退火算法优化损失函数，训练速度提升1000倍

3. 损失函数革命：
   Contrastive Loss 推动自监督学习崛起（无需人工标注）

4. 惊人数据：
   AlphaGo Zero 的损失函数包含 赢棋概率预测 + 落子分布KL散度，双目标驱动模型进化

赏

谢谢你请我吃糖果

支付宝

微信