- 1
- 2
- 3
- 4
- 5
Softmax激活函数
资料介绍
五、常见应用场景
1. 神经网络输出层：在多分类任务中，将全连接层的输出转换为每个类别的预测概率，是图像分类、文本分类等任务的标准输出层激活函数。
2. 多标签分类的拓展（Sigmoid替代）：如果是互斥的多分类问题，使用Softmax；如果一个样本可以同时属于多个类别，通常会对每个输出节点单独使用Sigmoid激活，这种场景也被称为多标签Softmax的变体。
3. 注意力机制：在Transformer等注意力模型中，Softmax被用来计算注意力权重，将得分转换为加和为1的权重分布，完成对不同输入特征的加权汇总。
4. 强化学习：Softmax被用来将动作价值转换为动作选择概率，实现探索与利用的平衡。
六、优缺点
优点
· 输出天然是概率分布，可解释性强，方便后续计算概率、做决策；
· 梯度计算简单，训练效率高，数值稳定性好；
· 能够突出最大输入的贡献，符合分类任务“选出最可能类别”的需求。
缺点
· 计算中涉及所有K个类别的指数求和，当类别数量很大（如百万级词汇量的语言模型）时，计算和存储成本很高；
· 对输入的异常值比较敏感，输入中较大的异常值会主导输出概率，挤压其他类别的概率空间；
· 当类别之间存在高度相关性时，Softmax假设类别的互斥性，可能会影响模型效果。
部分文件列表
| 文件名 | 大小 |
| Softmax激活函数.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 2天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机的汽车雨刷器
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏320.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏210.00元 3天前
用户：江岚
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏60.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏60.00元 3天前
用户：mulanhk
-
21ic下载 打赏60.00元 3天前
用户：w993263495
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：kk1957135547
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：xuzhen1
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏10.00元 3天前
用户：wjr111
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32密码锁仿真
-
x1707 打赏1.00元 3天前
-
lanmukk 打赏60.00元 3天前
-
lanmukk 打赏10.00元 3天前
全部评论(0)