推荐星级：

MPEG-1标准解析

更新时间：2026-06-15 09:07:03 大小：21K 上传用户：烟雨查看TA发布的资源 标签：mpeg 下载积分：2分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

后融合也被称为决策级融合，是多模态学习领域三大融合层级（数据级融合、特征级融合、决策级融合）中，处理流程最贴近模块化部署需求、兼容性最高的融合范式。与早期在输入阶段就完成多模态信息拼接的数据级融合、在中间特征编码阶段完成特征交互的特征级融合不同，决策级后融合的核心逻辑是：先针对每个模态单独训练独立的单模态模型，分别生成对应模态的预测结果或决策输出，再通过特定的融合策略对多个单模态决策进行整合，最终得到全局统一的最终决策。

一、后融合的核心技术逻辑

后融合的技术流程可以拆分为三个独立的核心模块，各模块之间解耦程度高，开发与部署阶段都可以独立迭代优化：

1. 单模态独立建模模块

在决策级融合的初始阶段，不同模态的原始数据不会进行跨模态对齐或交互，而是分别输入对应适配的单模态模型完成特征提取与初步预测。例如在多模态分类任务中，图像数据输入CNN或ViT等预训练视觉模型，文本数据输入BERT等预训练语言模型，每个模型都会输出对应类别上的概率分布，或是直接输出该模态下的分类结果。这种独立建模的方式最大的优势是可以充分利用单模态领域成熟的预训练模型，不需要针对多模态任务重新设计整体网络结构，也降低了对大规模多模态配对训练数据的依赖——即使部分模态的标注数据较少，也可以通过单模态预训练加微调的方式保证单模型的效果。

2. 决策结果预处理模块

不同单模态模型输出的决策结果格式往往存在差异，需要先进行标准化预处理才能进行后续融合。常见的预处理操作包括：概率校准，将不同模型输出的概率分布调整到同一度量空间，避免某一模型的输出概率因为模型校准偏差占融合主导；缺失值补全，当某一模态数据缺失时，用该模态的先验概率分布补全对应输出，保证融合流程可以正常运行；结果编码，如果单模态输出是离散决策而非概率分布，则需要将离散结果编码为可计算的向量形式，方便后续融合计算。