一种双向注意力的多模态Transformer活产预测网络

摘要

针对现有的多模态活产预测模型中，由于输入比例失衡、互补模态间信息融合不足、囊胚图像差异性小以及数据集类不平衡等带来的模型预测性能不高的问题，本文提出了一种双向注意力的多模态Transformer活产预测模型.首先，该模型使用多模态增强模块平衡了各模态输入的比例，并提高了各模态特征的辨识度；其次，通过多模态双向注意力模块挖掘模态内与模态间的内在关联性，有效获取了细粒度的互补模态特征；最后，通过引入焦点损失函数解决数据集类不平衡的问题.在Blastocyst数据集上进行实验，实验结果表明：提出模型的准确率、精确率、召回率、F1值以及AUC指标分别达到了77.11%、74.51%、76.16%、75.33%和75.66%,与现有先进的多模态活产预测模型相比，预测性能更佳.

关键词

活产预测 / 深度学习 / 多模态 / 双向注意力机制