基于特征解耦与融合的不完全多模态骨肿瘤图像分类

Incomplete multimodal bone tumor image classification based on feature decoupling and fusion

摘要

目的 提出了一种基于特征解耦与融合的骨肿瘤分类模型，用于合理处理模态缺失并融合多模态信息，以提升分类准确率。 方法 设计解耦补全模块，先提取包含已有模态的局部与全局信息的骨肿瘤图像特征，再将该特征分解为共享特征和特定特征。利用共享特征作为缺失模态特征的补全表示，从而减少因模态差异带来的补全偏差。考虑到模态差异可能会使多模态信息难以融合，采用基于交叉注意力机制的融合模块。提升模型学习跨模态信息的能力并对特定特征进行充分融合，从而提高骨肿瘤分类的准确性。 结果 实验采用在南方医科大学第三附属医院收集的骨肿瘤数据集进行训练和测试。在7种可用模态组合中，本文方法中骨肿瘤分类的平均AUC、准确率、特异性分别为0.766、0.621、0.793，与现有的模态缺失处理方法相比分别提高了2.6%、3.5%、1.7%。全模态情况下骨肿瘤分类效果最佳，AUC为0.837；仅有MRI模态时AUC仍能达到0.826。 结论 本文方法能合理地处理模态缺失并有效融合多模态信息，在多种复杂的缺失情境下表现出良好的骨肿瘤分类性能。

Abstract

Objective To construct a bone tumor classification model based on feature decoupling and fusion for processing modality loss and fusing multimodal information to improve classification accuracy. Methods A decoupling completion module was designed to extract local and global bone tumor image features from available modalities. These features were then decomposed into shared and modality-specific features, which were used to complete the missing modality features, thereby reducing completion bias caused by modality differences. To address the challenge of modality differences that hinder multimodal information fusion, a cross-attention-based fusion module was introduced to enhance the model's ability to learn cross-modal information and fully integrate specific features, thereby improving the accuracy of bone tumor classification. Results The experiment was conducted using a bone tumor dataset collected from the Third Affiliated Hospital of Southern Medical University for training and testing. Among the 7 available modality combinations, the proposed method achieved an average AUC, accuracy, and specificity of 0.766, 0.621, and 0.793, respectively, which represent improvements of 2.6%, 3.5%, and 1.7% over existing methods for handling missing modalities. The best performance was observed when all the modalities were available, resulting in an AUC of 0.837, which still reached 0.826 even with MRI alone. Conclusion The proposed method can effectively handle missing modalities and successfully integrate multimodal information, and show robust performance in bone tumor classification under various complex missing modality scenarios.

Graphical abstract

关键词

骨肿瘤分类 / 多模态图像 / 模态缺失 / 特征解耦 / 注意力融合

Key words

bone tumor classification / multimodal imaging / modality missing / feature decoupling / attention fusion

原发性骨肿瘤（PBT）起源于骨骼或骨髓，是20岁以下癌症患者死亡的第3大原因^［1］。骨肿瘤的影像学表现（大小、位置、边缘、基质类型和骨膜反应等）是诊断骨肿瘤的重要依据^［2］。影像学检查主要有数字化Ｘ线摄影（DR）、电子计算机断层扫描（CT）和磁共振成像（MRI）。根据NCCN实践指南^［3］，这3种检查方式的不同组合常用于PBT的鉴别诊断。X线片可以显示骨骼的异常情况，如骨质破坏或新生骨形成等，而局限性在于分析叠加病灶和软组织较为困难；CT具有比X线片更高的空间分辨率，可以提供骨骼和肿瘤的详细断层影像，有助于评估肿瘤的大小和侵袭范围；MRI用于软组织和骨髓的详细成像，帮助确定肿瘤与周围组织的关系，例如骨髓受累和软组织浸润^{［4， 5］}。骨肿瘤的影像学表现复杂多样，仅依赖单一的影像学检查可能难以做出明确的诊断^［6］。因此，临床医生通过综合分析多模态图像的检查结果，从不同角度提取更全面的特征信息，可以更准确地将骨肿瘤诊断为良性、中间性或恶性肿瘤^［7-9］。不同类别的骨肿瘤的临床治疗方案通常存在较大的差异，临床医生根据骨肿瘤的类别制定个体化治疗方案，可提高患者的生存率^{［10， 11］}。然而，由于设备的可用性或患者条件不允许等原因，并非所有骨肿瘤患者都接受固定的影像学检查^［12］，这就导致收集到的多模态骨肿瘤图像数据常出现模态缺失问题。

为应对模态缺失的挑战，研究者利用深度学习技术来构建基于已有模态数据的模型，并推测补全缺失模态特征。有学者将已有模态特征映射到子空间并从中生成缺失的嵌入表示^{［13，14］}，Zhang 等^［15］利用注意力机制融合已有模态，并将融合特征视为缺失模态的补全特征表示。上述研究虽然可以补全缺失模态特征，但各模态之间通常存在一定的差异，这些方法很可能给补全特征带来一定的偏差。实际上，从已有模态提取的特征中可以学习到模态间的共享信息和模态内的特定信息^［16-18］。特定信息代表了每种模态图像中骨肿瘤的独特表现，利用这部分细节信息来补全缺失模态特征很有可能导致偏差。共享信息是指与所有模态相关联的特征，在不同模态中都存在的相似特征。本文使用共享信息来补全缺失模态特征，可减少补全特征中的偏差，得到更准确的补全特征表示。

多模态融合可以利用不同模态之间丰富的特征，为模型的分类提供更多的信息。Tseng等^［19］将多模态图像特征直接进行拼接融合；Zhou等^［20］将多模态信息映射到在潜在空间并相加。尽管上述研究能学习到包含一定互补信息的融合特征，但这些简单的融合策略可能不足以充分融合不同模态骨肿瘤图像中复杂的特征信息。因此，需采用更加细致的融合策略，如注意力加权融合^［21］。确保模型能够充分处理和融合各模态的独特信息，学习到更全面准确的多模态骨肿瘤特征^［22］。

为解决现有模态补全方法因无法有效处理模态间差异而带来特征补全偏差问题，本文提出了基于特征解耦与融合的不完全多模态骨肿瘤分类模型。模型包含解耦补全模块（DCM），可充分提取每个模态的特征，通过辅助任务（特定模态分类和共享分布对齐）从特征中学习特异信息和共享信息，并使用共享信息来解决模态缺失的挑战。同时，引入了跨模态注意力融合模块（CMA），对各模态的特定信息进行交互与融合。为检验模型分类性能，本研究构建了不完全多模态骨肿瘤数据集，并通过实验证明本文方法的骨肿瘤分类性能优于现有的不完整多模态学习方法。

1 材料和方法

1.1 实验数据

本研究收集了2010~2020年在南方医科大学第三附属医院经病理确诊的PBT患者的影像学图像数据（图1），数据已进行脱敏处理。共有1043名PBT患者图像用于模型的训练、验证和内部测试（良性604例，中间性176例以及恶性263例）。其中，收集到全模态骨肿瘤图像的只有314例，还有约70%的患者图像出现不同程度的模态缺失。图像模态分布见（表1），包括X线平片、CT平扫和MRI平扫（包含常规T1加权成像及常规T2加权成像）。为了更好地检验模型的泛化能力和稳定性，本研究在南方医科大学珠江医院收集了262名患者的多模态骨肿瘤图像，并将该数据集用作独立的外部测试集（良性148例，中间性52例以及恶性62例）。由两名均具有3年骨肌影像诊断经验的医师使用ITK-SNAP软件对骨肿瘤图像的感兴趣区域（ROI）进行手动分割，最终由1名具有31年骨肌影像诊断经验的资深医师审核，以确认最终的 ROI。将分割后的ROI调整为12像素×96像素×96像素/512像素×384像素，并进行归一化处理。为了进一步提高模型的泛化能力，本文还采用了数据增强的技巧，通过对训练图像进行随机裁剪、翻转、平移等操作来增加数据多样性。

1.2 模型整体框架

基于特征解耦与融合的不完全多模态学习模型用于骨肿瘤图像分类（图2）。模型可在训练和测试期间使用模态缺失图像，主要包含DCM和CMA，下面分别对模型的组成部分进行说明。

1.3 解耦补全模块

为了提高模型学习效果应尽可能更多地提取骨肿瘤图像中包含的特征信息，因此在DCM中通过连接CNN和Transformer编码器来充分学习已有模态的特征{\mathit{F}}_m，{\mathit{F}}_m包含了每个模态中骨肿瘤的局部细节信息和全局特征信息^［23］。随后对{\mathit{F}}_m进行解耦以学习已有模态的共享信息和特定信息，这是通过设计的两个辅助任务来实现的，即特定模态分类和共享分布对齐。

1.3.1 特征提取

设多模态骨肿瘤图像输入是 {\mathit{X}}_m\in R^{D\times H\times W}，图像模态m=｛CT，MRI，X｝，各模态图像经过5层CNN模块提取到的具有局部信息的特征表示为：

{\mathit{F}}_m^{local}=Conv({\mathit{X}}_m)（1）

输出特征{\mathit{F}}_m^{local}\in {\mathrm{R}}^{C\times }\frac{D}{{\mathrm{2}}^{l-\mathrm{1}}}\times \frac{H}{{\mathrm{2}}^{l-\mathrm{1}}}\times \frac{W}{{\mathrm{2}}^{l-\mathrm{1}}}，C是通道数，l是编码器的级数。为了适应输入的骨肿瘤图像维度，本文采用了2维和3维卷积模块。

模态内Transformer的主要结构包括多头自注意力（MSA）和前馈层（FFN）。卷积编码器产生的骨肿瘤局部特征{\mathit{F}}_m^{local}首先被转换为一维序列，通过MSA学习更丰富的全局信息，经FFN后得到输出特征：

{\mathit{F}}_m=FFN\left[LN(MSA({\mathit{F}}_m^{local}))+{\mathit{F}}_m^{local}\right]（2）

LN为归一化层，FFN是具有GELU激活的多层感知器。特定编码器和共享编码器都有相似的特征提取结构，在该结构基础上添加不同的辅助任务分支来进行特征解耦。

1.3.2 特定模态分类

如果某个模态的图像特征能够用于准确分类骨肿瘤，那么该特征应包含对应模态所特有的信息。因此特定模态分类能够鼓励模型学习到骨肿瘤各模态图像的特定特征。此外，单模态任务与多模态任务的联合优化可以提高模型的鲁棒性，使得模型能够学习更具有泛化能力的特征表示。本文使用交叉熵损失来计算每个模态的分类损失：

{\mathrm{ℒ}}_{spe}={\lambda }_{\mathrm{1}}{\mathrm{ℒ}}_{\mathrm{1}}({\mathit{F}}_{CT};\mathbf{Y})+{\lambda }_{\mathrm{2}}{\mathrm{ℒ}}_{\mathrm{2}}({\mathit{F}}_{MRI};\mathbf{Y})+{\lambda }_{\mathrm{3}}{\mathrm{ℒ}}_{\mathrm{3}}({\mathit{F}}_X;\mathbf{Y})（3）

式子中{\mathrm{ℒ}}_i是代表CT、MR和X线3个特定模态输出与真实标签Y计算的损失；{{\lambda }_{}}_{\mathrm{1}}、{{\lambda }_{}}_{\mathrm{2}}和{{\lambda }_{}}_{\mathrm{3}}是用来平衡每个损失的超参数。

1.3.3 共享分布对齐

通过最小化各模态特征之间的差异，来鼓励模型学习各模态中相似的共享特征^［24］。

设存在两种不同模态的特征{\mathit{F}}_m^i和{\mathit{F}}_m^j，将其线性投影到潜在空间后形成的概率分布为f_i和f_j，并最小化各模态特征概率分布的KL（Kullback-Leible）散度，表示为：

{\mathrm{ℒ}}_{align}=\mathrm{m}\mathrm{i}\mathrm{n}{\sum }_x{f}_i(x)log(\frac{f_i(x)}{f_j(x)})（4）

其中，x遍历概率分布中的可能取值，i 和 j 用于遍历样本，f_i(x) 和 f_j(x)分别是分布f_i和f_j中x取值的概率。在最小化 KL 散度的优化过程中，特征分布之间的差异变小，得到两个共享特征{\mathit{F}}_{share}^i和{\mathit{F}}_{share}^j。假设输入中缺少第n个模态，使用共享特征{\mathit{F}}_{share}^i和{\mathit{F}}_{share}^j对表示缺失模态的特征{\mathit{f}}^{(n)}进行补全，定义为：

{\mathit{f}}^{(n)}=\frac{\mathrm{1}}{n-\mathrm{1}}{\displaystyle \sum _{i=\mathrm{1},i\ne n}^N}{\mathit{F}}_{share}^i,{\mathit{F}}_{share}^j)（5）

1.4 跨模态注意力融合模块

将特定特征信息与补全特征{\mathit{f}}^{(n)}在通道维度上拼接，定义为：

{\mathit{F}}^{all}=concat({\mathit{F}}_{CT},{\mathit{F}}_{MRI},{\mathit{F}}_X,{\mathbf{f}}^{(n)})（6）

为了缓解扁平化操作导致的骨肿瘤图像中3维空间信息的丢失，引入了一个可学习向量P_m来补充平坦的特征：

{\mathit{F}}^{token}={\mathit{F}}^{all}{W}_m+P_m（7）

其中W_m表示各模态线性嵌入的权重，P_m表示位置编码。

在CMA中利用交叉注意力机制来融合不同模态的特定特征信息（图3），表示为：

hea{d}_i=softmax(\frac{{\mathbf{Q}}^i{\mathbf{K}}^{i\mathbf{T}}}{\sqrt[]{d_k}}){\mathbf{V}}^i（8）

CMA=Concat(hea{d}_{\mathrm{1}},...,hea{d}_i)W_m（9）

{\mathit{F}}_{CMA}=FFN\left[LN(CMA({\mathit{F}}^{token}))+{\mathit{F}}^{token}\right]（10）

其中{\mathbf{Q}}^i=LN({\mathit{F}}^{token}){\mathbf{W}}_m^{Qi}，{\mathbf{K}}^i=LN({\mathit{F}}^{token}){\mathbf{W}}_m^{Ki}，{\mathbf{V}}^i=LN({\mathit{F}}^{token}){\mathbf{W}}_m^{Vi}，LN为归一化层，hea{d}_i代表第i个头的自注意力，所有的{\mathbf{W}}_m^i 都代表对应的权重矩阵，d_k是键k的维度大小。

1.5 整体损失函数

融合特征{\mathit{F}}_{CMA}经过全连接层后，使用Focal 损失函数与真实标签Y计算损失，与两个辅助任务的损失共同优化，整体损失函数定义为：

{\mathrm{ℒ}}_{total}={\mathrm{ℒ}}_{spe}({\mathit{F}}_m)+\alpha {\mathrm{ℒ}}_{align}({\mathit{F}}_{share})+\beta {\mathrm{ℒ}}_{focal}({\mathit{F}}_{CMA})（11）

\alpha和\beta是权衡不同损失函数的超参数。

1.6 实验设置与评价指标

实验使用Python3.7完成，选用PyTorch 1.7作为框架，硬件设备为配备NVIDIA GeForce GTX 1080Ti GPU的Linux服务器，使用1张GPU进行约10h的训练。批处理大小为12。使用Adam优化器通过随机梯度下降对网络训练400个epoch，使用L1正则化，初始学习率为0.0001，采用余弦退火策略调整学习率。

分类模型总体性能的评价指标采用准确率、特异性和受试者工作特性曲线（ROC）以及ROC曲线下面积（AUC）。

1.7 对比方法

本文使用了后期融合方法及4种先进的不完全多模态学习方法来对比所提方法的有效性。具体如下：后期融合：分别对CT、MRI和X线片这3种模态图像训练3个卷积神经网络模型，独立地学习各模态的特征，并在决策阶段将对应的模型进行融合； SMIL^［25］：通过元学习算法从全模态中学习权重，该权重与缺失模态特征相乘，以此重建缺失模态数据的特征表示；Multi-task^［26］：将全模态和模态缺失的图像视作多任务来对模型进行联合优化，并设计了最优模态融合策略来提高模型性能；ACNet^［27］：包含全模态支路和模态缺失支路，存在模态缺失时，将使用额外的对抗损失来确保缺失模态支路的特征与全模态支路特征相似； mmformer^［15］：提取已有模态的局部特征和全局特征，并通过在注意力矩阵上添加缺失Mask来自适应地处理模态缺失。

2 结果

2.1 不完全多模态学习方法的对比实验

在测试中与现有的4种不完全多模态学习方法进行了比较，列出了7种可能的模态组合，本文方法在骨肿瘤分类表现明显优于其它方法（表2）。相比于 SIML、Multi-task、mmformer和ACNet，平均AUC分别提高了8.8%、4.3%、3.7%和 2.6%，Acc平均值分别提高了6.3%、7.8%、3.5%和 15.3%，Spe平均值分别提高了3.4%、3.7%、1.7%和 6.6%。

从表中结果可知，模型会重点关注MRI模态，仅用该模态图像测试时AUC值仍能达到0.826。MRI图像具有极高的对比度，能够清晰地显示骨髓内病变和肿瘤侵袭软组织范围，这些细节信息能帮助模型进行准确分类。而X线成像尽管能够显示骨结构的改变和骨质破坏，但对于软组织和早期病变的敏感度不足，且X线成像的二维图像信息量有限，无法提供三维结构细节，这限制了其在模型中的贡献。

内部测试集与训练数据较为相似，模型对其特征信息有较好的学习和拟合。而外部测试集来自不同数据源及采集环境等，模型难以直接将在内部训练集上学习到的特征完美应用，很可能会导致性能下降。但即使将我们的模型应用于外部测试集，分类的平均AUC也达到了0.748，高于ACNet的0.714。此外所提模型的外部测试结果相较于内部测试的平均AUC仅下降为1.8%，ACNet较内部测试集的平均AUC下降了2.6%，本模型分类性能波动相对较小（表3）。

2.2 全模态骨肿瘤图像分类

图4中显示了一名14岁女性患者的全模态检查图像，其右侧胫骨存在富含破骨样巨细胞的肿瘤（良性），我们的模型将其分类为良性的概率为99.82%，且在模态缺失情况下也能正确判断肿瘤为良性。

不同方法在全模态输入时骨肿瘤分类的ROC曲线（图5A），本文方法取得了最好的分类效果，AUC值达到0.837。在图5B中对该分类结果的每个子类进行分析。由于良性骨肿瘤具有清晰的边界和规则的形态，特征明确且样本量较多，因此模型对良性骨肿瘤具有最优的分辨能力（AUC：0.893）。恶性骨肿瘤通常表现为不规则边界、侵袭周围组织和骨质破坏，这些特征在影像中也较为明显，所以模型对恶性骨肿瘤的分类也表现较好（AUC：0.875）。但由于中间性骨肿瘤图像样本量较少，且图像中病灶大多没有明显的特征界限，表现为部分良性特征和部分恶性特征，这种混合特征使得模型难以明确分辨（AUC：0.723）。

表4中显示了本文模型对不同位置骨肿瘤的分类结果。模型对位于四肢的骨肿瘤的分类表现明显优于位于躯干或头部的骨肿瘤。四肢骨肿瘤的样本数据量充足且质量较高，且骨骼解剖结构相对简单，骨肿瘤在图像中通常表现得更加明确并易于识别。

2.3 消融实验

本研究从整体模型中分别消除DCM和CMA，并观察两种变体模型在7种可能的模态组合下的分类性能表现（表5）。结果显示，当消除DCM时，模型的平均AUC下降了5%；另一方面，当消除CMA时，模型的平均AUC下降了2%。

2.4 损失函数权重设计

在多任务学习中，不同任务会有不同的特点和重要性，因此需要对每个任务的损失函数进行加权。我们尝试探索主任务与两个辅助任务的损失函数权重对模型的影响（表6），通过设置公式（3）和公式（10）中的超参数来优化网络，并使用全模态图像来进行测试。结果表明了增加特定模态分类任务权重时模型分类性能会变好。但两个辅助任务的权重较大时可能会干扰主任务的优化。

设置权重超参数的过程存在困难且不确定性较高，为了降低模型的调参复杂度，我们还根据每个任务权重的均方差不确定性来自适应地调整超参数^［28］。

3 讨论

骨肿瘤的诊断通常是基于多模态图像进行综合诊断的。而目前骨肿瘤分类的相关深度学习研究大多仅基于单一模态成像数据^{［29， 30］}，这可能限制了这些方法模型在临床实践中的应用。使用多模态图像进行深度学习建模可提高骨肿瘤分类准确率，但容易受到模态缺失带来的不利影响。

为了解决模态缺失问题，SMIL将从全模态输入中学习到的重建权重与缺失模态特征相乘^［25］，以此得到补偿信息。ACNet利用对抗损失函数，鼓励缺失模态特征与全模态特征相似^［27］。但是骨肿瘤数据集模态缺失严重，全模态样本量较少，这种情况下容易导致模型训练不稳定，模态补全效果不够理想。另一种思路是从已有模态数据得到启发，通过提取已有模态特征并映射到子空间中，并以此进行缺失模态特征补全^{［13， 14］}。mmformer^［15］可捕捉到已有模态之间的关联，并从已有模态中提取关键特征。利用注意力机制进行特征融合，将融合特征视为缺失模态的补全特征表示。但该方法未充分考虑模态间的信息差异，从已有模态中学习到的信息没有经过选择性处理，就直接作为缺失模态的补全特征。这不仅无法提升模型的鲁棒性，反而可能引入噪声，导致模型对肿瘤的识别和分类不够准确。因此，本文提出了基于特征解耦与融合的骨肿瘤分类模型。通过设计辅助任务从已有模态特征中学习具有丰富语义的共享特征和特定特征^{［16，17］}，使用不同模态中相似的共享特征解决模态缺失的挑战。与现有的不完全多模态学习方法模型相比，所提模型具有更强的鲁棒性和更好的分类性能，能更真实地还原缺失模态特征，减少因模态差异带来的特征补全偏差，在多种可能的输入模态组合测试中取得明显优势。此外，我们的模型对影像学特征较为明显的良性和恶性骨肿瘤具有很好的分辨能力，但由于部分中间性骨肿瘤图像会出现难以明确分辨的混合特征，导致模型对其的分辨能力不足。另外模型对位于四肢的骨肿瘤的识别能力更好，而躯干和头部的解剖结构复杂，包含多种组织和器官，骨肿瘤与周围组织界限不明显，准确判断类别较为困难^［31］。

为了进一步探索基于特征解耦与融合的不完全多模态骨肿瘤图像分类模型的有效成分，我们对模型进行了消融实验。DCM在处理模态缺失问题上更加直接、准确，使用各模态中相似的共享特征来补全缺失模态特征。CMA虽然也有显著的贡献，但其主要作用在于增强多模态信息的融合，提升了多模态信息的利用效率^［21］，但在模态缺失的情况下，其作用可能相对有限。结果表明了两者都有助于提高骨肿瘤分类的准确率，且DCM在提升模型鲁棒性和分类性能方面的作用更大。

综上所述，基于特征解耦与融合的不完全多模态骨肿瘤图像分类模型不仅能够合理地处理模态缺失问题，还能有效融合多模态互补信息，具有较强的鲁棒性和适应性，有望为医生在骨肿瘤诊断中面临模态缺失问题时提供一种可靠的参考方案，以提高诊断骨肿瘤的准确率。将来，我们会考虑引入更多的模态如临床信息，继续发展多模态数据的优势。此外也将探索如何解决模态不平衡问题，以进一步提高骨肿瘤分类模型性能。

参考文献

[1] Siegel RL, Miller KD, Jemal A. Cancer statistics, 2020[J]. CA A Cancer J Clin, 2020, 70(1): 7-30. doi：10.3322/caac.21590

[2] 姜兆侯, 司建荣, 张雅丽. 骨肿瘤的比较影像学思考[J]. 临床放射学杂志, 2002, 21(2): 89-92. doi：10.3969/j.issn.1001-9324.2002.02.001

[3] 李少利, 董 颖, 袁 瑛. 2023年第2版《NCCN恶性骨肿瘤临床实践指南》更新解读[J]. 实用肿瘤杂志, 2023, 38(1): 1-4. doi：10.13267/j.cnki.syzlzz.2023.001

[4] Choi JH, Ro JY. The 2020 WHO classification of tumors of soft tissue: selected changes and new entities[J]. Adv Anat Pathol, 2021, 28(1): 44-58. doi：10.1097/PAP.0000000000000284

[5] Winn RJ, McClure J. The NCCN clinical practice guidelines in oncology: a primer for users[J]. J Natl Compr Canc Netw, 2003, 1(1): 5-13. doi：10.6004/jnccn.2003.0003

[6] Do BH, Langlotz C, Beaulieu CF. Bone tumor diagnosis using a Naïve Bayesian model of demographic and radiographic features[J]. J Digit Imaging, 2017, 30(5): 640-7. doi：10.1007/s10278-017-0001-7

[7] Board W. Soft tissue and bone tumours[J]. Inte Agen Res Cancer: Lyon, France, 2020: 472-4.

[8] 魏清柱. 第五版 WHO骨肿瘤分类[J]. 诊断病理学杂志, 2021, 28(6): 497-8.

[9] Gianferante DM, Mirabello L, Savage SA. Germline and somatic genetics of osteosarcoma: connecting aetiology, biology and therapy[J]. Nat Rev Endocrinol, 2017, 13(8): 480-91. doi：10.1038/nrendo.2017.16

[10] Fritzsche H, Schaser KD, Hofbauer C. Benign tumours and tumour-like lesions of the bone: general treatment principles[J]. Orthopade, 2017, 46(6): 484-97. doi：10.1007/s00132-017-3429-z

[11] Gutowski CJ, Basu-Mallick A, Abraham JA. Management of bone sarcoma[J]. Surg Clin North Am, 2016, 96(5): 1077-106. doi：10.1016/j.suc.2016.06.002

[12] Gaume M, Chevret S, Campagna R, et al. The appropriate and sequential value of standard radiograph, computed tomography and magnetic resonance imaging to characterize a bone tumor[J]. Sci Rep, 2022, 12(1): 6196. doi：10.1038/s41598-022-10218-8

[13] Dorent R, Joutard S, Modat M, et al. Hetero-modal variational encoder-decoder for joint modality completion and segmentation[M]//Medical Image Computing and Computer Assisted Intervention-MICCAI 2019. Cham: Springer International Publishing, 2019: 74-82. doi：10.1007/978-3-030-32245-8_9

[14] Ding YH, Yu X, Yang Y. RFNet: region-aware fusion network for incomplete multi-modal brain tumor segmentation[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). October 10-17, 2021, Montreal, QC, Canada. IEEE, 2021: 3955-64. doi：10.1109/iccv48922.2021.00394

[15] Zhang Y, He NJ, Yang JW, et al. mmFormer: multimodal medical transformer for incomplete multimodal learning of brain tumor segmentation[M]//Medical Image Computing and Computer Assisted Intervention-MICCAI 2022. Cham: Springer Nature Switzerland, 2022: 107-17. doi：10.1007/978-3-031-16443-9_11

[16] Guo WK, Huang HB, Kong XW, et al. Learning disentangled representation for cross-modal retrieval with deep mutual information estimation[C]//Proceedings of the 27th ACM International Conference on Multimedia. Nice France. ACM, 2019: 1712-1720. doi：10.1145/3343031.3351053

[17] Lu Y, Wu Y, Liu B, et al. Cross-modality person re-identification with shared-specific feature transfer[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 13-19, 2020. Seattle, WA, USA. IEEE, 2020: 13376-86. doi：10.1109/cvpr42600.2020.01339

[18] Yang HR, Sun J, Xu ZB. Learning unified hyper-network for multi-modal MR image synthesis and tumor segmentation with missing modalities[J]. IEEE Trans Med Imaging, 2023, 42(12): 3678-89. doi：10.1109/tmi.2023.3301934

[19] Tseng KL, Lin YL, Hsu W, et al. Joint sequence learning and cross-modality convolution for 3D biomedical segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 3739-46. doi：10.1109/CVPR.2017.398

[20] Zhou CH, Ding CX, Lu ZT, et al. One-pass multi-task convolutional neural networks for efficient brain tumor segmentation[M]//Medical Image Computing and Computer Assisted Intervention – MICCAI 2018. Cham: Springer International Publishing, 2018: 637-45. doi：10.1007/978-3-030-00931-1_73

[21] 吴雪扬, 张 煜, 张 华, 等. 基于注意力机制和多模态特征融合的猕猴脑磁共振图像全脑分割[J]. 南方医科大学学报, 2023, 43(12): 2118-25. doi：10.12122/j.issn.1673-4254.2023.12.17

[22] 何 强, 王学涛, 李 欣, 等. 基于多模态特征和多分类器融合的前列腺癌放疗中直肠并发症预测模型[J]. 南方医科大学学报, 2019, 39(8): 972-9.

[23] Peng ZL, Huang W, Gu SZ, et al. Conformer: local features coupling global representations for visual recognition[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). October 10-17, 2021, Montreal, QC, Canada. IEEE, 2021: 357-66. doi：10.1109/iccv48922.2021.00042

[24] Wang H, Chen YH, Ma CB, et al. Multi-modal learning with missing modality via shared-specific feature modelling[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 17-24, 2023, Vancouver, BC, Canada. IEEE, 2023: 15878-87. doi：10.1109/cvpr52729.2023.01524

[25] Ma MM, Ren J, Zhao L, et al. SMIL: multimodal learning with severely missing modality[J]. Proc AAAI Conf Artif Intell, 2021, 35(3): 2302-10. doi：10.1609/aaai.v35i3.16330

[26] Ma MM, Ren J, Zhao L, et al. Are multimodal transformers robust to missing modality? [C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 18-24, 2022, New Orleans, LA, USA. IEEE, 2022: 18156-65. doi：10.1109/cvpr52688.2022.01764

[27] Shen Y, Gao MC. Brain tumor segmentation on MRI with missing modalities[M]//Information Processing in Medical Imaging. Cham: Springer International Publishing, 2019: 417-28. doi：10.1007/978-3-030-20351-1_32

[28] Cipolla R, Gal Y, Kendall A. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018: 7482-91. doi：10.1109/cvpr.2018.00781

[29] He Y, Pan I, Bao BT, et al. Deep learning-based classification of primary bone tumors on radiographs: a preliminary study[J]. EBioMedicine, 2020, 62: 103121. doi：10.1016/j.ebiom.2020.103121

[30] Eweje FR, Bao BT, Wu J, et al. Deep learning for classification of bone lesions on routine MRI[J]. EBioMedicine, 2021, 68: 103402. doi：10.1016/j.ebiom.2021.103402

[31] Hakim DN, Pelly T, Kulendran M, et al. Benign tumours of the bone: a review[J]. J Bone Oncol, 2015, 4(2): 37-41. doi：10.1016/j.jbo.2015.02.001

基金资助

RIGHTS & PERMISSIONS

版权所有©《南方医科大学学报》编辑部2021