基于多模态数据融合的胃癌患者生存预测模型

Stomach cancer survival prediction model based on multimodal data fusion

摘要

针对胃癌患者生存预测的深度学习方法中存在患者数据使用不全面、数据结合方式粗糙等问题，提出一种多模态数据融合的胃癌患者生存预测模型。首先，将同一患者包括临床数据、基因表达数据和医学图像的多模态数据预处理。其次，将多模态数据输入图注意力网络（GAT）中，使多模态数据在注意力机制下自适应调整权重互相融合。再次，引入卷积神经网络处理的医学图像，与图注意力网络的输出共同作用于预测结果。最后，使用十折交叉验证证明模型性能的稳定性，并将结果与使用相同数据集的其他方法进行比较。实验结果表明，本文提出的模型取得了优秀的准确率。

Abstract

Aiming at the problems of incomplete use of patient data and rough data combination in deep learning methods for survival prediction of patients with stomach cancer， a multimodal data fusion survival prediction model for patients with stomach cancer was proposed. Firstly， multimodal data including clinical data， gene expression data and medical images of the same patient were preprocessed. Secondly， the multimodal data was input into the graph attention network （GAT） to make the multimodal data merge with each other under the attention mechanism. Thirdly， the medical images processed by convolutional neural network were introduced to work with the output of graph attention network to predict the results. Finally， ten-fold cross-validation was used to prove the stability of the model performance， and the results were compared with other methods using the same dataset. The results showed that the model proposed in this paper achieves a leading accuracy.

Graphical abstract

关键词

深度学习 / 多模态数据 / 生存预测

Key words

deep learning / multimodal data / survival prediction

0 引 言

近年来，胃癌因其高发病率、高死亡率和高治疗费用引起广泛关注^［1］。根据2020年的全球癌症统计数据，在所有癌症类型中，胃癌确诊人数已升至第5位，死亡率已升至第4位^［2］。早期胃癌诊断的挑战源于其症状的非特异性和早期筛查率低^［3］，当临床症状明显时，癌症通常已进入晚期^［4，5］。由于晚期癌症患者时间的宝贵性，根据患者个体条件进行准确的生存预测对于最优治疗方案的选择至关重要^［6］。在临床上，有关患者诊断和治疗的决策通常依赖于医生利用专业知识从医学图像和患者检测结果中分析获得^［7］。所以，医生主观判断中的轻微偏见可能对患者生存产生无法估量的后果。因此，研究人员正在积极探索应用人工智能方法，特别是深度学习方法，辅助医生的医疗决策^［8］。

近十年来，深度神经网络模型强势崛起，最初在2012年的图像分类竞赛中取得显著优势而引起广泛关注，深度学习在各个研究领域迅速发展，首先是计算机视觉，随后是自然语言处理和其他跨学科领域^［9，10］。2016年，Katzman等^［11］提出了DeepSurv，这是深度神经网络在癌症生存预测领域的首次应用，对后续的研究工作产生了深刻影响。

在癌症生存预测领域，过去的研究主要聚焦于3种类型数据。首先是临床数据，包括年龄、性别、癌症等级、分期和治疗历史等因素。其次是基因表达数据，通常用表达量表示，包括常用的mRNA、miRNA和lncRNA数据等。最后是医学图像数据，涵盖X射线成像、计算机断层扫描、正电子发射计算机断层扫描、核磁共振成像（MRI）、核医学成像、超声成像和显微病理图像等。显微病理图像通常又被称为全量影像（Whole slide imaging，WSI），WSI是癌症诊断和生存预测的黄金标准^［12］。

过去的研究工作主要集中在单一类型的数据上，而忽视了其他2种类型数据中包含的对患者生存具有潜在影响的信息^［13］。然而，越来越多的研究人员逐渐意识到多模态数据在癌症患者诊断和预后中的关键作用，并初步探索了融合这些不同类型数据的方法^{［14，15］}。Wei等^［16］提出了MultiDeepCox-SC模型，将这3种类型数据结合在一起。首先分析WSI；然后将生成的图像输入卷积神经网络（Convolutional neural network，CNN）中，以获得DeepCox-SC分数；最后将此分数与临床数据和基因表达信息结合，用于生存预测。

尽管利用多模态数据的深度学习模型在预测胃癌生存方面取得了进展，但如何更有效整合不同类型信息仍然是一个值得进一步探讨的课题。本文提出了一种新的胃癌生存预测模型，将这3种数据类型都纳入深度神经网络进行数据融合，融合后的数据用于对患者进行特异性的生存预测。

1 相关工作

1.1　Cox比例风险模型

患者的生存函数定义为：

S(t)=\mathrm{P}\mathrm{r}(T\ge t)（1）

式中：\mathrm{P}\mathrm{r}(T\ge t)为目标事件（通常是患者的死亡）在时间t内尚未发生的概率。

这一事件在时间t发生的概率表示为：

\underset{\delta t\to \mathrm{0}}{\mathrm{l}\mathrm{i}\mathrm{m}}\mathrm{P}\mathrm{r}(t\le T\le t+\delta t|T\ge t)（2）

因此，时间t处的风险函数表示为：

\lambda (t)=\underset{\delta t\to \mathrm{0}}{\mathrm{l}\mathrm{i}\mathrm{m}}\frac{\mathrm{P}\mathrm{r}(t\le T\le t+\delta t|T\ge t)}{\delta t}（3）

Cox比例风险（Cox proportional hazards，CPH）模型^［17］是一种传统且广泛应用于生存分析的模型^［18］。该模型假设患者的对数风险是其协变量的线性函数，同时伴随时间演化的基线风险。风险函数表示为：

\lambda (t|x)={\lambda }_{\mathrm{0}}(t)\mathrm{e}\mathrm{x}\mathrm{p}(h(x))（4）

式中：{\lambda }_{\mathrm{0}}(t)为基线风险，h(x)为对数风险函数。

传统上，CPH模型使用线性函数{\widehat{h}}_{\beta }(x)={\beta }^{T}x估计对数风险函数。然而，在真实世界的患者样本中，对数风险函数与静态协变量之间的关系通常呈现非线性关系而不是线性关系^［19］。因此，研究人员迫切需要探索能够适应这种非线性对数风险函数的新方法，深度学习因其拟合复杂数据模式的能力而备受关注。

1.2　胃癌生存预测

近年来，在生存预测研究中广泛使用的方法主要分为3种：列线图、机器学习和深度学习。

列线图基于多因素回归分析，将多个预测指标汇集在一起，这些指标通过具有刻度的线段在单个平面上进行可视化表示，描绘了预测模型内不同变量之间的关系。Li等^［20］证明了检查淋巴结（Endoscopic lymph nodes，ELNs）在胃癌生存预测中的重要性，并构建了一个将ELNs和患者临床数据整合在一起的列线图，用于患者生存预测和临床决策。Wu等^［21］强调了抗氧化相关基因与胃癌患者总体生存之间的关联，并构建了一个综合的列线图，其中包括抗氧化相关基因签名和临床参数。Dai等^［22］为胃癌患者的总体生存预测设计了一种新的上皮间质转化相关基因组特征，列线图以这个特征为风险评分，显示出与不带风险评分的相似模型相比的卓越预测准确性和临床效用。Wang等^［23］发现了自噬相关基因异常表达与胃癌预后之间的关联，制定了一个总体生存预测的列线图。Liu等^［24］建立了一个以3种lncRNAs为中心的风险评分系统，将它们作为胃癌的独立预后因素，并将这些lncRNAs纳入患者生存预测的列线图中。

因为在非线性数据拟合和模式识别方面的出色表现，所以机器学习技术被广泛应用于生存预测^［25］。其中包括传统的机器学习方法，如支持向量机（Support vector machine，SVM）^［26］、随机生存森林（Random survival forest，RSF）^［27］和极限梯度提升（Extreme gradient boosting，XGBoost）^［28］。一些研究人员对这些方法进行了改进，以更好地与医学数据适应。Liu等^［29］提出了基于XGBoost和CPH模型的EXSA方法，通过将Efron偏似然函数的近似作为学习目标，EXSA得到了更精确的梯度公式。Ma等^［30］提出了XGBLC模型，这是一种基于XGBoost的方法，使用Lasso-Cox增强高维数据集的拟合能力。

深度学习是机器学习的一个重要组成部分，深度学习方法充分利用神经网络的强大能力，可以有效减少模型设计和使用中一些关键阶段的人为干预，如特征提取阶段^［1，13］。Li等^［31］设计了基于26个免疫相关lncRNAs的ILPM深度学习方法，并证明了其在生存预测中的效率。Chai等^［32］提出了DCAP，这是一个具有3个隐藏层的深度神经网络，从多种组学数据中捕获特征以估算癌症风险。Wang等^［33］开发了GraphSurv，一个将图卷积网络（Graph convolutional network，GCN）和深度Cox比例风险网络结合在一起的模型，这种创新方法引入了基因之间的可解释性约束关系，有效提高了预测性能。Zhang等^［34］提出了LAGProg，一种考虑多组学特征和患者分子相互作用的本地增强GCN，并成功应用于癌症生存预测。

1.3　图注意力网络

图注意力网络（Graph attention network，GAT）是专门设计用于处理图结构数据的神经网络。与传统神经网络不同，GAT具有在输入数据处理期间全面考虑数据关系的能力^［35］。GAT的主要优势在于其能够自动学习节点关系，避免了手动配置^［36］。GAT允许在图上进行节点级别的注意力计算，提供了计算多模态输入之间的注意力关系以优化多模态模型性能的能力。Fu等^［37］利用GAT的特性创建了一个端到端的乳腺癌生存预测模型，为本文将GAT应用于多模态数据融合提供了灵感。Duan等^［38］提出了用于生存分析任务的多任务GAT框架DQSurv，利用迁移学习的思想，通过预训练的HealthModel启动GAT模型，并使用生存分析的主要任务和基因表达预测的辅助任务进一步微调该模型。Ye等^［39］通过GAT获得紧凑的基因特征表示，并使用深度神经网络预测总生存期相关基因。

2 实验方法

2.1　数据集

癌症基因组图谱（The cancer genome atlas，TCGA）是最大的癌症相关信息存储库之一。本文从TCGA官方网站（https：∥portal.gdc.cancer.gov）获取了所有必要的数据。本文使用其中的STAD数据集，STAD是TCGA内专门为胃癌研究量身定制的项目，包括超过443个患者的20 000多个不同类型的文件。

在对每个患者相关的所有XML文件进行审查后，确定了10个曾被报告与癌症患者生存相关的关键变量，这10个变量在表1中详细列出。为了确保后续建模输入数据的质量和一致性，本文进行包括3个步骤的严格选择过程。

第1步，从TCGA官方网站检索所有患者的临床数据，并仔细检查每个XML文件，排除缺乏一个或多个关键属性，如生存状态、生存时间、年龄、病理分期或肿瘤分级的案例。

第2步，从官方网站获取其余案例的RNA测序数据，作为基因表达数据，排除没有RNA测序数据的案例。

第3步，从官方网站检索其余案例的WSI，确保每个选定的案例都具有相应的WSI。在一个案例具有多个WSI的情况下，选择文件大小最大者，因为它可能包含更全面的患者信息。

经过详细的筛选过程，获得了一个包含316个病例的数据集。这个精心筛选的数据集中的每个案例都包括WSI数据、基因表达数据和全面的临床信息。原始STAD数据集与处理后STAD数据集的比较详见表2。

2.2　数据预处理

表1中，包含生存状态和生存时间数据，即将癌症生存视为一个动态、连续的过程^{［40，41］}。在AJCC病理分期的规定中，肿瘤原发灶情况T、ELNs受累情况N和远处转移情况M共同确定病理分期^［42］。因此，综合使用T、N和M替代单一的分期级别表示病理分期，以获得更大的精度与灵活性。此外，还确定了与癌症生存有关的10个基因^［16］。对临床变量中的连续变量和10个基因表达变量进行了标准化，而临床变量中的分类变量则被适当编码。

通常包括数十亿像素数据的WSI需要经过预处理才能作为网络输入。本文使用Python包histolab^［43］完成这项任务。如图1所示，将每个图像分成小块，每个块由512×512像素组成。删除白色背景占比超过20%的块。然后，根据其与癌症的相关性，对剩余每个块进行评分。根据得分，将得分＞0的块进行初步处理，首先经过灰度转换，以减少与染色相关的偏差，然后通过随机旋转90°、180°或270°进行数据增强，最后进行归一化。随后将初步处理后得到的图像块输入通道注意力模块中，通过注意力机制动态调整每一块图像的权重，并整合在一起作为代表WSI包含肿瘤信息的三维张量输入模型中。

2.3　模型

本文的MFSurv模型结构如图2所示。在预处理步骤之后，临床变量和基因表达变量分别输入嵌入层。嵌入层包括一个全连接层，旨在自动确定权重参数，从而将各种尺度的变量调和为相应的向量。其中连续变量和分类变量通过全连接层均转变为包含128个元素的向量，实现了不同类型数据表示形式的统一。

同时，预处理后的WSI被输入到图像专用的嵌入层中，该嵌入层包括一个ResNet101 ^［44］，能够将三维张量调整并拆分为多个向量。

这3种数据类型各自嵌入层的输出随后在融合层内汇聚，将每一项数据作为图中的一个节点，每一个节点都含有连向其他所有节点的边，构成一个连通图，同时每一个节点又有一条边与自己连接，节点与节点之间的权重保存为注意力系数矩阵。这个融合层由3个GAT层依次相连，在GAT的图结构中，每一个节点会向所有邻居学习，通过注意力机制自适应调整所有边上的权重，通过多头注意力使模型在不同的表示子空间中学习到不同的信息，在若干次训练后，节点逐渐调整为最能有效表示患者特征的值。

为了进一步提高模型性能，采用了集成学习方法。将融合层和ResNet101网络的结果输入输出层，结果按权重合并以产生最终的模型输出。

本文模型最终输出一个标量，表示为{\widehat{h}}_{\theta }(x)，它是对Cox模型内的对数风险函数的估计值。模型训练的损失函数是2个部分平均负对数部分似然和正则化的加权和，这是适合右删失生存数据的策略。损失函数可以表示为：

L_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=L_{\mathrm{G}\mathrm{A}\mathrm{T}}+\lambda L_{\mathrm{C}\mathrm{N}\mathrm{N}}+\mu {‖\theta ‖}^{\mathrm{2}}（5）

式中：\lambda和\mu为控制权重调整的超参数。对数部分似然函数表示为：

l(\theta ):=-\frac{\mathrm{1}}{N_{E=\mathrm{1}}}\sum _{i:E_i=\mathrm{1}}({\widehat{h}}_{\theta }(x_i)-log\sum _{j\in R(T_i)}{e}^{{\widehat{h}}_{\theta }(x_j)})（6）

2.4 评估指标

为了评估本文模型的预测能力，使用了一致性指数（C-index）^［45］。C-index评估了预测结果与观察结果一致的样本对的比例。它本质上是估计了预测结果与观察结果一致的概率。计算C-index涉及对数据集中所有样本进行随机配对。对于给定的一对患者，如果实际生存时间较长患者的预测生存时间超过了另一患者的预测生存时间，或者如果具有更高生存概率患者的预测生存时间超过了具有较低生存概率患者的预测生存时间，那么预测结果被认为与观察结果一致。

此外，本文还绘制了Kaplan-Meier（KM）^［46］ 曲线评估模型将样本划分为高风险个体（高于或等于中位数）和低风险个体（低于中位数）的能力。同时，使用对数秩检验评估统计学显著性，如果对数秩检验p值＜0.05，则表示具有统计学意义。

2.5　分层十折交叉验证

为了评估本文模型的预测精度，采用了分层十折交叉验证。这个过程将整个数据集分为10个不同的子集，为了保证样本分布的一致性，采用分层划分的方式，即确保每个子集中死亡患者的样本数相同且存活患者的样本数相同。然后，每个子集依次用作测试集，其余9个子集组成训练集。模型参数首先在训练集上进行训练，然后应用到测试集上。取10次实验结果的平均值作为最终结果。

3 实验结果

3.1　不同层数GAT层的预测性能

为了评估不同数量的GAT层对模型预测性能的影响，首先使用了含有2层GAT、3层GAT和4层GAT的模型进行分析。实验中唯一的修改是GAT层的数量，而所有其他初始参数保持不变。本文采用了分层十折交叉验证方法，并始终保持相同的病例样本分组。实验结果如图3所示。结果显示，当使用3层GAT时，获得了最佳的预测性能。值得注意的是，2层GAT的C-index仅比3层GAT低0.029，但当转变为4层GAT时，预测性能明显下降。这些发现表明，3层GAT是从患者样本中提取与生存相关见解的最有效选择。然而，当层数超过3层时，模型可能会过拟合，从训练数据中提取与生存无关的信息，从而损害预测性能。值得注意的是，这一观察结果在每一折中一致，证明了3层GAT卓越性能的稳健性和可靠性。

为了进一步证实本文模型的实际适用性，在图4中绘制了单折实验的KM曲线，这条曲线展示了模型将患者分为高风险和低风险群体的能力。显然，高风险和低风险群体生存曲线之间存在显著差异，证明了模型的判别能力。

3.2　消融实验

本文模型设计包括两部分，一是GAT多模态数据融合的结果，二是ResNet101处理WSI的结果。两者共同为预测结果贡献信息。为了证明这一设计确实比单独的部分在预测性能上表现更出色，本文进行了消融实验。以在先前实验中表现最佳的3层GAT模型为基线，系统地移除其中的一个部分，使用与之前一致的数据分组进行分层十折交叉验证实验。实验结果如图5所示。结果明确表明，本文融合了2个不同组件的模型，表现出比它们各自单独使用更好的性能。此外，分析表明，利用所有3种数据进行多模态数据融合的模型优于仅依赖WSI的模型。

3.3　与输入单模态数据的比较

为了验证模型输入多模态数据的方式对模型预测性能的提升起到促进作用，本文将临床数据、基因表达数据和WSI分别单独输入模型，采用与之前一致的数据分组进行分层十折交叉验证实验，如图6所示。实验结果证明了同一个患者的多模态数据包含了更全面的生存相关信息，从而提高了预测性能。

3.4　与现有方法的比较

本文将实验结果与其他使用相同TCGA-STAD数据集的研究报告结果进行比较分析，比较结果如图7所示。值得注意的是，本文模型C-index为0.760，超过了目前已知预测效果最优的MultiDeepCox-SC模型的0.744，证明了MFSurv模型在预测性能上表现优于使用列线图、机器学习和深度学习方法的模型。

4 结束语

本文提出的MFSurv是一种基于深度学习的胃癌患者生存预测模型。本文模型在TCGA-STAD数据集上展示了出色的预测性能，实验结果超过了其他使用相同数据集的方法。

本文研究结果证明了将同一患者的3种不同类型的数据一起输入模型的方法可以更全面地表示患者的情况，最终产生更精确的生存预测。此外，通过将2个目标相同的模型通过加权相加的方法合并共同作用于最终的预测结果可以有效地提高预测准确性。GAT是基于图结构的模型，图结构的性质非常适合表示真实世界的变量关系^［47］。图中每个节点向邻居节点学习^［48］，同时其多头注意力机制动态调整节点权重^［37］。实验结果也证实了GAT对多模态数据融合的适用性，取得了超过使用单一模态数据的预测性能，但实验也表明过多的GAT层并不一定会带来更好的预测。

然而，还有一些问题尚未解决。获取包含多模态数据的数据集是一个巨大的挑战，加上样本数相对较小，可能会限制模型捕捉真实世界癌症患者的细微差异的能力^［49］。

在未来的研究中，计划在现有框架的基础上，沿着3个方向完善工作。首先，探索更高效的WSI处理方法，从而提取更丰富的与生存相关的特征。其次，不断优化模型的架构，以增强其泛用性，使其适用于不同类型的医学图像数据。最后，计划将可解释性技术纳入模型中，在其他研究领域内已经出现了适用于图像数据的可解释性方法，如Grad-CAM^［50］等，也出现了使用非图像医学数据的可解释性方法，如SurvSHAP（t）^［51］等。后续将继续研究适用于使用多模态数据进行胃癌患者生存预测的可解释性方法，这将增强模型在协助临床医生进行治疗决策方面的可靠性。

参考文献

[1] Huang S, Yang J, Fong S, et al. Artificial intelligence in cancer diagnosis and prognosis: Opportunities and challenges[J]. Cancer Letters, 2020, 471: 61-71.

[2] Sung H, Ferlay J, Siegel R L, et al. Global cancer statistics 2020: globocan estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. CA: A Cancer Journal for Clinicians, 2021, 71(3): 209-249.

[3] Guan W L, He Y, Xu R H. Gastric cancer treatment: recent progress and future perspectives[J]. Journal of Hematology & Oncology, 2023, 16(1): 57-84.

[4] 覃丽粒, 马小波, 赵天业, 等. MMP-9和TIMP-1表达在胃癌根治术后患者预后评估中的作用[J]. 吉林大学学报: 医学版, 2022, 48(1): 163-171.

[5] Qin Li-li, Ma Xiao-bo, Zhao Tian-ye, et al. Effects of MMP-9 and TIMP-1 expressions on prognostic evaluation of gastric cancer patients after radical gastrectomy[J]. Journal of Jilin University (Medicine Edition), 2022, 48(1): 163-171.

[6] 崔海康, 张旭东, 李晓宁, 等. 细胞焦亡分型和APOD 预测胃癌患者预后作用的生物信息学分析[J]. 吉林大学学报: 医学版, 2023, 49(5): 1268-1279.

[7] Cui Hai-kang, Zhang Xu-dong, Li Xiao-ning, et al. Bioinformatics analysis on predition effect of subtypes of cell pyroptosis and APOD on prognosis of gastric cancer patients[J]. Journal of Jilin University (Medicine Edition), 2023, 49(5): 1268-1279.

[8] Boorn H G, Engelhardt E G, Kleef J, et al. Prediction models for patients with esophageal or gastric cancer: a systematic review and meta-analysis[J]. Plos One, 2018, 13(2): No.e0192310.

[9] Hosny A, Parmar C, Quackenbush J, et al. Artificial intelligence in radiology[J]. Springer Science and Business Media LLC, 2018, 18: 500-510.

[10] Tran K A, Kondrashova O, Bradley A, et al. Deep learning in cancer diagnosis, prognosis and treatment selection[J]. Genome Medicine, 2021, 13(1): 152-168.

[11] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[12] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521: 436-444.

[13] Katzman J L, Shaham U, Cloninger A, et al. Deepsurv: personalized treatment recommender system using a cox proportional hazards deep neural network[J]. BMC Medical Research Methodology, 2018, 18(1): 24-35.

[14] Choi S, Kim S. Artificial intelligence in the pathology of gastric cancer[J]. Journal of Gastric Cancer, 2023, 23(3): 410-427.

[15] Deepa P, Gunavathi C. A systematic review on machine learning and deep learning techniques in cancer survival prediction[J]. Progress in Biophysics and Molecular Biology, 2022, 174: 62-71.

[16] Lipkova J, Chen R J, Chen B, et al. Artificial intelligence for multimodal data integration in oncology[J]. Cancer Cell, 2022, 40(10): 1095-1110.

[17] Boehm K M, Khosravi P, Vanguri R, et al. Harnessing multimodal data integration to advance precision oncology[J]. Nature Reviews Cancer, 2021, 22(2): 114-126.

[18] Wei T, Yuan X, Gao R, et al. Survival prediction of stomach cancer using expression data and deep learning models with histopathological images[J]. Cancer Science, 2022, 114(2): 690-701.

[19] Cox D R. Regression models and life-tables[J]. Journal of the Royal Statistical Society, Series B (Statistical Methodology), 1972, 34(2): 187-202.

[20] Cox D R, Oakes D. Analysis of survival data[J]. Biometrics, 1985, 41(2): 593-594.

[21] Tarkhan A, Simon N, Bengtsson T, et al. Survival prediction using deep learning[C]∥Proceedings of AAAI Spring Symposium on Survival Prediction–Algorithms, Challenges, and Applications, Virtual, USA, 2021: 1-8.

[22] Li H, Lin D, Yu Z, et al. A nomogram model based on the number of examined lymph nodes–related signature to predict prognosis and guide clinical therapy in gastric cancer[J]. Frontiers in Immunology, 2022, 13: No.947802.

[23] Wu J, Wang X, Wang N, et al. Identification of novel antioxidant gene signature to predict the prognosis of patients with gastric cancer[J]. World Journal of Surgical Oncology, 2021, 19(1): No.1901219.

[24] Dai W, Xiao Y, Tang W, et al. Identification of an emt-related gene signature for predicting overall survival in gastric cancer[J]. Frontiers in Genetics, 2021, 12: No. 661306.

[25] Wang M, Jing J, Li H, et al. The expression characteristics and prognostic roles of autophagy-related genes in gastric cancer[J]. PeerJ, 2021, 9: No.e10814.

[26] Liu M, Li J, Huang Z, et al. Gastric cancer risk-scoring system based on analysis of a competing endogenous RNA network[J]. Translational Cancer Research, 2020, 9(6): 3889-3902.

[27] Kourou K, Exarchos T P, Exarchos K P, et al. Machine learning applications in cancer prognosis and prediction[J]. Computational and Structural Biotechnology Journal, 2015, 13: 8-17.

[28] Shivaswamy P K, Chu W, Jansche M. A support vector approach to censored targets[C]∥ Proceedings of Seventh IEEE International Conference on Data Mining, Omaha, USA, 2007: 655-660.

[29] Ishwaran H, Kogalur U B, Blackstone E H, et al. Random survival forests[J]. Annals of Applied Statistics, 2008, 2: No.AOAS169.

[30] Chen T, Guestrin C. XGBoost: a scalable tree boosting system[C]∥Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, USA, 2016: 785-794.

[31] Liu P, Fu B, Yang S X, et al. Optimizing survival analysis of xgboost for ties to predict disease progression of breast cancer[J]. Institute of Electrical and Electronics Engineers, 2021, 68: 148-160.

[32] Ma B, Yan G, Chai B, et al. XGBLC: an improved survival prediction model based on XGBoost[J]. Bioinformatics, 2021, 38(2): 410-418.

[33] Li G, Huo D, Guo N, et al. Integrating multiple machine learning algorithms for prognostic prediction of gastric cancer based on immune-related lncRNAs[J]. Frontiers in Genetics, 2023, 14: No.1106724.

[34] Chai H, Zhou X, Zhang Z, et al. Integrating multi-omics data through deep learning for accurate cancer prognosis prediction[J]. Computers in Biology and Medicine, 2021, 134: No.104481.

[35] Wang Y, Zhang Z, Chai H, et al. Multi-omics cancer prognosis analysis based on graph convolution network[C]∥Proceedings of IEEE International Conference on Bioinformatics and Biomedicine, Houston, USA, 2021: 1564-1568.

[36] Zhang Y, Xiong S, Wang Z, et al. Local augmented graph neural network for multi-omics cancer prognosis prediction and analysis[J]. Methods, 2023, 213: 1-9.

[37] Avelar P H C, Tavares A R, Silveira T L T, et al. Superpixel image classification with graph attention networks[C]∥Proceedings of 33rd SIBGRAPI Conference on Graphics, Patterns and Images, Porto de Galinhas, Brazil, 2020: 203-209.

[38] Velickovic P, Cucurull G, Casanova A, et al. Graph Attention Networks[EB/OL]. [2023-11-04].

[39] Fu X, Patrick E, Yang J Y H, et al. Deep multimodal graph-based network for survival prediction from highly multiplexed images and patient variables[J]. Computers in Biology and Medicine, 2023, 154: No.106576.

[40] Duan M, Wang Y, Zhao D, et al. Orchestrating information across tissues via a novel multitask GAT framework to improve quantitative gene regulation relation modeling for survival analysis[J]. Briefings in Bioinformatics, 2023, 24(4): 1-10.

[41] Ye L, Zhang Y, Yang X, et al. An ovarian cancer susceptible gene prediction method based on deep learning methods[J]. Frontiers in Cell and Developmental Biology, 2021, 9: No.730475.

[42] Adeoye J, Hui L, Koohi M M, et al. Comparison of time-to-event machine learning models in predicting oral cavity cancer prognosis[J]. International Journal of Medical Informatics, 2022, 157: No.104635.

[43] Lerademacher J, Wang X. Time-to-event data: an overview and analysis considerations[J]. Journal of Thoracic Oncology, 2021, 16(7): 1067-1074.

[44] Amin M B, Greene F L, Edge S B, et al. The eighth edition AJCC cancer staging manual: continuing to build a bridge from a population-based to a more "personalized" approach to cancer staging[J]. CA-A Cancer Journal for Clinicians, 2017, 67(2): 93-99.

[45] Marcolini A, Bussola N, Arbitrio E, et al. Histolab: a python library for reproducible digital pathology preprocessing with automated testing[J]. Software X, 2020, 20: No.101237.

[46] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]∥Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770-778.

[47] Brentnall A R, Cuzick J. Use of the concordance index for predictors of censored survival data[J]. Statistical Methods in Medical Research, 2018, 27(8): 2359-2373.

[48] Kaplan E L, Meier P. Nonparametric estimation from incomplete observations[J]. Journal of the American Statistical Association, 1958, 53(282): 457-481.

[49] Pan Q K, Xu X X, Qi C, et al. Feature fusion: graph attention network and cnn combing for hyperspectral image classification[C]∥Proceedings of the 5th International Conference on Control and Computer Vision, New York, USA, 2022: 171-178.

[50] Xie Y, Niu G, Da Q, et al. Survival prediction for gastric cancer via multimodal learning of whole slide images and gene expression[C]∥Proceedings of 2022 IEEE International Conference on Bioinformatics and Biomedicine, Las Vegas, USA, 2022: 1311-1316.

[51] 张德洪, 郑明珠, 李家秋, 等. 基于MSR1 mRNA 和蛋白在泛癌组织中表达的生物信息学分析及其意义[J]. 吉林大学学报: 医学版, 2023, 49(2): 425-439.

[52] Zhang De-hong, Zheng Ming-zhu, Li Jia-qiu, et al. Bioinformatics analysis based on expressions of MSR1 mRNA and protein in pan-cancer tissue and its significance[J]. Journal of Jilin University (Medicine Edition), 2023, 49(2): 425-439.

[53] Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM:visual explanations from deep networks via gradient-based localization[C]∥2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 618-626.

[54] Krzyziński M, Spytek M, Baniecki H, et al. Survshap(t): time-dependent explanations of machine learning survival models[J]. Knowledge-Based Systems, 2023, 262: 110234.

基金资助

吉林省自然科学基金项目(YDZJ202101ZYTS144)

国家自然科学基金项目(61471181)