基于MRI影像和临床参数特征融合的深度学习模型预测术前肝细胞癌的细胞角蛋白19状态

A deep learning model based on magnetic resonance imaging and clinical feature fusion for predicting preoperative cytokeratin 19 status in hepatocellular carcinoma

摘要

目的 探索并建立深度学习模型，验证MRI影像深度学习特征结合临床显著性特征在术前预测肝细胞癌（HCC）的细胞角蛋白19（CK19）状态上的可行性。 方法 收集116例已证实CK19状态的HCC患者数据进行回顾性实验。基于增强MRI影像的肝胆期（HBP）和扩散加权成像（DWI）序列，以及统计学分析筛选的与CK19状态显著相关的临床参数特征，建立了单序列多尺度特征融合模型（MSFF-IResnet）和多尺度多模态特征融合模型（MMFF-IResnet）。通过模型间的分类性能对比评估，突出深度学习模型对于术前预测HCC的CK19状态的有效性。 结果 多变量分析显示，升高的NLR值（P=0.029）和不完整的肿瘤包膜（P=0.028）是CK19表达的独立预测因子。多尺度特征融合和多模态特征融合方法改进后的深度学习模型均取得了优于传统机器学习模型和基线模型的分类结果，且最终的MMFF-IResnet表现出最佳的分类性能，其AUC为84.2%、准确度为80.6%，敏感度为80.1%，特异度为81.2%。 结论 本研究建立的基于MRI影像和临床参数的多尺度和多模态特征融合模型成功预测了HCC的CK19状态，验证了深度学习方法结合MRI影像和临床参数在术前预测CK19状态上的可行性。

Abstract

Objective To establish a deep learning model for testing the feasibility of combining magnetic resonance imaging (MRI) deep learning features with clinical features for preoperative prediction of cytokeratin 19 (CK19) status of hepatocellular carcinoma (HCC). Methods A retrospective experiment was conducted based on the data of 116 HCC patients with confirmed CK19 status. A single sequence multi-scale feature fusion deep learning model (MSFF-IResnet) and a multi-scale and multi-modality feature fusion model (MMFF-IResnet) were established based on the hepatobiliary phase (HBP), diffusion weighted imaging (DWI) sequences of enhanced MRI images, and the clinical features significantly correlated with CK19 status. The classification performance of the models were evaluated to assess the effectiveness of the deep learning models for predicting CK19 status of HCC before surgery. Results Multivariate analysis showed that an increased neutrophil-to-lymphocyte ratio (P=0.029) and incomplete tumor capsule (P=0.028) were independent predictors of CK19 expression in HCC. The deep learning models improved by multi-scale feature fusion and multi-modality feature fusion methods achieved better classification results than the traditional machine learning models and baseline models, and the final MMFF-IResnet model showed the best classification performance with an AUC of 84.2%, an accuracy of 80.6%, a sensitivity of 80.1% and a specificity of 81.2%. Conclusion The multi-scale and multi-modality feature fusion model based on MRI and clinical parameters is capable of predicting CK19 status of HCC, demonstrating the feasibility of combining deep learning methods with MRI and clinical features for preoperative prediction of CK19 status.

Graphical abstract

关键词

深度学习 / MRI影像 / 细胞角蛋白19 / 多尺度特征融合 / 多模态数据

Key words

deep learning / cytokeratin 19 / magnetic resonance imaging / multi-scale feature fusion / multi-modality data

肝细胞癌（HCC）是最常见的原发性肝脏恶性肿瘤，也是全球第3大癌症死亡原因，且发病率每年持续上升^［1］。肝细胞癌传统上被视为一种具有高度特异性的侵袭性肿瘤，表现为从单结节到浸润性肿瘤及肝外转移等。肝细胞癌的主要治疗方法包括肝切除、肝移植、经动脉化疗栓塞、放射治疗、射频消融及药物治疗等^{［2， 3］}，其中肝切除术是肝细胞癌患者主要的治疗手段。然而即使术后加以辅助治疗，仍有约40%~70%的肝细胞癌患者在术后5年内存在肿瘤复发，且5年总生存率仅占6成，整体的术后预后效果不佳，因此降低患者的术后复发风险被列为目前临床重点诊疗目标之一^{［4， 5］}。

细胞角蛋白19（CK19）是肝肿瘤的祖细胞标志物之一，通常在肝祖细胞和胆管细胞中表达，而在肝细胞中不表达^{［6， 7］}。当肝细胞受到炎症或其它刺激被激活为祖细胞时，CK19可能在该肝细胞上表达阳性^［8］。CK19阳性被定义为免疫组化分析中大于等于5%的肝肿瘤细胞存在CK19的中高强度表达^{［9， 10］}，而CK19阳性的肝细胞癌实际上是一种新的独立亚型，又称为双表型肝细胞癌，表现为某些细胞同时表达肝细胞和胆管细胞标志物，与混合型肝细胞癌在单个结节中同时存在典型肝细胞癌和胆管癌的病理学特征不同，在临床上有所区分^{［11， 12］}。有研究表明，有10%~30%的肝细胞癌患者存在CK19的阳性表达^［3］。CK19阳性的肝细胞癌相较于CK19阴性的肝细胞癌通常具有更高的侵袭性，更容易出现肿瘤低分化、血管侵犯及淋巴结转移等组织学行为，加之其对于化疗及局部治疗具有一定的耐药性，将表现出更差的术后预后效果，如早期肿瘤复发及总生存率降低等^{［3， 9， 13-15］}。多项研究证实，CK19阳性与肝细胞癌患者的低生存率、高复发风险显著相关，是肝细胞癌中不良预后的独立预测因素^［15-17］。因此，早期识别肝细胞癌中CK19的状态有利于临床鉴别高危肝细胞癌患者，从而调整诊疗决策以提高患者的生存质量。

目前的临床研究中，对于肝细胞癌的CK19状态的术前预测方法主要分为实验室检查和影像学检查。实验室检查包括穿刺样本的免疫组学分析^［18］和包括甲胎蛋白（AFP）、中性粒细胞与淋巴细胞比率（NLR）、癌胚抗原以及细胞角蛋白19片段等在内的血清标志物^{［3， 12， 13， 19］}分析，而针对CK19状态的影像学检查主要为钆塞酸二钠增强的MRI检查^{［3， 4， 6］}。尽管上述临床研究方法在术前预测CK19状态方面显示出一定的可行性，但在临床检查应用中尚未建立可行的诊断标准，目前主要作为辅助诊断的手段。

随着科学技术的快速发展，机器学习越来越多地被用于辅助临床诊断和治疗，并取得了良好的效果。多项临床研究^{［4， 20-24］}基于不同序列的MRI影像，结合临床特征建立逻辑回归、列线图等机器学习模型，获得了可观的CK19预测结果，成功验证了基于MRI影像学特征乃至多模态特征的机器学习方法在预测CK19状态上的应用价值。除此之外，部分研究^{［11， 18， 25-29］}还基于提取的多序列MRI影像组学特征筛选出组学特征子集，再结合临床特征构建融合特征集合，建立不同的组合模型预测CK19阳性的肝细胞癌，其实验结果成功验证了MRI的影像组学特征在预测CK19状态上的有效性。与前两种研究方法相比，深度学习方法能够省略人工提取、筛选影像特征的特征工程步骤，在减少人为误差及时间的同时直接提取学习更丰富的深度影像特征，但是其在CK19预测中的应用非常有限，对于术前评估CK19状态的可行性有待验证。

因此，本研究旨在验证深度学习方法结合MRI影像和临床参数在术前预测HCC的CK19状态的可行性，探索并建立一种基于多尺度和多模态特征融合的深度学习模型，更好地对HCC的CK19状态进行术前评估，从而辅助临床及时调整诊疗决策，进一步提高患者的生存质量。

1 材料和方法

1.1 研究队列

本回顾性研究经南方医科大学附属顺德医院伦理审查委员会批准（20201124），并放弃了医学研究的知情同意书，在分析之前对所有患者数据进行了匿名处理，保证所有患者在实验全程中受隐私保护及权利不受侵犯。本研究收集来自佛山市顺德区医院和南海区医院的129例HCC患者的数据。患者数据的纳入标准包括：经病理分析证实CK19状态；术前1个月内接受增强MRI检查；未接受治疗性切除手术；数据中未缺失重要的临床指标或MRI影像；MRI影像中没有明显的伪影等影响解释的问题。根据以上纳入标准，最终共有116例患者被纳入研究队列。研究队列的病例排除和纳入情况如图1。

1.2 研究方法

本研究的技术框架如图2。首先在临床参数处理过程中，本研究从临床电子病历中对HCC患者的临床参数进行了统计学分析，筛选与CK19表达显著相关的临床特征，将其编码作为后续传统机器学习模型以及深度学习模型的输入。在影像预处理过程中，对HBP序列和DWI序列图像进行裁剪、重采样等预处理以及数据增强，以优化深度学习模型的影像输入。接着在模型构建过程中，本研究采用优化后的IResnet作为基线模型，并在此基础上采用不同层级的多尺度特征融合方法构建了单序列多尺度特征融合模型（MSFF-IResnet），以探索和分析HBP和DWI序列中不同层级和尺度的影像特征与CK19表达的潜在关系；除此之外，本研究还在MSFF-IResnet中引入了多模态特征融合方法，通过结合双序列影像特征以及临床参数特征，探索多模态数据对于模型性能的提升效果。最后将各模型对于CK19状态的预测结果进行模型对比评估，从而突出构建的多尺度多模态特征融合模型（MMFF-IResnet）在预测CK19状态上的优势。

1.3 临床参数

本研究收集的临床参数由临床指标和影像学特征组成。临床指标分为患者的个人基本信息（如年龄、性别和有无肝炎史）和生化检查的主要指标两部分，其中生化指标包含了AFP、丙氨酸氨基转移酶、天冬氨酸氨基转移酶、谷氨酰转肽酶、淋巴细胞、NLR、白蛋白、总胆红素以及微血管侵犯（MVI）共9个指标。而影像学特征则包括肿瘤直径、肿瘤包膜完整度、肿瘤边缘平滑性、囊性坏死或脂肪沉积、DWI靶征、动脉环状强化、瘤周增强、HBP靶征、HBP瘤周低信号以及卫星结节共10个特征。

上述所有影像学特征与本研究建立的深度学习模型自动提取的影像特征完全不同。影像学特征均由两名专业医生从MRI影像中以文本信息的形式人工提取。当两名医生手动提取的影像学特征存在差异时，更高年资的医生会对其进行评估和修正。

1.4 MRI影像

本研究中所有HCC患者的MRI影像分别通过Magnetom Skyra或Lumina或Verio 3.0T MRI系统收集。考虑到HBP和DWI序列对于HCC诊断的高灵敏度，本研究使用HBP序列和DWI序列的影像作为后续深度学习模型的输入。当HCC患者的HBP和DWI影像中存在一个或多个肝肿瘤病变时，本研究根据实体瘤评估标准选择最大肿瘤病变的所有切片作为研究的目标病变影像。肝肿瘤的分割标签由两名专业医生完成，标签质量由经验丰富的第3名医生进行评估和修正。

为了消除来自不同采集系统所导致的影像差异，本研究首先对收集到MRI影像及肿瘤标签进行了统一切片间间隔为3 mm以及确保序列间切片位置相对应的重采样处理，并使用最大最小值法标准化切片中的像素值。接着将标准化后的影像根据其分割标签中的肿瘤中心裁剪并外扩至224×224的大小，然后使用卷积核为3的均值滤波去除切片中的部分噪声。除此之外，本研究在避免数据交叉污染的前提下使用5折分层交叉验证将初步预处理的MRI影像按照所属的HCC病例及正负样本比例划分为训练组和验证组。由于收集到的MRI影像存在样本量有限以及正负样本比例不平衡的问题，直接将影像数据输入到深度学习模型训练容易导致过拟合风险，因此本研究使用概率为50%、旋转角度为90°、180°及270°的随机旋转和水平、垂直方向的随机翻转，以及将正样本随机重采样至与负样本数量一致的标签混洗技术^［30］将训练组的MRI影像数据增强到3000张。数据增强前后的MRI样本数量信息如表1。

1.5 模型构建

1.5.1 基线模型

与Resnet相比，IResnet对于卷积层、批量归一化层以及激活函数顺序的重新调整，起到了加速信息流和提高模型学习能力的作用。此外，IResnet的瓶颈结构将残差连接路径上用于减半特征图尺寸和信道维度的1×1卷积层替换为分别减半特征图尺寸的3×3最大池化层和减半通道维度的1×1卷积层，通过结合“硬采样”和“软采样”方法，在不增加模型复杂度的前提下减少了空间信息损失、提高了模型分类能力^［31］。

本研究中使用的基线模型是基于IResnet瓶颈结构改进的IResnet18。IResnet18的残差块如图3B所示。尽管IResnet的瓶颈结构可以在一定程度上减少网络参数，但是卷积层的过度堆叠同样会使小数据集的训练存在过拟合的高风险。因此，为了使模型更好地适应有限数据集上的训练，进一步降低过拟合的风险，本研究移除瓶颈结构中的“Middle Block”，将“Start Block”和“End Block”作为一个完整的“Ires Stage”来简化残差块中包含的卷积层数量，并将IResNet18中的通道数量减少到原来的一半。最终的基线模型IResnet18的整体网络架构如表2所示。

1.5.2 多尺度特征融合方法

考虑到收集的影像学特征中除了如靶征、卫星结节和囊性坏死等小区域特征外，还包括与如肿瘤包膜完整性和边缘光滑性等大区域特征，因此本研究尝试在IResnet18的基础上引入多尺度特征融合的方法，使模型同时关注影像中不同层级的细节特征和语义特征，以提升模型对于CK19的分类性能。

与使用卷积层或上采样来统一特征图尺寸的传统多尺度特征融合方法不同，本研究使用全局平均池化（GAP）来处理各Ires Stage层级输出的不同尺寸的特征图，使其中的像素点均值化为具有相同通道数、与分类类别相联系的数值，最后在通道维度上拼接这些特征。这种方法既能保留特征图的全局空间信息，又能够在不增加模型参数量的情况下提升模型对影像特征空间变化的鲁棒性。基于IResnet和多尺度特征融合方法的改进模型称为MSFF-IResnet，不同特征融合方法构建的MSFF-IResnet如图4所示。

首先在图4A中，MSFF-IResnet-a将IResnet18中第2个Ires Stage输出的浅层特征图与第4个Ires Stage输出的深层特征图经由各自的GAP处理后在通道维度上拼接，再通过全连接层（FC）输出关于CK19状态的最终分类结果。如图4B所示，本研究使用第3个Ires Stage输出的中层特征图替换了第2个Ires Stage的浅层特征图，构建了MSFF-IResnet-b。最后，本研究在图4C中合并了上述两种方法，将上述3个层级的特征图经由各自的GAP处理后通道拼接，并将融合特征图放入FC层输出MSFF-IResnet-c的分类结果。这3种特征融合方法可以表示为方程（1）、（2）和（3）：

F_A=concat(GAP(X_{\mathrm{2}}),GAP(X_{\mathrm{4}}))（1）

F_B=concat(GAP(X_{\mathrm{3}}),GAP(X_{\mathrm{4}}))（2）

F_C=concat(GAP(X_{\mathrm{2}}),GAP(X_{\mathrm{3}}),GAP(X_{\mathrm{4}}))（3）

其中X₂、X₃、X₄以及F_A、F_B、F_C分别为第2到第4个Ires Stage输出的特征图和通道维拼接后的融合特征图，X_i∈R^b×c×h×w，F_i∈R^b×c×1×1，b、c、h和w分别表示特征图的Batchsize、通道数、高和宽。

为了充分利用不同层级的影像特征对于CK19状态分类的贡献，本研究将融合了3个层级影像特征的MSFF-IResnet-c作为最终的MSFF-IResnet，用于后续多尺度多模态特征融合模型的构建。本研究通过对比HBP和DWI序列在基线模型以及3种融合方法中的分类性能变化以及正负样本的分类表现差异，探索和分析了深度学习模型在分类CK19状态时关注的潜在影像特征。

1.5.3 多模态特征融合方法

在深度学习模型中引入多模态数据，使模型能够充分学习多模态数据间的特征关联，从而进一步提升对于CK19的分类性能。传统的多模态特征融合方法大多为特征提取阶段的融合方法，该方法虽然能通过独立的深度学习模型分别提取学习不同序列影像的深层特征，但是其模型参数量相较于原先的单序列模型直接扩增了近1倍，运算成本也随之增加。考虑到深度学习算法应用于临床诊断时所需的便捷性，本研究在保证模型精度的前提下提出在MSFF-IResnet的影像输入阶段提前融合两个序列影像的方法，通过与传统的特征提取阶段融合多模态影像特征的方法对比，探索和分析在输入阶段融合多模态影像方法的可行性和优越性。

基于MSFF-IResnet和多模态特征融合方法构建的MMFF-IResnet如图5所示。图5A展示了在输入阶段融合多模态影像的新方法（MMFF-IResnet-a），HBP序列和DWI序列相应位置的MRI切片在通道维度上堆叠，将原始输入的通道从1变为2，然后输入MSFF-IResnet后共享模型参数和提取融合多尺度特征，获得CK19状态的预测结果。与传统融合方法相比，该方法能够在一定程度上降低模型参数量、提升模型的泛化能力，并提升计算效率。图4B则展示了特征提取阶段融合的传统方法（MMFF-IResnet-b），两个序列的影像被输入到独立的未包含FC层的MSFF-IResnet模型主干中，然后在模型提取和特征学习后融合对应的多尺度特征，最后通过FC层输出预测结果。此外如图5C所示，本研究还在MMFF-IResnet-a的基础上添加了编码后的临床特征输入，在特征提取阶段将MSFF-IResnet主干输出的多尺度融合特征图和编码的临床特征进行通道维度融合，最后经过FC层输出预测结果（MMFF-IResnet-c）。为了验证双序列影像结合临床参数的多模态数据对于深度学习模型的性能提升效果，本研究将MMFF-IResnet-c视为最终的MMFF-IResnet。

1.6 实验设置

本研究使用sklearn包的函数构建了机器学习模型，其具体的实验参数设置如表3所示。深度学习实验使用SGD优化算法和CrossEntropyLoss损失函数训练模型，训练过程采用了基于预热学习和余弦函数变化的学习率衰减策略，以及基于损失函数损失值的早停技术以加速模型收敛和降低过拟合的风险。具体的实验参数设置如表4所示。

1.7 统计分析与模型评估

所有统计分析均使用SPSS（26.0版）进行。在临床参数的统计分析中，本研究使用Kolmogorov-Smirnov检验检验连续变量的正态性，以“均值±标准差”的方式表示正态分布的定量数据，并通过Student t检验分析其在正负样本间的显著性；对于不符合正态分布的定量数据，则用“中位数（最小值、最大值）”的方式表示，并通过非参数Mann-Whitney U检验分析显著性。本研究还采用“数量（百分比）”的形式表示分类变量，并使用皮尔逊卡方检验分析其显著性。此外，使用二元逻辑回归进一步筛选与CK19在HCC中表达显著相关的临床特征。置信区间（CI）设置为95%，当双侧检测P<0.05时，认为该变量具有统计学意义。

图像预处理、机器学习和深度学习的分类实验及评估过程均使用Python 3.9和PyCharm 2.0.1进行。实验设备的中央处理器和图像处理器型号分别为AMD Ryzen 7 5800H和2个12G的NVIDIA GeForce RTX2080Ti。在模型分类性能的对比评估中，本研究取5折分层交叉验证的验证组结果平均值作为各模型的分类结果，并采用准确度（ACC）、精确度（PRE）、敏感度（SEN）、特异性（SPE）和受试者工作特征曲线（ROC）下面积（AUC）等指标来评估模型的分类性能。

2 结果

2.1 统计分析结果

临床参数统计信息（表5）。在基本信息中，CK19阴性的病例为78例（67.2%），其中男性68例，女性10例，平均年龄为57.7岁；而CK19阳性的病例为38例（32.8%），其中男性35例，女性3例，平均年龄为59.4岁。在生化指标分析中，CK19阳性患者的AFP（P=0.017）和NLR（P=0.004）值基本高于CK19阴性患者。在影像学特征方面，CK19阳性患者和CK19阴性患者之间的肿瘤包膜完整性（P=0.016）存在显著性差异，而两组患者在动脉期环形增强（P=0.097）也显示出了一定程度上的差异。此外，在MVI阳性的HCC患者中CK19的表达比例也较高（39.5%）。

在单变量分析结果中（表6），AFP超过400 ng/mL（OR=6.000，P=0.007）被视为HCC中CK19阳性表达的危险因素。此外，NLR值、MVI阳性、肿瘤包膜不完整和动脉边缘增强，其OR值均大于1且P值接近0.05，可被视为潜在的危险因素，也被纳入后续的多变量分析。根据逐步选择法的多变量分析结果，NLR值增加（OR=1.417，P=0.029）、肿瘤包膜不完整（OR=3.250，P=0.028）这两个特征最终被确定为 CK19阳性的独立预测因素。这两个特征与AFP值被共同编码作为后续机器学习模型以及深度学习模型的临床特征输入。

2.2 机器学习分类结果

建立的五个模型的平均AUC值分别为0.747、0.759、0.731、0.750和0.728，平均ACC值分别为0.810、0.810、0.749、0.798和0.762，而平均SEN值仅为0.567、0.607、0.673、0.607和0.633（表7）。从实验结果可以看出，仅基于临床特征的机器学习模型虽然拥有较好的AUC值和ACC值，但是其存在SEN低、SPE高的问题，这将导致模型在辅助诊断时容易漏诊CK19阳性的患者，分类性能有待提升。

2.3 深度学习分类结果

2.3.1 多尺度特征融合方法的消融实验

基于HBP序列和DWI序列的基线模型和多尺度特征融合模型的消融实验结果和ROC图如表8和图6所示。图6A、B分别为基于HBP序列和DWI的消ROC对比结果。

从上述分类结果和ROC图可以看出，融合了不同层级的多尺度特征融合模型相较于IResnet在分类性能上均取得了不同程度的提升。其中，融合了浅层特征和深层特征的MSFF-IResnet-a在HBP序列上的 AUC提升程度（与IResnet的AUC差值除以IResnet的AUC值）为8.6%，明显高于在DWI序列中的1.6%；相反地，融合了中层特征和深层特征的MSFF-IResnet-b在DWI序列上的AUC提升程度为3.9%，高于其在HBP序列上的2.8%。此外，融合了3种不同层级特征的MSFF-IResnet-c表现出了最佳的分类性能，其在HBP序列上取得了最大的ACC、PRE和AUC提升值，分别为13.1%、11.7%和10.1%，而在DWI序列中对于SEN和AUC为也分别提升了23.8%和4.2%。

2.3.2 多模态特征融合方法的消融实验

最终的多尺度特征融合模型MSFF-IResnet和添加了多模态输入的多尺度多模态特征融合模型MMFF-IResnet的消融实验的结果和ROC图如表9和图7所示。

从实验结果可以看出，与使用单个序列作为模型输入的MSFF-IResnet相比，多模态特征融合方法有效地提升了多尺度特征融合模型的分类性能。虽然在输入阶段融合多序列影像的MMFF-IResnet-a相较于传统的特征提取阶段融合多序列影像的MMFF-IResnet-b仅提升了0.6%的ACC和AUC，但是其以0.5%的SEN降低的代价换来了5.4%的PRE提升，对CK19阳性患者的检出率明显提升。当结合HBP序列、DWI序列和临床参数时，MMFF-IResnet-c在各个分类指标上都达到了最高值，其PRE、SEN和AUC相较于单序列输入的MSFF-IResnet分别提升了6.5%、12.8%和2.3%，其余指标的提升也均在2%以上。

2.4 深度学习影像特征分析

本研究将基线模型IResnet和多尺度特征融合模型MSFF-IResnet预测的正负样本影像切片进行了对比，以探索和分析HBP序列和DWI序列中与CK19表达相关的潜在影像特征。在图8中，A1-A3和B1-B3分别来自3个CK19阳性的HCC患者的HBP序列影像和DWI序列影像，而A4-A5和B4-B5分别来自两个CK19阴性的HCC患者的HBP序列影像和DWI序列影像。

在HBP序列中，A1和A2被IResnet和MSFF-IResnet正确分类为阳性， A4和A5被正确分类为阴性，而A3和DWI序列的B3则分别被IResnet错误分类为阴性和被MSFF-IResnet正确分类为阳性。对比上述切片可以发现，CK19阳性HCC更容易表现出边缘低信号、中间高信号的HBP靶征（A1）和肿瘤周围组织信号降低的瘤周低信号（A1和A3），以及不规则的肿瘤边缘（A2）；而CK19阴性HCC的边缘较为光滑规则，肿瘤整体呈现出均匀的低信号，并具有清晰的肿瘤边界（A4和A5）。在DWI序列中，B1和B2同样被正确分类为阳性，B4和B5被正确分类为阴性。从5个切片的DWI影像表现可以看出，CK19阳性HCC在DWI序列中具有高信号的肿瘤区域（B1-B3），且肿瘤中央常常伴有低信号的脂肪沉积区域（B1）；而CK19阴性HCC的扩散受限程度低于阳性HCC，呈现出整体偏低的高信号区域（B4和B5）。在HBP序列和DWI序列中，大直径的HCC更容易出现CK19的阳性表达。

当一个切片中同时出现与CK19阳性和阴性相关的影像特征时，仅靠深层特征分类CK19状态的IResnet更容易将其错误分类为阴性（A3和B3）。A3的HCC既包含了与CK19阳性相关的瘤周低信号和不清晰的肿瘤边界，又表现出了与CK19阴性相关的肿瘤整体的均匀低信号。IResnet重点关注均匀低信号的小区域语义特征，因此将A3错误分类为阴性，而融合了包含更多边缘及纹理信息的浅层和中层特征的MSFF-IResnet则更好地权衡了两种不同类别相关特征的关系，成功将A3分类为阳性。同样地，B3的HCC中同时可见与CK19阳性相关的大面积高信号区域和与CK19阴性相关的小面积低信号区域，从而被IResnet错误分类为阴性和被MSFF-IResnet正确分类为阳性。

2.5 与现有研究的对比实验

除了研究内的实验对比外，本研究还将最终的MMFF-IResnet的分类结果与近两年临床研究上的CK19预测结果进行了对比。如表10的对比结果所示，相较于大多数现有的机器学习和影像组学的CK19预测研究，本研究提出的多尺度多模态特征融合方法比目前的机器学习预测研究至少提升了4.8%的ACC和9.6%的AUC，比Hu等研究以外的其他影像组学预测研究至少提升了3.2%的SEN和4.7%的AUC，展现出了可观的CK19预测能力。

3 讨论

在本研究的统计学和显著性分析中，AFP和NLR值两个生化指标，以及肿瘤包膜完整性和动脉期环形增强等影像学特征是HCC患者CK19表达的潜在危险因素。先前有研究指出，CK19阳性的HCC组织在病理学上表现出更多的浸润性、多结节融合或块状生长，这导致相应MRI图像中的肿瘤边缘不规则^［32］；动脉边缘增强与肿瘤包膜缺损、浸润性生长、中心坏死有关，在CK19阳性表达的HCC中更常见^［33］。多变量分析的结果显示，NLR指标升高和不完整的肿瘤包膜是CK19阳性表达的独立预测因素，而多项研究^{［7， 11， 12， 34］}中提到的AFP值并未显示出显著意义。有研究表明，中性粒细胞的增多可能抑制免疫细胞的细胞溶解活性，并促进肿瘤周围基质的血管生成，淋巴细胞则参与了细胞介导的抗肿瘤免疫反应^［13］。而肿瘤包膜的不完整或者完全缺失往往预示着更高的浸润以及转移风险。当NLR值升高合并肿瘤包膜缺失时，意味着体内更高的血管侵犯和淋巴结转移风险，而这些现象与CK19阳性表达时可能存在的血管侵犯以及淋巴结转移等组织学行为大致相符。因此，NLR值升高和肿瘤包膜不完整对于CK19阳性表达具有重要的预测意义，适当提升它们的参考权重可能有利于术前识别CK19阳性的HCC患者。

机器学习分类结果表明，基于临床参数输入建立的机器学习模型在预测HCC中CK19表达方面虽然具有不错的ACC（最高为81.0%），但是其SEN普遍较低，这将导致部分CK19阳性患者被漏诊，从而影响临床医生调整诊疗决策。而本研究提出的多尺度特征融合和多模态特征融合方法在基线模型的基础上改善了AUC和SEN，其中最终的多尺度多模态特征融合模型的 ACC、AUC、SEN以及SPE均超过了80%，表现出了最佳的分类性能。除此之外，MMFF-IResnet与其他现有的机器学习和影像组学临床研究相比（表10），同样取得了优异的CK19预测表现。以上实验结果表明，相较于传统的机器学习和影像组学方法，本研究所提出的结合多尺度特征融合和多模态数据的深度学习方法能够有效地降低人为选择临床特征时所带来的误差影响，更加深入地挖掘了CK19表达的相关特征，在保证较高的阳性患者检出率的同时有效地提高了算法的识别效率，在预测HCC的CK19状态上具有一定的优越性和可行性。

从多尺度特征融合方法的消融实验结果可以看出，基于浅层特征和中层特征的多尺度特征融合方法有效地提升了IResnet在HBP和DWI序列中的CK19分类性能。后续的影像特征分析结果也表明，除了深层语义特征外，MSFF-IResnet在HBP序列中更倾向于关注包括HBP靶征、瘤周低信号以及不规则的肿瘤边缘等与CK19阳性表达相关的浅层细节特征，而在DWI序列中则更多地关注包括整体高信号肿瘤区域和中央低信号脂肪层级区域等特征在内的小区域特征。不同的MRI序列中不同层级的深度学习影像特征对于CK19状态预测具有显著的影响。

此外，基于MSFF-IResnet的多模态特征融合方法的消融实验结果表明，本研究提出的基于通道维度提前融合HBP和DWI序列的影像输入并共享模型参数的方法，相较于使用多个模型来分别提取和学习每个序列的影像特征的传统方法相比，在拥有更低的模型参数和计算成本的同时，有效地提升了深度学习算法应用于临床CK19诊断时的效率。而深度学习模型挖掘的影像特征和临床参数特征的进一步融合，同样有效地改善了深度学习算法对于CK19分类的精确度和灵敏度，从而进一步提高了分类性能。

本研究通过多尺度特征融合和多模态特征融合方法，建立了CK19状态术前预测的MMFF-IResnet模型，取得了比传统机器学习方法及大部分现有研究更好的预测结果，并较好地分析了模型预测时临床特征及影像特征与CK19表达的关联性。当然，本研究仍有一些不足之处需要改进。首先，回顾性研究收集的HCC病例相对较少，导致数据可能存在选择性偏倚，这在一定程度上影响了统计分析的显著性以及后续机器学习和深度学习的分类结果。有必要在后续研究中增加纳入病例的数量，以减少意外错误的影响。其次，研究受限于病例数量而缺少测试组的划分，后续实验应该在增加样本数的基础上建立一个额外的测试组，使用验证组中的最佳模型对测试组进行预测分类，以进一步提升模型的分类性能，评估其稳定性。第三，需要纳入更多的MRI序列以评估模型的稳定性和可行性。最后，本研究虽然对深度学习影像特征进行了探索分析，但所建立的深度学习模型缺乏分类结果的特征图可视化，对于CK19表达相关的影像特征的可解释性仍然存在一定程度的不足，需要在后续研究中加以改进和补充。

总之，本研究建立的多尺度多模态特征融合模型，成功验证了深度学习方法结合MRI影像特征和临床参数特征在术前预测HCC的CK19状态上的可行性，具有可观的临床应用前景。

参考文献

[1] Forner A, Reig M, Bruix J. Hepatocellular carcinoma[J]. Lancet, 2018, 391(10127): 1301-14.

[2] Wu MS, Zhong JH, Chen K, et al. Association of CK19 expression with the efficacy of adjuvant transarterial chemoembolization after hepatic resection in hepatocellular carcinoma patients at high risk of recurrence[J]. J Clin Transl Res, 2022, 8(1): 71-9.

[3] Zhuo JY, Lu D, Tan WY, et al. CK19-positive hepatocellular carcinoma is a characteristic subtype[J]. J Cancer, 2020, 11(17): 5069-77.

[4] Guo YX, Chen JJ, Zhang YF, et al. Differentiating Cytokeratin 19 expression of hepatocellular carcinoma by using multi-b-value diffusion-weighted MR imaging with mono-exponential, stretched exponential, intravoxel incoherent motion, diffusion kurtosis imaging and fractional order calculus models[J]. Eur J Radiol, 2022, 150: 110237.

[5] 肝癌新辅助治疗中国专家共识协作组, 中国研究型医院学会消化外科专业委员会, 中国抗癌协会肝癌专业委员会. 肝癌新辅助治疗中国专家共识(2023版)[J]. 中华外科杂志, 2023, 61(12): 1035-45.

[6] Choi SY, Kim SH, Park CK, et al. Imaging features of gadoxetic acid-enhanced and diffusion-weighted MR imaging for identifying cytokeratin 19-positive hepatocellular carcinoma: a retrospective observational study[J]. Radiology, 2018, 286(3): 897-908.

[7] Chen YY, Chen J, Zhang Y, et al. Preoperative prediction of cytokeratin 19 expression for hepatocellular carcinoma with deep learning radiomics based on gadoxetic acid-enhanced magnetic resonance imaging[J]. J Hepatocell Carcinoma, 2021, 8: 795-808.

[8] Yoneda N, Sato Y, Kitao A, et al. Epidermal growth factor induces cytokeratin 19 expression accompanied by increased growth abilities in human hepatocellular carcinoma[J]. Lab Invest, 2011, 91(2): 262-72.

[9] Yoon JK, Choi JY, Rhee H, et al. MRI features of histologic subtypes of hepatocellular carcinoma: correlation with histologic, genetic, and molecular biologic classification[J]. Eur Radiol, 2022, 32(8): 5119-33.

[10] Hu XX, Wang WT, Yang L, et al. MR features based on LI-RADS identify cytokeratin 19 status of hepatocellular carcinomas[J]. Eur J Radiol, 2019, 113: 7-14.

[11] Wang WT, Gu DS, Wei JW, et al. A radiomics-based biomarker for cytokeratin 19 status of hepatocellular carcinoma with gadoxetic acid-enhanced MRI[J]. Eur Radiol, 2020, 30(5): 3004-14.

[12] Lu XY, Xi T, Lau WY, et al. Hepatocellular carcinoma expressing cholangiocyte phenotype is a novel subtype with highly aggressive behavior[J]. Ann Surg Oncol, 2011, 18(8): 2210-7.

[13] Lee CW, Lin SE, Yu MC, et al. Does neutrophil to lymphocyte ratio have a role in identifying cytokeratin 19-expressing hepatocellular carcinoma?[J]. J Pers Med, 2021, 11(11): 1078.

[14] Govaere O, Komuta M, Berkers J, et al. Keratin 19: a key role player in the invasion of human hepatocellular carcinomas[J]. Gut, 2014, 63(4): 674-85.

[15] Sun DW, Zhang YY, Sun XD, et al. Prognostic value of cytokeratin 19 in hepatocellular carcinoma: a meta-analysis[J]. Clin Chim Acta, 2015, 448: 161-9.

[16] Tsuchiya K, Komuta M, Yasui Y, et al. Expression of keratin 19 is related to high recurrence of hepatocellular carcinoma after radiofrequency ablation[J]. Oncology, 2011, 80(3/4): 278-88.

[17] Qin SD, Zhang J, Qi YP, et al. Individual and joint influence of cytokeratin 19 and microvascular invasion on the prognosis of patients with hepatocellular carcinoma after hepatectomy[J]. World J Surg Oncol, 2022, 20(1): 209.

[18] Yang F, Wan YD, Xu L, et al. MRI-radiomics prediction for cytokeratin 19-positive hepatocellular carcinoma: a multicenter study[J]. Front Oncol, 2021, 11: 672126.

[19] Caviglia GP, Ciruolo M, Olivero A, et al. Prognostic role of serum cytokeratin-19 fragment (CYFRA 21-1) in patients with hepatocellular carcinoma[J]. Cancers, 2020, 12(10): 2776.

[20] Zhao Y, Tan XL, Chen JM, et al. Preoperative prediction of cytokeratin-19 expression for hepatocellular carcinoma using T1 mapping on gadoxetic acid-enhanced MRI combined with diffusion-weighted imaging and clinical indicators[J]. Front Oncol, 2022, 12: 1068231.

[21] 关星群, 刘子蔚, 郭保亮, 等. 钆塞酸二钠增强MRI结合T1mapping术前预测肝细胞癌CK19表达及列线图构建[J]. 中国CT和MRI杂志, 2023, 21(6): 103-6.

[22] Lv J, Yin HY, Yu HJ, et al. The added value of 18F-FDG PET/MRI multimodal imaging in hepatocellular carcinoma for identifying cytokeratin 19 status[J]. Abdom Radiol, 2023, 48(7): 2331-9.

[23] 鲁梦恬, 瞿 琦, 徐 磊, 等. 基于LI-RADS v2018及MRI特征对肝细胞癌CK19表达的风险预测及预后评估[J]. 磁共振成像, 2024, 15(3): 107-13, 121.

[24] 彭超群, 杨 燕, 杨程羽, 等. 基于钆塞酸二钠增强MRI特征构建肝细胞癌CK19表达术前预测模型[J]. 中国医学计算机成像杂志, 2024, 30(2): 197-204.

[25] Huang XL, Long LL, Wei JQ, et al. Radiomics for diagnosis of dual-phenotype hepatocellular carcinoma using Gd-EOB-DTPA-enhanced MRI and patient prognosis[J]. J Cancer Res Clin Oncol, 2019, 145(12): 2995-3003.

[26] Hu XJ, Wang Q, Huang GB, et al. Gadoxetic acid-enhanced MRI-based radiomics signature: a potential imaging biomarker for identifying cytokeratin 19-positive hepatocellular carcinoma[J]. Comput Math Methods Med, 2023, 2023: 5424204.

[27] Liu JQ, Wang J, Huang XL, et al. A radiomics model based on magnetic resonance imaging to predict cytokeratin 7/19 expression and liver fluke infection of hepatocellular carcinoma[J]. Sci Rep, 2023, 13(1): 17553.

[28] Zhang LQ, Zhou HS, Zhang XQ, et al. A radiomics nomogram for predicting cytokeratin 19-positive hepatocellular carcinoma: a two-center study[J]. Front Oncol, 2023, 13: 1174069.

[29] 王 倩, 黎金葵, 徐俊霞, 等. Gd-EOB-DTPA增强MRI预测CK19阳性肝细胞癌及其预后的临床价值[J]. 临床放射学杂志, 2024, 43(3): 388-93.

[30] Shen L, Lin ZC, Huang QM. Relay backpropagation for effective learning of deep convolutional neural networks[M]//Lecture Notes in Computer Science. Cham: Springer International Publishing, 2016: 467-82.

[31] Duta IC, Liu L, Zhu F, et al. Improved residual networks for image and video recognition[C]//2020 25th International Conference on Pattern Recognition (ICPR). Milan, Italy. IEEE, 2021: 9415-22.

[32] Jeong HT, Kim MJ, Kim YE, et al. MRI features of hepatocellular carcinoma expressing progenitor cell markers[J]. Liver Int, 2012, 32(3): 430-40.

[33] An C, Kim DW, Park YN, et al. Single hepatocellular carcinoma: preoperative MR imaging to predict early recurrence after curative resection[J]. Radiology, 2015, 276(2): 433-43.

[34] Ma WJ, Wang HY, Teng LS. Correlation analysis of preoperative serum alpha-fetoprotein (AFP) level and prognosis of hepatocellular carcinoma (HCC) after hepatectomy[J]. World J Surg Oncol, 2013, 11: 212.

基金资助

国家重点研发计划项目(2023YFC2414502)

广东省科技创新战略专项基金(2018FS05020102)

RIGHTS & PERMISSIONS

版权所有©《南方医科大学学报》编辑部2021