基于Transformer构建处理非线性纵向测量数据的深度学习预测模型

摘要

目的 针对多次测量的纵向非线性数据建立基于Transformer的深度学习预测模型。方法 首先建立基于Transformer模型的深度学习方案，引入个人识别码作为随机效应因子并基于词嵌入的原理提出伴生编码机制，处理多次测量的非线性时序问题。随后考虑了两种数据结构，即带有随机效应假设的线性与非线性的模拟数据，将基于Transformer的深度学习预测模型与传统的广义估计方程(generalized estimating equation, GEE)、人工神经网络方法(artificial neural network, ANN)构建的预测模型进行对比测试。应用阿尔茨海默病神经影像学计划研究(Alzheimer′s disease neuroimaging initiative, ADNI)数据进行了实例研究，探究认知功能预测模型的建立策略。结果 在线性与非线性的模拟数据中，该模型在模拟数据测试中均方误差(mean squared error, MSE)与平均绝对误差(mean absolute error, MAE)均远低于GEE和ANN方法。在ADNI数据中检验结果为：训练集的MSE值为0.0391,测试集的MSE值为1.1835,表现稳定。结论 基于Transformer的深度学习预测模型在模拟数据中拟合能力与稳定性在三者中表现最优，在实际应用中表现良好。

关键词

纵向非线性数据 / 深度学习 / 预测模型 / 随机效应