基于双流ViT+ConvNeXt架构的前庭功能校准识别模型构建与价值

摘要

目的 构建一种基于双流架构的深度学习模型，提高眼震视图校准试验结果的判读准确性，同时实现对扫视欠冲波形的有效识别。方法 通过结合视觉transformer(vision transformer, ViT)与改进型ConvNeXt卷积网络，构建跨模态特征融合的前庭功能校准识别模型。模型采用轨迹图和空间分布图作为输入源，通过多任务学习框架对校准数据进行分类判断，并对欠冲波形进行直接判定。结果 模型在判断校准配合程度方面表现优秀，左向、中部、右向校准的准确度、灵敏度、特异度均大于90%，且AUC均接近0.99，最佳准确度97.66%（中部校准）、最佳灵敏度98.98%（中部校准）、最佳特异度96.87%（右向校准），最大AUC为0.997（右向校准）。模型识别欠冲波形表现良好，准确度87.50%、灵敏度89.66%、特异度85.71%,F1评分86.67%,AUC为0.931。结论 基于ViT+ConvNeXt构建的模型能有效提高前庭功能校准试验结果的判读准确性，同时能识别欠冲波形，为校准试验结果判读及欠冲波形识别提供新的方案。

关键词

前庭功能 / 校准试验 / 眼震视图 / 深度学习模型