基于情绪关联的多模态认知负荷量化

摘要

现代人机交互系统信息高度密集、任务复杂多变.情绪是交互任务中的固有心理产物，为探讨人机交互任务中操作员脑力负荷的变化，依据认知负荷理论和成因分析，将认知负荷划分为记忆力负荷、专注力负荷、情绪情感，分别对应内部认知负荷、外部认知负荷、关联认知负荷.以情绪作为内部认知负荷与外部认知负荷联系的桥梁，继而对整体人机交互的认知负荷进行分析.同时基于多模态数据协同，提出了人机交互过程中操作人员脑力负荷动态预测模型.为证明并校验所提出的模型，选取53名被试完成3种渐进式难度的心理学范式.结果验证了不同类型负荷激发任务下多模态信号、不同等级负荷激发任务下多模态信号与被试报告的主观评价的主效应显著（P<0.05）；总脑力负荷预测值与被试主观评价、子负荷预测值与子负荷量表主观评价呈显著正相关；平均脑力负荷预测值与对应多模态信号呈显著正相关.所提模型对人机交互过程中操作人员脑力负荷的动态预测与评价具有应用价值.

关键词

人机交互系统 / 认知负荷 / 负荷量化 / 多模态信号 / 负荷预测

基金资助

中国实验室创新基金资助项目(2022-JCJQ-LA-001-080)