面向心智理论发展的视频问答研究

摘要

近年来随着机器心智理论不断发展,研究发现,机器心智理论发展与儿童心智理论发展的三角模型有很大不同.因此,提出了面向机器心智理论发展的三角模型,该三角模型描述了机器心智理论过程中各个工具之间的关系.依照该三角模型,提出了适用于机器心智理论发展的评测数据集,可以用于机器心智理论的动态测评.最后,设计了一个专门用于认知推理的视频问答模型——FOMemNet,该模型主要用于解决信念、愿望和意图推理.在认知推理任务中,模型需要以观察者的角度来进行推理, FOMemNet能通过视觉事实和观察者感知编码模块来获得视觉事实特征和观察者特征.此外,模型利用多角度融合模块和两个记忆模块对两个角度的特征进行融合以获得全局表示. FOMemNet在BDIQA(Belief, Desire and Intention Question Answer)数据集上的准确率提升了2.27%.实验表明,事实和观察者的概念能有效提高视频问答的认知推理的能力.

关键词

人工智能 / 机器认知评测 / 多模态