CLAML：视觉语言模型下铁谱图像的自适应元学习

摘要

视觉语言模型由于其出色的泛化性能，近两年在众多领域表现出很好的性能。但在专业领域数据上，如润滑油中的铁谱数据，视觉语言模型的泛化性能遇到挑战。如何在少量数据情况下快速使视觉语言模型适应特定领域，实现铁谱图像的自适应学习，是一个新的挑战。研究提出一种新的视觉语言模型和大语言模型结合的自适应元学习方法。该方法在视觉语言模型基础上，利用大语言模型重新生成文本描述，如对不同类别的铁谱数据，生成涵盖成因、形态、大小和颜色等方面的文本描述，利用多角度的铁谱线索，对视觉语言模型微调，使其更适合铁谱这样的专业数据，在专业领域架构起图像和文本之间的语义桥梁，提升零样本识别能力。并在少量样本情况下，引入自适应元学习方法，实现对铁谱图像的快速自适应，进一步提升性能。实验结果表明自适应元学习方法在铁谱图像磨损类型识别中的有效性。

关键词

视觉语言模型 / 大语言模型 / 铁谱图像分类 / 零样本学习 / 自适应元学习

基金资助

国家自然科学基金项目（62476064）; 广东省自然科学基金项目（2022A1515011527,2024A1515010455）