MineralMLLM：矿物智能分析大模型

摘要

矿物分析在地质勘探与资源开发中具有重要意义.但传统分析方法高度依赖专业地质知识及精密仪器，过程耗时且成本较高.近年来，多模态大模型（Multimodal large language models, MLLMs）快速发展，为矿物分析提供了新思路.目前通用领域大模型在专业知识覆盖和泛化能力上仍存在不足.为此，本研究构建了一种基于多模态大模型的矿物分析系统（Mineral multimodal large language model, MineralMLLM），以Qwen2.5–VL为基座模型，利用矿物“图–文”数据集，分别采用Infused adapter by attention(IA3)与Low-rank adaptation(LoRA)两种高效参数微调策略进行对比优化，并结合检索增强生成（Retrievalaugmented generation, RAG）技术整合领域知识库，构建轻量化Web架构实现可视化交互.实验结果表明，LoRA和IA3方法微调后，系统在原基准模型上BERT–Score提升约10%和1%，选择LoRA结合RAG技术后其得分相较原微调方法再提升约10%，从而显著增强了矿物识别的准确性和专业描述生成能力，有助于提升矿相分析的智能化水平和工程应用价值.消融实验验证系统在处理模糊图像时仍保持较高稳定性与鲁棒性，证明了所提方案的有效性与可靠性.

关键词

矿物分析 / 多模态大模型 / 微调 / 检索增强技术 / 领域特定多模态大模型

基金资助

国家自然科学基金面上资助项目（52574368）