0 引言
青海省自20世纪50年代开始开展了地质勘查工作,形成了海量的地学数据资源,截至2020年3月,青海省自然资源博物馆馆藏成果地质资料8 310档(其中:基础地质资料1 091档、物化遥资料923档、水工环地质资料561档、矿产勘查资料4 420档,其他资料385档),数据量达20.5 TB,原始地质资料960档。地学数据资源包括地理信息、土地资源、基础地质调查、矿产勘查、地质科研、规划、管理、地质灾害、生态环境9大类,具有碎片化、非结构化、多尺度、格式各异、多源异构、存储分散、海量等特点
[1-8],为地学数据“信息孤岛”,难以集成共享与分析利用,一定程度上限制了地学数据挖掘的深度和广度
[9-10]。国务院于2015年印发《促进大数据发展行动纲要》,自然资源部于2015年印发《促进国土资源大数据应用发展的实施意见》,自此地质大数据的发展进入一个崭新阶段
[11-17],西藏、贵州、山东、湖北、广东、浙江等各类省级地质大数据平台应运而生,依托地质大数据提供多元化、智能化综合信息服务
[18-21]。中国地质调查局积极贯彻落实党中央及国土资源部大数据与信息化建设总体部署,2017年启动“地质云”建设工作,依托云计算、互联网+、大数据等信息技术,建成“地质云”服务平台体系,实现地质信息的开放与共享
[22],截至2022年底,整合构建了涵盖11个专业领域、98个国家级核心地质数据库的地球大数据“一张图”体系,开发形成了8大类别、12.8万余件地质信息产品体系,定制开发了60余个专题服务,研发并接入了28个专业应用系统
[23]。地质云在支撑服务国家重大战略、引领行业数字化转型发展、提升地质调查工作质效等方面,持续向政府部门、企事业单位和社会公众等各类用户提供精准、及时的地质信息服务,取得了显著应用成效
[24-25]。虽然青海省自然资源系统相关单位在地质资料管理、数据查询、统计分析、可视化展示、初步信息技术应用等方面积极探索开展了地质信息化工作,但尚未开展针对地质大数据信息化的有效信息技术探索,地学数据挖掘、社会化服务能力不足。为了适应新时代对地勘工作信息化的新形势和新要求,支撑服务新一轮找矿突破战略行动,2021年青海省自然资源厅设立“青海省地学大数据平台建设及开发利用”项目,构建青海省地学大数据整合及应用系统。
1 系统架构及关键技术
青海省地学大数据整合及应用系统以地理信息技术、大数据技术、虚拟化技术、分布式技术、互联网技术、数据库技术为支撑,采用主流的前端技术VUE+JS以及后端技术ASP.NET(C#),以B/S结构为总体构架,MySQL作为关系型数据库;三维场景地质一张图系统采用WebGL技术以及三维前端框架Cesium,数据库为开源的PostgreSQL数据库,采用MapGIS 10.6作为GIS平台,建立了面向管理人员、地质专业技术人员的地学大数据服务。
1.1 系统总体架构
1.1.1 基础设施层
利用服务器资源(存储资源、计算资源、网络资源以及安全资源)的基础硬件支撑能力以及操作系统基础软件,提供多种遵循风格统一、规范的REST及OGC标准的Web服务,满足对基础设施不断变化的应用需求。因地学数据多为涉密或不宜公开,为解决不同数据的集成整合问题,面向不同用户群体,系统部署了政务版和单机版(
图1)。
1.1.2 数据服务层
由系统运行所需的数据资源及信息资源库组成,汇聚了经过标准化处理的数据(基础地理数据、基础地质数据、水工环地质数据、矿产地质数据、综合管理数据、工作程度数据等),通过集成整合构建了青海省地学数据库。地学数据库采用MapGIS SDE空间数据存储引擎技术实现对地质大数据的存储与管理,通过基于规则的数据目录实现各类空间、非空间数据的一体化存储和管理,实现多源异构数据物理上的分散、逻辑上的统一。
1.1.3 平台服务层
通过全新的模式整合技术资源,将 GIS 技术与云技术模式融合构建数据服务和资源管理体系框架。实现目录服务、要素服务、地图服务、处理服务、空间分析服务及数据挖掘服务,平台运维管理提供服务发布、资源管理、权限管理及日志管理,所有发布的服务形成服务资源池,通过统一的接口标准为上层应用提供全面的服务资源支持。
1.1.4 应用服务层
为业务应用提供统一的信息资源共享和框架支撑,面向不同用户提供符合其权限的应用与服务。用户借助Web系统,获取Web端服务资源开展业务应用。尤其是开发了智能化模块作为示范,以青海五龙沟金矿矿集区为例,采用人工智能技术以提升青海地学大数据的应用水平与服务能力。
1.2 关键技术
青海省地学大数据系统构建主要有基座软件体系技术、动态扩展与二次开发技术、三维/四维融合集成的重点矿集区靶区优选与资源评价技术,具体内容概括为如下四个方面。
1.2.1 基于数据中心架构的软件体系
系统GIS平台建设采用国产自主安全可控MapGIS 10.6为基础平台,该平台是基于新一代面向服务的悬浮倒挂式体系架构的地质专业信息应用平台,从整个软件体系结构上实现了纵向多层、横向网格的分布式体系结构,能够满足主流IT技术的无缝连接和嵌入,具备跨平台、可拆卸和灵活扩展的特点。
1.2.2 多源异构地学数据集成管理
多源异构数据集成基于GIS中间件技术和Web Service技术实现。GIS中间件技术采用驱动化的设计思想,集成多种数据源驱动,以注册的方式嵌入到客户软件中,通过动态加载客户需求数据驱动,完成不同GIS软件对多源空间数据访问,避免了频繁的数据格式转换以及重构导致的数据丢失。Web Service通过对外提供服务接口的方式,让每一个节点同时成为服务提供者与消费者,完成异构系统交互式服务,从而达到在复杂网络情况下数据多源性的互操作及服务实现。
系统通过软件层面的动态调度策略、异步调用策略、数据缓存策略及硬件层面的 GPU/CPU 混合架构负载均衡策略等方式在web端对多源异构、高精度三维数据进行加载渲染。采用动态调度策略缓解大规模场景下海量地质模型数据传输的压力,保证运行稳定性;采用异步调用策略在进行基于海量场景数据可视化绘制时,保证场景数据下载和可视化的连贯性,避免因为数据下载更新而造成的界面卡顿现象;采用数据缓存策略以空间换时间,即通过服务器、客户端双缓存机制来缓解大规模三维场景可视化数据传输的瓶颈问题。在软件优化及算法提升的基础上,系统充分调度并发挥硬件资源性能优势,有效地协同GPU和CPU计算单元,构建了自适应负载均衡并行计算模型,使其能适用于海量地理空间数据的处理与应用,使用GPU/CPU混合架构负载均衡策略提升三维模型可视化效率。在客户端显示渲染层面,对大规模三维地质模型浏览器端可视化工具设计了可见性剔除算法和屏幕误差评价函数以确定需要绘制场景数据的区域和具体层次,并以此为基础提出了目标场景的快速搜索算法,构建了场景实时动态调度框架。
1.2.3 动态扩展与二次开发支持
系统采用领域驱动设计,将不同层次的应用程序的不同功能单元以插件形式进行拆分,各层均可以实现功能的动态扩展。在动态扩展的同时,系统支持主流开发环境进行二次开发。
1.2.4 三维/四维建模与智能靶区优选
在
图1三维场景地质一张图的基础上,采用Python语言开展GeoCube 4.0软件研发,包括三维实体空间的信息量法、逻辑斯蒂回归法、证据权法、增强证据权法、机器学习(三维随机森林、PU-Learning)和深度学习(LSTM)模块
[26-28]。基于研究区地质-地球物理三维建模,采用Flac3D 6.0和Matlab语言编程,开展三维栅格单元的“力-热-流”耦合数值模拟,识别造山带金成矿系统关键要素“源-运-聚”关联的有利地段及其三维勘探变量
[29-30]。
2 青海省地学大数据资源库建设
2.1 制定数据标准
根据青海省地学大数据系统构建顶层设计,结合系统开发实际需求,参考地质行业标准、规范,制定了“青海省地学大数据整合及应用系统数据标准”,规定了地质数据内容与分类(
图2)、数据整理技术要求、数据质量控制、数据服务接口等内容,明确了数据格式与数据描述,规范了数据质量控制的基本原则和方法。
2.2 地学大数据资源库建设
按照统一数据标准,集成整合了非涉密地理信息、基础地质、矿产勘查、水文地质、城市地质、地质科研、生态管控、矿业权信息、项目管理数据等图件、数据库、标准规范和专著等,实现了多源、异构、海量地学数据的统一管理,构建了青海省地学大数据资源库(
图3)。其中,系统发布图件9 393张、数据库43个、标准规范2个、专著3册,地学大数据资源库数据总量达到181 GB。
3 系统典型应用
系统自建设以来,已在项目查重分析、专题图件定制、地质资料管理、项目综合应用等多个方面得到了应用,为青海省地质调查局地质勘查项目管理及科研项目实施提供了便利。
3.1 项目查重分析
为用户提供自定义地勘项目和矿权、规划数据的叠加分析。功能界面设计以“地质一张图”图形界面为基础,调用 MapGIS 10.6地理信息平台提供的空间计算与空间分析接口,通过输入新立或续作项目范围(项目范围支持录入、导入、空间划定等多种输入方式,适用于多种数据场景),与矿权、生态红线等空间数据进行叠加分析,并与地图模式进行联动得出word报告以及Excel数据分析结果,为用户在项目设置、规划编制等工作提供数据参考和辅助决策功能。
3.2 专题图件定制
依托项目数据建设成果,采用MapGIS 10.6动态裁剪及制图技术,实现了Web端交互式在线制作并输出指定范围内的专业图件,并基于模板快速生成图名、比例尺、公里网、坐标系等信息。此外,基于整合入库的项目数据、矿权数据、矿产地数据、同位素数据以及钻孔数据的属性信息,运用GIS技术和Python语言/R语言的人工智能方法编程,生成对应专题业务图件(
图4~
6)。
图4、
图5、
图6为青海五龙沟金矿矿集区典型应用专题图。
3.3 项目综合应用
通过对接集成已完成建设的青海省地质工作项目管理信息系统建设的数据库,梳理整合地质工作项目管理流程,将项目管理全过程信息进行一张图可视化展示及统计分析,为项目管理人员以及领导决策层提供查询展示的窗口。
3.4 地质资料查询管理
本系统具有青海省地质调查局内部地质资料管理借阅查询功能,青海省地质调查局内部用户可以系统掌握省级财政资金地质勘查汇交项目资料情况,有利于提升地质资料目录更新、管理等服务水平。
3.5 三维/四维建模与智能预测开发
采用B/S模式研发三维场景地质一张图系统(
图1),在三维场景下叠加展示二维矢量图件、高程DEM数据以及三维模型数据等,为管理人员、地质专业技术人员提供地质调查成果数据浏览查询等服务,也为后期成矿预测模型的接入展示奠定基础。在此基础上,进一步兼容商业3D/4D软件,合作研发GeoCube 4.0软件,典型应用五龙沟金矿矿集区地学大数据的高程DEM数据,以矿集区红旗沟矿段为例,采用SKUA-GOCAD软件构建三维矿体模型(
图7,
8),参考金矿行业标准开展矿体三维显式建模,挖掘成矿有利构造和控矿构造信息,以服务于机器学习的地球物理Loop3D的三维正反演研究(
图9~
11)
[31-32]和遥感断裂构造与矿物识别矿化蚀变信息查证等
[33-37],基于C#语言和Python语言开发GeoCube 4.0智能软件模块
[38-43,26]。
三维地质建模与找矿靶区优选是当前国际地学研究的热点和难点
[44-45]。GeoCube 4.0软件研发利用三维可视化技术和数学建模(信息量法、逻辑斯递回归法、证据权法、加权证据权法、增强证据权与多重分形(C-V)组合方法),进行矿集区多元找矿地学信息的定量化分析,实现了矿集区三维地学信息(地质、地球物理、地球化学)定量化提取与集成。在此基础上,优选找矿靶区并估算其资源量。同时,开展了多种数学建模集成方法的对比及其三维网格单元划分的不确定性分析。研究认为,证据权法具有稳健的三维空间集成分析特征,其三维环境中的预测远景靶区能为深部找矿定位、定量研究提供科学依据。随着矿床精细过程研究以及数学地球科学计算方法提升,根据矿产勘查大数据和深部成矿地质体高精度建模及靶区优选,创新研发了非线性(C-V、S-V)多重分形与中高层次的机器学习(随机森林、PU Learning)关联融合与集成方法。
4 总结与讨论
4.1 总结
青海省地学大数据整合及应用系统开发完成了10大模块46项功能200余个功能点,实现了地质调查数据与成果的“管”——集成管理地质调查成果、“看”——可视化、多维度的方式展示、“用”——面向管理人员、专业技术人员的应用服务、“可持续”——制定青海省地学大数据系统数据标准1套。系统实现了项目查重分析、专题图件定制、项目综合应用、地质资料查询管理、三维场景一张图等应用,将大数据技术与地质工作深度融合,推动了地学大数据在地质工作中的创新应用,提高了地学大数据应用服务能力。
系统集成整合了非涉密地理信息、基础地质、水文地质、城市地质、矿产勘查、地质科研、生态管控、矿业权信息、项目管理数据、数据库、标准规范和专著等数据,实现了多源、异构、海量地学数据的统一管理,构建了青海省地学大数据资源库,为地学大数据开发应用提供了可靠的数据基础。
基于GeoCube 4.0软件自主研发的青海五龙沟金矿矿集区三维地质建模、四维数值模拟、智能化矿产资源定量预测、关键找矿靶区优选等智能预测评价模块的实现(
图12~
14),一方面能够关联解释青海省区域地质背景成矿动力学条件、典型矿床复杂成矿过程与地质事件复合叠加特征,定量地学“天空地深”(探测与观测)大数据的时空找矿模型(地物化遥)表征
[43,46-49];另一方面深层次提取找矿有利地段为高精度的靶区优选服务,由此,进一步关联知识模型、数据模型而探究“知识发现”(例如将地球物理多参数“梯度场”与成矿地质体的几何、属性融合以圈定找矿靶区)。
4.2 讨论
针对国家重大急需的战略性矿产,基于青海地学大数据时空关联、检索、预测评价等功能,利用数据集与模型库的双重检索,建立长效的数据更新机制,能够快速更新、及时补充、即时创建响应地学数据-知识双重驱动的地学多参数模型,高效率地实现研究区地学大数据的标准化、数字化、智能化及其实时性、更新性和实践性等功能
[50-53]。
随着5G+智慧矿业与数字孪生发展,实时性云计算与四维智慧管控的地学大数据应用和时空决策将成为地球系统科学的发展趋势,发展实时性的地学空间决策是近期地球科学发展前沿,也是大数据应用的新范式。由于青海省矿业关联的成矿区带复杂多样且范围大,地形复杂且海拔高,气候条件较为恶劣,利用遥感技术进行多层次研究是非常可取的手段,尤其是可以利用无人机倾斜测量辅助实地调研,能够更精准地获取实时性的数据集,并对成矿地质体进行标注,从而服务于智能预测评价。例如,通过对成矿地质体、成矿构造与结构面的解译,遥感蚀变信息与地球化学关联或者融合解译,能够深层次智能挖掘时空勘探变量。
综上所述,通过青海省地学大数据系统构建、优化和智能开发,能够提升青海地学大数据开发利用和服务水平,推动地学大数据在地质工作中的创新应用,构建数智化驱动的新研究范式和管理模式,具体包括智慧矿山的资源动态评价、多期遥感地质动态监测、自然灾害预警(道路与边坡及矿山地段)。
青海省省级财政资金地质勘查项目(2021074003ky003)
青海省省级财政资金地质勘查项目(2022012003ky003)
青海省省级财政资金地质勘查项目(2023085031ky006)