0 引言
发展数字经济,推进数字化转型是国家重大战略。2023年10月,国家数据局正式揭牌,随后江苏、四川、河北、云南、上海等省市数据局密集挂牌,标志着推动数据要素的流通和应用正在由设想走向现实。地下空间资源作为支撑城市发展的潜在空间,正在受到越来越广泛的关注
[1-3],而城市地下空间数据作为服务城市规划、建设、运维的基础数据,具有重大的应用价值。
众所周知,当前城市发展面临的一个共同难题是有限发展空间与快速增长的人口之间的矛盾,地下空间资源的开发利用为解决这一矛盾提供了新思路
[4-5]。在此背景下开展城市地下空间多元数据融合与可视化研究,一方面可以积极盘活地下空间数据要素,充分发挥其经济价值;另一方面可以为超大城市地下空间资源的开发利用提供数字化支撑。
目前,在实景三维和数字城市建设的双重加持下,国内外针对地下空间资源的数字化研究发展迅速,在三维地质建模、资源评价、应用场景建设等方面均取得较大进展
[6-7],主要体现在以下几个方面:一是基于建筑信息模型(Building Information Modeling,简称BIM)开展的三维可视化,其中地下空间是BIM模型的重要内容之一
[8-11],其为城市信息模型(City Information Modeling,简称CIM)和城市级、部件级实景三维提供了数据来源,常用的BIM平台如Revit、Bentley、BIMBase等;二是基于三维地质建模技术开展的地质信息三维可视化,聚焦于地下建(构)筑物赋存环境(即:地质条件)的三维可视化
[12-21],为数字城市提供了基础地质支撑,常用平台如MapGIS、GOCAD、Minexplorer等;三是以Web三维可视化技术为核心的网页端三维可视化技术研究,例如HTML5、WebGL、Cesium等
[22-24],为开展B/S架构下三维模型可视化提供了支撑;四是基于不同行业需求开展的应用研究,例如资源评价、数值模拟、轨道交通运维监测等
[25-37]。
但是,由于城市地下空间要素的类型多、数据量大、数据格式多元、跨平台兼容性差、应用场景复杂等原因,导致城市地下空间多元数据的融合和可视化难度大。目前缺少一套成体系的能在同一时空基准下实现地下空间多元数据空间融合、语义融合、轻量化处理、动态调度与可视化的技术框架体系。本文基于此,聚焦城市地下空间多元数据融合与可视化开展关键技术研究,以期为地下空间多元数据的融合整合与应用提供技术探索。
1 当前地下空间多元数据融合与可视化难点
1.1 地下空间数据的复杂性
与地上空间具有统一的数据模型与应用模型不同,地下空间数据在信息化建设的各个方面具有更大的异构性与复杂性
[38]。地下空间数据不仅包括了描述地下建(构)筑物、地下交通设施、地下管线等地下设施空间信息的数据,还包括描述其工程信息和属性信息的关联数据,以及描述地下设施赋存环境的各类地质数据、地下设施运维的感知数据等各类型数据。地下空间要素类型的多样性导致了地下空间数据在类型、格式等方面表现出复杂性,总结起来这些数据具有多尺度、多领域、多格式、多语义和多时态等特征。因此,地下空间数据是典型的多元数据。
多尺度是指既包括宏观尺度的数据,如地质条件,也包括微观尺度的数据,如组成地下建(构)筑物的内部立柱、楼梯、墙体等各类部件;多领域是指这些数据的专业应用领域涵盖了地质调查、空间规划、市政交通等,数据来源多为政府或各类企事业单位;多格式是指地下空间数据类型多样、格式不统一,不同建模软件采用的存储方式不同,如地下建(构)筑物三维模型的格式就包括:.obj、.3ds、.ifc、.fbx、.las、.rvt等多种格式,三维地质建模软件就有GOCAD、MapGIS、Petrel等软件;多语义性是指由于数据类型、数据精度、数据用途等原因导致的同一数据源的多解性,例如不同精度要求下同一个地质钻孔的地层划分结果可能不同,进而导致构建的地质模型的结构存在差异;多时态是指地下空间数据横跨了长时间序列,包含了多时间尺度,例如:百万年尺度的地质背景数据和地下水实时监测数据的融合跨越了不同的时间尺度。
1.2 海量三维数据可视化及分析速率有待提升
由于城市地下空间数据类型和格式复杂,数据量大,面对数字城市(通常基于B/S架构)中日益增长的三维数据量和在线访问用户数量,网络环境下数据服务器有限的性能和网络带宽与多细节层次三维模型传输之间的矛盾日趋严重。
针对这一难题,大规模复杂三维模型的存储与管理方法正成为研究的焦点。尤其是在网络环境下,面对海量并发用户,如何在带宽、I/O吞吐等硬件条件有限的情况下,保证三维场景的流畅性,进而实现地下空间数据的高效渲染,正成为数据管理研究中亟须解决的问题
[39-41]。
另外,为了数字赋能地下空间资源的规划、建设和管理,通常需要在特定场景下研发诸如:数据统计、模型剖切、评价分析等应用功能。而在地下空间资源应用分析功能的开发过程中,如何快速从海量三维数据中提取到需要的信息,实现复杂三维模型的布尔运算也是当前面临的主要问题
[42-46]。
1.3 传统三维地质模型可视化技术路径不能满足当前数字城市的需求
随着GIS理论和计算机软硬件技术的不断发展,传统的基于C/S架构的三维地质模型可视化技术路径需要新的变化来适应当前数字城市的需求。尤其对于数字城市的基础数据底座来说,地质体模型和地下建(构)筑物模型是重要组成部分,基于B/S架构在Web端实现基础地质数据和地下空间数据与地上数据的融合可视化,实现地质体在线实时建模和信息查询是当前地质工作服务城市建设和数字化转型的迫切需求。
2 关键技术研究及应用
本文针对以上地下空间多元数据融合与可视化难点,开展了地下空间多元数据管理、地下空间多元数据融合和海量模型数据轻量化处理及场景调度等三个方面的技术研究,本文技术路线如
图1所示。
具体实现步骤如下:
(1)数据汇聚与分类:对地质调查、地下空间开发、建筑施工等不同业务产生的多元地下空间数据进行汇聚和分类,为数据融合和可视化提供数据基础,涉及GIS、BIM和三维地质等专业工具。
(2)数据管理:基于分布式存储集群,通常以行政区为划分单元,同时需建立要素几何信息和属性信息的关联,构建数据更新和共享机制,主要涉及数据库相关工具,如Oracle、PostgreSQL等常用数据库,以及人大金仓、达梦等国产数据库工具。
(3)数据融合:在统一时空基准的基础上,通过多元数据空间融合和语义融合实现不同要素数据的融合,技术难度较高,主要依赖三维GIS平台提供的三维融合分析能力,如MapGIS、SuperMap、ArcGIS等主流三维GIS平台。
(4)可视化展示:基于三维模型轻量化算法和Web三维可视化技术,实现城市级大规模地下空间场景的可视化展示,涉及WebGL、Cesium、Three.js等主流的三维可视化框架。
2.1 地下空间多元数据管理
数据管理是城市地下空间多元数据融合与可视化的基础。地下空间信息是否完备,数据组织是否科学,数据调用是否便捷,对于提升数据价值和开展数据应用至关重要。本次研究针对不同城市地下要素的数据特点建立专题数据库,实现地下信息的高效管理,为城市地下空间规划、建设和管理提供数字化支撑。
2.1.1 数据分类
如前所述,地下空间数据的复杂性导致数据呈现多尺度、多领域、多格式等特征。因此,为了实现地下信息的高效管理,需要基于多元数据特点构建一个层次清楚、结构完整的地下空间数据资源分类体系。
本文将地下空间视为一种空间资源,结合地下空间数据特点从便于资源管理和科学开发的角度,提出一种从业务领域到数据实体逐级细化的数据分类方法,如
表1所示。
一级类中包含了基础地理、地质背景和地下空间三大类,基础地理由底图、地物和影像等数据要素共同构成城市的基础框架;地质背景是通过地质调查、监测和分析评价查清地下空间的赋存环境,保障地下空间的安全开发;地下空间分为地下设施和地下空间资源,地下设施是地下空间资源的利用形式,地下空间资源包含了从资源的角度出发对地下空间开展分析评价产生的各类数据。
2.1.2 数据存储与管理
基于建立的地下空间数据资源目录体系,本文从数据组织、数据管理、数据更新、数据服务发布与共享等4个方面进行讨论,构建地下空间数据全生命周期管理流程,实现地下空间数据建库、管理、检查、更新、发布及共享全流程数字化管理。
(1)数据组织:基于分布式存储集群,以行政区为划分单元,实现各类地下空间数据存储。
(2)数据管理:采用图属一体化管理策略,来实现地下空间数据几何信息和属性信息的一体化管理和联动更新,可有效保障几何信息和属性信息的一致性。
(3)数据更新:数据更新通常依赖业务工作沉淀数据,由于地下空间数据的复杂性,需要针对不同数据要素特点制定不同的数据更新策略,各类数据更新方式如
表2所示。
地下建(构)筑物数据更新基于调查工作以地下建(构)筑物单体为更新单元,以调查项目为基础建立数据更新机制,数字化平台只需支持新增数据的批量导入和已有数据的替换更新即可。
地质体数据更新通常以新增地质钻孔数据为主,依赖于城市建设中的工程勘察,目前国内已有较好的数据归集机制,例如自然资源部的《地质资料管理条例实施办法》、上海市的《上海市地质资料管理办法》等。在此基础上利用实时在线三维地质建模技术可实现对地质体三维模型的更新,技术路线如
图2所示。
地质环境监测数据更新按类型可分年度全量更新和实时监测更新两类。年度全量更新通常依赖监测项目进行更新;实时监测更新通过感知设备终端实时传输监测数据。
(4)服务发布与共享:通过建立缓存的全量更新和局部更新两种机制,用户端可根据数据源变动情况选择合适的更新方式,提高数据切片和服务发布效率。
2.2 地下空间多元数据融合
前文分析了地下空间数据的复杂性,数据的多尺度、多领域、多格式、多语义和多时态特征导致数据质量不能通过单一的行业标准来控制,因此不同类型数据之间的融合会存在偏差。为有效解决多源异构三维模型之间的集成融合问题,实现跨领域全空间三维数据的一体化集成与可视化展示,需要从统一时空基准、多元数据空间融合和语义融合等3个方面开展数据融合,技术路线如
图3所示。
2.2.1 统一时空基准
统一的空间参考系是数据集成融合的基础,不同类型或来源数据的参考系往往不一致,这会导致不同类型的模型无法在同一场景中进行展示和应用。此外,由于部分建模软件功能的局限,导致某些三维模型仅仅是一个建立在简单正交三维场景中的模型,不具备地理坐标系的概念,无法直接在城市级场景中开展应用。因此,在数据融合之前需要统一多元数据的时空基准。
本文首先采用布尔沙模型将不同空间坐标系下的三维模型统一到WGS84椭球,采用1985国家高程基准来统一数据的高程。然后,依据不同要素数据特点,在统一空间参考系下,基于统一的DEM高程基准面,对地上建筑物模型、地表影像、地下建(构)筑物模型、地质体模型等数据模型进行校正,实现城市级的地下空间多元数据集成。
2.2.2 多元数据空间融合
多元数据空间融合包括模型实体对象融合以及实体对象之间的空间匹配校准。为了避免在融合过程中造成数据精度损失,本文在不改变原始数据实际坐标的基础上,基于M3D全空间三维模型数据标准,将模型数据进行统一缓存切片,在切片的过程中完成数据的融合校正,最终通过三维服务发布在浏览器端进行可视化展示,如
图4所示,展示了遥感影像、地下地质体、地下桩基、地下建(构)筑物、管线等三维模型及属性信息的融合效果。
模型实体对象融合是运用三维布尔运算,对重叠在同一空间位置的不同要素进行裁切处理,使各要素特征更符合实际情况。以地质体模型为例,地质体模型通常是依据地质钻孔或地质剖面人工(或自动)建模生成,能直观反应区域内的地质条件。但是通常在构建地质体模型的时候不会考虑已开发的地下空间,从而导致本应是地下建(构)筑物的空间被地质体充填,这显然不能满足城市级地下空间数字化应用场景的需求。模型实体对象融合就是根据地下建(构)筑物模型将地质体模型中相应的部分“挖掉”,从而实现地下建(构)筑物模型和地质体模型的空间融合。
实体空间匹配校准主要是解决水平空间和垂向空间模型位置不一致的问题。在水平空间上,通过三维模型坐标转换和空间配准算法,实现空间位置的统一;在垂向空间上,通过对模型实体与地形进行空间冲突检测得到检测结果,再根据检测结果修正模型数据,使模型实体与地形在垂向上贴合。
2.2.3 多元数据语义融合
多元数据语义融合包括模型实体与属性信息的融合、模型实体与非结构化数据的融合、模型实体与实时监测数据的融合等
[47]。
模型实体与属性信息的融合是通过网格剖分(属性建模)的方式将整个三维模型划分为规则(或不规则)的单元块体,然后把要素对象的属性信息赋值于对应块体的过程,以此来反映要素对象的属性特征。以地质体模型为例,通过网格剖分将地质体模型剖分为不同尺度的网格模型,每个网格被赋予唯一的编码,然后将岩土的物理参数、地球化学参数、工程力学参数等专题信息存入对应的网格单元,以模型实体为载体来汇聚不同专题信息。
模型实体与非结构化数据的融合主要是通过构建唯一的地下空间编号,来建立地下建(构)筑物模型与相关文字报告、图纸等信息的关联,实现数据的联动查询展示。
模型实体与实时监测数据的融合主要是基于物联网技术,将监控设备的数据以数据指标、图像、视频等方式接入,同时根据监控设备的地理位置信息建立监测数据与模型实体之间的空间关联,为实时流数据的可视化展示和分析应用提供支撑。
2.2.4 数据融合精度控制
精度评估是确保三维数据融合结果准确性的必要手段,同时也是当前研究的难点。由于三维数据的多元性和复杂性,目前尚缺乏统一的定量评价技术和算法。本文研究中针对不同类型的数据融合过程和方法,提出不同的精度控制措施(
表3),来提升数据融合的效果。此外,针对精度要求较高的分析评价工作,在系统设计中可基于融合前的原始数据进行分析计算,前端仅作为分析结果的呈现平台,可有效避免因数据融合造成的精度损失。
2.3 海量模型数据轻量化及场景调度技术
2.3.1 多元模型轻量化算法
地下空间模型数据包括地下建(构)筑物模型、地质体模型、轨道交通站点精细模型等三维模型数据。由于不同类型数据的几何特征存在差异,导致无法采用同一套轻量化算法实现各类数据的统一高效渲染。为此本文在全面分析各类模型数据特点的基础上,提出面向不同类型模型对象的化简算法,技术路线如
图5所示,实现了城市级海量异构三维模型的高效渲染。
2.3.1.1 地下建(构)筑物模型
地下建(构)筑物模型具有总体数据量大、单个模型几何形态规则等特征。本文基于该特征提出地下建(构)筑物LOD(Level of Detail)模型化简算法,主要流程如下。
①数据分块:按行政区对全市地下空间数据进行空间分块,以地下建(构)筑物单体为LOD的叶子节点,作为显示调度的最小单元,在此基础上,构建四叉树索引。
②LOD化简与分级:地下建(构)筑物模型数据按3级构建LOD,其中L0是基于地下建(构)筑物的二维矢量数据进行约束构建缓存,L1是使用各个图元外包围盒的顶面,L2则使用精细模型构建缓存。
③智能合并LOD:通过LOD智能合并、模型包围盒合并等算法对上一步生成的缓存进行治理。
④性能调优:采用LOD对齐、多线程加速、材质合并等算法进一步优化缓存数量。
2.3.1.2 地质体模型
地质体模型是在三维空间中描述某一区域地质特征的模型,城市级三维地质体模型具有平面面积大、垂向深度相对较浅等特点。本文针对三维地质体模型的轻量化,提出按照横向分块、纵向分层的思路,采用八叉树分块算法将地质体进行分块和分层,来构建适合地质体模型的瓦片缓存。
2.3.1.3 精细模型
针对地铁站点、地上建筑等精细模型,每个模型都包含了几何信息、纹理图片、着色器、属性信息等多元异构数据信息。此外,该类模型往往非常精细、结构复杂,对应的三维模型数据量也非常大。针对该类模型的处理策略主要包括。
①模型分层:针对范围大、三角网简单的模型生成单独的LOD节点,将小模型作为子节点处理,渲染时候采用ADD策略,将小模型附加到大模型上。
②纹理材质处理:针对精细模型重复材质多的特点,采用公共材质图片,避免数据膨胀。
③实例化渲染:对于树木等具有显著特征的模型采用实例化渲染。
2.3.2 大规模场景动态调度与可视化
当前三维地质领域应用越来越趋向于浏览器端/移动端等多端发展,但由于三维模型成果数据量
大,对网络传输带宽要求较高,这严重制约了三维可视化效果。为有效解决城市级多尺度、高精度三维模型数据在Web端高效显示渲染的难题,本文提出一种综合考虑了数据标准、渲染算法、计算机硬件、客户端渲染等多维度的技术路径,实现了超大城市地上下全空间三维数据高效渲染(如
图6所示),具体技术方法如下。
(1)Web三维可视化技术。WebGL作为Web三维可视化的基础技术,拥有直接在浏览器端进行硬件加速的3D渲染能力,为各行各业提供了丰富的三维展示和分析工具。而随着需求的不断细化和深入,国外在WebGL基础上逐步形成了Three.js、Cesium等功能强大的三维可视化库,为不同领域Web端三维可视化提供基础支撑,本文总结了常用的Web三维可视化技术如
表4所示。对于地质数据的Web三维可视化,国内基于Cesium框架开发的MapGIS 3DClient for WebGL因为融合了传统MapGIS的基础能力,因此对地质数据的兼容性较好,是对拓展地质数据应用和多元地下空间数据融合、分析和展示的探索。
(2)在数据标准层面:基于M3D、i3S等主流标准数据格式,采用按数据分布特征进行精细网格划分的多级LOD模型,以及高压缩比、流式传输的高效网络传输模式来提升渲染效率。
(3)在渲染算法层面:采用动态调度策略来缓解大规模场景下海量数据传输的压力,保证运行稳定性;使用异步调用的方式,保证场景数据下载和可视化的连贯性,避免因为数据下载更新而造成的界面卡顿现象;通过服务器、客户端双缓存机制,来缓解大规模三维场景可视化数据传输的瓶颈问题。
(4)在计算机硬件层面:充分调度并发挥硬件资源性能,使用GPU/CPU混合架构负载均衡策略提升三维模型可视化效率。
(5)在客户端显示层面:采用可见性剔除算法和屏幕误差评价函数,来确定需要绘制场景数据的区域和层次,通过目标场景快速搜索算法,构建场景实时动态调度框架。
3 结论
本文围绕当前城市地下空间多元数据融合与可视化难点,聚焦数据存储困难、融合困难、加载效率低等关键技术难题,提出一套切实可行的城市级地下空间多元数据融合与可视化技术路线,可满足当前数字城市建设过程中对城市地下空间数据融合、展示、分析和应用的迫切需求。本文提出的技术路线有效将基础地质、水文地质、工程地质等地质数据与地下建(构)筑物、管线、轨道交通等城市地下要素数据和遥感影像、建筑模型、地形等测绘数据融合,有效扩展地质工作的服务领域,提升数据应用价值。
自然资源部与北京市部省合作项目“超大城市建设空间资源调查监测数据综合评价关键技术(2024ZRBSHZ039)”
上海市级数字化项目“上海地质和国土资源业务大系统建设项目”