虚拟现实技术在DSA手术示教和指导平台的应用研究

Research and application of virtual reality technology in DSA surgical teaching and guidance platform

摘要

目的 构建一种基于5G网络、虚拟现实VR和MEC边缘云技术的DSA神经介入手术示教平台，为基层医院提供更加全面和沉浸式的手术示教观看体验。 方法 该平台通过多种数据采集设备，将神经介入手术中DSA设备影像与手术全景及其它生命体征数据实时反馈，并采用高性能编码器和专业VR相机，实现DSA神经介入手术的高质量教学演示和实时交互功能。 结果 平台可以支持多种终端在线观看手术示教过程，通过微信和PC网页实现DSA神经介入手术直播转播，同时运用VR眼镜端为医护人员提供沉浸式的观看体验，已在江西省内36个区县的45家基层医院的神经介入手术中应用。 结论 DSA神经介入手术示教平台有效地利用了5G网络、虚拟现实VR和MEC边缘云技术，为基层医院提供了一个更加全面和便捷的神经介入手术示教观看体验，提高了当地的医疗水平和服务质量。

Abstract

Objective To build a DSA neural intervention surgical teaching platform based on 5G network,VR virtual reality,and MEC edge cloud technology,providing more comprehensive and immersive surgical teaching viewing experience for grassroots hospitals. Methods The platform uses various data collection devices to provide real-time feedback of DSA equipment images,surgical panoramas,and other vital sign data.It utilizes high-performance encoders and professional VR cameras to achieve high-quality teaching demonstrations and real-time interaction of DSA intervention surgery. Results The platform can support multiple terminal online viewing of surgical teaching process,achieve live broadcast through WeChat and PC web pages,and provide immersive viewing experience for VR glasses.It has been applied in 45 junior hospitals in 36 counties in Jiangxi Province. Conclusion The DSA neural intervention surgical teaching platform effectively utilizes 5G network,VR virtual reality,and MEC edge cloud technology,providing a more comprehensive and convenient surgical teaching viewing experience for grassroots hospitals and improving the local medical level and service quality.

Graphical abstract

关键词

5G网络 / 虚拟现实（VR） / 神经血管疾病 / 手术示教 / 医学教育

Key words

5G network / virtual reality / neurovascular diseases / surgical instruction / medical education

数字减影血管造影（digital subtraction angiography，DSA）技术具有图像清晰、分辨率高的特点，针对观察血管病变、血管狭窄的定位测量、诊断及介入治疗提供了更真实的立体图像，适用于全身血管性疾病及肿瘤的检查和治疗^[1]。因此，DSA是目前世界公认的进行血管病变诊断的“黄金指标”，既可以对血管病变进行直观的显示，也可以对血流动力学、颅内血管代偿等进行评估，还对后期拟定治疗方案起着决定性作用，具有其他检查手段不可比拟的优势^[2-4]。神经介入手术，也被称为神经内窥镜手术或神经血管内科手术，是一种使用微创技术治疗脑血管和脊髓血管疾病的手术，DSA是神经介入手术中诊断和治疗脑血管疾病的一种非常重要的技术。然而，DSA具有较强的辐射性，且需要结合操作间的造影画面进行示教^[5-6]，因此DSA神经介入手术示教通常是在操作间观摩学习，既影响手术人员操作，又限制了示教观摩人数。

在当今数字化技术高度发展的时代，新的通信技术，特别是5G网络和虚拟现实 （virtual reality，VR）技术，正在逐渐改变人们的生活和学习方式^[7]。这两种技术的结合为医疗教育领域带来了新的模式，特别是在手术示教中表现出极大的应用潜力^[8]。此外，移动边缘计算（mobile edge computing, MEC）技术将服务器部署在靠近用户的基站边缘，通过用户面网关下沉、应用边缘化等方式极大地缩小了传输时延，配合快速 UDP（user datagram protocol）互联网连接（quick UDP Internet connection, QUIC）、实时传输协议（real-time transport protocol, RTP）等低时延应用层协议，使网络带宽需要达到至少 40 Mbit/s的4KB分辨率VR 业务成为了可能^[9]。2022年11月1日，工业和信息化部发布了《虚拟现实与行业应用融合发展行动计划（2022—2026年）》，行动计划指出，要推进关键技术融合创新。以近眼显示、渲染处理等关键技术融合创新工程为牵引，做优“虚拟现实+”内生能力，强化虚拟现实与5G、人工智能、大数据、云计算、区块链、数字孪生等新一代信息技术的深度融合，叠加“虚拟现实+”赋能能力。江西省是脑血管疾病患病率、发病率、死亡率高的高危区域，根据《中国公共卫生》杂志中《江西省常住居民脑血管病流行病学分析》数据显示，2019年江西省脑血病患病率为1 323.58/10万，脑卒中患病率、发病率和死亡率分别为1 066.08/10万、297.48/10万和92.32/10万。因此，该文通过融合虚拟现实技术，解决DSA神经介入手术示教现有的一些缺点、创新手术教学模式、提升手术教学的效率和质量，扩大手术教学的传播范围和能力，实现医疗资源下沉，以达到提升江西地区神经血管疾病医疗服务效率、扩大医疗服务供给的目的。

1 虚拟现实技术在医学教育领域的应用

虚拟现实VR是指利用计算机图形学、三维仿真、传感器、人工智能、生物力学等技术建立三维虚拟环境，并在虚拟仿真的环境中进行相关活动。虚拟现实技术和现代医学正在飞速发展，并在医学教育和远程诊疗领域迅速融合^[10-13]。例如，肖扬等构建了VR手术视频示教平台，该平台不仅提供了佩戴VR眼镜及手机裸眼两种观看模式，便于在移动终端随时随地学习，还支持多屏互动协议，可实现VR手术视频的共享播放，方便用户使用^[13]。陈晨等设计并构建了VR全景术野融合手术示教直播系统。该系统由视频采集模块、流媒体服务模块和终端播放模块三部分组成，可实现全景手术直播、手术示教及远程医疗会诊。该研究显示，VR全景术野融合手术示教直播系统能够满足临床手术示教需求，研究后系统可用性问卷（post-study system usability questionnaire，PSSUQ）的所有得分均低于最佳基准，表明该系统具有较高的体验度，值得进一步推广和应用^[15]。除了手术示教外，刘佳等还研发了“虚拟仿真教学平台—心脏解剖实验教学”，将基于虚拟现实技术的三维心脏系统应用于外科解剖实验教学，可以使学生直观而准确地掌握心脏解剖结构和功能，显著提高医学生对心脏解剖外科学及相关临床案例知识掌握的水平^[16]。

2 虚拟现实DSA神经介入手术示教平台

该平台基于上述背景，针对神经介入手术远程手术示教的探索与研究，搭建了“DSA神经介入手术示教和指导平台”。平台采用5G网络将院内网络、医联体网络和实时数据连接和打通，结合VR以及MEC，将DSA设备影像（3D后处理工作站、正侧造影、后侧造影）与手术全景及其他生命体征数据实时反馈给基层医生及学生，使其能够全方位观摩学习。同时，该平台支持血管造影、三维标测、血管内超声等实时画面切换，将远端专家指导信息实时反馈给现场施术者，通过该平台能为医联体及基层医院的医生提供更高质量的手术示教和指导。

2.1 系统架构

系统采用低代码平台进行基本数据管理，包含DSA造影机、摄像头、心电图、VR相机等设备管理以及相应的设备流管理。平台使用Node.js作为后端开发语言和运行环境，前端框架使用vue.js构建用户界面，数据库使用MySQL与Redis集成。平台提供一套预定义组件库，包含用户界面组件（如表单、按钮、列表等）和功能组件（如文件上传、图表生成等）。这些组件可通过拖放和配置以构建应用程序的用户界面，无须手动编写大量的代码，如图1所示。另外，平台提供一套API管理工具，用于定义、发布和管理应用程序的API接口。Unity客户端请求低代码平台的API接口获取登录信息，并获取相应的设备流信息以及手术相关信息，进而在客户端对视频流进行组合和直播。

2.2 功能设计

平台通过高性能编码器采集手术室的各类信息，包括高清术野摄像机、8KVR全景摄像的视频影像信息，腔镜/DSA等仪器的图像信息，无线双向耳麦的音频信号，以及患者的相关生命体征数据等。其次，将采集到的数据汇集编码、渲染后存储。同时，建立私有云流媒体服务器，对数据进行实时局域网转播。此外，5G CPE或5G基站和公有云平台对接，院外互联网用户可以实时转播或后期点播。最后，数据通过移动终端、VR眼镜一体机等各类显示设备接收并展示，观摩学习人员可以在院内学术报告厅、科室示教室等地方，全程接收并观看高清示教活动，如图2所示。同时，所有的音频及视频文件通过存储服务器进行大容量的存储，方便下载文件观看和点播。

2.3 画面采集

基于DSA的介入手术所采集的画面主要包括3D图像、动态造影（正侧面和后侧面）、术野创面、心电图、普通视频画面，以及手术室全景VR画面。手术示教编码器负责将来自不同设备的图像和视频信息编码并传输，如图3所示。这些设备可能产生各种格式的图像和视频信号，需要使用信号转换器对信号进行适配，以保持信号的质量和完整性。编码器需要快速进行信号转换，否则会影响手术的效果。该系统使用定制gennumGV7700芯片解决这一问题，实现了信号的快速转换。在将信号转换并编码后，编码器将图像和视频信息发送到显示屏、录像设备或用于远程传输的设备。编码器还可能需要对信号进行压缩处理，以减少传输带宽。另外，VR全景画面采用专业VR相机采集，通过鱼眼镜头捕捉完整的环绕画面，实现360°水平视角和180°垂直视角，无须进行二次拼接和通过其他设备进行推流，极大地拓宽了VR直播的应用场景。该相机还支持SRT低延迟直播协议，控制整个直播流程的延迟在1秒左右。综上所述，手术示教编码器和专业VR相机的应用，为介入手术的教学和展示带来了更丰富的画面呈现和更高效的实时性。

2.4 工作站汇聚及终端展示

平台工作站汇聚多路画面，实现DSA介入手术的高质量教学演示、实时交互、录制回放功能，帮助学生提升手术技能和解剖学知识，减少对真实患者的风险。手术示教工作站可以模拟真实手术场景，通过高清晰度的显示屏和3D立体影像技术，展示手术过程。医学教师可以通过触摸屏或其他交互设备与学生进行互动，标记、注释图像以加强学生对手术技术的理解。工作站客户端使用RTSP协议进行直播，达到低延迟的传输效果，支持在线会议，快速发起会议请求，支持双向对讲，可切换PPT、文档等讲解患者病例及手术要点。同时，基于5G的信号传输可以实现6路实时画面，并支持画面拖拽，时刻切换关注重要信息。该工作站是一个多功能的教学平台，为医学生提供全面的手术示教观看体验，并为医学教师提供丰富的教学资源和交互平台，工作站效果如图4所示。

另外，平台支持多种终端在线观看手术示教过程，包括视频会议终端、微信、PC网页和VR眼镜端。微信和PC网页可通过实况平台实现直播转播，让更多医学生观看手术直播。VR眼镜端可以提供沉浸式的观看体验，使医学生可以身临其境地观看手术过程，并学习和实践手术技术。该平台的上线为医学生提供了更加全面和便捷的手术示教观看体验。

3 应用与评价

神经血管疾病示教和指导平台目前已经覆盖江西省内36个区县的45家基层医院，超过500人次基层医院医师积极参与。在示教过程中，医师可以全程观摩手术过程，并进行实时的讨论和探讨，从而拓展了其处理复杂病例的能力。同时，平台也支撑了10场手术联合直播，主刀医师在手术过程中可以实时连线专家寻求指导意见，实现了医疗资源下沉和基层人才培养的目标。得益于5G网络和VR技术，示教平台提供了互动、实时和直观的学习方式，使得基层医院医师不管是在全国范围内的任何地方，只要登录远程示教会议平台，就能了解最新的技术和手术。该平台为基层医院提供了一个更广阔的教育和培训空间，进而提高当地的医疗水平和服务质量。

神经血管疾病示教和指导平台在技术探索和实际应用上取得了一些经验和成果，在一般手术示教的基础上融入了DSA多屏联动、全景VR等功能模块，提高了DSA神经介入手术示教工作的效率和质量。该平台仍有一些局限性，虽然在线观摩和学习手术过程十分直观和有效，相较于即时到场观看手术的效果还是有所差距，特别是信号的稳定性，由于DSA手术的辐射对信号存在干扰，因此在使用抗干扰的线材、设备，提高图像质量方面仍然有提升的空间；另一方面，示教平台需要不断更新，平台应该及时更新技术和治疗模式，并在更新内容时加强医学理论知识的分享和交流，以及为学生和医师提供更完善的、专门设计的教育培训，以提高其对于未来复杂病例的理解和技能认知，有助于培养高素质医学人才，适应现代医学发展的新形势，真正让平台融入平时的教学工作。

4 结束语

基于5G网络和VR技术的神经血管疾病示教和指导平台，旨在为DSA医师提供一个学习交流的平台，并且可以通过不同的客户端全方位地展示手术信息。平台提供了多种学习方式，包括放大不同影像画面进行关注点的切换，通过拖拽、放大、旋转全景画面，了解、学习手术室里的每个操作角色，以及通过VR眼镜的沉浸式学习，让学生获得全新的学习体验。同时，该平台利用DSA介入手术室和5G传输的高时效性和即时性，结合虚拟现实技术，提供高质量如临现场的手术示教服务。通过仿真医疗过程中的环境、动作、行为以及手术创面影像系统、现场声音采集系统等活动，能够为当地患者提供服务，拓展基层医师培训，并提高医疗服务能力。综上所述，该平台通过多种技术手段为DSA医师提供了全面的手术示教学习交流平台，具有良好的实际应用和推广价值。

参考文献

[1] 杨帆,徐睿,李佳兵,等.血管内介入治疗颅内动脉瘤合并缺血性脑血管疾病的临床研究[J].现代生物医学进展,2023,23(9):1747-1754.

[2] 沈玉萍,洪志辉,徐洁. CTA在颅内动脉瘤诊断中的应用及与DSA结果的对比分析[J].中国现代医生,2023,61(2):65-69.

[3] SHABAN S, HUASEN B, HARIDAS A,et al.Digital Subtraction Angiography in Cerebrovas-cular Disease:Current Practice and Perspectives on Diagnosis,Acute Treatment and Prognosis[J].Acta Neurolica Belgica,2022,122(3):763-780.

[4] KULAR S,TSE G, BUDU A,et al.Transarterial CT Angiography for Surgical Planning of Spinal Dural Arteriovenous Fistula[J].British Journal of Radiology,2020,93(1110):20200020.

[5] IVARSSON J, ABERG M.Role of Requests and Communication Breakdowns in the Coordination of Teamwork:A Video-based Observational Study of Hybrid Operating Rooms[J].BMJ Open,2020,10(5):e35194.

[6] PAVLICEK W, SENSAKOVIC W F, ZHOU Y,et al.Sample Content of Kinesthetic Educational Training:Reducing Scattered X-ray Exposures to Interventional Physician Operators of Fluoroscopy[J].Journal of Applied Clinical Medical Physics,2020,21(7):196-208.

[7] 张海波,马继锋,陈辉,等.火神山医院5G网络技术应用实践[J].中国数字医学,2020,15(5):19-21.

[8] 徐健.北京世园会5G远程医疗急救系统的建设[J].中国数字医学,2020,15(1):19-21.

[9] 左旭彤,王莫为,崔勇.低时延网络:架构,关键场景与研究展望[J].通信学报,2019, 40(8):22-35.

[10] 白雪,张少杰,王俊刚,等.虚拟现实技术在肝胆外科本科教学中的应用[J].中国中医药现代远程教育,2021,19(16):30-32.

[11] 王梦琳,杜龙,赖永静,等.虚拟现实技术在创伤后应激障碍疾病中的应用[J].中国数字医学,2018,13(1):30-32.

[12] 吴俊君,陈海初,王志峰,等.基于开放式虚拟现实平台的机器人课程实训教学模式设计与实施[J].西部素质教育,2021,7(21):19-21.

[13] SATO M, TATEISHI K, MURATA H,et al.Three-dimensional Multimodality Fusion Imaging as An Educational and Planning Tool for Deep-seated Meningiomas[J].British Journal of Neurosugery,2018,32(5): 509-515.

[14] 肖扬,冯煊,陈大鹏.VR手术视频示教平台的构建与应用[J].医疗卫生装备,2020,41(1):25-28.

[15] 陈晨,王亚平,王锦秀,等.虚拟现实全景术野融合手术示教直播系统构建与评价[J].中国医学装备,2023,20(2):131-134.

[16] 刘佳,娄岩.基于虚拟现实的三维心脏系统在外科解剖实验教学中的应用[J].中国医学教育技术,2021,35(4):449-452.

基金资助

江西省03专项及5G项目(2021ABC03A37)