基于性早熟电子病历中个体危险因素抽取评价提示词工程方法的性能

摘要

目的：性早熟危险因素的准确识别有助于临床诊疗，但运用自然语言处理非结构化数据的方法仍有待评价。本研究旨在基于性早熟电子病历中个体危险因素抽取评价提示词工程方法的性能。方法：根据CRISPE(capacity and role-insight-statement-personality-experiment)提示词框架制订简单提示词和优化提示词，2种提示词分别引导大语言模型GLM-4-9B从653份电子病历记录中提取10种性早熟的危险因素，采用准确率、精确率、召回率和F1值作为信息抽取任务的评价指标。结果：在简单提示词和优化提示词下，模型总体的准确率、精确率、召回率和F1值分别为84.18%、98.09%、81.99%、89.32%和97.15%、98.31%、98.16%、98.23%。优化提示词在年龄(<9岁和≥9岁)和就诊时间(<2023年和≥2023年)各组间的模型性能差异小于简单提示词。在简单提示词下，模型抽取每种危险因素的准确率的区间范围为60.03%～97.24%；在优化提示词下，准确率的区间范围为92.19%～99.85%。2种提示词在抽取“饮料摄入情况”时的准确率差异最大(60.03%vs 92.19%)，在抽取“母亲初潮年龄”时差异最小(97.24%vs99.23%)。在简单提示词、优化提示词和真实值3种情况下，零食摄入情况、饮料摄入情况、豆浆摄入情况、蜂蜜摄入情况、保健品服用情况、补品服用情况、睡眠质量、开灯睡觉情况的分布特征差异均具有统计学意义(均P<0.001)，运动情况(P=0.966)和母亲初潮年龄(P=0.952)的分布特征差异无统计学意义。结论：优化提示词相比简单提示词更能有效地完成电子病历中个体危险因素的抽取任务，表明提示词工程在提升大语言模型性能方面具有重要作用。

关键词

性早熟 / 电子病历 / 提示词工程 / 大语言模型 / 信息抽取