基于双向语言模型的社交媒体药物不良反应识别

李正光, 陈恒, 林鸿飞

doi:10.16088/j.issn.1001-6600.2021091503

广西师范大学学报（自然科学版） ›› 2022, Vol. 40 ›› Issue (03) : 40 -48. DOI: 10.16088/j.issn.1001-6600.2021091503

基于双向语言模型的社交媒体药物不良反应识别

李正光, 陈恒, 林鸿飞

作者信息 +

Author information +

文章历史 +

摘要

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息，但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此，本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征，而且在提取药物不良反应的同时，通过注意力机制捕获局部和全局语义上下文信息。此外，为了提高该方法的效率，将字符级特征与词级特征相结合，并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明，字符特征在形态学上有助于区分药物不良反应，而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能，宏平均F₁值为82.2%。