一种基于词频歧义消解的通用中文分词法

彭琦, 朱新华, 陈意山

doi:10.16088/j.issn.1001-6600.2016.01.009

广西师范大学学报（自然科学版） ›› 2016, Vol. 34 ›› Issue (01) : 59 -65. DOI: 10.16088/j.issn.1001-6600.2016.01.009

一种基于词频歧义消解的通用中文分词法

彭琦, 朱新华, 陈意山

作者信息 +

Author information +

文章历史 +

PDF

摘要

歧义是在基于词典的分词方法中常见的问题,以往的基于词典的分词方法往往使用双向最大匹配法获得分词结果后,通过使用上下文信息来进行歧义消解,但是对于没有上下文信息的单独语料无法进行歧义消解。本文提出一种通用的基于词频的歧义消解法,该方法是与上下文无关的,能够消解没有上下文信息的语料切分后产生的歧义,扩大了歧义消解的应用范围,简化了歧义消解的处理过程。实验表明:文本方法与传统基于词典的分词算法相比,具有更强的适用性及更高的可用性。