面向自然语言处理的藏文文字识别研究进展

Reviews on the Research of Tibetan Text Recognition for Natural Language Processing

摘要

藏文文字识别在文本高速录入、数字化保护及智慧城市建设等方面具有重要的应用价值。为了推动藏文文字识别技术的研究与发展，文章系统综述了藏文文字识别的关键算法，并对其研究现状与未来趋势进行了深入探讨。首先，介绍了藏文文字识别的基本概念，结合其字体和书写风格等特点，将识别任务划分为现代印刷体藏文文字识别、手写体藏文文字识别、自然场景藏文文字识别和藏文古籍文献识别等4种类型，并分析了各类任务的挑战与研究背景。其次，详细梳理了传统方法和深度学习方法在藏文文字识别中的应用和进展，重点探讨了深度学习方法如何推动识别性能的显著提升，并分析了该领域研究范式的转变过程。此外，对当前主流的藏文文字识别数据集进行了归纳与分析。最后，基于现有研究的局限性，总结了各类藏文文字识别任务中存在的不足，并对未来的研究方向提出了展望。

Abstract

Tibetan text recognition holds significant application value in rapid text input, digital preservation, and smart city development. To advance the research and development of Tibetan text recognition technologies, this paper presents a comprehensive review and analysis of recognition algorithms for Tibetan script. First, it introduces the fundamental concepts of Tibetan text recognition, including definitions and distinctions among various recognition types, along with relevant research background and primary research pathways. Based on different scripts and writing styles, Tibetan text recognition is categorized into four types: modern printed Tibetan recognition, handwritten Tibetan recognition, Tibetan scene text recognition, and Tibetan ancient document recognition. Next, the paper elaborates on the application of traditional OCR methods and deep learning techniques to Tibetan text recognition, highlighting the research shift toward deep learning approaches, which has significantly improved performance across various tasks. The paper also provides a brief overview of existing datasets used for Tibetan text recognition. Finally, it discusses the current limitations in different recognition scenarios and outlines potential future research directions.

Graphical abstract

关键词

图像识别 / 藏文 / 文字识别 / 深度学习 / 数据集

Key words

image recognition / Tibetan / text recognition / deep learning / dataset

引 言

藏文是中华文化的重要瑰宝，保护和传承优秀的藏文文字资源不仅是历史使命，更是现实需求。藏文文字识别技术作为实现这一目标的重要途径之一，是指利用自动识别技术，将各类藏文载体（如印刷物、手写稿及古籍文献等）的图像信息转换为计算机可读取、编辑及查询的计算机内码格式的过程。该技术的发展，对促进藏文文献资源的数字化保护与高效利用具有重要意义。

随着藏文信息技术的不断演进及其在多领域的深入应用，藏文文字识别技术也呈现出从低复杂度场景向高复杂度场景拓展的发展趋势。早期的研究主要集中于背景颜色单一、分辨率较高、版面结构规整、字体规范清晰的印刷体藏文文字识别任务。近年来研究重点才逐渐转向了背景复杂、版式多样、图文混排、结构紧凑且字体风格多变的自然场景藏文与古籍文献藏文的识别。值得注意的是，由于不同出版物所采用的字体设计不同、手写体风格存在差异，以及印刷排版规范不统一，使得藏文文献在书写形式与布局结构方面呈现高度的异质性。这种复杂性显著提高了模型对字体风格、排版变化和场景干扰的鲁棒性要求，使得对手写体及多风格藏文的准确识别成为当前研究中的一大挑战。基于上述背景，本文旨在系统梳理藏文文字识别领域的研究现状，归纳其技术发展脉络与面临的关键问题，并为后续研究提供可借鉴的理论与方法参考。首先，本文依据藏文字体和使用场景的差异，将识别任务划分为现代印刷体藏文文字识别、手写体藏文文字识别、自然场景藏文文字识别以及古籍文献藏文文字识别4类。在此基础上，本文将分别对各类任务所涉及的主流方法、模型架构及技术演进进行深入分析与比较。其次，系统阐述了传统文字识别方法与深度学习方法在藏文文字识别中的应用。针对现代印刷体、手写体、自然场景及藏文古籍文献识别等具体任务，分析了各类方法的基本思想和技术特点，并探讨了研究重心逐步向深度学习方法转移的趋势。随后，简要介绍了藏文文字识别相关的数据集，为后续研究提供基础数据参考。最后，总结了藏文自动识别技术的当前发展状况，分析了现有方法在实际应用中存在的挑战，并展望了未来研究的潜在方向。

1 相关背景介绍

1929年，德国科学家Tausheck提出了光学文字识别（OCR）的概念^[1]，后来美国科学家Handel将该技术应用到文字识别的实际应用当中^[2]。此后，经过数十年的发展，中英文等文字识别技术已日趋成熟，成为信息处理领域的一项关键技术。国内汉字印刷体的识别研究从20世纪70年代末起步，到1986年汉字识别研究进入一个实质性的阶段，不少研究单位相继推出了汉字OCR原型产品，但未达到实用化的程度。进入20世纪90年代以后，随着平台式扫描仪的广泛应用，以及我国信息自动化和办公自动化的普及，推动了汉字OCR技术的进一步发展，使汉字OCR的识别准确率和处理速度得到了显著提升，已基本能满足广大用户的应用需求。

藏文字识别的研究起步较早，但整体发展相对缓慢。早在1939年，美国加州大学的Keutzer团队开展了对藏文自动识别的初步研究，并取得了阶段性成果^[3]。随着对藏文文献研究的不断深入，20世纪90年代初期，日本情报处理学会（IPSJ）下属的研究小组为了研究藏文佛教典籍，专门启动了藏文字符识别项目（Tibetan OCR Project），并开展了一系列相关的研究^[4]。近年来，随着技术的不断进步，藏文文字识别的研究取得了进一步的发展。如，2016年Rowinski等^[5]提出的Namsel系统，通过图像预处理、字符分割和后处理等技术，显著提升了藏文OCR识别准确度。该系统在印刷体文本中表现优秀，但在处理具有粘着特性字符的古籍文献时，识别效果不尽如人意。为了解决这一问题，2018年Han等^[6]提出了一种基于组件定位的藏文字符识别方法。该方法通过提取字符结构特征，有效改善了字符堆叠和字形变化较大情况下的识别效果，进一步推动了藏文文献数字化进程。此外，俄罗斯科学院西伯利亚分院蒙、佛、藏研究所，为了将其馆藏的佛教遗产手稿和木版印刷品（其中藏文与蒙文书籍约有10万册）文献资源的数字化处理，采用计算机视觉和深度学习技术开发了藏文OCR系统。通过使用带有注释的18世纪Jone Kangyur木版数据集进行训练并测试，该系统取得了良好的识别表现，逐字符召回率达到0.9495，精度为0.9539，归一化编辑距离为0.9397，为藏文文献的数字化保存提供了有效的技术支持^[7]。

尽管国外针对藏文文字识别领域已有一定的研究成果，但是相关文献较为稀少。基于此，本文将重点分析国内在这一领域的研究进展。随着藏文文字识别技术在各个领域的应用需求不断增长，国内研究者已经采用多种不同的识别方法进行了深入研究。但是各类识别技术在应用当中仍存在着优劣并存问题。为有效解决其中的问题，系统分析藏文文字识别技术的研究进展及其主要技术路线显得尤为重要。

2 藏文文字识别研究

2.1 现代印刷体藏文文字识别

现代印刷体藏文是指在工业化印刷技术发展以及数字化排版技术普及的背景下，为满足现代社会对印刷品质和阅读体验的需求而设计和应用的一种藏文字体样式，将此类字体样式的藏文图像将转换为可编辑的文字过程就叫现代印刷体藏文自动识别。目前，在藏文文字识别领域，现代印刷体藏文文字识别研究工作已取得了一定的成果，基本上达到了实用化的水准。国内早期以一些高校为主的研究机构以藏文的基本构件（字符）为识别单位对藏文文字识别做了一些基础性的研究（本文中将此类识别单位通称为字符）。王维兰^[8]在分析藏文特征的基础上，指出基本字符应该作为藏文文字识别的最小单位，并论述了基本字符的特征抽取、分类及识别方法。在此基础上，通过藏文垂直、水平、两个对角线4个方向5个子特征进行分析后，给出了特征抽取、模式匹配、字符分类的算法^[9]。2001年王浩军等^[10]和吴刚等^[11]实现了藏文文字识别的预处理技术，根据藏文在字形和书写形式上的特点，实现了一种适用于藏文文字识别的预处理技术，整个预处理过程包括二值化、版面分析、倾斜校正、字符切分和归一化。在预处理过程中还提取了一些有关字丁的基本特征，这些特征充分反映了藏文的特点，对后续研究藏文自动识别提供了基础技术参考。Ma等^[12]构建了一个单字体藏文文字识别实验系统，实现了对标准印刷体藏文的自动识别。王维兰等^[13]在字符切分和特征提取算法优化的基础上，进一步探索了多字体藏文识别的关键技术，为后续深度学习方法的应用奠定了基础。吴佑寿等^[14]、王华等^[15]通过借鉴汉字识别的方法，提出了一种基于统计的多字体藏文印刷体现代藏文字符识别方法，此方法首先提取字符的方向线素特征，然后采用潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）压缩降维后经粗、细两级分类器得到识别结果。祁坤钰^[16]为提高文字识别率，通过分析前端识别结果，提出了一种基于规则的藏文后处理方法，此方法利用藏文附加信息候选字库及其距离信息和藏文上下文关系，在识别结果文件中找到识别错误的藏文字，通过后处理网络模块，将错误的藏文字符替换为置信度最大的藏文字符。该方法虽然在早期的藏文文字识别中具有较高的应用价值，但是过于依赖候选字库，导致识别结果的纠正性能有限，且当时没能有效解决藏文字符重叠粘连的问题。为此，赵全超^[17]和公保杰等^[18]较系统地研究了藏文粘连字丁的切分方法，后者提出了多策略细化切分方法，首先用积分投影法实现行和单字的粗切分，将图像中文字部分和空白间隙部分进行像素积分投影，并根据水平投影值对文字行（公式1）和字（公式2）进行切分。水平积分投影切分公式如下：

R(i)=f\left(i,j\right)（1）

H(j)={\displaystyle \sum _{j=a+\mathrm{1}}^b}g\left(i,j\right)（2）

其次，对重叠粘连的字符，根据连通域、藏文字符基线位置像素的统计、字符宽度等信息进行细切分。该方法在一定意义上解决了切分重叠粘连字符问题。普次仁^[19]对藏文字形信息进行了较为详细的统计分析，提出了系统的文字特征选择方法。李旺平^[20]在现有印刷体藏文文字识别技术的基础上，提出了一种非线性融合特征与支持向量机融合方法，该方法将多种特征进行有效融合，相比传统单一特征方法，在标准藏文数据集上的识别准确率提升了1.57%，为后续深度学习方法在藏文识别中的应用提供了重要的特征工程基础。

以上所述的印刷体藏文特征提取方法主要分为图像投影法和方向线索法两种。图像投影方法的特点是匹配与分类算法简单、易于实现，且抗干扰能力强，但其区分相似藏文字符的能力较差；方向线索法具有统计特性，识别性能虽优于图像投影法，但特征向量维数过多，训练时需要采用压缩算法，导致识别过程中存在速度慢、训练困难等问题。针对上述两种传统方法的不足，李永忠等^[21]提出了新的解决方案，采用分形矩理论和改进的粗网格法，分别实现了基于分形矩的藏文字符特征提取方法和改进粗网格法特征提取方法。该方法有效解决了藏文相似字符较多导致的识别错误问题，同时显著提高了运算速度，为藏文字符识别提供了新的技术路径。Rowinski等^[22]研究了图像二值化、文本图像切分、特征提取和识别等问题，并研发了藏文OCR系统（NAMSEL），该系统首先使用支持向量机（Support Vector Machine， SVM）模型识别藏文字，之后采用隐马尔科夫模型（Hidden Markov Model，HMM）对识别结果进行微调，最终完成识别。现代印刷体藏文字符识别的传统方法大多都以字丁为切分单位，采用特征匹配法和统计机器学习方法进行字符识别，此方法虽然在现代印刷体藏文文字识别领域取得了较好的成效，但是藏文文献中存在大量的笔画粘连与字丁相似的现象，并且传统机器学习方法在处理文字识别任务时面临无法学习上下文关系的瓶颈^[23]，导致现代印刷体藏文文字识别率始终无法有效提升。

随着深度学习的发展，卷积神经网络被广泛应用于计算机视觉^[24-28]，文字识别的技术也引来了新的热潮，藏文自动识别的研究和性能也有了新的突破。通过采用深度学习的模型，以字丁为识别粒度进行研究^[29,30]，降低了模型参数量，提高了现代印刷体藏文自动识别的准确率。三知加等^[30]提出了一种基于神经网络的多字体藏文印刷体字丁识别方法，针对藏文字丁识别问题构建了含有五层卷积层、三层池化层和一层全连接层的卷积神经网络（Convolutional Neural Network，CNN）模型（图1）。

该方法能够较好地解决印刷体藏文字丁粘连和二维布局字丁字体各异的识别问题，但是对多字体、字丁畸变、断笔和位置异变等现象的识别率较低。鉴于以上问题，才让当知等^[31]提出了一种基于音节切分的藏文印刷体识别方法，该方法以音节为切分单位，采用了LeNet-5为网络识别模型，此模型在轻量级LeNet-5网络的基础上进行了改进（图2）。

该方法采用了最大池化和平均池化交替方式，并引入Dropout来防止过拟合现象^[32,33]，并将得到的音节特征图像展开为一维向量，输送至Softmax输出层。实验表明，比起传统以字丁为切分单位的藏文印刷物文字识别，音节为单位的神经网络模型能有效提升识别效果。目前，藏文印刷体文字识别技术相对成熟，基本上达到了实用化的程度。

由于现代印刷体藏文通常采用规整的排版和版式，使得文本结构相对清晰，行间距、字间距等参数一致，这为文本检测算法的定位和文本区域的提取提供了便利，且随着深度学习技术的引入，现代印刷体藏文的识别准确率也取得了显著提高。然而，现代印刷体藏文文字识别技术在处理一些排版复杂情况时还面临着许多挑战，特别是在应对文本旋转、复杂排列方式、多种文字混排及藏文多字体混排等特征时，尤其在识别藏文报纸版面等任务中仍存在一定的识别难度。这些问题为进一步研究现代印刷体藏文文字识别技术的适应性和准确性提供了研究方向和动力。

2.2 手写体藏文文字识别

手写体藏文文字识别是指将手写的藏文文稿，通过扫描仪等设备转换成图像，再用计算机将图像转化为电子文档的一种技术。由于手写风格因人而异，在一定程度上加大了识别的难度，成为文字识别领域颇具挑战的子方向，与现代印刷体藏文文字识别研究相比，专门研究手写藏文自动识别的文献相对较少。手写藏文风格繁多，根据书写特征，主要分为乌金体和乌梅体（藏文“དབུ་ཅན།”和“དབུ་མེད།”的音译）两种字体。早期手写体藏文文字识别研究主要集中在联机和脱机的乌金体手写藏文自动识别方面，并且取得了较高的识别效果^[34-36]。相比之下，乌梅体类似于汉文的行书^[37]，其跨行、字符间距较大和书写风格多样化等特点给手写体藏文的自动识别带来很大的挑战。

赵冬香^[38]通过对各种识别技术的分析比较，以及对乌梅体藏文手写体特征的深入分析后，提出了一套手写乌梅体的藏文OCR识别方法，主要依赖传统的特征提取和模式匹配方法，使得该方法在处理相似字的识别上准确率并不高。之后，Ma等^[39-41]系统研究了组件的手写藏文字符识别方法。扎西多吉等^[42]在分析手写乌梅体藏文字符特征的基础上进行了数据预处理，并利用Hu不变矩和HOG特征法提取手写体字符特征，并采用支持向量机（SVM）分类器进行识别。虽然这种方法在一定程度上提高了普通手写体藏文的识别性能，但由于数据匮乏和文字特征选择等因素的限制，仍未能满足实际应用需求。

在手写体藏文中，乌金体和乌梅体的识别难度存在显著差异。手写乌金体藏文因其行间距清晰、字间距一致以及笔画端正等特征，现有的识别技术能够相对高效地进行处理。相比之下，手写乌梅体藏文面临更为复杂的挑战，主要源于其书写者风格差异导致的字体多样性，以及跨行重叠等问题，使得该类字体的识别难度大、准确率较低。目前，针对手写乌梅体藏文的研究文献较为有限，且相关识别技术尚未取得显著进展，亟需进一步研究和技术突破。

2.3 自然场景藏文文字识别

自然场景藏文文字识别是指存在于任意自然场景下的藏文文本图像转化为计算机可编辑的文本的技术，例如道路路牌、广告牌、商场指示牌、商品包装等自然场景下的藏文文本识别。该技术通常先利用文本检测方法获取文本位置信息，再根据位置信息结合文本识别技术进行文字的识别^[43]。自然场景藏文文字识别远比现代印刷体藏文文字识别困难，其复杂的文字形态和背景给识别技术带来更大挑战，具体体现在：①多种语言文本混合且字符多样化（如颜色、字体、亮度及大小等）；②文本行的多样性（如横向、纵向、弯曲、旋转及扭曲等）；③文字区域有可能产生变形、残缺及模糊等；④自然场景文本图像的背景多样化（如平面、曲面、折皱及多样纹理等）。

目前，中英文字体的自然场景文字检测与识别研究取得了显著的进展。然而，自然场景下的藏文检测与识别研究仍处于起步阶段，公开的相关文献相对较少。尽管传统OCR技术在复杂的自然场景藏文识别方面存在瓶颈，但随着深度学习和计算机视觉技术的不断发展，自然场景藏文自动识别的准确率和鲁棒性取得了明显的提升。基于深度学习的自然文本检测与识别技术已成为当前文档分析与文字识别领域主流的研究方法。仁青东主等^[44]提出了一种符合藏文的卷积神经网络CRNN^[45]（Convolutional Recurrent Neural Network）与连接时域分类（Connectionist Temporal Classification,CTC）相结合的自然场景藏文自动识别模型，其整体结构如图3所示。CRNN藏文文字识别模型主要由卷积层、循环层及转录层三部分组成。卷积层任务是通过卷积神经网络从输入图像中提取特征序列，并转换为具有卷积特征的矩阵；循环层是在卷积层提取的特征基础上通过LSTM网络继续提取文字序列特征，预测每一个帧的标签分布；转录层把每一帧的预测（结果）变为最终的标签序列。此方法显著提高了自然场景藏文自动识别效果。

2021年，洪松等^[46，47]以人工收集和标注的方式构建了自然场景乌金体藏文图像数据集，并采用CRNN算法进行乌金体藏文的识别。在此基础上，Liao等^[48]结合可微分的二值化网络DBNet来适应纵横比值较大的乌金体藏文检测，Howard^[49]则用改进后的MobileNetV3 Large作为特征提取网络，降低了模型的计算量，提高了准确率。针对当前没有公开标准化的自然场景藏汉双语图像数据集的现状，李金成^[50]首先采用人工合成的方法构建了适用于自然场景藏汉双语文本检测和识别的数据集。之后，He等^[51]在特征提取部分用ResNet作为骨干网络基础上，提出了一种文本实例中心区域边界扩增的文字检测网络模型，初步实现了自然场景藏汉双语文本的检测，并基于卷积循环神经网络和连接时序分类器（CRNN+CTC）融合方法，对自然场景藏汉双语文本行图像进行训练得到识别模型。另外，李金成^[50]在张国伟^[52]提供的藏汉双语词条图像数据的基础上，采用从真实自然场景中采集图像、人工合成方法及生成对抗网络（Generative Adversarial Network，GAN）和风格迁移技术三种方法构建了适用于场景藏文检测的数据集，并提出一种基于图像上下文信息的多尺度特征聚合的文字检测算法，该算法可对已构建的数据集进行检测，最后使用原始表征学习的方法，完成场景藏文文字识别任务。尽管上述研究提升了藏汉双语场景文本的检测与识别性能，但由于真实样本稀缺，算法在检测速度与精度上与前沿检测器存在差距，加之训练数据字符类别有限，最终制约了模型性能的进一步提升。

藏文乌梅体场景文字识别属于文字识别领域的一个难点，童攀等^[53]首先使用CNN提取图像特征，接着通过Bi-LSTM增强序列上下文信息，然后在RNN解码前利用注意力机制计算权重，最终由RNN输出序列识别结果。该方法实现了对藏文乌梅体自然场景文字的初步识别，但由于训练数据的不足，实验结果仍有显著的提升空间。拥措等^[54]通过社交媒体收集并标注了多种字体的藏文文本图像，包括藏文柏簇体、乌金苏仁体和珠擦体等，随后采用语义分割的PSENET模型^[55]进行多字体藏文文本检测，并结合以ResNet18^[56]为骨干网络的CRNN+Multi-head Attention^[57]算法进行文字识别。该方法在多字体自然场景藏文识别中表现突出，但因自然场景的复杂性与多字体风格的差异，仍需进一步优化。

目前，基于深度学习的识别模型已广泛应用于自然场景藏文自动识别任务中，其中CRNN方法能够在一定程度上有效提高识别准确率。然而，该领域仍面临诸多挑战，如，文本重叠、形变及复杂背景干扰等。现有的自然场景藏文文字识别方法通常采用级联的文本行检测和文本行识别模型。这种方法存在检测和识别误差的堆积问题，且单独优化时存在一定局限性，尤其在处理复杂场景图像时，其精度和速度仍有待提升。

为了进一步提升藏文自然场景文字识别的性能和训练速度，未来的研究可以借鉴端到端训练的藏文手写体和书面体文字识别技术，并探索融合文本检测信息的特征生成方法。通过采用基于局部-全局交互注意力机制的文本行识别网络，可以更有效地捕捉短距和长距之间的视觉依赖性，从而在复杂场景下提升识别精度。

2.4 藏文古籍文献文字识别

藏文古籍文献作为中华民族宝贵的文化遗产，承载着丰富的历史与文化信息。自吐蕃时期起，藏文文献以摩崖石刻、金石铭文、简牍写卷、经典翻译、个人著作及整理文集等多种形式流传，文献存量在国内仅次于汉文，具有重要的学术和历史价值，为有效保护这些珍贵文献，数字化处理已成为当务之急^[58]。藏文古籍多以木刻本和手写本为主，常伴有文字粘连、模糊、残缺等问题，识别难度较大。为此，国内外研究机构与学者较早便开展了相关研究^[59,60]，取得了一定成果，为藏文古籍数字化保护和利用奠定了技术基础。

藏文古籍木刻本主要采用的字体为乌金体。该字体具有笔画整齐、字母间隔均匀、笔墨饱满等特点，相较于手写体识别难度较低。早期研发的印刷体藏文文字识别技术在应用于藏文古籍文字识别时，受限于抗干扰能力、自适应能力和识别性能等方面的不足，难以得到广泛推广^[61]。鉴于藏文古籍文献的特殊风格，仅依赖字符切分和特征提取等传统方法难以满足其文字识别需求。为解决这一问题，才让当知等^[62]在传统藏文自动识别方法的基础上，引入了基于BP（Error Back-Propagation）网络的训练方法。该方法通过反向传播机制对人工神经网络算法进行训练，并对训练过程中保存的数据进行修正，有效提升了识别率。

近年来，很多国内高校在藏文字识别研究方面开展了进一步的探索，方法逐步由传统OCR转向深度学习算法。张西群等^[63,64]对藏文历史文献的文本区域提取问题进行了研究，提出了一种基于块投影的藏文历史文献文本提取方法和一种基于卷积降噪自编码的版面分析方法。尽管这两种方法在藏文历史文献版面分割研究中取得了一定成效，但由于藏文古籍文献的标注数据种类和数量稀缺、版面结构存在差异，以及相邻文本行间存在粘连和重叠等问题，识别率仍受到较大限制。

为进一步提升识别性能，近年来有研究人员提出了多种文本行切分方法^[65-71]。李金成等^[72]在以上研究基础上，提出了一种基于文本核心区域扩展生长的文本行分割方法，该方法通过提取藏文古籍文档图像中的文本核心区域，在其基础上扩展生长，以实现文本行的有效切分。此外，贡去卓么等^[73]针对藏文古籍文档的文本区域检测问题，提出了一种基于图像语义分割的方法。该方法首先利用判别式对抗网络框架下的语义分割网络，对藏文古籍文档中不同类型的文本区域进行像素级分类；随后，根据分类结果提取各个文本区域的轮廓；最后，将检测到的版面布局信息进行保存。实验结果显示，该方法在藏文木刻版印刷体古籍文献的文本区域检测任务中取得了较为理想的效果。在此基础上，仁青东主等^[59]针对藏文古籍木刻版文献在复杂图像质量、文字粘连等方面的识别难题，提出了一种CNN与RNN融合的神经网络识别模型。该模型采用基于滑动窗的行识别技术，解决了行文字较长导致的粘连问题。同时，采用串识别技术构建串识别框架，其核心基于残差网络（Residual Network, ResNet），结合连接时域分类（Connectionist Temporal Classification, CTC）和双向长短期记忆网络（Bidirectional Long Short-Term Memory, Bi-LSTM）完成块图像的识别（图4）。此外，为进一步提升模型的泛化能力，该研究引入了合成样本^[74]进行预训练，有效提升了模型在藏文古籍文字识别中的性能表现。

藏文古籍手写本中大多采用乌梅体字体。乌梅体因其书写形式多样、文字模糊、笔画弯曲、字迹褪色、字符残缺、断裂粘连、字体大小不一、字体风格差异较大、文本行间距不均等特点，显著增加了手写体藏文古籍文献的文字识别难度。因此，研究文献较少，相关技术发展相对滞后。2020年王梦锦等^[71]对过去十余年自然场景文本检测领域中常用的算法及其研究趋势进行了梳理，并采用了CTPN（Connectionist Text Proposal Network）算法与EAST（Efficient and Accurate Scene Text Detector）对手写体藏文古籍文本进行检测。然而，该检测方法的数据集标注方式为矩形框，且采用了基于回归框的检测机制，而藏文古籍文本行间距较小，且藏文字存在上加字与下加字的结构特点，易导致检测框之间出现大量重叠，进而影响最终的手写体藏文古籍文本检测性能。为进一步提升手写体藏文古籍文本的检测效果，芷香香等^[75]对手写体藏文古籍文本进行了深入分析，基于字形大小构建了3种数据集，并采用PSENet、Pixel Link和PANNet等3种基于分割的深度学习文本检测算法对多种字体的手写藏文古籍文本进行了检测。实验结果显示，3种算法中Pixel Link算法在藏文古籍文献的文本检测中表现最佳，并且Pixel Link算法基于VGG16网络^[73]实现了特征提取，展现出在复杂文本检测任务中的显著优势。格桑多吉等^[76]提出了一种改进后的轻量级骨干网络Faster-Net作为特征提取网络，引入了注意力机制（Coordinate Attention，CA），充分利用上下文特征信息，实现了浅层与深层信息的有效融合，从而显著提升了对藏文古籍中字体大小不一的文本区域目标检测性能。此外，杨晓龙等^[77]提出了一种基于迁移学习的敦煌藏文古籍整页识别方法。该方法有效解决了传统方法在处理敦煌藏文古籍时因数据稀缺和图像复杂性带来的识别率不高的问题。研究通过将预训练的深度学习模型迁移至古籍识别任务中，显著提升了识别精度和模型鲁棒性。该研究不仅在图像预处理和文本区域检测方面取得了良好效果，同时为敦煌藏文古籍的数字化保护和传承提供了有效的技术支持。

综上，当前藏文古籍文字识别技术已从传统OCR方法逐步过渡到深度学习主导的研究范式。通过引入卷积神经网络、时序建模、语义分割与迁移学习等技术，有效缓解了数据稀缺、字体多样和结构复杂等挑战，为藏文古籍的数字化保护与智能利用提供了重要支撑。

3 数据集

在文字识别任务中，数据集是训练模型和评估模型性能的基础，但是目前还未发现藏文文字识别数据集的公开共享。很多研究人员通过各自构建的藏文自动识别数据集对藏文文字识别进行训练并评估。因此，根据自建数据集构件方式的不同，本文将基准数据集分为合成数据集和真实数据集两类。各种数据集的详细信息如表1所示。

当前，文字识别技术已取得显著成效。然而，由于公开数据集的缺乏，严重制约了藏文文字识别领域的研究进展。在无法共享、比较和验证不同方法有效性的情况下，研究方法的应用存在瓶颈，性能评估亦存在偏差。因此，构件并公开数据集已成为业界的迫切需要。数据共享将使研究人员能够更广泛地探索与评估各类算法，推动藏文文字识别技术的创新与发展，这不仅有助于提升方法的准确性与模型的泛化能力，更能促进高校及科研机构间的合作交流，共同推动该领域的长远进步。

4 总结与展望

藏文文字识别领域的研究大致可归纳为现代印刷体藏文文字识别、手写体藏文文字识别、自然场景藏文文字识别以及藏文古籍文献识别。现代印刷体藏文文档通常具有简洁的版面设计，字符的获取相对简单，且字符之间的间距、行间距清晰，文本布局规整。这使得现有字符识别技术能高效完成字符识别任务，因此已有研究主要聚焦藏文字符特征的选择及分类器的设计。随着深度学习和其他先进技术的应用，字符识别的准确性和识别速度得到了显著提升，尤其是在印刷物藏文的常规文档中，技术已经相当成熟，能够在实际应用中发挥重要作用，如书籍、报纸、政府文件等标准化文档的处理。然而，当涉及版面较为复杂的文档（如报刊、杂志等）时，现有的识别技术仍然面临显著的挑战。这类文档通常包含多栏布局、图片与文字混排、字体大小不一、特殊的版面设计等现象，使得字符的提取和分割变得更加困难。图像中的文本区域不规整，字间距和行间距不一致，且文字与背景的对比度较低，导致现有的印刷体藏文文字识别技术在处理复杂版面时效果不佳。

手写体藏文中，乌金体和乌梅体的识别难度存在显著差异。乌金体因其行间距清晰、字间距一致且笔画端正，使得现有识别技术能够较为高效地处理，识别性能较好。相比之下，乌梅体具有更强的个性化书写风格，且书写者之间的字体差异较大，导致字符呈现多样性，增加了识别难度。尤其是手写体藏文古籍文献存在的行重叠、字形模糊和笔画断裂等问题，使得文本分割和字符识别更加困难，因此现有的识别模型在处理乌梅体字体时性能表现较差。

近年来，自然场景中的藏文文字识别日益受到关注。尤其在西藏及涉藏地区的公共标识、街道牌匾等识别场景中，往往出现藏文与汉语等多语种共存现象。在此情况下，如何从复杂的背景中准确检测并识别出藏文文字面临很大的挑战。值得注意的是，利用汉字等语言信息辅助藏文识别的方法已被证实能在一定程度上提高识别准确率，有效缓解字体多样性、笔画复杂性等带来的挑战。因而，在开展自然场景藏文识别研究时，融入多语言协同策略也能起到很好的作用。

藏文古籍文献的文字识别方面，木刻版藏文古籍中的文字相对较为规范，通常使用的是乌金体字体，并且大多数通过印刷技术完成，识别难度较小。由于乌金体的笔画清晰、字迹规整，且版面相对简洁，现有的深度学习和OCR技术可以较为高效地对其进行处理，识别效果普遍良好。然而，对于藏文古籍中的手写体文献，尤其是历史档案类文献的识别，依然面临较大的识别挑战。手写体藏文具有显著的书写风格差异，且字形不规则、笔画与字间距不规整等因素的存在，使得字符分割和识别难度较大。此外，这类文献的版面通常较为复杂，存在行重叠、字形模糊和背景噪音大等问题，使得图像预处理和后续的字符识别更加复杂。在这类历史档案类文献中，常常存在各种古籍文献特征，古老的纸张、模糊的墨迹、褪色的文字等，这些因素进一步影响了识别的准确性，导致现有的识别技术在这类文献上的处理效果不佳。

综上所述，藏文文字识别作为少数民族语言文字智能处理的重要研究方向，广泛应用于现代印刷体文本、手写体文献、自然场景文本以及古籍文献等多种复杂场景。不同类型的文本在字符结构、版面布局和图像质量等方面存在显著差异，给识别系统带来了技术难题。对于现代印刷体藏文的识别，因其版面规整、字体清晰，在当前识别技术较为成熟的情况下，可有效应用于书籍、报刊、政府文件等标准化文档的处理。然而，对于多栏排版和图文混排等复杂布局文档，字符的精确定位与切分仍然是制约识别精度的关键因素。手写体藏文识别面临更大的挑战。其中，乌金体因其结构相对规范，识别难度较低；乌梅体由于书写风格差异大、字形变化多样，使得模型难以有效泛化，识别率波动较大。古籍文献识别中，字符提取面临着行重叠、墨迹模糊和纸张老化等多重因素的干扰，进一步加剧了识别难度，成为当前研究的重点与难点之一。自然场景中的藏文识别同样面临严峻挑战。现实场景中，藏文常与汉语等语言双语并存，加之背景复杂、字符形变显著，识别系统需具备极强的鲁棒性与适应性。因此，有效融合多语言信息，尤其是与汉语等主流语言进行协同建模，对提升模型的场景适应能力至关重要。

针对当前藏文文字识别中样本稀缺、数据分布零散且缺乏公开共享数据集等现实问题，笔者认为未来研究工作应聚焦于以下两个关键方向：

（1）数据集构建与共享机制完善。目前，公开的藏文文字识别数据集数量有限，尤其在复杂版面、自然场景和手写体古籍文献等领域，缺乏大规模、系统化的标注资源。构建高质量、多样性的藏文识别数据集并推动其公开共享，不仅有助于促进藏文识别算法的发展，也对少数民族文化遗产的数字化保护具有重要现实意义。

（2）多模态语言建模的融合与应用。近年来，多模态预训练模型（如视觉语言模型）在文本相关任务中展现出强大的建模能力，特别是在自然语言与视觉信号的协同理解方面。将预训练语言模型引入藏文文字识别，特别是在手写体古籍文献的处理任务中，有望显著提升藏文文字识别的上下文感知能力与纠错能力。语言模型通过建模上下文语义，能够有效修正字符级误识，增强在噪声背景下的鲁棒性与整体识别准确率。

综上，面向多场景、多类型的藏文文字识别需求，有效建立公开共享的数据集基础上，结合针对性的模型优化策略及建构语言模型的多模态融合机制，是推动藏文文字识别技术持续演进的关键路径。

参考文献

[1] 赵伟.OCR的技术前景[J].首都信息化,1999(12):38-39.

[2] Kanaar P. Revision of the genus Paratropus Gerstaecker (Coleoptera:Histeri dae)[J]. zoologische verhandelingen, 1997,315(1):1-185.

[3] Kojima M, Nunomiya C, Kawamura T, et al. Recognition of similar characters by using object oriented design printed Tibetan dictionary[J]. Transaction of Information Processing Society of Japan, 1995,36(11):2611-2621.

[4] Kojima M, Kawazoe Y, Kimura M. Automatic Recognition of Wooden Blocked Tibetan Image Character by Using Object Orient ⁃ ed Design[J]. Ipsj Sig Notes,1998,98:39-44.

[5] Rowinski Z, Keutzer K. Namsel: An optical character recognition system for Tibetan text[J]. Himalayan Lin-guistics,2016:15(1):1544-7502.

[6] Han Y, Wang W, Wang Y, et al. Research on the method of Tibetan recognition based on component locationin-formation[C].Pattern Recognition and Computer Vision: First Chinese Conference, PRCV 2018, Guangzhou,China, Proceedings, Part III 1. Springer International Publishing, 2018:63-73.

[7] Brodt K, Rinchinov O, Bazarov A, et al. Deep learning for the development of an OCR for old Tibetan books[C]//Bioinformatics of Genome Regulation and Structure/Systems Biology (BGRS/SB-2022). 2022:1086-1086.

[8] 王维兰.现代藏文识别[C]. 中文信息处理国际会议,1998.

[9] 王维兰.藏文基本字符识别算法研究[J].西北民族学院学报:自然科学版,1999,20(3):20-23.

[10] 王浩军,赵南元,邓钢轶.藏文文字识别的预处理[J].计算机工程,2001(9):93-96.

[11] 吴刚,德熙嘉措,黄鹤鸣.印刷体藏文文字识别技术[J].青海师范大学学报(自然科学版),2006(1):32-37.

[12] Ma S, Jin Y, Zhe J, et al. A method of printing Tibetan character recognition[C]. Intelligent Control and Automation, Proceedings of the 4th World Congress on. IEEE, 2002.

[13] 王维兰,丁晓青,陈力 等.印刷体现代藏文文字识别研究[J].计算机工程,2003,7(3):37-38+94.

[14] 吴佑寿,丁晓青.汉字识别:原理、方法与实现[M].北京:高等教育出版社,1992.

[15] 王华,丁晓青.多字体印刷藏文字符识别[J].中文信息学报,2003(6):47-52.

[16] 祁坤钰.基于规则的藏文文字识别后处理研究[J].西北民族大学学报(自然科学版),2003(4):33-36.

[17] 赵全超.藏文历史文献中粘连字丁串的切分与识别[D].北京:北京工业大学,2019.

[18] 公保杰,安见才让.印刷体藏文文字识别中字符切分方法的研究[J].计算机时代,2019,327(9):24-26.

[19] 普次仁.藏文文字识别技术研究[D].拉萨:西藏大学,2008.

[20] 李旺平.藏文OCR识别方法研究[D].武汉:武汉理工大学,2017.

[21] 李永忠,王玉雷,刘真真.藏文印刷体字符识别技术研究[J].南京大学学报(自然科学版),2012,48(1):55-62.

[22] Rowinski Z, Keutzer K N. An optical character recognition system for Tibetan text[J].Himalay an Linguistics,2016,15(1):12-30.

[23] 林津伊.基于深度学习的古籍文字识别研究[D].长沙:湖南大学,2023.

[24] Luo H L, Chen H K. Target detection based on multi-scale semantic information fusion [J]. Journal of Elec-tronics and Information, 2021,43(7):2087-2095.

[25] 陈鸿坤,罗会兰.多尺度语义信息融合的目标检测[J].电子与信息学报,2021,43(7):2087-2095.

[26] Zuo J H, Jia Z H, Yang J, et al. Video image moving target detection based on improved background sub- traction[J].Computer Engineering and Design,2020,401(5):175-180.

[27] 左军辉,贾振红,杨杰, Kasabov Nikola.基于改进背景减法的视频图像运动目标检测[J].计算机工程与设计,2020,41(5):1367-1372.

[28] 赵鹏海.乌金体藏文文档版面分析与识别系统[D].兰州:西北民族大学,2022.

[29] 王悦凝.基于Android的藏文图像文本识别系统的设计与实现[D].西宁:青海师范大学,2022.

[30] 三知加,贡去卓么,才让加 等.基于神经网络的多字体藏文印刷体字丁识别[J].计算机仿真,2022,39(10):214-218.

[31] 才让当知,华却才让,黄鹤鸣.基于音节切分的藏文印刷体识别[J].计算机工程与设计,2022,43(9):2594-2600.

[32] 刘冬民.基于深度学习的印刷体汉字识别[D].广州:广州大学,2018.

[33] 徐长英,赖伟财,陈英.基于深度学习的印刷体文档字符识别的研究[J].现代电子技术，2020,574(23):80-83.

[34] 赵冬香,赵晨星.脱机手写体藏文的特征提取[J].甘肃科技,2008(5):48-49+59.

[35] 周毛克,才让先木,龙从军 等.基于卷积神经网络的藏文手写数字和字母识别研究[J].青海师范大学学报(自然科学版),2019,35(4):34-39.

[36] 黄婷.基于字丁的手写体藏文文字识别[D].西安:西安电子科技大学,2020.

[37] 巴桑旺堆.关于古藏文写本的研究方法的再探索[J].中国藏学,2009(3):61-81+257.

[38] 赵冬香.基于BP网络的脱机手写吾美藏文文字识别技术研究[D].西宁:青海师范大学,2009.

[39] Ma L, Wu J. A component-based on-line handwritten Tibetan character recognition method using conditional random field[C]. 2012 International Conference on Frontiers in Handwriting Recognition. IEEE, 2012: 704-709.

[40] Ma L, Wu J. Semi-automatic Tibetan component annotation from online handwritten Tibetan character database by optimizing segmentation hypotheses[C]. 12th International Conference on Document Analysis and Recognition. IEEE, 2013:1340-1344.

[41] Ma L, Wu J. A Tibetan component representation learning method for online handwritten Tibetan character recognition[C]. 2014 14th International Conference on Frontiers in Handwriting Recognition. IEEE, 2014:317-322.

[42] 扎西多吉,格桑多吉,西热旦增,等.藏文手写乌梅体字母预处理和特征提取研究[J].高原科学研究,2021,5(4):104-110.

[43] 王建新,王子亚,田萱.基于深度学习的自然场景文本检测与识别综述[J].软件学报,2020,31(5):1465-1496.

[44] 仁青东主,尼玛扎西.基于深度学习的自然场景藏文文字识别研究[J].高原科学研究,2019,3(4):96-103.

[45] Shi B, Bai X, Yao C. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2016,39(11):2298-2304.

[46] 洪松,高定国,三排才让,等.自然场景下乌金体藏文的检测与识别[J].计算机系统应用,2021,30(12):332-338.

[47] 洪松.自然场景下乌金体藏文检测与识别方法研究[D].拉萨:西藏大学,2021.

[48] Liao M, Wan Z, Yao C, et al. Real-time scene text detection with differentiable binarization[C]. Proceedings of the AAAI conference on artificial intelligence, 2020,34(7):11474-11481.

[49] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]. Proceedings of the IEEE/CVF international conference on computer vision, 2019:1314-132.

[50] 李金成.藏汉双语自然场景文字检测与识别系统[D].兰州:西北民族大学,2021.

[51] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2016:770-778.

[52] 张国伟.移动端场景藏文检测与识别系统[D].兰州:西北民族大学,2022.

[53] 童攀,龙炳鑫,拥措.基于深度学习的藏文乌梅体场景文字识别[J].信息与电脑(理论版),2023,35(4):91-93.

[54] 拥措,龙炳鑫,拉毛杰 等.面向社交媒体的藏文图文多字体检测与识别研究[J].高原科学研究,2023,7(4):76-85.

[55] Liao G, Zhu Z, Bai Y, et al.PSENET-based efficient scene text detection[J].IEEE Access,2020,8:52641-52651.

[56] He K, Zhang X, Ren S, et al.Identity mappings in deep residual networks[C].Computer Vision-ECCV 2016:14th Europe an Conference,Amsterdam,Proceedings,Part IV 14.Springer International Publishing, 2016:630-645.

[57] 白翔,杨明锟,石葆光 等.基于深度学习的场景文字检测与识别[J].中国科学:信息科学,2018,48(5):531-544.

[58] 徐丽华.关于藏文古籍数字化的思考[J].中国藏学,2011(2):153-158.

[59] 仁青东主.基于深度学习的藏文古籍木刻本文字识别研究[D].拉萨:西藏大学,2021.

[60] 梁爱民,陈荔京.古籍数字化与共建共享[J].国家图书馆学刊,2012,21(5):108-112.

[61] 赵栋材.基于BP网络的木刻藏文经书文字识别研究[J].微处理机,2012,33(5):35-38+43.

[62] 才让当知,华却才让,却措卓玛,多杰才让.藏文乌金印刷体文本图像自动分割技术研究[J].青海师范大学学报(自然科学版),2019,35(4):19-25.

[63] 张西群. 面向藏文历史文献的版面分割方法研究[D].北京:北京工业大学,2018.

[64] 张西群,马龙龙,段立娟 等.基于卷积降噪自编码器的藏文历史文献版面分析方法[J].中文信息学报,2018,32(7):67-73+81.

[65] Wang Y, Wang W, Li Z, et al. Research on Text Line Segmentation of Historical Tibetan Documents Based on the Connected Component Analysis[C]. First Chinese Conference, PRCV 2018, Guangzhou, China, 2018.

[66] Li Z, Wang W, Chen Y, et al. A novel method of text line segmentation for historical document image of the uchen Tibetan[J]. Journal of Visual Communication and Image Representation, 2019,61(6):23-32.

[67] Zhou F, Wang W, Lin Q. A novel text line segmentation method based on contour curve tracking for Tibetan historical documents[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2018,32(10):1854025.

[68] 李颜兴.基于规则和学习的藏文历史文献的文本行分割方法研究[D].北京:北京工业大学,2018.

[69] 赵全超.藏文历史文献中粘连字丁串的切分与识别[D].北京:北京工业大学,2019.

[70] 王梦锦,拥措,李善琛.藏文古籍文本检测研究现状[J].电脑知识与技术,2020,16(10):204-207.

[71] 王梦锦.基于深度学习的藏文古籍文献文本检测研究[D].拉萨:西藏大学,2020.

[72] 李金成,王筱娟,王维兰,等.结合文字核心区域和扩展生长的藏文古籍文本行切分[J].激光与光电子学进展,2021,58(2):113-123.

[73] 贡去卓么,才让加,三知加.基于语义分割的藏文古籍文档文本区域检测[J].计算机仿真,2022,39(5):448-454.

[74] 仁青东主,头旦才让,尼玛扎西.藏文古籍文字识别训练数据的合成方法研究[J].高原科学研究,2021,5(3):84-91.

[75] 芷香香,高定国.手写多字体藏文古籍文本检测方法研究[J].高原科学研究,2022,6(2):89-101.

[76] 格桑多吉,白玛旺久,扎西多吉.藏文古籍手写文档文本区域检测方法研究[J]. 高原科学研究,2023,7(3):102-111.

[77] 杨晓龙,高红梅,高定国,等.基于迁移学习的敦煌藏文古籍整页识别[J]. 中文信息学报,2023,37(11):29-37.

[78] Tashi D, Sheng T Y, Chen B T. Construction of a Tibetan Handwriting Khyug-yig Dataset[J]. Data Intelligence, 2024,6(3):870-887.

基金资助

新一代人工智能国家科技重大专项(2022ZD0116100)

西藏自治区自然科学基金重点项目(XZ202201ZR0054G)