班智达藏文自动分词系统的设计与实现

admin管理员组

文章数量:1539010

2024年5月22日发(作者：)

第２１卷第２期　青海师范大学民族师范学院学报　

２０１０年１１月　

Ｖｏ１．２１．２　ＪｏｕｒｎａｌｏｆＭｉｎｏｒｉｔｉｅｓＴｅａｃｈｅｒｓＣｏｌｌｅｇｅ　ｏｆＱｉｎｇｈａｉＴｅａｃｈｅｒｓＵｎｉｖ

ｅｒｓ

ｉｔｙ　

ＮＯＶ．２０１０　

班智达藏文自动分词系统的设计与实现术　

才智杰　

（青海师范大学藏文智能信息处理中心青海西宁８１０００８）　

摘要：分词是理解自然语言的第一步，在此基础上才能划分短语、抽取概念以及分析主题，以至自然语言理解，最终实现智能化。　

通过对８５万字节藏语语料的统计分析和藏语词的分布特点、语法功能的研究，设计开发了基于词典库的班智迭藏文自动分词系统。系　

统的研制为藏文输入法研究、藏文电子词典建设、藏文字词频统计、搜索引擎的设计和实现、机器翻译系统的开发、网络信息安全、藏文　

语料库建设以及藏语语义分析研究奠定了基础。　

关键词：中文信息处理分块格助词藏文分词　

１　引言　

须具有很好的通用性。　

英语、法语和德语等西方语言的词与词之间　

３班智达藏文自动分词系统的设计与实现　

一

般采用自然的空格作为词与词的分隔标记，但　

３．１技术路线　

藏文和汉文一样都是字的序列，词之间没有间隔　

通过分析汉文分词系统和藏文特征，制定了　

标记，使得词的界定缺乏自然标准，这就需要通　

明确的项目技术路线，如图１所示。　

过人工或机器对其进行分词。　

近年来随着藏文信息处理技术的发展，研究　

人员已意识到藏文自动分词的重要性，在借鉴亲　

属语言汉语分词研究的已有成果和成功经验，藏　

文自动分词方面取得了一些有价值的研究成果。　

我课题组在国家评委的支持下研制开发了《班智　

达藏文自动分词系统》。　

２分词技术分析　

从分词所采用的方法来看，大致上可分为两　

大类，即统计方法和规则方法。统计方法是先建　

图１技术路线图　

立一个自动分词统计模型，获取模型的各组参　

数，然后从各种可能的词串中挑选概率最高的词　

３．２系统结构设计　

串作为输出结果。规则方法是利用词表和规则，　

分词系统的基本思想是ＭＭ匹配算法。先将　

采用一定的算法，文本中读取的候选词与词典库　

待切分文本分块，然后按照一定的策略将待分析　

中的词匹配，匹配成功且符合规则要求，则将候　

的字串与一个“充分大的”机器词典中的词条进　

选词确定为词并予以输出。自动分词系统的准确　

行匹配，若在词典中找不到某个字串，则将字串　

度、高效性、通用性及适用性是其主要技术指标。　

缩小继续查找，否则匹配成功，识别出一个词。对　

准确率是分词系统性能的核心指标，分词准确率　

藏文文本直接利用最大匹配算法其时间复杂度　

达９９％以上才能基本满足上层使用的要求。分词　

非常大，而先分块后切分其时间复杂度减小很　

准确性十分重要，但如果分词速度太慢，即使准　

多，可有效地提高切分速度。通过改进ＭＭ匹配　

确性再高，对于几十万字节甚至几亿字节的文本　

算法得到格分块算法，该算法可作为藏文分词系　

分词时不可用。分词是手段而不是目的，作为各　

统的基本算法。　

种高层次信息处理的共同基础，自动分词系统必　

班智达藏文自动分词系统采用模块化设计，　

基金项目：国家社科基金项目（０９ＸＹＹ０２４），青海师范大学科研创新计划项目和青海师范大学中青年科研基金项目。　

收稿日期：２００９—０９—１１　

作者简介：才智杰（１９７０－），男，藏族，青海乐都人。青海师范大学副教授。研究方向：藏文信息处理。　

７５　

才智杰：班智达藏文自动分词系统的设计与实现　

由知识库管理模块、知识库模块、句子分块模块、　

统的基础。词条的组织和词典库结构的设计是否　

块分词模块和校正模块等五个主要部分。分词需　

合理是影响文本分词效率和信息查全查准率的　

要三步完成：文本切分成句，句切分成块，块切分　

一

个重要因素。理论上词库中的词条越多，切词　

成词，其处理过程如图２所示。　

的效果就越好。但是随着词条数的增加，切词过　

程需要过多的模式匹配，切词效率呈下降趋　

势；而词条过少，使得一些词语无法切分，影　

响对文本信息的查全。　

班智达自动分词词典库共９５９６８条，统　

计结果见表１。　

图２分词流程　

表中词条指单个词中所包含的藏字个　

３．３词典库设计　

数，词条数指该词长下所包含词的个数，所占百　

由于班智达藏文自动分词系统采用的是基　

分比指该词长下所包含的词数在词库中所占的　

于词典匹配的分词方法，因而词典库是该分词系　

比例。　

表１词长统计表　

词长（字符）　词条数（条）　所占百分比　词长（字符）　词条数（条）　所占百分比　

ｌ　４４９　０．４７％　１８　４８８　Ｏ．５１％　

２　１９９９　２．０８％　１９　３４０　０－３５％　

３　４３８１　４．５７％　２０　２４Ｊ４　Ｏ．２５％　

４　１Ｏ９３４　１１．３９％　２１　１３６　０．１４％　

５　１７２５３　１７．９８％　２２　９０　０．Ｏｑ％　

６　１４１Ｏ１　１４．６９％　２３　６８　０．０７％　

７　８６６５　９．０３％　２４　４３　０．０４％　

８　６４０３　６．６７％　２５　３５　０．０４％　

９　６１８６　６．４５％　２６　２４　０．０３％　

１０　６Ｏ６５　６－３２％　２７　２３　Ｏ．０２％　

１１　５７９２　６．４０％　２８　１２　０．Ｏ１％　

１２　４７４９　４．９５％　２９　９　Ｏ．Ｏ１％　

１３　３１４３　３．２８％　３０　４　Ｏ．０ｏ％　

１４　１８６９　１．９５％　３１　８　０．Ｏ１％　

１５　１Ｏ９９　１＿１５％　３２　６　Ｏ．Ｏ１％　

１６　７１９　０．７５％　３３　５　０．０１％　

１７　６２４　０．６５％　３４　２　０．０ｏ％　

由于藏文中有很多习语、成语和藻词，班智　

匹配的词条数。首先对词条按字符数分块，字符　

达藏文分词词典库中词的最大长度达３４个字　

数相同的词条放到同一组，并对词典排序。一级　

符，而在文本中出现的词绝大部分是２一ｌ５个字　索引加在各个分组上，一级索引记录各分组的开　

符构成的字词，少部分由１个字符、１６个字符、１７　

始位置，再根据下一分组的起始位置确定当前分　

个字符和ｌ８个字符组成的词，１８个以上字符组　

组的终止位置。二级索引是加在一级索引内部，　

成的词就十分稀少。为了减少查词典的次数和计　

在同一组内部由于有很多的词条，二级索引是按　

算量，提高藏文切分的速度，针对“最大匹配切分　

词的首字符建立，它加在以不同字符开头的词条　

法”的实际需要，参考Ｔｉｌｅ索引法的检索思想，提　

组中，这样通过二级索引可以进一步缩小查找范　

出了一种适合于藏文分词的“Ｍｂｌ匹配索引法”。　

围。查询时外部采用分块查询，内部采用二分查　

整个词库采用线性表来组织，并通过分块和　

找。　

索引的方法来提高词库的检索速度，以减少进行　

３＿４格分决算法设计　

７６　

才智杰：班智达藏文自动分词系统的设计与实现　

藏文文本中的句与句之间有明显的分隔标　

志，文本切分成句并不困难，因此藏文文本自动　

切分的关键技术就在于如何将句切分成块以及　

块切分成词。　

例句：　

ｎ　气。翦　是　事　茸目　目　

叫可目　可§’目　习　｜ｒｑ。　

ａ奸气　可ｑ　可ｎ驾ａｒ　嗣　ｑ’ｓｌｒ写可　耐　

删玎量　ａ基１可　ａ。茸叮１　ｃｑ牙１母　１　’１　

用常规模式匹配的方式进行分词对分词速　

度的影响非常大，为使提高分词速度可把藏文文　

本以几个特殊的藏文格助词　’　’　’　’　

切分过程（为说明方便词之间用“，”分隔）：　

第一步：认字分块　

ｄ　离’剐ｇ　事　茸目　怠≈Ｖ　旬对气粕　盯口鼋　日。ｄ　ｄｒ　对　誊０ｑ　写可　ｑ，　

自，　目　日　目气　哥　呵　。　豇，叫玎喜　愚葛１可＾　茸吓１气＜ｑ　１　’　ｑ　Ｖｌ　

（以下把这几个格助词简称为特殊格助词）为临　

第二步：分词　

界符进行分块，具体过程如下：　

１、对句子从前向后开始扫描，直至遇到特殊　

格助词；　

２、以特殊格助词为基准，分别正向和逆向取　

字合并，并判断是否在临界库中存在。若不存在，　

则将该特殊格助词前的文本为一个块，继续执行　

１；否则切分出临界词，将临界词前的文本作为一　

个块，继续执行１。　

３、重复执行ｌ、２直至文件尾。　

临界库是指凡是含特殊格助词　’　’　珂’　

’　’　Ｎ”的词组成的词条库。由于藏文中含这几　

个特殊格助词的词不足百条，临界库的规模很　

小，因而分块速度非常快。　

４实验及结果分析　

４．１　实验　

通过对８５万字节藏语语料的切分，并经人　

工分析统计班智达自动切分系统对规范的文本　

切分准确率达９９％，其界面如图３所示。　

图３班智达自动切分系统　

４．２结果分析　

（１）切分速度。　

根据设计的分词词典，在查找某一个词时，　

是先根据“索引表”查出该字在词表中的起始位　

置，然后在词表中定位到区间，这样可以减少查　

词的时间，从而提高切分速度。　

（２）班智达自动切分系统分词的过程。　

且　，　爵　是　，亨　茸自气，　目　‘　，旨，卦　【ｗ，日　‘ｗ’ｑ　田　，　Ｂｑ　ｓ１　写　８日，　

断　ｑ　日‘Ｎ，　田　气珂　耳目，ｑ　ｑ’荨　’ｒ．１，　蓦１　，　茸１　叩ｉ‘’日，　１　１　

其中　窝　，为三个未登录词并列出现，根　

据新词识别算法可合并为一专用词。从该例句中　

可看出，对藏文文本直接利用ＭＭ匹配算法分词　

其时间复杂度为９０　１　１．４８×１０１３８，而使用改进　

的ＭＭ匹配算法其切分时间复杂度为ｌ３　１＋１＋１５　１　

＋９　１＋１＋１１　１＋１＋ｌ＋６　１＋８　１—１．３×１０１２，有效地提　

高了切分速度。　

５结束语　

２００７年１１月１８日，青海省科技厅组织专家　

对《班智达藏文自动分词系统》进行了验收评价，　

专家委员会一致认为：该系统界面友好，易操作，　

运行稳定，对规范的文本切分准确率达９９％，切　

分速度快，对藏文字频、词频统计，词典编纂，词　

性标注和属性研究，藏语语法、语义研究，藏语言　

文字规范化研究，藏文语料库和信息化建设等有　

重要的现实意义。该研究成果填补了藏文自动分　

词研究领域的空白，达到国际领先水平。　

参考文献：　

［１】才智杰．藏文自动切分系统中紧缩词的识别Ⅱ】．中　

文信息学报，２００９，１．　

［２］孙茂松，黄昌宁等．中文姓名的自动辨识Ｄ１１中文　

信息学报，１９９５，２．　

［３］孙茂松，邹嘉彦等．汉语自动分词研究评述Ⅱ】，当代　

语言学，２００１，１．　

［４］陈玉忠，李保利，俞士汶等．基于格助词和接续特征　

的书面藏文分词方案卟语言文字应用，２００３，１　

［５】李庆虎，陈玉健，孙家广．一种中文分词词典新机　

制——双字哈希机制卟中文信息学报，２００３，１７（４）．　

［６】才旦夏茸．藏文文法详解［Ｍ】．西宁：青海民族出版　

社．１９８８．　

［７］陈玉忠，俞士汶．藏文信息处理的研究现状与展望　

Ｄ】．中国藏学，２００３，４．　

［８］格桑居冕．实用藏文文法［Ｍ】．成都：四川民族出版　

社．１９８７．　

（责任编辑：耿生玲）　

７７　

本文标签： 分词自动系统研究设计