admin管理员组

文章数量:1531659

2024年7月10日发(作者:)

Ok,一1 一31 

(L严— )L jj.i ・J 一 弘.}崮【 0 

新疆大学学报(自然科学版) 

.5 .2010 

第3l卷第1期 

2010年5月 

1005一-5857(2010)01--007_--07: JbL. 

。。 

一 - 

11 lL,o 

0l‘ _c 

。 ■ 

O 

并 u-j 

l l_l l.1 l_ 

O 

(830046 t 

弘。 ■ c 

., 。; — j ・ ≯ —0 弘 崮 L二) 

t 

j 

u 

t j扭 

。 。 

t。J乩 

山 ,=;【-. 

j山 

J-J 

t jjb t 

_. 

t 

3 

j L; laJt ̄ 

. 

t —上J jd_l L— 

, j. 

。 

L声 

兮 J-二 

乩 .L^j j t 

 。 ^Jj 0。 

毋 

p u 

。山 j b 山

t 

扭 

【_. 

・ — 

j 

t 

‘江 

。 

山 。 

j 

— 

户 

t LJb 

崮 【_. 

1.j t 扭 IJ_J 

. 

山  ̄jI 

u j u 。 l弘上 ,=; .,4Jj 

. 

争 i L二 

:‘ 【-. ‘声o 

维、哈、柯全文搜索引擎索引器的设计与研究 

吐尔洪・吾司曼,维尼拉・木沙江 

摘要本文主要分析研究维、哈、柯全文搜索引擎索引器出现的关键问题,介绍了一系列有 

效的解决方法.这螳主要包括符合维、哈、柯语言的倒排索引表的结构,检索过程中的计算疗法, 

更新倒排索引表的措施和处理低频词等等.通过试验和实际应用过程巾证明了以上方法很符合 

处理维、哈、柯全文搜索引擎索引器的出现的关键同题,明显提高维、哈、柯全文搜索引擎索引器 

的索引功能. 

关键词全文搜索;倒排索引;多语种搜索;引擎. 

人: — q J 片 L. TP317.2: j u J 咛, j L ; 

。如 

一 ~ 

j山 L,一 一 t臻绺 

麓 一 兰 8 !嘉蓝 誉 饿 

( -— c, 一 )J jj.;‘,。. 。,: ・一 L ・8 

3 .1 

jLJ-Internet t ^一山 。 。 — L声 二 j 

Intemet t 山 j 。 jb J 

并 — j Internet . LJ 0山 J ,山 

lJI弘 LJ- . ^J_ t . j ^苴山 

t — j u j L壶J 雹— ・, J,_Jj 崮 ‘ 

I J。 。 — -二- j,=;L u 。 . J-J 血 每 

. .J止 。3弘 ,j 乙山 L5J_J j J 。 ^-. 

u ・ 。J5 .j b Yahoo。3 AltaVista t Google 吩c 0 

. 

b“网易”o;“搜狐”c“新浪”t“天网”t“白度” 

j 乱山— 3 tI山 . 

J_J u — 片 ^J Internet —~ 。^J-L-一 j b ・ 

J一・ j并 — 。 j l j j 。3。 j_ t 。山 

j 一 。; l c . J-J 础 ●. O ^j 

j,=; —— ^J u j 弘 I山 ( , t 1.jb t ) 。^j上一 

L5 L_. 。 J— ,一。3 。^J j 。 

卜^ 冀 

。 ‘=; t b t.J 山 

舅 ,=; 。 .j ,=;L 。 t 

白") ・ J-J 1 。 。 山 t b t 

t ・ Google. 。 tdbU t 扭 “度 

JL. ・ 。 。山 山 * L 0山.j 0L壶J 

J1弘 .( Jb 止 ・ ・ 。山jq t j 

止 。 ; ≯ Internt乱 k ,=; ^lJ— j 

・ ・ 

I ,=; 冀 ,=; 一。 j 0 . U 

,=;L-. ・ 一 0 J。 JL., . 

. 

J_‘一L二 ∥ c 0 

・0 ・ J 并 

j扭 t 厶c兮 

3 - .3 

峙l L 。 ・3。 — 童 j 

崮—山。J.L , J 曲 

童L二J—J L.u岛。 . 上^_I j勺 — ^ j 

庚 一 。山 

・ 

^L 一 

。 

匕 ・3 ‘J。 岁 . — j。 乱 L声・ ・ ・ I 

t 

乙 t U= 。q ,=; —Jj 【. :--一崮 ,=;【_.u声。 

. 

j L; j ・; 

b 妣。 b j 山 一 ^J 

・ . 

J j 。3 t 

l 。 ,=;t f . ~ 一 t b ,=;L. ・ 

l ・ ,=;j ^Jj c 匕 ^Jj j 她 

3山 3 L_r 。 J上J ・山 如 Lp。 —— ・ 一 f ^Jj 

9 …L 山J L-. ・ 0 I多- L二 ^j t‘ }jL§・ j :Ore

. 

・一 ・cI O J 

. 

J L.. 。 J ^.1 j4-. L_r 。 

。 — 0 

・ 

L; 

c 

— jks 

一 

. 3 —Ll山 

。 

角 L 

。 

dt ̄L. 

J L声。 

j . J 

. 

t 

j 

一J 

J 一 

。 

,=;【-.L声。 虬 

。 

、-, l 

J J 

.. 

j .2 

3.’ 

t‘ 

t 

— j ^JL ., 2.1 

崮- 。。 。 咛 0d_【 j 

lj t 扭 . [ ]j 

j 

J J。 

(主健) 

j 。 

一- 山 j 

j 。山蛐 

j,_lj 山 

・ 

乱山—J 

广k 

・ 

j L 。 

j山 

・ 

t 

6 

t j扭 

哆 

并 

j 

. 

,=;j J ,

乩 j 

J ・j u 

tviJy. 

,=; 

t 

 .

乱 

山 L工一 

L 咒 ,=; 

卜 t 

t 1jb c 

t 

L壶J 

山 。山 五j O 一尸 。j ^L5 

t 

6 L 

。 j l弘 

1 

3 j j . ・ 一1 

j 一stem J .(stem,D Count,DOCS)l Hash 

j ,=;jl 

。 一DOCS t ・ 。q ,=; 

. 

片 弘,=;.j 。3 一DCount t 

ULL壶J片 竞J片,J ・,山 上 .I ^ -. ,=;。q ,=uq—J ; — 

DoclD — .(DoclD,Weight,Words,NextDoc)l 叫 ., 

t. — ・ l弘上 。 ,=; j ,=;j 

. 

。3 一Weight t 

山.J ,=;j 

。。 。q 

。 一Words ,=;j 。3 一NextDoc t. — j^Jj 0 j 

q j,=;。工 j 

( ・—J 0勺 )L, ., j -・ 。 ‘皇『 ‘ lO 

j 0・3 一WordlD.(WordlD,Len,Pos,NextWord) l ^上 

虬j 。3 一Len t j r. ̄Jd-.0 片 ・3 ・J.. 

j 

j 

.j 山 ,=; 

‘J- 

,=; 

・3 一NextWord t 

5 j 。 

片 

L壶J片 

q 

,=; 

.j _j 一Pos t 

哆 。 .j 

J ・ 2.2 

・ 

弘,=;j 0山 t I J,强L; j 

, L壶J —b ,=;j j Hash _L- ,=;.j 

,=;j 乩jj u 。 — Docs乱 。J-. . 0 

龇q j,=; ・ I ——J3 j 。q ,=; — ,=; ,山 ,=; J 片 

,=;j 。3 。3 o2t:t ̄ 4-Jj

t. — 。 I弘上 崮 .J ,=;j ・ 。・ 

 .

.J ,=;j j j“l j j .2u. j  ̄=J。 。 ,=;。 片 

片 。 J,=;t 乩 ・J^Jj 片 ・ .,,=; 。 

J 

j ・ 2.3 

虬j bJ t j 5. q J,=;(1) 

,=;乱山 ,=;j 止勺 片 .j j“t j 

. 

山 0山. ・ I

. 

I . P。 — ・ l (2) 

j 幽 q ,=;. “ ・ 0 ・3 ,=;虬j 

I .一山 ^Jj t63 

・山曲一 ~j j 3蝴 ・I 

) j。 l ,=; Jj 

勺.,,=; 弘虬j LJ b 片 ,=;乩j 

( J 山 j^-. 

Dep--一 鱼(1一 di ]× It--]( + ] 

・3 a ・ .,,=; 山j 0 一Dep 

,=;j 龇j L壶J 一n t。勺 ,:;・3 j 3一b 

j ,=; ,=; 山j 一 ・ 。 ,=; j 

L lJ 一 

, 

t t 

[3](最小编缉离值). — J 户 

q ,=; ,=: .j 山 龇j 

.j ) j ,=; t ., 扎j 

. 

3j 龇jJj L壶J LJ t t( j岫 

j 山 3龇j Ij 一 J 

1 3 1j j j 3龇 ,=; 

I_j . j 3 。 。 j j 一,,=;0山j 

1】… 

t 

JJJ L.. ・ - 上 ・ ・ J :‘=, j_.・一;。cJ ‘=I J 

,=j 0山

j 山J ,=;j 0 — 

j,=; 山

LJ 

j L L, 

一龇j 0 

— 

j 

L 

U。・ k上 .^L —j 

j 

q ,=; I 

q J 

・; 

t j 

. 

j 

j。 

L壶J u 

j 

上 

q j t 

L壶J 

0。 

L; 

d 

j j u J 

3电也 1J 【_. 

0 

。 龇j 

t 

0山j 

。; 

扎 Jj 

 

t j 

} 

。 — ・ I灿 乱 j 。 ,J L 

山。q ,=; 

q J,=; 

・ 

.J 

・ 

. .,- 峙6f J 龇

j j^Jj t 

一J。 I .L量 

q ,=; 

《 

童 j 

., 。产 

. 

6{,嗨

崮—出 

 

f } 

,=;t 

・ 

j。 I 。止 咛 ・ 。 吗 . 4 (3) 

I 

JotsL ̄‘,_-— ・ 

。; 

。山。 

j 

乩舢

・3 . , 

j,=;童 j 

 ・ l 

13 u ・ 

。。 l 

止 

(4) 

J 

・ 

。q ,=; 

t — ・ 

j — 

03., q.,,=; j 0 

. , j 

; 

j 崮 q ,=; 

・ j 龇

., 

。 

2.4 

,=; 

,=; 

乙 . 上 ^j 

q ,=;虬 

・ q ,=;虬 

. 

・ 。勺 ,=; 

l^^^J .J 

b 。; 

j 

j 

l 

j 乱 

。【-. 

J,=;扎 

乱 q ,=;扎 

。3 

,=; 

6’ . 

心 J 

・ 一 

一 j・ 

I 

‘,山.j山., 

j 0 L 

t dIjt ̄ t j 

j j曲 

L.. ,J 

・I 

山 

t 山

弦 

 

止q ,=; 

文 — 。 . 山 j 童 j 

L 

山 

eoj" ̄u; 

,=;L 。 

。 

laJL ̄ 

3 

・j4ji・0 

. 。月 u j 

。q 

坞 

(1) 

。; 

:( J— u函 — 

,一 ~S。 

。3 一 t 

b 止 ,=; I 

,=; l 

(2) 

: 

,=; 

J 一 )L声 Lp 

DoclD乩 止q j 0 f 

,=;DoelD。q ,=; 

,=;r)oclD乩 

并 (3) 

j( 

j 

・ 

j并 。q 

L j 

乩 

j 

山3 

。 j,=; 

J (4) 

(5) 

L声 

j j 。q j,=;0 

^雯J ・山 t 

山3 

以L 一, 

(6) 

・ L; 

(u・ - ‘=I ‘ ‘) .,3.; -・U。声 一J j二 ‘ 】2 

. 

So(7) 

。 j _,五Jj o・ .3 

。 

乱 广 (天网) I 

乱 r^ 。 j L; 5 J t J 3 

・ L5 83%j O 。 2O J匕 j 64 

. 

j 。 80 t J j 【-. 

l Jj j L. 。 

Jj ,: 。; 0 J 0 L L 叼 . 山 

l 庚 L,-%Jj 乩 .3山 j 乙 

. 

一_ 。; ( — tl 

O并 一 L L 乱畸 山 J . 

LL3 峥 。 . ; J LL j ^Jj 止 ・3 

L 尸一 。 山 j L壶J ・3 j。 u ・ 

l . Jj 。 0 L t 

L. J b :Jj 0 l I 

J o, oo

3 j fJ-Jf弘 c LJ 。; j 哆 j 

. 

。 舢。 乙 t j ・j j|_. 

户 J 。 ; Hash I 并 

乩j 哆 L壶J . 3出 

J t . r. 础 

t一^JJ I3 。 户 龇j 3 —J 户 

J, . j J 3 IJ ・一I 。 

O j 哆 哆 。 户 乩j f. 4-.1 j 

崮 j Od t J } L; 。 J。 。。 3j j t u 

t 

^ 哆 j 3 

・3

. 

 ^一 L‘jL|  匕 也j (l J  —— ^j一二 

4 

山 ,=;L 。 t 扭 t・ 乩j j 

L_r 。0 t丫 ; 。 J J 

。J_^ 。3 t l j L j j 

。 

争  ̄Jj.B- u L。 j 山j q t LJb j 童 j 

t 。 j 务。 L J j . J L; 

t 

fjb c 扭 t 。 j L 。3 。 ^L3 

l3… 山J t-. l多^— ・ ・ ., :‘=, ・一3・‘=J ,5 O j 

。 

tI 

・ 

- 

l3 .J 

I (www.tapkak.com) j,=;L一.L声・ 

。 ・ 一, 

。 

。 

‘ 

L声。 

L 

J 受 - j t 

・ 

. j 一 j ・ 止 

础l ,=; 

b} 

3j 。 

., L-.o 

[13吐尔地・托合提,维尼拉・木沙江。艾斯卡尔・艾木都拉.维、哈、柯全文搜索引擎检索器的关键 

技术[J].计算机工程.2008,34(21):45~46. 

I-2]梁斌.走进搜索引擎[M].北京:电子工业出版社,2007:158. 

[3]志伟.孙乐译.自然语言处理综述[M].北京:电子工业出版社。2005:95. 

[4]李晓明,闫宏飞,王继民.搜索引擎~原理、技术与系统[M].北京:科学出版社,2005:135. 

The design and Impl ementation of Uyghur,Kazak,Kyrgyz ful l--text 

search engine indexer server 

Turhon Osman,Weinira Musajan 

Abstract This paper studies the key problems of Uyghur.Kazak.Kyrgyz full-text search engine 

indexer,server and proposes a series of effective solutions,including the structure of inverted indexer applied 

in Uyghur,Kazak,Kyrgyz full--text search engine,the retrieval algorithm.the update strategy of invertd e

table and the Serialization of Low r-frequency words.Experimentai results indicate that ttle solutions Satisfv 

the Language characteristics of Uyghur・Kazak,Kyrgyz words well and obviously improve the index efficiency 

f Uyghur,Kazak,oKyrgyz search engine. 

Key words full-text search engine;inverted indexer;multi--language search;engine. 

・山J : _,j ., 

本文标签: 搜索引擎全文过程倒排