admin管理员组文章数量:1531659
2024年7月10日发(作者:)
Ok,一1 一31
(L严— )L jj.i ・J 一 弘.}崮【 0
新疆大学学报(自然科学版)
;
.5 .2010
第3l卷第1期
2010年5月
1005一-5857(2010)01--007_--07: JbL.
。。
一 -
11 lL,o
0l‘ _c
。 ■
O
并 u-j
l l_l l.1 l_
O
(830046 t
弘。 ■ c
., 。; — j ・ ≯ —0 弘 崮 L二)
t
j
u
t j扭
。 。
t。J乩
山 ,=;【-.
j山
J-J
t jjb t
_.
t
3
j L; laJt ̄
.
t —上J jd_l L—
, j.
。
L声
.
兮 J-二
乩 .L^j j t
。 ^Jj 0。
毋
p u
。山 j b 山
t
扭
【_.
・ —
j
t
‘江
。
山 。
j
—
户
t LJb
崮 【_.
1.j t 扭 IJ_J
.
山  ̄jI
u j u 。 l弘上 ,=; .,4Jj
.
争 i L二
:‘ 【-. ‘声o
维、哈、柯全文搜索引擎索引器的设计与研究
吐尔洪・吾司曼,维尼拉・木沙江
摘要本文主要分析研究维、哈、柯全文搜索引擎索引器出现的关键问题,介绍了一系列有
效的解决方法.这螳主要包括符合维、哈、柯语言的倒排索引表的结构,检索过程中的计算疗法,
更新倒排索引表的措施和处理低频词等等.通过试验和实际应用过程巾证明了以上方法很符合
处理维、哈、柯全文搜索引擎索引器的出现的关键同题,明显提高维、哈、柯全文搜索引擎索引器
的索引功能.
关键词全文搜索;倒排索引;多语种搜索;引擎.
人: — q J 片 L. TP317.2: j u J 咛, j L ;
。如
一 ~
j山 L,一 一 t臻绺
麓 一 兰 8 !嘉蓝 誉 饿
( -— c, 一 )J jj.;‘,。. 。,: ・一 L ・8
.
3 .1
jLJ-Internet t ^一山 。 。 — L声 二 j
Intemet t 山 j 。 jb J
并 — j Internet . LJ 0山 J ,山
・
lJI弘 LJ- . ^J_ t . j ^苴山
t — j u j L壶J 雹— ・, J,_Jj 崮 ‘
I J。 。 — -二- j,=;L u 。 . J-J 血 每
. .J止 。3弘 ,j 乙山 L5J_J j J 。 ^-.
u ・ 。J5 .j b Yahoo。3 AltaVista t Google 吩c 0
.
b“网易”o;“搜狐”c“新浪”t“天网”t“白度”
j 乱山— 3 tI山 .
J_J u — 片 ^J Internet —~ 。^J-L-一 j b ・
J一・ j并 — 。 j l j j 。3。 j_ t 。山
j 一 。; l c . J-J 础 ●. O ^j
j,=; —— ^J u j 弘 I山 ( , t 1.jb t ) 。^j上一
L5 L_. 。 J— ,一。3 。^J j 。
.
卜^ 冀
。 ‘=; t b t.J 山
舅 ,=; 。 .j ,=;L 。 t
白") ・ J-J 1 。 。 山 t b t
t ・ Google. 。 tdbU t 扭 “度
JL. ・ 。 。山 山 * L 0山.j 0L壶J
J1弘 .( Jb 止 ・ ・ 。山jq t j
止 。 ; ≯ Internt乱 k ,=; ^lJ— j
・ ・
I ,=; 冀 ,=; 一。 j 0 . U
,=;L-. ・ 一 0 J。 JL., .
.
J_‘一L二 ∥ c 0
・0 ・ J 并
j扭 t 厶c兮
3 - .3
峙l L 。 ・3。 — 童 j
崮—山。J.L , J 曲
童L二J—J L.u岛。 . 上^_I j勺 — ^ j
庚 一 。山
・
^L 一
。
匕 ・3 ‘J。 岁 . — j。 乱 L声・ ・ ・ I
t
乙 t U= 。q ,=; —Jj 【. :--一崮 ,=;【_.u声。
.
j L; j ・;
b 妣。 b j 山 一 ^J
・ .
J j 。3 t
l 。 ,=;t f . ~ 一 t b ,=;L. ・
l ・ ,=;j ^Jj c 匕 ^Jj j 她
・
3山 3 L_r 。 J上J ・山 如 Lp。 —— ・ 一 f ^Jj
9 …L 山J L-. ・ 0 I多- L二 ^j t‘ }jL§・ j :Ore
.
・一 ・cI O J
.
J L.. 。 J ^.1 j4-. L_r 。
。 — 0
・
L;
c
— jks
一
. 3 —Ll山
。
角 L
。
dt ̄L.
J L声。
j . J
.
t
j
一J
J 一
。
,=;【-.L声。 虬
。
、-, l
J J
..
j .2
3.’
t‘
t
— j ^JL ., 2.1
崮- 。。 。 咛 0d_【 j
lj t 扭 . [ ]j
j
J J。
(主健)
j 。
一- 山 j
j 。山蛐
j,_lj 山
・
乱山—J
广k
・
j L 。
j山
.
・
t
6
t j扭
哆
并
j
.
,=;j J ,
乩 j
J ・j u
tviJy.
,=;
t
.
乱
山 L工一
L 咒 ,=;
卜 t
t 1jb c
t
L壶J
山 。山 五j O 一尸 。j ^L5
.
t
6 L
。 j l弘
1
3 j j . ・ 一1
j 一stem J .(stem,D Count,DOCS)l Hash
j ,=;jl
-
。 一DOCS t ・ 。q ,=;
.
片 弘,=;.j 。3 一DCount t
ULL壶J片 竞J片,J ・,山 上 .I ^ -. ,=;。q ,=uq—J ; —
DoclD — .(DoclD,Weight,Words,NextDoc)l 叫 .,
t. — ・ l弘上 。 ,=; j ,=;j
.
。3 一Weight t
山.J ,=;j
。。 。q
。 一Words ,=;j 。3 一NextDoc t. — j^Jj 0 j
q j,=;。工 j
( ・—J 0勺 )L, ., j -・ 。 ‘皇『 ‘ lO
j 0・3 一WordlD.(WordlD,Len,Pos,NextWord) l ^上
虬j 。3 一Len t j r. ̄Jd-.0 片 ・3 ・J..
j
.
j
.j 山 ,=;
‘J-
,=;
・3 一NextWord t
5 j 。
片
L壶J片
q
,=;
.j _j 一Pos t
哆 。 .j
J ・ 2.2
・
弘,=;j 0山 t I J,强L; j
, L壶J —b ,=;j j Hash _L- ,=;.j
,=;j 乩jj u 。 — Docs乱 。J-. . 0
龇q j,=; ・ I ——J3 j 。q ,=; — ,=; ,山 ,=; J 片
,=;j 。3 。3 o2t:t ̄ 4-Jj
t. — 。 I弘上 崮 .J ,=;j ・ 。・
.
.J ,=;j j j“l j j .2u. j  ̄=J。 。 ,=;。 片
片 。 J,=;t 乩 ・J^Jj 片 ・ .,,=; 。
.
J
j ・ 2.3
虬j bJ t j 5. q J,=;(1)
,=;乱山 ,=;j 止勺 片 .j j“t j
.
山 0山. ・ I
.
I . P。 — ・ l (2)
j 幽 q ,=;. “ ・ 0 ・3 ,=;虬j
I .一山 ^Jj t63
・山曲一 ~j j 3蝴 ・I
) j。 l ,=; Jj
勺.,,=; 弘虬j LJ b 片 ,=;乩j
.
( J 山 j^-.
Dep--一 鱼(1一 di ]× It--]( + ]
・3 a ・ .,,=; 山j 0 一Dep
,=;j 龇j L壶J 一n t。勺 ,:;・3 j 3一b
j ,=; ,=; 山j 一 ・ 。 ,=; j
L lJ 一
,
t t
[3](最小编缉离值). — J 户
q ,=; ,=: .j 山 龇j
.j ) j ,=; t ., 扎j
.
3j 龇jJj L壶J LJ t t( j岫
j 山 3龇j Ij 一 J
1 3 1j j j 3龇 ,=;
I_j . j 3 。 。 j j 一,,=;0山j
1】…
t
JJJ L.. ・ - 上 ・ ・ J :‘=, j_.・一;。cJ ‘=I J
,=j 0山
・
j 山J ,=;j 0 —
j,=; 山
・
LJ
j L L,
一龇j 0
—
j
L
U。・ k上 .^L —j
j
q ,=; I
q J
・
・;
t j
.
j
j。
L壶J u
j
上
q j t
L壶J
0。
L;
d
j j u J
3电也 1J 【_.
0
。 龇j
t
0山j
。;
一
扎 Jj
t j
}
。 — ・ I灿 乱 j 。 ,J L
山。q ,=;
q J,=;
・
.J
・
. .,- 峙6f J 龇
j j^Jj t
一J。 I .L量
q ,=;
《
童 j
., 。产
.
6{,嗨
崮—出
f }
,=;t
・
j。 I 。止 咛 ・ 。 吗 . 4 (3)
I
JotsL ̄‘,_-— ・
。;
。山。
j
乩舢
・3 . ,
j,=;童 j
・ l
13 u ・
。。 l
止
(4)
J
・
・
。q ,=;
t — ・
j —
03., q.,,=; j 0
. , j
;
j 崮 q ,=;
・ j 龇
.,
。
2.4
,=;
,=;
乙 . 上 ^j
q ,=;虬
・ q ,=;虬
.
・ 。勺 ,=;
l^^^J .J
b 。;
j
j
l
j 乱
。【-.
J,=;扎
乱 q ,=;扎
。3
,=;
6’ .
心 J
・ 一
一 j・
I
‘,山.j山.,
・
j 0 L
t dIjt ̄ t j
j j曲
L.. ,J
・I
山
t 山
弦
止q ,=;
文 — 。 . 山 j 童 j
L
・
山
eoj" ̄u;
,=;L 。
。
laJL ̄
3
・j4ji・0
. 。月 u j
。q
坞
(1)
。;
:( J— u函 —
,一 ~S。
。3 一 t
b 止 ,=; I
,=; l
(2)
:
,=;
J 一 )L声 Lp
DoclD乩 止q j 0 f
,=;DoelD。q ,=;
,=;r)oclD乩
并 (3)
j(
j
・
j并 。q
L j
乩
j
山3
。 j,=;
J (4)
(5)
L声
j j 。q j,=;0
^雯J ・山 t
山3
以L 一,
(6)
・ L;
(u・ - ‘=I ‘ ‘) .,3.; -・U。声 一J j二 ‘ 】2
.
一
So(7)
。 j _,五Jj o・ .3
。
乱 广 (天网) I
乱 r^ 。 j L; 5 J t J 3
・ L5 83%j O 。 2O J匕 j 64
.
j 。 80 t J j 【-.
l Jj j L. 。
Jj ,: 。; 0 J 0 L L 叼 . 山
l 庚 L,-%Jj 乩 .3山 j 乙
.
一_ 。; ( — tl
O并 一 L L 乱畸 山 J .
LL3 峥 。 . ; J LL j ^Jj 止 ・3
L 尸一 。 山 j L壶J ・3 j。 u ・
l . Jj 。 0 L t
L. J b :Jj 0 l I
J o, oo
。
3 j fJ-Jf弘 c LJ 。; j 哆 j
.
。 舢。 乙 t j ・j j|_.
户 J 。 ; Hash I 并
乩j 哆 L壶J . 3出
J t . r. 础
t一^JJ I3 。 户 龇j 3 —J 户
J, . j J 3 IJ ・一I 。
O j 哆 哆 。 户 乩j f. 4-.1 j
崮 j Od t J } L; 。 J。 。。 3j j t u
t
^ 哆 j 3
・3
.
^一 L‘jL| 匕 也j (l J —— ^j一二
.
4
山 ,=;L 。 t 扭 t・ 乩j j
L_r 。0 t丫 ; 。 J J
。J_^ 。3 t l j L j j
。
争  ̄Jj.B- u L。 j 山j q t LJb j 童 j
t 。 j 务。 L J j . J L;
t
fjb c 扭 t 。 j L 。3 。 ^L3
l3… 山J t-. l多^— ・ ・ ., :‘=, ・一3・‘=J ,5 O j
。
tI
・
-
l3 .J
I (www.tapkak.com) j,=;L一.L声・
。 ・ 一,
。
。
‘
L声。
L
J 受 - j t
・
. j 一 j ・ 止
础l ,=;
b}
3j 。
., L-.o
[13吐尔地・托合提,维尼拉・木沙江。艾斯卡尔・艾木都拉.维、哈、柯全文搜索引擎检索器的关键
技术[J].计算机工程.2008,34(21):45~46.
I-2]梁斌.走进搜索引擎[M].北京:电子工业出版社,2007:158.
[3]志伟.孙乐译.自然语言处理综述[M].北京:电子工业出版社。2005:95.
[4]李晓明,闫宏飞,王继民.搜索引擎~原理、技术与系统[M].北京:科学出版社,2005:135.
The design and Impl ementation of Uyghur,Kazak,Kyrgyz ful l--text
search engine indexer server
Turhon Osman,Weinira Musajan
Abstract This paper studies the key problems of Uyghur.Kazak.Kyrgyz full-text search engine
indexer,server and proposes a series of effective solutions,including the structure of inverted indexer applied
in Uyghur,Kazak,Kyrgyz full--text search engine,the retrieval algorithm.the update strategy of invertd e
table and the Serialization of Low r-frequency words.Experimentai results indicate that ttle solutions Satisfv
the Language characteristics of Uyghur・Kazak,Kyrgyz words well and obviously improve the index efficiency
f Uyghur,Kazak,oKyrgyz search engine.
Key words full-text search engine;inverted indexer;multi--language search;engine.
・山J : _,j .,
版权声明:本文标题:维、哈、柯全文搜索引擎索引器的设计与研究 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1720617243a834214.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论