基于Nutch的中文主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、東北大學(xué)碩士學(xué)位論文基于Nutch的中文主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)姓名：楊洋申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：軟件工程指導(dǎo)教師：劉輝林20070101表北大學(xué)碩士學(xué)位論文 A b s t r a c tT h e D e s i g na n dI m p l e m e n t o f C h i n e s eF o c u s e dS e a r c hE n g i n e B a s e d o n N u t c hA b s 仃a

2、c tT h ed e v e l o p m e n t o ff o c u s e ds e a r c he n g i n ei se x t r e m e l ye s s e n t i a l ，a s m o r ea n dm o r ep r o f e s s i o n a li n f o r m a t i o ni s d e m a n d e d ．A m o n gk i n d so fs e

3、a r c he n g i n e s ，t h ef o c u s e ds e a r c he n g i n e s b e c o m e m o l ea n d m o r e a t t r a c t i v ea st h e yh a v es o m e p a r t i c u l a rs u p e r i o r i t y ．B u ts o f a r ,t h e r e a r e f e

4、wa p p l i c a t i o n s i n a g r i c u l t u r e f i e l d , w h i c h C a l l ’t m e e t a 鰣c u l m r e f o c u s e di n f o r m a t i o n ．I no r d e rt or e s o l v et h ed i f f i c u l t i e si ns e a r c h i n ga

5、 撕c u l t u r ei n f o r m a t i o n ，a s e r i e so fs t u d i e s a n de x p e r i m e n t sh a v e b e e n m a d ei n t h i s p a p e r ．T h e s ed i f f i c u l t i e s i n c l u d e ：1 )b a n d 、Ⅳi d t h ，C P U ，d i

6、 s k ，f i l es t o r a g e ，f i l es y s t e m , c r a w la n d s oo n ；2 ) C h i n e s ep r o c e s s i n g ；3 )t o p i c r e l e v a n c e ．T h ed e v e l o p i n gs i t u a t i o n so fs e a r c he n g i n e sa r es t

7、 u d i e d ，a n dc u r r e n tf a m o u sf o c u s e ds e a r c he n g i n e sa n dt h e i r s t r u c t u r e sa r ea n a l y z e da st ot h ep r o b l e m sa b o v e ，e s p e c i a l l ys o m ed i f f i c u l t i e st

8、h a th a v e n ’tb e e nS o l v e d ．B e c a u s eN u t e h h a s t h e c h a r a c t e r i s t i c so f f r e eo f c h a r g e ，t r a n s p a r e n c e ，f l e x i b i l i t y , i n t e g r a t i o n ，e x t e n s i b i l

9、 i t y a n dS o o n ，b a s e do nt h i s o p e nS o n r c es y s t e m , C h i n e s ef o c u s e ds e a r c he n g i n e h a s b e e nd e s i g n e da n d i m m p l e t e d ，w h i c hh a sS o l ' v 蝮lt h ep r o b l

10、e m o f C h i n e s e p r o c e s s i n g , t o p i c r e l e v e n e ea n d s o o n ．I nt h eo D u I s eo f d e s i g n i n g a n d i m m p l e t i n gC h i n e s ef o c u s e ds e a r c he n g i n e ，t h e p r o b l e

11、m sc o n s i d e r e db e f o r e t h ed e s i g nh a v eb e e nd i s c u s s e da n ds o l v e d ，T h es y s t e mh a sb e e nt e s t e da f t e rb e i n gf m i s h e d ．T h er e s u l t so f t e s t s s h o w t h a t t

12、 h es y s t e mg a l l r u n s t e a d i l y , a n dm e e ta p p l i c a t i o n r e q u i r m e n t ．K e y w o r d s ：f o c u s e ds e a r c he n g i n e ，N u t c h , C h i n e s e p r o c e s s i n g ，t o p i c r e l e