基于切片的web資源爬蟲的設(shè)計與優(yōu)化研究

1、學(xué)位論文獨(dú)創(chuàng)性聲明本人鄭重聲明：所提交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作和取得的研究成果。本論文中除引文外，所有實(shí)驗(yàn)、數(shù)據(jù)和有關(guān)材料均是真實(shí)的。本論文中除引文和致謝的內(nèi)容外，不包含其他人或其它機(jī)構(gòu)已經(jīng)發(fā)表或撰寫過的研究成果。其他同志對本研究所做的貢獻(xiàn)均己在論文中作了聲明并表示了謝意。學(xué)位論文作者簽名：季亞椎 日期：加心·5 ·埸學(xué)位論文使用授權(quán)聲明研究生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)單位屬南京師范大學(xué)。學(xué)

2、校有權(quán)保存本學(xué)位論文的電子和紙質(zhì)文檔，可以借閱或上網(wǎng)公布本學(xué)位論文的部分或全部內(nèi)容，可以采用影印、復(fù)印等手段保存、匯編本學(xué)位論文。學(xué)校可以向國家有關(guān)機(jī)關(guān)或機(jī)構(gòu)送交論文的電子和紙質(zhì)文檔，允許論文被查閱和借閱。( 保密論文在解密后遵守此規(guī)定)保密論文注釋：本學(xué)位論文屬于保密論文，密級：——保密期學(xué)位論文作者簽名： 李移條日期： 滬侈。多·悖指導(dǎo)教師簽名：彳考飄軍日螄、上J 7／A b s t r a c t4 b s t r a

3、e tW i t hm o b i l ep h o n e s a n d o t h e rr m b i l ed e v i c e sb e c o m em o r ea n dr l ∞r(nóng) ep o p u l a rn o w ,m o b i l el e a r n i n gi ng r a d u a l l yb e c o m e so n e o f t h ei m p o r t a n tm e t

4、h o d s o f s t u d y i n g ．T h eq u a l i t ya n dq u a n t i t y0 f r e s o u r c eo f m o b i l el e a r n i n gi s v e r yi m p o r t a n t ．W i t h t h eh e l po f r i c hI n t e r n e t ,w e c a n u s e t h ew e b

5、 c r a w l e r t o e x t r a c tm u c h r e s o u r c ef o rm o b i l el e a r n i n g ，t h e na c c o r d i n g t ot h es t a n d a r d o f m o b i l e l e a r n i n gr e s o u r c e s ，w ec a nc h o pt h er e s o u r c

6、 e i n t o s u i t a b l ec l i p sf o rb u i l d i n g m o b i l e l e a r n i n g r e s o u r c e b a n k ．B e e a u s eo ft h e t i m e o ft h e m o b i l e l e a r n i n g i sf r a g m e n t , w e m u s t e x t r a c

7、 t a s m u c ha s p o s s i b l e i m a g e s ，v i d e o ，a u d i o ，f l a s ha n d o t h e rm u l t i m e d i ar e s o u r c e s t h a t a l s oa r er e l a t e dt oo u rt h e m e 舶m n e t w o r k ．I nt h ee x i s t i n

8、 gb a s i ce d u c a t i o n p l a t f o r m , w ec a n e x t r a c tb a s i cr e s o u r c ef i ：o mn e t w o r k ．B u tf u r t h e ri m p r o v e m e n t i sn e e d e dt o r e a l i z et h e t a r g e to fg r a b b i n

9、 gr e s o t l r c e f o r m o b i l e l e a r n i n g ．T h i sp a p e rr m i n l yc a r r i e do u t t h ef o l l o w i n g i m p r o v e m e n t ：1 ．A n a l y s i so f t h er e s o u r c e s f o rt h em o b i l el e a r

10、 n i n gi d e n t i f i e dt h ef o r m o f t h er e s o u r c e si n H T M L s o u r c ec o d e ．2 ．E x t e n d e d t h eD O M t r e es t r u c t u r eo f w e b p a g e i nt h es e m a n t i c ，s i m i l a rl i n k ss e

11、 e ml i k ee x i s tt h es a m el i n kb b c k ．S ow e s e g m e n t w e b p a g e i n t oS O m el i n kb l o c ka c c o r d i n g t h eD O Mt r e e s t r u c t u r e a n dt h e c h a r a c t e ro fl i n k ．T h e n f i l

12、 t e r i n gt h e n o i s e l i n k s a n de x l r a c t i n gt h er e l a t e dl i n k s ．3 ．T h el i n k s a r ed i v i d e di n t o t w o c a t e g o r i e si nt h r e e d i m e n s i o n s ( t h e f o r m i n S O H r

13、 c ep a g e ，t h ef o r mi nw e b p a g ev i s u a l l y ，t h ec o n t e n t t h a tt h el i n kp o i n t e dt o ) ：T h eC O m l T l O nl i n k ，t h em u l t i m e d i a l i n k ．T h e nw ea m l y s i st h er e l a t e d

14、 t e x t o f t h et w oc l a s s l i n k a n dd e s i g nd i f f e r e n ts t r a t e g i e s t o e x t r a c tt h er e l a t e dt e x to fl i n k f r o mt h ee x t e n d e dD O M t r e e a n d t h er e l a t i o n o f t

15、 h ep a g et h a tt h el i n k e x i s t i na n d t h eo t h e r p a g e s ．K e y w o r d ：E x t e n d e dD O M f r e e ，L i n k c l a s s i f y , F i l t e r i n g l i n k ，E x t r a c t i o n o f r e l a t e dt e x to