神經(jīng)網(wǎng)絡(luò)逼近中的幾個問題.pdf

1、神經(jīng)網(wǎng)絡(luò)逼近中的幾個問題S o m e P r o b l e m s o n N e u r a lN e t w o r k s f o rA p p r o x i m a t i o n作者： 陸文秀A u t h o r ：珂臺n x i uL u指導(dǎo)教師： 謝林森一S u p e r v i s o r ：L i n s e nX i e專 業(yè)： 鹽笠墼莖—— M a j o r ：一C o m p u t a t i o

2、n a lM a t h e m a t i c s 一學(xué) 位： 理學(xué)碩士一D e g r e e ：M a s t e r o fS c i e n c e授予單位： 堂堡塑整叁堂- I n s t i t u t e ：一Z h e j i a n gN o r m a lU n i v e r s i t y —M a y ．2 0 1 3A b s t r a c tT h e n o n l i n e a rs c i e

3、n c e ，a so n e o f t h er e s e a r c ha r e a so f n a t u r a l s c i e n c ea n d e n g i n e e r i n gt e c h n o l o g y , h a sb e e n w i d e l y c o n c e r n e d ．N e u r a l n e t w o r k s ，a sb r a n c h e s

4、 i nn o n l i n e a rs c i e n c e ，a r ev e r yi m p o r t a n t n o to n l y i nf u n c t i o na p p r o x i m a t i o n r e s e a r c h ，b u ta l s oi na p p h c a t i o n ．I nt h i st h e s i s ，w em a k e a l l i n

5、v e s t 遮a t i o ni n t os o m e p r o b l e m sr e l a t e dt on e u r a ln e t w o r k sw i t hs i n g l eh i d d e nl a y e r ．T h em a i n c o n t e n ti so r g a n i z e da sf o l l o w s ．I nC h a p t e r1 ，w ed e

6、h n e a t e t h eb a c k g r o u n da n d c u r r e n ts i t u a t i o no fn e u r a ln e t w o r k sw i t h s i n g l e h i d d e n l a y e r ．A l s o ，w ei n t r o d u c et h er e l e v a n tp r e l i m i n a r yk n o

7、w l e d g ea n dg e n e r a l i z et h em a i n r e s u l t so b t a i n e di nt h i st h e s i s ．I nC h a p t e r 2 ，w e i n v e s t i g a t e t h ea p p r o x i m a t i o n b y n e u r a l n e t w o r k s w i t h s i

8、n g l eh i d d e nl a y e rt oc o n t i n u o u s f u n c t i o n so f d v a r i a b l e si nR d ．B a s e do n t h e r e s u l to fT i n g f a n X i e a n dX i n l o n gZ h o u ，w ec o n s i d e rt h ep r o b l e ma n dc

9、 o n s t r u c t ac l a s s o fn e u r a ln e t w o r k sw i t hs i n g l eh i d d e nl a y e r ，b y w h i c h t h ea p p r o x i m a t i o n r a t et oc o n t i n u o u s f u n c t i o n s o f d v a r i a b l e so na n

10、y c o m p a c ts u b s e to f Ⅱ妒i st h es a m ea st h ec a s eb yt h e b e s ta l g e b r a i cp o l y n o m i a la p p r o x i m a t i o n ．F u r t h e r m o r e ，w ec h a r a c t e r i z et h ea p p r o x i m a t i o n

11、 p r o p e r t i e so ft h i s c l a s so fn e u r a ln e t w o r k sw i t h s i n g l eh i d d e nl a y e r ．I nC h a p t e r3 ，w ei n v e s t i g a t et h ea p p r o x i m a t i o n e r r o ro fn e u r a ln e t w o r k

12、 sw i t hs i n g l eh i d d e nl a y e rb yu s i n gt h eB e r n s t e i np o l y n o m i a l t h e o r ya n dg i v et h el o w e ra n du p p e re s t i m a t e s ．I nC h a p t e r 4 ，w ei n v e s t i g a t et h ea p p r

13、 o x i m a t i o n o fe l l i p s o i db y n e u r a ln e t w o r k s w i t hs i n g l eh i d d e nl a y e r ．B a s e do nt h e r e s u l to fL iC h e n g 、H a n s - b e r n dK n o o p a n dX i n l o n gZ h o u ，w ep r o

14、 v e t h a t ，t oa p p r o x i m a t e c o n t i n u o u st a r g e tf u n c t i o n s d e f i n e do n t h e e l l i p s o i do f R d ，t h ea p p r o x i m a t i o n r a t eo fn e u r a ln e t w o r k s a r ea tl e a s

15、ta sg o o d a st h e b e s t a l g e b r a i cp o l y n o m i a la p p r o x i m a t i o n 。K e y w o r d s ：N e u r a lN e t w o r k s ；A p p r o x i m a t i o nR a t e ；T h eB e s tA l g e b r a i cP o l y n o m i a l