Web頁面分塊算法MDSPS及其在Web信息抽取中的應(yīng)用.pdf

1、隨著Web的快速發(fā)展，如何從Web網(wǎng)站中獲得想要的信息成為亟待解決的問題，因此Web信息抽取成為必要，Web信息抽取技術(shù)也成為當(dāng)今的一個(gè)研究熱點(diǎn)。Web信息抽取需要解決的問題是：如何使信息抽取免受頁面結(jié)構(gòu)差異和頁面結(jié)構(gòu)變化的影響，并盡可能地減少人為參與。 針對(duì)上述問題，目前出現(xiàn)了一種全新的基于分塊的Web信息抽取技術(shù)，即先將Web頁面分成若干個(gè)相互獨(dú)立的語義塊，再根據(jù)不同的應(yīng)用，從中選取具有相應(yīng)語義特征的語義塊進(jìn)行信息抽取。新的

2、抽取方式不僅有效降低了信息抽取問題的復(fù)雜度，而且大幅度提高了信息抽取的精確度。 本文的研究重點(diǎn)是如何設(shè)計(jì)并實(shí)現(xiàn)一種準(zhǔn)確、自動(dòng)、智能、高效、簡(jiǎn)單的Web頁面分塊算法，以及該算法在Web信息抽取中的應(yīng)用。首先本文提出了一種基于HTML標(biāo)簽分布統(tǒng)計(jì)的Web頁面分塊算法MDSPS，詳細(xì)描述了MDSPS的基本原理、實(shí)現(xiàn)過程，并與現(xiàn)有的兩種經(jīng)典Web頁面分塊算法：HTML分塊解析方法和VIPS分塊算法進(jìn)行分析比較。其次，本文提出了塊層次結(jié)構(gòu)

3、獲取算法，能夠根據(jù)MDSPS分塊算法的分塊結(jié)果，得到Web頁面的塊層次結(jié)構(gòu)。本文同時(shí)給出了塊語義特征分析方法，能夠簡(jiǎn)單有效地提取塊的語義特征。利用塊語義特征分析方法，以塊結(jié)構(gòu)層次為基礎(chǔ)，針對(duì)不同的Web應(yīng)用，能夠從大量的語義塊中快速準(zhǔn)確選取相應(yīng)的特定語義塊，提高Web信息抽取的準(zhǔn)確度。最后，通過展示MDSPS在本課題組所實(shí)現(xiàn)的基于分類本體的Web信息集成系統(tǒng)NEU-WIIS中的具體應(yīng)用，詳細(xì)描述Web頁面分塊在Web信息抽取中的作用，由