Wed網(wǎng)頁表格數(shù)據(jù)提取與應用.pdf

1、Web網(wǎng)頁，既有文本型的，也有表格數(shù)據(jù)型的。表格數(shù)據(jù)型網(wǎng)頁大部分是由數(shù)據(jù)密集型網(wǎng)站發(fā)布的，這些數(shù)據(jù)基本上是由后臺數(shù)據(jù)庫根據(jù)用戶的要求并使用一定的腳本程序形成的。這樣數(shù)據(jù)對電子商務是非常有用的。但是，Web網(wǎng)頁主要是供瀏覽的，很難提取和使用。怎樣提取網(wǎng)頁數(shù)據(jù)是我們面臨的一個新問題。 本文分析了網(wǎng)頁上數(shù)據(jù)結(jié)構(gòu)和特點。絕大多數(shù)數(shù)據(jù)信息為了美觀而用表格(table標簽)來排版表示，這些表格只描述數(shù)據(jù)怎樣顯示而不描述數(shù)據(jù)的內(nèi)容，也不標志數(shù)

2、據(jù)的來源。由后臺數(shù)據(jù)庫提供的數(shù)據(jù)也存在于這樣的復雜的嵌套表格中，和其它的文本數(shù)據(jù)雜合在一起。因此，提取這些數(shù)據(jù)首先要要識別出含有表格數(shù)據(jù)的table標簽和為了顯示格式的普通table標簽。同時，現(xiàn)在大多數(shù)Web網(wǎng)頁不符合W3C規(guī)范的XHTML格式，而且很多網(wǎng)頁存在著大量的錯誤，還必須對Web網(wǎng)頁進行修正和規(guī)范。我們就是重點解決這些問題。 論文基于普通的HTML格式的Web網(wǎng)頁，使用開放源代碼JAVA語言的Tidy工具對網(wǎng)頁進行錯

3、誤糾正和規(guī)范，對網(wǎng)頁上表格數(shù)據(jù)的特點進行了分析和總結(jié)，分離出含有表格數(shù)據(jù)的table標簽。使用SAX解析器結(jié)合對表格數(shù)據(jù)型數(shù)據(jù)的過濾和提取算法，提取網(wǎng)頁中的數(shù)據(jù)，設計了適合于網(wǎng)頁表格數(shù)據(jù)的數(shù)據(jù)存儲結(jié)構(gòu)，將提取的數(shù)據(jù)轉(zhuǎn)存到MySQL數(shù)據(jù)庫，供應用程序使用。 本文以基金網(wǎng)頁為例，實現(xiàn)簡單表格數(shù)據(jù)型數(shù)據(jù)的提取、存儲和分析應用。論文中的實例可以從272支基金的主頁上下載以表格數(shù)據(jù)形式存在的每日凈值信息，也可以從開放式基金每日凈值的主頁上