基于互聯(lián)網(wǎng)的構(gòu)件庫系統(tǒng)構(gòu)件描述信息抽取算法研究.pdf

1、基于構(gòu)件的軟件開發(fā)方法被視為解決軟件危機(jī)的現(xiàn)實可行途徑,這種方法的前提是需要大量可以使用的元構(gòu)件,為了解決構(gòu)件的來源問題,當(dāng)前互聯(lián)網(wǎng)涌現(xiàn)了一批構(gòu)件資源下載網(wǎng)站,但是這些構(gòu)件資源總體分散,這對構(gòu)件的準(zhǔn)確、全面獲取造成極大的不便,對這些構(gòu)件資源網(wǎng)站的構(gòu)件描述信息進(jìn)行抽取、然后重新組織和整合,構(gòu)建一個基于互聯(lián)網(wǎng)的構(gòu)件庫系統(tǒng),并提供統(tǒng)一的入口供構(gòu)件獲取者檢索,具有重大的現(xiàn)實意義。
　　構(gòu)建基于互聯(lián)網(wǎng)的構(gòu)件庫系統(tǒng)涉及到三個方面的關(guān)鍵技術(shù),1

2、)主題爬蟲技術(shù),主要從互聯(lián)網(wǎng)當(dāng)中采集包含有構(gòu)件信息的web文檔;2)信息抽取技術(shù),從采集到的web頁面中自動獲取構(gòu)件描述信息,并把它轉(zhuǎn)換成語義更為清晰、更為結(jié)構(gòu)化的格式;3)構(gòu)件檢索,對抽取到的信息進(jìn)行標(biāo)注、挖掘,并進(jìn)行合理的組織和存儲,提供一個入口供用戶檢索。本文將就信息抽取中的相關(guān)問題重點展開討論,這是一個承上啟下的研究,對上它需要對粗糙的、雜而無序的網(wǎng)頁進(jìn)行分析處理,提取出有效的構(gòu)件描述信息,對下它需要以合理的方式進(jìn)行組織,為后續(xù)

3、的構(gòu)件挖掘、構(gòu)件檢索提供便利。
　　目前的一些網(wǎng)頁信息抽取算法主要分為基于html結(jié)構(gòu)、包裝器歸納、網(wǎng)頁語義分析三類,針對這些算法在抽取基于互聯(lián)網(wǎng)的構(gòu)件描述信息上的不足,提出了一種基于主題相似度不斷逼近的構(gòu)件信息抽取算法,通過引入結(jié)構(gòu)化抽取模型的同義詞表,屏蔽不同構(gòu)件庫網(wǎng)站對構(gòu)件描述的差異,同時利用構(gòu)件描述信息往往聚集在某個特定標(biāo)簽節(jié)點之下的結(jié)構(gòu)特征,不斷計算每個標(biāo)簽節(jié)點的主題相似度直到最大,從而達(dá)到精確定位和抽取目標(biāo)信息的目的。