基于機(jī)器學(xué)習(xí)的Web信息提取技術(shù)的研究.pdf

1、機(jī)器學(xué)習(xí)的介入為Web信息的提取開辟了新的研究方向,其自適應(yīng)機(jī)制能夠較好的適應(yīng)Web信息的動(dòng)態(tài)性和松散性,使系統(tǒng)在提取Web信息時(shí)可根據(jù)反饋信息自動(dòng)完成舊規(guī)則的修改和新規(guī)則的推導(dǎo).目前國內(nèi)外對(duì)基于機(jī)器學(xué)習(xí)的Web信息提取有一些研究,但這些算法在實(shí)際應(yīng)用中表現(xiàn)出種種缺陷,因此改進(jìn)已有算法和提出新的算法顯得尤為重要. 通過一定的分析和比較,給出了兩種新的基于機(jī)器學(xué)習(xí)的Web信息提取算法并且對(duì)原有FOIL算法進(jìn)行了有效改進(jìn),并在實(shí)驗(yàn)基礎(chǔ)上對(duì)每

2、個(gè)算法的性能進(jìn)行了全面的分析和評(píng)估.針對(duì)FOIL算法在學(xué)習(xí)不相鄰網(wǎng)頁間復(fù)雜聯(lián)系時(shí)表現(xiàn)出來的不確定性,提出了一種基于網(wǎng)頁間聯(lián)系的新的路徑學(xué)習(xí)算法:多策略學(xué)習(xí)算法將多個(gè)學(xué)習(xí)算法相結(jié)合,解決了單一機(jī)器學(xué)習(xí)算法推導(dǎo)提取規(guī)則時(shí)的片面性問題,所得規(guī)則能更全面地反映Web信息的分布規(guī)律;基于模板填充標(biāo)記的學(xué)習(xí)算法采用自底向上推導(dǎo)規(guī)則的模塊層疊方法,通過在提取模板中填充一定數(shù)量的有助于識(shí)別信息類別的SGML標(biāo)記,使算法能覆蓋Web頁中的不可見信息,可有