半結(jié)構(gòu)化網(wǎng)絡(luò)信息抽取技術(shù)及應(yīng)用研究.pdf

1、本課題研究是實(shí)驗(yàn)室課題“電腦農(nóng)業(yè)”的一部分，針對農(nóng)產(chǎn)品的季節(jié)性，周期性和區(qū)域性的特點(diǎn)，進(jìn)行實(shí)時(shí)的信息采集尤為重要。 本文針對農(nóng)產(chǎn)品市場價(jià)格數(shù)據(jù)，采用了基于XML和XPath的方法，以生成簡單、精確和健壯性較好的抽取規(guī)則，開發(fā)了可視化網(wǎng)頁信息抽取平臺，使得用戶通過簡單的輸入、點(diǎn)擊、復(fù)制、粘貼等操作，即可完成同一站點(diǎn)頁面簇中各頁面分量價(jià)格數(shù)據(jù)的自動(dòng)化批量抽取。抽取結(jié)果具有很好的精確性和召回率。該平臺可以實(shí)時(shí)、自動(dòng)地抽取網(wǎng)絡(luò)上的數(shù)據(jù)，

2、并在對抽取結(jié)果進(jìn)行整理、清洗后存入后臺數(shù)據(jù)庫。然后建立查詢網(wǎng)站，使收集到的數(shù)據(jù)能夠通過網(wǎng)頁的形式展現(xiàn)給用戶。 同時(shí)本文采用了基于參照文本和文檔對象模型(DOM)相結(jié)合的方法來對農(nóng)產(chǎn)品供求信息進(jìn)行抽取，該方法利用基于參照文本抽取的靈活性和DOM樹結(jié)構(gòu)定位的精確性，可以對網(wǎng)頁結(jié)構(gòu)多變的一類網(wǎng)頁準(zhǔn)確的進(jìn)行信息抽取。同時(shí)結(jié)合GSM和網(wǎng)絡(luò)爬蟲技術(shù)，開發(fā)了基于GSM和Web信息抽取的短信推送服務(wù)平臺，能夠?qū)⒂脩舾信d趣的信息以短信的方式及時(shí)推