基于網(wǎng)頁內(nèi)容分析的Web信息抽取技術(shù)及其應(yīng)用.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展和信息化社會(huì)的到來,搜索引擎正在發(fā)揮著日益重要的作用。通用搜索引擎以其方便、快捷、索引信息量大等特點(diǎn)而為人們所熟知,但使用它們檢索特定領(lǐng)域的信息,或它們在面向特定領(lǐng)域的應(yīng)用時(shí),往往檢索得到的信息準(zhǔn)確性和專指性不強(qiáng)。因此,開發(fā)針對某一專題或應(yīng)用的搜索引擎有實(shí)用價(jià)值和現(xiàn)實(shí)意義。在專題搜索引擎的開發(fā)中,用于爬取相關(guān)網(wǎng)頁的網(wǎng)絡(luò)蜘蛛的設(shè)計(jì)與實(shí)現(xiàn)對搜索引擎的整體性能有較大影響。
　　 自1999年以來,我國高校招生規(guī)模逐

2、年擴(kuò)大,學(xué)生人數(shù)的大幅度增加,給高校學(xué)生的培養(yǎng)及就業(yè)帶來了諸多壓力。因此,運(yùn)用科學(xué)的方法對在校學(xué)生教育信息和畢業(yè)生就業(yè)信息實(shí)施管理顯得尤為重要,更重要的是,可以更好地對高校的招生和培養(yǎng)工作給予輔助指導(dǎo)?；谏鲜鲂枨?本課題對以大學(xué)生就業(yè)信息及教育信息為主題的專用搜索引擎中的網(wǎng)絡(luò)蜘蛛程序進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)。在網(wǎng)頁抓取過程中根據(jù)一定的規(guī)則分析頁面內(nèi)容,完成相關(guān)信息的抽取和分析,過濾與主題無關(guān)的內(nèi)容,并將其存儲(chǔ)到網(wǎng)頁庫中,進(jìn)而完成搜索引擎中的數(shù)