基于MySQL新聞搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著現(xiàn)代信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)絡(luò)上的信息量和類(lèi)型正在發(fā)生爆炸性的增長(zhǎng)。這為人們的日常生活、工作以及學(xué)習(xí)帶來(lái)了極大的便利。但是在信息量爆增的同時(shí)也帶來(lái)了新的問(wèn)題。比如如何對(duì)這些海量的信息進(jìn)行統(tǒng)一的管理，如何將這些分散的資源建立索引，以及如何從海量的信息資源中準(zhǔn)確地獲取需要的信息等等。搜索引擎是解決這些問(wèn)題的關(guān)鍵技術(shù)，但是傳統(tǒng)的通用搜索引擎是對(duì)Web上的所有種類(lèi)的信息都進(jìn)行搜集，并面向所有不同層次的用戶，這種想做的面面俱到的努力在海量信

2、息面前變得越來(lái)越?jīng)]有突破性進(jìn)展。
　　普通的用戶對(duì)信息的關(guān)注程度和寬度是比較集中的。所以面向特定領(lǐng)域和特定需求的專業(yè)搜索引擎的概念應(yīng)用而生。與傳統(tǒng)的通用搜索引擎所不同的地方是專業(yè)搜索引擎只會(huì)收集與某個(gè)主題相關(guān)的Web上的信息，在收集信息時(shí)并不是來(lái)者便收，而是通過(guò)分析判斷信息內(nèi)容是否與特定主題相關(guān)，并只對(duì)相關(guān)的信息進(jìn)行進(jìn)一步處理。因此，專業(yè)搜索引擎無(wú)論在資源消耗，還是在查詢準(zhǔn)確度上都有了顯著的提高。
　　本文的主要研究工作就是

3、面向?qū)I(yè)搜索引擎，且以新聞為搜索主題。在研究過(guò)程中，通過(guò)對(duì)搜索引擎中關(guān)鍵技術(shù)進(jìn)行深入的理論的學(xué)習(xí)和實(shí)踐，進(jìn)一步加深對(duì)搜索引擎領(lǐng)域的了解。在本文中的新聞專業(yè)搜索引擎中，選擇新浪新聞網(wǎng)站作為網(wǎng)絡(luò)爬蟲(chóng)的入口地址，對(duì)其進(jìn)行有針對(duì)性地收集新聞頁(yè)面。收集頁(yè)面的工作由專業(yè)的新聞網(wǎng)絡(luò)爬蟲(chóng)完成，它從新聞首頁(yè)開(kāi)始，提取出其中的新聞鏈接地址，并將這些鏈接地址存入到待爬取的隊(duì)列之中，通過(guò)三層的深度優(yōu)先搜索算法對(duì)Web網(wǎng)站進(jìn)行遍歷。之后，爬蟲(chóng)還將對(duì)收集后的頁(yè)面進(jìn)

4、行凈化處理和提取有效信息，最后由索引器建立搜索引擎中非常核心的數(shù)據(jù):倒排索引。搜索引擎最終是要面向普通用戶的，所以，設(shè)計(jì)好一個(gè)用戶體驗(yàn)度好的查詢接口為用戶提供新聞查詢服務(wù)也是非常必須的任務(wù)。本文中詳細(xì)介紹了網(wǎng)絡(luò)爬蟲(chóng)是設(shè)計(jì)和實(shí)現(xiàn)，網(wǎng)頁(yè)的凈化和信息抽取以及索引庫(kù)的構(gòu)建。這些技術(shù)都是目前自然語(yǔ)言處理和人工智能方面的研究熱點(diǎn)，通過(guò)對(duì)這些技術(shù)和理論的學(xué)習(xí)，加深對(duì)專業(yè)的技能。
　　本面向新聞內(nèi)容的搜索引擎從最簡(jiǎn)單的技術(shù)著手，逐步實(shí)現(xiàn)了搜索引擎