基于電路課程的主題搜索引擎設(shè)計(jì)與實(shí)現(xiàn).pdf

1、上海交通大學(xué)碩士學(xué)位論文上海交通大學(xué)碩士學(xué)位論文基于電路課程的主題搜索引擎設(shè)計(jì)與實(shí)現(xiàn)基于電路課程的主題搜索引擎設(shè)計(jì)與實(shí)現(xiàn)DesignImplementationofTopicSearchEnginebasedonthecircuitcurriculum所在院系:電子信息與電氣工程學(xué)院學(xué)科專業(yè):電工理論與新技術(shù)學(xué)生姓名:孟媛指導(dǎo)教師:陳洪亮答辯日期:2010年3月上海交通大學(xué)電子信息與電氣工程學(xué)院上海交通大學(xué)電子信息與電氣工程學(xué)院2010

2、年3月2010年3月ADissertationSubmittedtoShanghaiJiaoTongUniversityftheDegreeofMaster第I頁摘要目前互聯(lián)網(wǎng)領(lǐng)域主要的搜索引擎服務(wù)商如Yahoo、百度、Google等，為用戶提供的都是橫向的海量信息搜索。而在互聯(lián)網(wǎng)不斷更新和演化的現(xiàn)階段，我們發(fā)現(xiàn)：普通網(wǎng)絡(luò)用戶想找到所需的資料簡直如同大海撈針，海量的信息已經(jīng)不再是發(fā)展的主要?jiǎng)恿?，意識(shí)和時(shí)效性才是真正的動(dòng)力。互聯(lián)網(wǎng)發(fā)展的關(guān)

3、鍵不再是能否快速、大量地向用戶提供和傳遞信息，而是能否實(shí)現(xiàn)使用戶在期望的時(shí)間、期望的地點(diǎn)，以期望的方式和成本，獲取期望的信息。然而綜合搜索引擎可以滿足大量信息的橫向搜索，但很難兼顧搜索的準(zhǔn)確度與相關(guān)度的質(zhì)量。主題搜索這一新的搜索模式正是在這一背景下產(chǎn)生的。本文主要的研究工作分為兩個(gè)部分：第一部分通過理論研究分析，提出了對(duì)主題搜索引擎信息采集算法的改進(jìn)思路；第二部分通過對(duì)主題搜索引擎的核心技術(shù)進(jìn)行剖析，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)主題搜索引擎的原型系

4、統(tǒng)。本文首先詳細(xì)介紹了搜索引擎的發(fā)展歷史，指出了目前綜合搜索引擎所面臨的問題以及解決這些問題的途徑，即本文所研究的方向：主題搜索引擎。通過和綜合搜索引擎在信息服務(wù)以及關(guān)鍵技術(shù)上的比較分析，指出主題搜索引擎存在的巨大優(yōu)勢(shì)和發(fā)展空間，并通過學(xué)習(xí)設(shè)計(jì)搜索引擎的關(guān)鍵技術(shù)，網(wǎng)絡(luò)爬蟲技術(shù)、網(wǎng)頁抽取技術(shù)、中文分詞技術(shù)，建立主題搜索框架，在網(wǎng)頁抓取算法分析選擇，在抓取網(wǎng)頁選取方面作了范圍限定，以提高提取有效網(wǎng)頁精度。最后利用Lucene框架設(shè)計(jì)并構(gòu)建一