Web中文信息獲取的算法研究.pdf

1、隨著Internet技術(shù)的高速發(fā)展，WWW技術(shù)已逐漸成為Internet上最重要的信息發(fā)布和傳輸方式，Web已經(jīng)成為人們獲取信息的一個(gè)重要信息來(lái)源。面對(duì)Web上海量的信息資源，用戶(hù)如何快速、有效地獲取自己感興趣的主題信息，已成為一個(gè)十分迫切的熱點(diǎn)課題。 Web信息獲取主要包括信息檢索和信息抽取。它涉及到計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)挖掘、文本處理、人工智能等多個(gè)領(lǐng)域，其關(guān)鍵技術(shù)，包括搜索引擎技術(shù)、信息抽取技術(shù)和自動(dòng)分類(lèi)技術(shù)等。本論文的主要工

2、作是對(duì)Web中文信息獲取的相關(guān)算法進(jìn)行研究，旨在解決Web信息獲取存在的一些問(wèn)題，以提高信息獲取的性能。 本文首先介紹了信息抽取問(wèn)題的提出，對(duì)Web信息檢索系統(tǒng)、Web信息抽取技術(shù)、搜索引擎進(jìn)行了簡(jiǎn)要綜述。 中文自動(dòng)分詞技術(shù)是中文信息的基礎(chǔ)，有著極其廣泛的實(shí)際應(yīng)用。本文第二部分針對(duì)中文自動(dòng)分詞技術(shù)，分析了中文分詞詞典的機(jī)制，提出了一種改進(jìn)的整詞分詞字典結(jié)構(gòu)，并針對(duì)機(jī)械分詞算法的特點(diǎn)，將其與概率算法相結(jié)合，探討了一種中文自

3、動(dòng)分詞概率算法。采用哈希及二分法對(duì)詞典進(jìn)行分詞匹配，實(shí)驗(yàn)表明，該算法具有較高的分詞效率和準(zhǔn)確率，對(duì)于消去歧義詞也有較好的性能。 頁(yè)面排序算法是搜索引擎的核心技術(shù)。本文第三部分分析了Web頁(yè)面主題分布的特點(diǎn)，對(duì)經(jīng)典的頁(yè)面排序算法進(jìn)行了探討，提出了一種基于內(nèi)容和超鏈接分析并結(jié)合用戶(hù)點(diǎn)擊行為的相關(guān)度排序算法，能夠客觀(guān)分析網(wǎng)頁(yè)所包含的主題信息，盡量保證檢索結(jié)果的相關(guān)性。實(shí)驗(yàn)表明，該算法能有效提高查準(zhǔn)率，較好地解決了主題漂移現(xiàn)象，且具有良