企業(yè)網(wǎng)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，入網(wǎng)用戶及網(wǎng)絡(luò)資源每年都以指數(shù)級(jí)規(guī)律增長(zhǎng)。用戶要在浩瀚的信息海洋里尋找信息，需要有效的搜索根據(jù)。搜索引擎正是為了解決這個(gè)問(wèn)題而出現(xiàn)的技術(shù)。它以一定的策略在因特網(wǎng)中搜集、發(fā)現(xiàn)信息，對(duì)信息進(jìn)行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的作用。 就應(yīng)用范圍而言，搜索引擎可分為基于企業(yè)網(wǎng)絡(luò)和基于互聯(lián)網(wǎng)兩類。本文描述了一個(gè)基于企業(yè)網(wǎng)絡(luò)的中文搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，介紹該系統(tǒng)所采用的向量空間

2、模型(VSM，VectorSpaceModel)，與模型相關(guān)的技術(shù)，包括項(xiàng)的選擇、加權(quán)策略、利用相關(guān)反饋進(jìn)行查詢優(yōu)化等。 西方語(yǔ)言在詞匯之間存在分割符(空格)，而漢語(yǔ)的詞匯在語(yǔ)句中是連續(xù)排列的。因此，漢語(yǔ)詞匯的切分(分詞)在中文信息處理的許多應(yīng)用領(lǐng)域，如機(jī)器翻譯、文獻(xiàn)檢索、文獻(xiàn)分類、文獻(xiàn)過(guò)濾、詞頻統(tǒng)計(jì)等，是非常重要的第一步。作者在本文中提出了一種快速分詞方法，理論分析和實(shí)驗(yàn)結(jié)果都說(shuō)明該方法比目前已有的基于字符串比較的分詞方法高效