基于中文信息檢索的文本預(yù)處理研究.pdf

1、當(dāng)前，Web正在成為人類知識和文明的全球存儲庫，這個存儲庫空前的允許在一個史無前例的范圍內(nèi)實現(xiàn)思想和信息的共享，隨著互聯(lián)網(wǎng)的快速普及，通過網(wǎng)絡(luò)共享的中文信息資源以接近指數(shù)級的速度遞增。如何處理網(wǎng)上的海量信息成為非常重要的研究課題。信息檢索的研究可以幫助人們有效的找到自己所需的信息。信息檢索的內(nèi)容有多種，其中，文本信息的含量最多。因此，為了提高用戶的查詢精度、系統(tǒng)運(yùn)行效率以及空間利用率，都需要對文檔進(jìn)行預(yù)處理。本論文就是在文本信息檢索這個

2、大背景之下，對文本的預(yù)處理技術(shù)進(jìn)行了探索。 本文首先對文本預(yù)處理的相關(guān)技術(shù)進(jìn)行介紹和研究，包括文本的表示、分詞、詞性標(biāo)注、標(biāo)引詞選擇等。接著，對本文采用的文本預(yù)處理技術(shù)進(jìn)行了探討，由于切分歧義是漢語分詞所面臨的最大難題，其中能用語法知識消解的就約占90％以上，而涉及語義和語用知識的切分歧義則很少，因此本文有機(jī)地將分詞過程和詞性標(biāo)注過程融合在一起，采用了動態(tài)規(guī)劃解決這一問題，有利于切分歧義的消解。對于粗切分后的碎片，本文根據(jù)重疊詞

3、的模式進(jìn)行了重疊詞識別，并采用了一定的規(guī)則來識別碎片中的未登陸詞。在信息檢索的向量空間模型中，文本被形式化地表示為由詞項及其權(quán)重組成的向量。因此如何使這個向量盡可能準(zhǔn)確有效地表示出文本內(nèi)容同時又要盡量地減少向量空間的維數(shù)一直是該模型的基礎(chǔ)性問題。針對這個問題，本文提出了一個標(biāo)引詞選擇的算法，該算法充分考慮了詞項的詞頻、位置以及它與其它詞項、重要語句間的關(guān)系，根據(jù)實例，證明了該算法的有效性。最后，本文利用這些算法設(shè)計了一個基于信息檢索的文