大規(guī)模中文文本檢索中的高性能索引研究.pdf

1、隨著互聯(lián)網上信息的不斷增長和日益更新，檢索系統(tǒng)，特別是中文文本檢索系統(tǒng)，正在受到人們越來越多的關注。索引是檢索系統(tǒng)必不可少的組成部分，是檢索系統(tǒng)提供快速查詢服務的關鍵。倒排文件是大規(guī)模檢索系統(tǒng)最常用的索引形式。然而，通常情況下，索引的構建，即倒排文件的生成，是一個非常耗時的過程。為了適應大規(guī)模的文本檢索任務，有必要研究加快構建索引的手段。通過對索引過程的各個階段進行分析，本文指出，通常的索引算法效率不高的主要原因有二：1)CPU和I/O

2、部件相互等待，使得系統(tǒng)資源的利用率不高；2)文檔分析階段是整個索引過程中的瓶頸，特別的，對中文文本而言，分詞是主要的開銷。針對第一個問題，本文在串行的索引流程中引入流水線結構，提高了資源部件的并行程度，進而縮短倒排文件的生成時間；在此基礎上，文中還比較了流水線結構在不同參數(shù)下的性能差異。針對第二個問題，可以采用優(yōu)化的詞典結構，以加快中文的分詞速度，從而達到減少分析階段時間開銷的目的；在比較了幾種常見的詞典結構之后，文中指出，基于雙數(shù)組T