話題檢測(cè)研究.pdf

1、話題檢測(cè)旨在從海量的新聞報(bào)道中識(shí)別出未知的話題及已知話題的相關(guān)報(bào)道。絕大多數(shù)檢測(cè)算法都是基于聚類算法進(jìn)行的，用向量空間模型描述新聞報(bào)道和話題，計(jì)算其相似度，并按照某種策略對(duì)其進(jìn)行聚類。 編碼索引指利用索引算法對(duì)關(guān)鍵詞進(jìn)行快速編碼轉(zhuǎn)換的方法。單值索引指關(guān)鍵詞和索引項(xiàng)一一對(duì)應(yīng)的簡(jiǎn)單索引，檢索速率較高的單值索引有順序數(shù)組索引、樹型索引和哈希索引等。 本文提出并實(shí)現(xiàn)了用于優(yōu)化話題檢測(cè)的三種編碼索引算法：準(zhǔn)動(dòng)態(tài)數(shù)組索引算法、哈希桶

2、內(nèi)鏈索引算法和雙鏈聚合哈希索引算法。 準(zhǔn)動(dòng)態(tài)數(shù)組索引算法利用了順序數(shù)組索引的高檢索速率，及B樹索引的高更新速率，利用準(zhǔn)動(dòng)態(tài)思想，周期性的將B樹更新索引并入主索引表，解決了順序數(shù)組索引更新效率低下的問題。 哈希桶內(nèi)鏈索引算法在哈希桶內(nèi)部元素建鏈以實(shí)現(xiàn)鏈地址哈希索引，避免了頻繁的內(nèi)存分配，且采用了桶號(hào)加桶項(xiàng)號(hào)的指針表示方法，將指針壓縮到3字節(jié)。 雙鏈聚合哈希索引算法在聚合哈希索引的基礎(chǔ)上雙向建鏈并維護(hù)空表項(xiàng)鏈，實(shí)現(xiàn)了