概率數(shù)據(jù)檢索、挖掘及多層文本分類問題的研究.pdf

1、數(shù)據(jù)檢索與挖掘是一門不斷發(fā)展的綜合性交叉學(xué)科，涉及數(shù)據(jù)的存儲、索引、檢索、查詢以及分析等多個方面。本文主要針對其中的三個重要問題進(jìn)行了研究，主要內(nèi)容和結(jié)論可以歸納如下:第一，研究針對概率空間數(shù)據(jù)的文本檢索技術(shù)。不間斷地跟蹤、分析了Twitter 數(shù)據(jù)在地理位置上和時間上的分布特征，發(fā)現(xiàn)存在大量空間文本檢索的請求。從2011年11月至2012年5月，連續(xù)地收集帶有地理位置標(biāo)簽的Twitter數(shù)據(jù)，分析發(fā)現(xiàn)存在大量位置不確定性，嚴(yán)重影響了空

2、間文本檢索結(jié)果的準(zhǔn)確度和NDCG度量。研究旨在獲得文本語義相關(guān)性強(qiáng)、空間可信度高的信息。首先，基于可能世界語義模型，定義top-(c,k)檢索模式，以結(jié)合文本語義相關(guān)度和空間可信度兩方面的語義。其次，分析現(xiàn)有的空間文本數(shù)據(jù)索引結(jié)構(gòu)，利用IRTree混合索引結(jié)構(gòu)索引概率空間文本數(shù)據(jù)，提出了文本相似度得分和空間可信度得分的增量式計算算法(ISA)，按文本相似度得分遞減的順序逐個遍歷空間文本對象。然后，設(shè)計了參數(shù)化的概率排序算法PRankc，

3、與ISA算法相互配合，在線性時間內(nèi)計算所有空間文本對象的top-c可信度;給出了優(yōu)化策略，避免PRankc算法遍歷全部空間文本對象;設(shè)計了統(tǒng)計模型估計PRankc算法中參數(shù)c的合理取值。最后，在真實的Twitter數(shù)據(jù)集上進(jìn)行實驗，實驗結(jié)果表明，與其他檢索方式相比，top-(c，k)檢索模式能夠獲得更好的檢索質(zhì)量，并且采用優(yōu)化策略的PRankc算法能夠快速的完成檢索任務(wù)。第二，研究針對概率事務(wù)數(shù)據(jù)的頻繁項集挖掘技術(shù)。分析概率事務(wù)數(shù)據(jù)上頻

4、繁項集的語義，發(fā)現(xiàn)了基于期望值定義的期望頻繁項集帶來的語義缺失問題，提出了基于可能世界語義模型的概率頻繁項集的概念，并考察了概率頻繁項集的Apriori性質(zhì)。設(shè)計了多項式時間的候選頻繁項集的判定算法。分析確定環(huán)境下挖掘頻繁項集的經(jīng)典的Apriori算法，給出了概率頻繁項集挖掘算法P-Apriori，按可信度遞減地順序、增量式地返回概率頻繁項集。在概率事務(wù)數(shù)據(jù)上，對P-Apriori算法的項目概率分布敏感性進(jìn)行測試，并測試了各種參數(shù)下挖掘

5、算法的性能。實驗表明，在各種挖掘參數(shù)下，P-Apriori算法均能在理想的時間和空間內(nèi)獲得挖掘結(jié)果，算法執(zhí)行時間大體上與數(shù)據(jù)集規(guī)模呈線性關(guān)系。第三，開展了多層文本分類技術(shù)的研究，分析多層文本分類技術(shù)面臨的兩個關(guān)鍵問題:數(shù)據(jù)偏斜問題和錯誤傳播問題。提出了基于路徑的語義向量的概念，用于理解概念樹結(jié)構(gòu)中類別的準(zhǔn)確語義?；陬悇e的路徑語義向量表示和文本相似性度量，設(shè)計訓(xùn)練樣本增強(qiáng)策略，為訓(xùn)練樣本稀疏的類別收集潛在的、可靠的訓(xùn)練樣本。考察了概念樹