數(shù)據(jù)空間內(nèi)基于內(nèi)容的文本文件管理策略研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展和計(jì)算機(jī)不斷普及，個(gè)人數(shù)據(jù)信息急劇膨脹，Web也日益成為一個(gè)巨大的信息共享平臺(tái)，各種數(shù)據(jù)隨之呈現(xiàn)出一些新的特性:一是增長(zhǎng)的快速性;二是數(shù)據(jù)共享性;三是數(shù)據(jù)結(jié)構(gòu)多樣性;四是數(shù)據(jù)分布的異構(gòu)性。在這樣的背景下，數(shù)據(jù)空間作為一種新的信息管理技術(shù)被提出以適應(yīng)異構(gòu)復(fù)雜數(shù)據(jù)的管理需求。
　　作為最常使用的信息存儲(chǔ)工具之一，文本內(nèi)部包含了大量半結(jié)構(gòu)或者無結(jié)構(gòu)的信息。如果在數(shù)據(jù)空間中，將文本內(nèi)部的信息作為一項(xiàng)數(shù)據(jù)源，利用文本內(nèi)

2、容之間存在的各種關(guān)聯(lián)為用戶的查詢和瀏覽提供導(dǎo)航，那么將使數(shù)據(jù)空間管理系統(tǒng)的功能得到很大的完善。然而，當(dāng)前的數(shù)據(jù)空間系統(tǒng)大多忽略了文本豐富的內(nèi)部信息。本文主要針對(duì)數(shù)據(jù)空間系統(tǒng)在文本內(nèi)容處理方面存在的不足，提出了兩種基于文本內(nèi)容的聚類方式，從而有效組織和管理文本。本文以數(shù)據(jù)空間中的文本作為數(shù)據(jù)源，首先從文本中抽取出大量?jī)?nèi)容信息，然后將內(nèi)容信息劃分成模式信息和特征信息。利用這些內(nèi)容信息對(duì)文本實(shí)現(xiàn)兩種方式的聚類:基于文本模式信息和特征信息的聚類

3、。在基于模式信息的文本聚類中，提出了一種詞頻矩陣的模式詞選擇算法。該算法采用文檔頻次的思想選擇文本集中的模式詞，并用這些模式詞構(gòu)建向量空間表示文本，然后使用SOM聚類算法對(duì)文本進(jìn)行聚類。聚類過程中對(duì)SOM進(jìn)行了優(yōu)化，減少了訓(xùn)練次數(shù)，提高了聚類效率和準(zhǔn)確度。在基于特征信息的文本聚類中提出了一種基于頻繁詞的樹聚類算法FTTC。基于FP-growth算法的思想，按照文本中頻繁詞的重要度構(gòu)建一棵聚類樹，然后根據(jù)樹中節(jié)點(diǎn)包含的文本數(shù)量是否滿足最小