文本聚類及其在電子病歷分析中的應(yīng)用研究.pdf

1、在文本聚類算法研究領(lǐng)域中，面對大規(guī)模、高維的文本集合，如何建立精度高、可擴(kuò)展的聚類算法一直是研究者們努力的方向。傳統(tǒng)文本聚類算法仍然存在著如下問題:一是數(shù)據(jù)的高維問題，傳統(tǒng)基于向量空間模型VSM(vector space model)的文本表示方法造成文本表示的維度過高，影響聚類的效率和精度;二是聚類算法在大規(guī)模文本集上聚類效果的問題，即聚類算法需要良好的精度和可擴(kuò)展性;三是聚類結(jié)果簇的描述問題，一個好的類簇描述能夠讓人們直觀的了解到每

2、個類簇所代表的主題。解決以上三個問題一直是文本聚類領(lǐng)域的研究重點。
　　同時隨著醫(yī)學(xué)信息化的發(fā)展，電子病歷EMR(electronic medical record)已經(jīng)成為幫助患者診療的寶貴資源。相對于傳統(tǒng)紙質(zhì)病歷的組織形式，電子病歷提供了全新的病歷管理模式，使查詢、分析功能成為可能。但隨著數(shù)字化醫(yī)院的發(fā)展，電子病歷的數(shù)量成指數(shù)級增長，如何組織海量的電子病歷并對病歷數(shù)據(jù)根據(jù)病種進(jìn)行歸類以及如何從中發(fā)掘有價值的信息或知識成為目前電

3、子病歷分析研究的一個熱點問題。文本聚類作為一種無監(jiān)督算法，它的應(yīng)用之一就是在無標(biāo)簽信息的情況下將無組織的文本自動歸類。
　　針對以上文本聚類算法中的問題以及對文本聚類在電子病歷中的組織化應(yīng)用的研究調(diào)研，本文的貢獻(xiàn)如下:
　　1)提出一種基于頻繁詞集表示的文本聚類算法FIC(frequent itemsets based document clustering method)。該方法從文檔集中挖掘出頻繁詞集，運(yùn)用頻繁詞集來表示

4、每個文本從而大大降低了文本維度。根據(jù)文本間相似度來建立文本網(wǎng)絡(luò)，運(yùn)用社區(qū)劃分的算法對網(wǎng)絡(luò)進(jìn)行劃分，從而達(dá)到聚類的目的。FIC算法不僅能降低文本表示的維度，還可以構(gòu)建文本集中文本間的關(guān)聯(lián)關(guān)系，使文本與文本間不再是獨立的兩兩關(guān)系。
　　2)根據(jù)電子病歷本身的數(shù)據(jù)特征提出一種基于頻繁詞集與詞嵌入模型的電子病歷混合聚類算法FIC-Hybrid(a hybrid EMR clustering method based on frequent