基于聚類分析的專家分類方法研究.pdf

1、隨著大數據時代的發(fā)展，數據挖掘技術受到了學術界以及工業(yè)界的青睞和廣泛應用。本文來源于東南大學米谷大數據聯合實驗室，面向產學研的專家推薦平臺的項目，以聚類分析相關技術為核心，為平臺提供后臺的領域專家數據支持。
　　順應計算機領域的發(fā)展熱潮以及相關高新產業(yè)的聚集，本文選擇了計算機學科的領域專家進行研究。同時，由于專家數據源的多樣性，無法實現自動化過程，故本文的數據源選擇萬方中計算機學科1990年至2016年的計算機學科學生學位論文12

2、5499篇。從學生的論文研究角度出發(fā)，推測其導師，即本文中的專家的研究方向。從大量數據中挖掘出所需的專家研究領域信息，對其進行分類。由于專家的研究方向無法預知，故本文的技術核心為無監(jiān)督學習中的聚類分析，通過計算文本相似度進行劃分。本文中分類與聚類概念等同，文本相似度代表關鍵詞向量的相似度。
　　本文的研究工作主要包括四個方面:
　　1)數據的自動化獲取。由于萬方數據庫實時更新，且格式統(tǒng)一，本文采用聚焦網絡爬蟲對數據進行實時的

3、自動化爬取。主要解決的是網站限制訪問以及cookie二次訪問的問題，保持無須人工干涉的持續(xù)數據獲取。
　　2)數據的預處理工作。本文的文本數據使用向量空間模型，且原始數據量以及數據維度都在十萬量級，故數據預處理工作的核心是對高維稀疏數據的降維處理。本文采用了特征抽取和特征選擇實現數據的降維工作。特征選擇引入論文標題字段數據，從機器學習與統(tǒng)計分析的角度，提出了結合CRF分詞與全局TF-IDF技術的特征選擇方法;特征抽取則在特征選擇的

4、基礎上采用基于主題模型的LDA方法繼續(xù)降維，共同完成特征空間的重定義。
　　3)基于模糊聚類與狄利克雷過程的混合聚類算法研究。結合專家數據的實際情況，傳統(tǒng)硬聚類方法無法實現一個專家有多個研究方向的問題。根據此情況本文提出了可將一條數據分到多個類的模糊聚類方法，同時在預處理時對專家數據進行預分類工作。該方法結合模糊聚類與狄利克雷過程的FCM-DP混合聚類方法，進行分層次聚類。不僅提高了數據處理的準確率，還能夠更好地確定聚類主題。同時

5、，通過數據后處理對結果進行優(yōu)化。
　　4)實驗的結果評估與方法驗證。本文的實驗部分完成了對2）、3）中的研究工作的設計與實現，并通過相關評估參數對實驗結果進行評估驗證，對比分析了本文提出的特征選擇、特征抽取以及FCM-DP混合聚類方法與其它經典方法的相關實驗結果。同時結合LDA算法與專家地域關系信息完成了專家主題網絡的構建。
　　本文通過聚焦爬蟲從網頁上獲取專家信息，提出了結合CRF分詞與全局TF-IDF的特征選擇、基于主題