短文本分類中高品質(zhì)特征模式抽取及擴(kuò)展策略研究.pdf

1、隨著互聯(lián)網(wǎng)和通訊產(chǎn)業(yè)的快速發(fā)展，各種形式的信息撲面而來(lái)。而短文本(通常文本長(zhǎng)度小于160字符)作為手機(jī)短信息、在線即時(shí)聊天記錄、論壇用戶評(píng)論等信息的主要表現(xiàn)形式，已經(jīng)成為網(wǎng)絡(luò)中大眾信息傳播的重要渠道。短文本分類技術(shù)，它是基于內(nèi)容分析將短文本分派到預(yù)先定義的類別中，在信息安全和商業(yè)信息獲取等領(lǐng)域具有重要的應(yīng)用前景。由于短文本具有長(zhǎng)度短、所描述概念信號(hào)弱的固有缺陷，使當(dāng)前主流文本分類技術(shù)用于短文本時(shí)，分類器性能變壞。解決上述問(wèn)題的一種可行性

2、途徑是利用額外信息來(lái)輔助短文本分類。
　　 本文利用關(guān)聯(lián)分析理論，從訓(xùn)練語(yǔ)料集中挖掘出具有關(guān)聯(lián)關(guān)系的特征詞語(yǔ)組合，構(gòu)成特征擴(kuò)展模式，用于對(duì)短文本進(jìn)行特征擴(kuò)展，以彌補(bǔ)其概念信號(hào)弱的固有缺陷，通過(guò)對(duì)先對(duì)文本信息對(duì)象進(jìn)行特征擴(kuò)展處理，進(jìn)而將其分類成屬于某個(gè)種類還是不屬于某個(gè)種類。本文的核心和貢獻(xiàn)在于：⑴提出一種構(gòu)造高品質(zhì)特征擴(kuò)展模式庫(kù)的方法。選擇關(guān)聯(lián)分析理論作為挖掘工具，用來(lái)發(fā)現(xiàn)隱藏在訓(xùn)練數(shù)據(jù)集中的具有關(guān)聯(lián)關(guān)系的特征組合并形成短文本的

3、特征擴(kuò)展模式，進(jìn)而構(gòu)造出一個(gè)高品質(zhì)的特征擴(kuò)展模式庫(kù)。針對(duì)簡(jiǎn)單特征擴(kuò)展模式不適用于短文本分類的問(wèn)題，本文引入了新的特征擴(kuò)展模式度量指標(biāo)，即：類別趨同性(Category Homoplasy)、關(guān)聯(lián)強(qiáng)度(Relevancy Strength)，用來(lái)提高特征模式品質(zhì)，從而保證了用來(lái)輔助短文本分類的額外信息的準(zhǔn)確性。⑵提出一種利用高品質(zhì)特征擴(kuò)展模式的中文短文本分類方法。該方法是在分類階段，先對(duì)短文本進(jìn)行特征擴(kuò)展，即將文本信息對(duì)象中的非精簡(jiǎn)特征作