基于頻繁模式挖掘的不良消息文本檢測(cè)方法研究與實(shí)現(xiàn).pdf

1、隨著微博，像新浪微博，騰訊微博等，即時(shí)通訊像QQ，MSN等，論壇BBS這一類平臺(tái)的出現(xiàn)，使得如今的互聯(lián)網(wǎng)中的消息文本越來(lái)越常見。這些消息文本在為我們帶來(lái)了便利同時(shí)，卻也帶來(lái)了問(wèn)題:不良消息文本。顯然我們希望能夠屏蔽這些不良消息文本，凈化互聯(lián)網(wǎng)環(huán)境。為了屏蔽它們首先需要分辨出那些消息文本是不良消息文本，這就涉及到不良消息文本的分類問(wèn)題。如今基于統(tǒng)計(jì)學(xué)習(xí)的機(jī)器分類技術(shù)已經(jīng)很成熟，但是由于消息文本的特征，使得已有的那些分類方法對(duì)消息文本進(jìn)行分

2、類時(shí)效果很差。所以這就給不良消息文本進(jìn)行分類帶來(lái)了新的挑戰(zhàn)，而且隨著消息文本在互聯(lián)網(wǎng)中的大量增長(zhǎng)，解決這個(gè)問(wèn)題也越來(lái)越緊迫。
　　本文通過(guò)研究調(diào)查，設(shè)計(jì)了基于頻繁模式挖掘的不良消息文本檢測(cè)方法，提高了對(duì)不良消息文本的分類檢測(cè)性能。為了設(shè)計(jì)出適合消息文本的分類方法，本文首先研究了消息文本的特征。然后介紹了一些典型的分類方法和應(yīng)用。接著介紹了頻繁模式的概念以及在消息文本的應(yīng)用。最后在總結(jié)各個(gè)方面的研究結(jié)果后，提出了基于頻繁模式挖掘的不

3、良消息文本檢測(cè)方法。
　　本文設(shè)計(jì)的方法主要包含兩個(gè)過(guò)程，訓(xùn)練過(guò)程和分類過(guò)程。其中訓(xùn)練過(guò)程是指對(duì)不良消息文本訓(xùn)練集進(jìn)行訓(xùn)練過(guò)程，提取不良消息文本（比如暴力消息文本）的頻繁模式。在訓(xùn)練過(guò)程中，方法首先對(duì)不良消息文本進(jìn)行預(yù)處理，接著進(jìn)行頻繁詞項(xiàng)的提取，最后完成頻繁字符串的發(fā)現(xiàn)，即頻繁模式的提取。在分類檢測(cè)過(guò)程中利用已經(jīng)提取好的不良消息文本頻繁模式，對(duì)新的消息文本進(jìn)行分類，檢測(cè)消息文本是否屬于該不良消息文本的范疇。這其中包括消息文本預(yù)處