基于短信文本向量的聯(lián)系人關(guān)系判定方法研究.pdf

1、短信作為人們?nèi)粘Ｉ罟ぷ髦械囊环N很重要的通信工具，通過(guò)對(duì)短信內(nèi)容的分析獲得聯(lián)系人之間在現(xiàn)實(shí)生活中可能存在的關(guān)系，有助于短信數(shù)據(jù)的再應(yīng)用。聯(lián)系人關(guān)系的判定可以借助傳統(tǒng)的數(shù)據(jù)挖掘中所采用的文本分類方法進(jìn)行，但傳統(tǒng)的文本分類方法在一定程度上不適應(yīng)短信內(nèi)容的分類需要，因此研究基于短信文本的分類方法進(jìn)而判定聯(lián)系人所屬關(guān)系具有重要的意義。
　　為便于后續(xù)基于短信文本內(nèi)容的聯(lián)系人關(guān)系分類操作，需要對(duì)短信文本進(jìn)行分詞操作，提取其中有價(jià)值的詞語(yǔ)，為

2、此，通過(guò)構(gòu)建自有用戶詞典，并選用NLPIR分詞系統(tǒng)完成短信文本的分詞操作。同時(shí)考慮到部分詞匯對(duì)于后續(xù)分析是無(wú)意義的，因此構(gòu)造了恰當(dāng)?shù)耐Ｓ迷~表，對(duì)分詞結(jié)果集合進(jìn)行了停用詞去除的操作，得到了最終可用于進(jìn)行聯(lián)系人關(guān)系判定的短信文本分詞集合。
　　基于文本分類的思想進(jìn)行聯(lián)系人關(guān)系的判定，需要對(duì)文本集合構(gòu)建相應(yīng)的短信文本特征向量，為此基于短信文本的特點(diǎn)和聯(lián)系人關(guān)系判定的需要，選取了四大類共14個(gè)不同的特征項(xiàng)，共同構(gòu)成短信文本的特征向量，同時(shí)

3、基于貢獻(xiàn)度的思路，給出了各特征項(xiàng)在特征向量中所占權(quán)重的計(jì)算方法。
　　在獲得各短信文本的特征向量之后，考慮到數(shù)據(jù)量的極為龐大，為提高工作效率，對(duì)KNN的算法進(jìn)行了適當(dāng)改進(jìn)，給出了基于K-means的改進(jìn)后的KNN方法，能夠有效地減少訓(xùn)練所需樣本集合，同時(shí)能夠保證最終的分類結(jié)果準(zhǔn)確性。實(shí)驗(yàn)證明，在確定分類類別界定為家人、朋友、同事和陌生人等四種類別的情形下，采用該方法能夠?qū)Ａ慷绦艛?shù)據(jù)集中特定的兩位聯(lián)系人之間的關(guān)系進(jìn)行較為準(zhǔn)確的判定