微博客主題分類的特征擴(kuò)展方法.pdf

1、近些年來隨著互聯(lián)網(wǎng)高速發(fā)展,使得互聯(lián)網(wǎng)中的文本問題呈現(xiàn)向海量化發(fā)展的趨勢(shì)。于此同時(shí),文本分類技術(shù)這種處理文本數(shù)據(jù)的關(guān)鍵技術(shù)也隨之向海量數(shù)據(jù)處理方向轉(zhuǎn)化。原來的文本分類技術(shù)主要指長(zhǎng)文本分類,而現(xiàn)在大量的新類型信息產(chǎn)生,大量的短文本信息也隨之涌現(xiàn),如微博、web搜索片段、論壇和聊天信息、評(píng)價(jià)、電影和產(chǎn)品簡(jiǎn)介等,人們的生活中短文本的應(yīng)用越來越多。其中以微博客(簡(jiǎn)稱微博)近年來最為流行,它為廣大用戶提供了一種信息共享、信息傳播和信息獲取的交流平

2、臺(tái),使用者可以通過多種方式登錄平臺(tái),獲取個(gè)人感興趣信息,或者進(jìn)行信息分享。面向中文微博客分類問題,本文的主要工作包含以下幾個(gè)方面:
　　首先,針對(duì)中文微博客這種短文本向量表示時(shí)的文本特征少,導(dǎo)致的特征稀疏性的問題,本文提出了一種依賴于“百度百科”的特征詞條解釋進(jìn)行特征擴(kuò)展的方法,通過抽取有效特征詞語在“百度百科”中的百科名片解釋,構(gòu)建特征詞到解釋語句的對(duì)應(yīng)關(guān)系。
　　其次,因?yàn)樵谑褂冒倏泼忉屘卣髟~語時(shí),可能出現(xiàn)一個(gè)特征詞

3、語對(duì)應(yīng)多個(gè)百科名片解釋語句,或者所有的百科名篇解釋語句都與待擴(kuò)展特征詞語實(shí)際語境不相關(guān)的問題,設(shè)計(jì)了一種對(duì)這種特征擴(kuò)展方法產(chǎn)生的噪音進(jìn)行消除的方法。這種特征擴(kuò)展結(jié)果噪音消除方法,通過計(jì)算每個(gè)解釋語句有效詞集對(duì)待擴(kuò)展詞原始語句有效詞集的覆蓋率,以及每個(gè)解釋語句與待擴(kuò)展詞原始語句總體詞集的匹配詞語覆蓋率。根據(jù)計(jì)算結(jié)果選擇準(zhǔn)確的特征擴(kuò)展結(jié)果,對(duì)特征擴(kuò)展結(jié)果進(jìn)行處理,得到解釋語句到最終特征擴(kuò)展詞集的映射。
　　最后,本文使用微博客特征擴(kuò)展