短文本中特殊信息的識別及其在數(shù)據(jù)挖掘引擎中的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，因人們?nèi)粘＝涣鞫a(chǎn)生的短文本數(shù)據(jù)越來越多，短信、微信、微博、QQ，每天都能產(chǎn)生大量的短文本信息。這些文本中含有大量的特殊信息并有其價值，但往往因為數(shù)據(jù)量太大而且結(jié)構(gòu)不規(guī)整被忽視，或只有其中一兩種特殊信息受到重視，如只討論人名的識別或手機號的正則表達式，缺少對其他種類特殊信息的綜合研究，而這正是本文的研究重點，本文不僅對人名的識別進行了研究，還增加了對地名和七大賬號類實體的識別，涵蓋了主要實體，把各類實體的識別整合成

2、一個識別模塊。
　　本文立足于對信息的識別抽取，主要進行人名、地名和賬號類特殊信息的識別。通過隱馬爾科夫模型和Viterbi算法對人名進行識別，通過有限狀態(tài)機FSM和詞典對地名進行識別，通過規(guī)則庫添加規(guī)則對賬號類實體進行識別。把這些識別方法整合成一個功能模塊，應(yīng)用于Hadoop引擎中，用MapReduce方法加以編程，使之能夠處理海量數(shù)據(jù)，有利于今后可直接應(yīng)用于相關(guān)海量數(shù)據(jù)分析的需求，從而完成對短文中信息的抽取挖掘，更好的利用短文