新聞數(shù)據(jù)的分類方法與價(jià)值預(yù)測(cè)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和普及，網(wǎng)絡(luò)已經(jīng)走進(jìn)千家萬(wàn)戶，人們獲取新聞資訊的方式逐漸的由傳統(tǒng)的報(bào)紙、廣播、電視等方式向互聯(lián)網(wǎng)媒體轉(zhuǎn)變?？墒敲鎸?duì)海量的數(shù)據(jù)資源，人們往往難以從中篩選出對(duì)自己有價(jià)值的信息，而且這些龐大的信息如何有效的整合和管理也是個(gè)問(wèn)題。所以為了有效的整合網(wǎng)絡(luò)新聞資源，以及方便用戶簡(jiǎn)潔而又全面的閱讀體驗(yàn)，本系統(tǒng)中設(shè)計(jì)了一套完整的包含新聞爬取、關(guān)聯(lián)分析、分類以及價(jià)值預(yù)測(cè)的新聞分析系統(tǒng)。主要工作包含以下幾個(gè)方面：
　　1、在新聞相似性

2、檢測(cè)方面，實(shí)現(xiàn)了基于 TF-IDF特征提取和夾角余弦相似計(jì)算的新聞相似性度量，通過(guò)計(jì)算找出內(nèi)容相似的新聞，根據(jù)相似新聞之間的關(guān)聯(lián)關(guān)系發(fā)現(xiàn)新聞話題，以及根據(jù)新聞的發(fā)布時(shí)間，找出話題的源頭等功能。
　　2、在新聞的重復(fù)性檢測(cè)方面，提出了一種基于MinEDD度量的新聞重復(fù)性度量方法。為了過(guò)濾標(biāo)記重復(fù)新聞，改善用戶閱讀體驗(yàn)，本系統(tǒng)中還在相似計(jì)算的基礎(chǔ)上進(jìn)行新聞的重復(fù)性檢測(cè)。該方法是受傳統(tǒng)編輯距離算法的啟發(fā)而來(lái)，在新聞的重復(fù)性檢測(cè)中能夠保證

3、更高的檢測(cè)準(zhǔn)確率。
　　3、在新聞分類方面，本文中系統(tǒng)的分析了常用的多分類組合策略的優(yōu)劣勢(shì)，結(jié)合本項(xiàng)目的特點(diǎn)，提出并實(shí)現(xiàn)了一種基于特殊結(jié)構(gòu)的二叉樹支持向量機(jī)多分類算法BT-ED-SVM的新聞文本自動(dòng)分類系統(tǒng)。
　　4、在新聞的價(jià)值預(yù)測(cè)方面，結(jié)合新聞價(jià)值的要素，設(shè)計(jì)了一套通過(guò)百度新聞搜索平臺(tái)提取與新聞價(jià)值相關(guān)的特征，并編寫定時(shí)器自動(dòng)采集時(shí)間序列數(shù)據(jù)，應(yīng)用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的新聞價(jià)值預(yù)測(cè)系統(tǒng)。
　　5、基于上述的算法和功