金融新聞檢索系統(tǒng)中新聞相關(guān)性分類研究.pdf

1、隨著互聯(lián)網(wǎng)上金融信息的供給量和需求量的大幅度提升，如何準(zhǔn)確滿足用戶對(duì)金融信息的需求成為一個(gè)亟待解決的問(wèn)題。金融相關(guān)網(wǎng)站提供信息服務(wù)主要通過(guò)兩種方式：人工編輯和基于通用搜索引擎的相關(guān)新聞檢索。這兩種方法分別存在著信息覆蓋面不廣和返回結(jié)果精度低的問(wèn)題，難以滿足用戶的個(gè)性化需求。因此，面向金融領(lǐng)域的垂直搜索技術(shù)的研究便成為了一個(gè)緊要的問(wèn)題。本文專注于金融信息檢索系統(tǒng)中新聞相關(guān)性分類的研究，針對(duì)金融新聞的領(lǐng)域相關(guān)性分類以及金融新聞的產(chǎn)品（特定的

2、股票，基金等）相關(guān)性分類問(wèn)題提出了解決方法。
　　(1)金融新聞?lì)I(lǐng)域相關(guān)性分類。本研究將金融新聞與金融領(lǐng)域的相關(guān)性度量問(wèn)題，也稱為重要性判斷問(wèn)題，看成是一個(gè)單類分類問(wèn)題，并引入單類分類的方法解決該問(wèn)題?；趩晤惙诸惖慕鹑谛侣勚匾耘袛嗟姆椒ǎ粚?duì)金融領(lǐng)域的重要新聞進(jìn)行建模，使用在訓(xùn)練集合上建立的模型為待定金融新聞?dòng)?jì)算一個(gè)相關(guān)度，并依據(jù)前期預(yù)設(shè)的門(mén)限值進(jìn)行金融新聞重要性判斷。本文的研究對(duì)比了三種典型的單類分類算法，Rocchio算法

3、，K-means算法和單類SVM算法在人工標(biāo)注的語(yǔ)料集合中的性能，并分析了特征數(shù)目和門(mén)限值對(duì)于算法性能的影響。實(shí)驗(yàn)結(jié)果表明，K-Means算法具有最佳的性能，在測(cè)試集合中在召回率維持在95％時(shí)，查準(zhǔn)率高達(dá)80%以上。
　　(2)金融新聞產(chǎn)品相關(guān)性分類。本研究將金融新聞與金融產(chǎn)品的相關(guān)性排序問(wèn)題簡(jiǎn)化為相關(guān)和不相關(guān)兩個(gè)類別的分類問(wèn)題。針對(duì)金融新聞在發(fā)布金融產(chǎn)品相關(guān)信息時(shí)展現(xiàn)的篇章結(jié)構(gòu)特點(diǎn)，本文從標(biāo)題，正文，相關(guān)段落，相關(guān)句子以及網(wǎng)頁(yè)鏈

4、接五個(gè)部分著手提取特征，除了關(guān)鍵字出現(xiàn)頻率等通用特征外，更創(chuàng)新性的提出了行業(yè)相關(guān)度，金融領(lǐng)域相關(guān)度，數(shù)字信息占新聞文本比重和金融新聞?lì)悇e等與金融領(lǐng)域密切相關(guān)的特征。同時(shí)，鑒于金融新聞的特征量大，而傳統(tǒng)的信息檢索模型解決大規(guī)模特征能力有限，本文引入學(xué)習(xí)排序的方法綜合處理以上特征，以解決金融新聞產(chǎn)品相關(guān)性分類的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，采用學(xué)習(xí)排序的點(diǎn)式方法（point-wiseapproach）訓(xùn)練的分類模型，在指定語(yǔ)料集合上的性能相比基于語(yǔ)言