面向?qū)ｎ}應(yīng)用的開源情報(bào)挖掘系統(tǒng)研究與應(yīng)用.pdf

1、情報(bào)是對已有信息進(jìn)行分析、加工之后，得到有用信息的過程，情報(bào)的獲取歷來在人類活動中占用重要地位。信息技術(shù)的高速發(fā)展給情報(bào)工作帶來了新的機(jī)遇和挑戰(zhàn)，從根本上改變了情報(bào)的獲取途徑和研究方法，開源情報(bào)已經(jīng)成為了各組織獲取情報(bào)的主要方式。
　　本文介紹了在開源情報(bào)挖掘過程中用到的相關(guān)技術(shù)和工具，包括網(wǎng)絡(luò)爬蟲技術(shù)、文本處理技術(shù)和數(shù)據(jù)庫技術(shù)，這些技術(shù)都是目前大數(shù)據(jù)領(lǐng)域研究的熱點(diǎn)，將這些技術(shù)用于開源情報(bào)的分析處理中，不僅僅是對已有工具的簡單應(yīng)用

2、，更能促進(jìn)相關(guān)領(lǐng)域的發(fā)展。在文本數(shù)據(jù)的挖掘中，基于傳統(tǒng)向量空間模型的方法由于沒能很好的利用文本語義信息，在某些場景下表現(xiàn)出其不足之處，本文研究了將主題模型用于文本特征表示，并通過實(shí)驗(yàn)對比和分析表明了該方法在文本特征降維和文本聚類中效果更好。情報(bào)要素是情報(bào)的核心內(nèi)容，蘊(yùn)含了情報(bào)中大部分信息，在情報(bào)分析過程中非常重要，本文研究了兩種用于情報(bào)要素提取的方法，并對比分析了兩種方法各自的優(yōu)缺點(diǎn)，提出了一些改進(jìn)策略，取得了良好的效果。情報(bào)文本的聚類

3、則是另一個(gè)重要的主題，目的是將描述相同主題的情報(bào)歸入同一類別，不同的情報(bào)歸入不同類別，由于開源情報(bào)主要來源是互聯(lián)網(wǎng)，因此有必要對開源情報(bào)進(jìn)行在線聚類，本文對Single-Pass進(jìn)行了簡單改進(jìn)，實(shí)驗(yàn)表明效果有一定提升。本文最后通過實(shí)際應(yīng)用，展示了開源情報(bào)在軍事專題上的應(yīng)用，通過實(shí)際編程完成了一個(gè)系統(tǒng)原型，并介紹了其中關(guān)鍵的幾個(gè)部分實(shí)現(xiàn)過程，包括網(wǎng)絡(luò)爬蟲的編寫和處理各類不同網(wǎng)頁的方法，并介紹了數(shù)據(jù)庫的設(shè)計(jì)，最后展示了系統(tǒng)對情報(bào)分析之后得到