基于VSM模型的文檔表示和貝葉斯網(wǎng)絡(luò)的軟傳感器研究.pdf

1、隨著社會現(xiàn)代化信息技術(shù)的快速發(fā)展，網(wǎng)絡(luò)信息資源飛速增加，大量的信息資源蘊含著豐富的狀態(tài)信息，預(yù)示著社會、事件及環(huán)境可能的狀態(tài)變化，通過明確的指向性和目的性牽引著社會的改變，為人們的生活和工作帶來巨大的便利。但信息資源的增長也導(dǎo)致虛假信息的快速膨脹和人們獲取正確可靠的信息能力之間的矛盾日益突出。因而，如何有效地對復(fù)雜多變的狀態(tài)信息進行可靠性預(yù)測，已經(jīng)逐漸成為人們關(guān)注的重點。
　　首先，由于狀態(tài)信息人多以網(wǎng)絡(luò)文檔的形式呈現(xiàn)，無法直接使

2、用計算機進行處理，因而將網(wǎng)絡(luò)文檔轉(zhuǎn)化成計算機能夠處理的結(jié)構(gòu)是狀態(tài)信息可靠性預(yù)測的重要基礎(chǔ)與前提。針對網(wǎng)絡(luò)文檔結(jié)構(gòu)化問題，即文檔表示問題，先對文檔分類技術(shù)中向量空間模型的TF-IDF權(quán)重進行研究。再針對TF-IDF權(quán)重中的特征項在類間分布以及關(guān)于文檔主旨的信息缺失，分別引入信息增益和文檔的全局權(quán)重進行補充，完善和實現(xiàn)有效的文檔表示。在此基礎(chǔ)上，基于改進的TF-IDF權(quán)重算法，建立一個網(wǎng)絡(luò)文檔表示系統(tǒng)，實現(xiàn)快速高效的大規(guī)模文檔表示。

3、　　其次，貝葉斯網(wǎng)絡(luò)是一個數(shù)據(jù)挖掘和不確定知識表示的理想模型，在目標識別、不確定知識推理和預(yù)測等多方面產(chǎn)生了成功的應(yīng)用。同時，有別于處理向量化的物理數(shù)據(jù)的硬傳感器，針對由一維線性字符組成的網(wǎng)絡(luò)文檔，在對其結(jié)構(gòu)化的基礎(chǔ)上，建立基于貝葉斯網(wǎng)絡(luò)的狀態(tài)信息可靠性預(yù)測模型，即基于貝葉斯網(wǎng)絡(luò)的軟傳感器模型，幫助人們準確地定位各種狀態(tài)信息的文檔集，并利用軟傳感器模型對網(wǎng)絡(luò)文檔描述的狀態(tài)信息的可靠性進行有效的預(yù)測，為人們提供可靠的狀態(tài)信息支持。

4、　　最后，本文使用開源文檔集對改進的TF-IDF特征項權(quán)重算法進行測試，分析比較改進算法的效果。另外，針對開源文檔集，構(gòu)建基于貝葉斯網(wǎng)絡(luò)的軟傳感器模型，分析比較由軟傳感器模型建立的文檔數(shù)據(jù)分布與文檔數(shù)據(jù)的真實分布，驗證軟傳感器模型對于文檔數(shù)據(jù)分布的建模效果;同時對基于貝葉斯網(wǎng)絡(luò)的軟傳感器模型方法與統(tǒng)計分析方法的狀態(tài)信息可靠性預(yù)測進行比較，證明軟傳感器模型在狀態(tài)信息可靠性預(yù)測方面的有效性。在此基礎(chǔ)上，使用對門戶網(wǎng)站自行采集的網(wǎng)絡(luò)文檔集，基