基于用戶置信度的數據時效性判定研究.pdf

1、隨著網絡信息技術的快速發(fā)展，如果大數據中有許多遺留下來的歷史數據，那么用戶從數據倉庫中提取信息時可能會過時或不準確，時效性差的數據可能會對人們的日常生活和企業(yè)決策分析帶來許多不利影響。因此，對數據的時效性判定問題研究對提高數據質量至關重要。當前的數據時效性判定方法可分為三類:基于時間戳的方法、基于不確定規(guī)則的方法和基于確定規(guī)則的方法?；跁r間戳的方法要求完整精準的時間戳，但這樣的時間戳在很多實際應用中是不存在?；诓淮_定規(guī)則的方法是針對

2、表達不確定的領域知識，不依賴冗余記錄，雖能提高召回率，卻會損失精確率。當前基于確定規(guī)則的時效性判定算法均是依賴于冗余元組和時效約束關系，但在判定其數據時效性時僅考慮了屬性的主觀權重。對此，本文在基于確定規(guī)則的數據時效性判定方法基礎上進行深入研究，定義了綜合屬性主觀權重和屬性之間依賴關系的用戶置信度，并提出了基于用戶置信度的完備數據時效性判定算法，以提高數據時效性查詢結果的質量。同時發(fā)現對不完備數據時效性判定的研究比較薄弱，本文還進一步提

3、出了一種基于用戶置信度的不完備數據時效性判定方法。
　　(1)針對數據的時效性模型及李默涵等人[22]給出的對數據時效性判定問題的求解算法未考慮屬性之間依賴關系，提出了一種基于用戶置信度的對完整數據的時效性判定方法。該方法結合用戶的主觀權重、屬性與屬性間的依賴關系、冗余記錄以及時效約束4個方面進行綜合考慮，在對完整數據的時效性判定過程中，用戶置信度是依據冗余記錄中每個屬性的用戶主觀權重和屬性之間的依賴關系，即屬性的主客觀權重而確定

4、的;并在真實數據和虛擬數據集合上進行對比實驗，其結果表明該算法在對完整數據進行數據時效性判定時，其查詢結果在準確率、召回率和時效性判定值得到了提高，優(yōu)于文獻[22]，進而表明本文所定義的用戶置信度因子在處理完備數據時效性判定的權重是合理的和有效的。
　　(2)針對傳統(tǒng)數據時效性模型在處理不完備數據時的不足，提出一種基于用戶置信度的不完備數據時效性判定方法。首先，依據屬性類型分類思想對不同類型的不完備數據集合進行預處理，使其更接近完

5、備數據，有助于時效性建模和時效性判定計算;其次，依據不完備數據的時效約束關系建立不完備數據時效性模型。在對最新值查詢判定時，空值不可能是最新值，如果錯誤數據是最新值，則全都放在最新值的記錄集合中，若不是最新值，則對最新值查詢的時效性判定值無影響;在時效序列查詢判定時，將成對的錯誤數據作為一個結點按照其時效約束關系進行構造時效圖。然后，依據不完備數據集合中冗余記錄的屬性主觀權重和屬性之間依賴關系即客觀權重計算其用戶置信度。最后，將本文提出