復雜工程系統(tǒng)監(jiān)測數(shù)據(jù)檢索模型研究與應用.pdf

1、在復雜工程系統(tǒng)中，監(jiān)測系統(tǒng)將分布著的各種類型的系統(tǒng)數(shù)據(jù)進行整合，實現(xiàn)資源共享和整體操控。這也就造成了在該監(jiān)測系統(tǒng)中數(shù)據(jù)量較大，維度高，數(shù)據(jù)類型多。其中，數(shù)據(jù)量大是最為突出的問題，其不止包括海量的歷史運行數(shù)據(jù)，還包括在評估系統(tǒng)或子系統(tǒng)工況時需要在可接受時間范圍內(nèi)檢索到大量數(shù)據(jù)。
　　并且在復雜工程系統(tǒng)中，通過經(jīng)驗的積累，會形成相當多的以中文文檔形式出現(xiàn)的數(shù)據(jù)，這一類非結(jié)構(gòu)化數(shù)據(jù)用于解釋系統(tǒng)的特性，以及各設備的數(shù)據(jù)特征表明的問題以及解

2、決辦法。
　　在利用復雜工程系統(tǒng)海量數(shù)據(jù)的過程中，首先要從數(shù)據(jù)庫或者數(shù)據(jù)文件中將大量的目標數(shù)據(jù)準確快速的檢索出來，滿足上層應用對數(shù)據(jù)的處理分析，以支持決策層對工業(yè)流程的一個全程把控。如何更實時準確的完成數(shù)據(jù)的檢索，有著相當重要的實用價值。
　　對于結(jié)構(gòu)化數(shù)據(jù)，通常采用RDBMS（Relational Database Management System）技術(shù)來管理。在對結(jié)構(gòu)化數(shù)據(jù)的檢索效率研究過程中發(fā)現(xiàn)，由于傳統(tǒng)數(shù)據(jù)庫受到磁

3、盤機械旋轉(zhuǎn)定位時間長和I/O等限制，不能滿足數(shù)據(jù)處理的時效性的要求。針對結(jié)構(gòu)化數(shù)據(jù)的組織和管理，結(jié)合現(xiàn)階段內(nèi)存容量不斷增大并且有大量內(nèi)存空間被閑置的情況，本文研究了主存數(shù)據(jù)庫的數(shù)據(jù)存儲結(jié)構(gòu)和索引技術(shù)等關(guān)鍵技術(shù)。并從高速緩存的行對齊和范圍查詢的角度提出一種優(yōu)化的 T樹索引算法。以此建立數(shù)據(jù)的內(nèi)存副本，通過內(nèi)存的高速有效的訪問，提升數(shù)據(jù)的檢索時間效率。
　　對于中文文檔的全文檢索，主要關(guān)心檢索的準確性問題。影響檢索準確性的主要原因是對

4、中文文檔的語義分詞準確性和高效性。為了滿足實用性要求，本文提出了一種基于詞典和統(tǒng)計的中文分詞算法。該算法主要流程分為預處理、初分、歧義消除、規(guī)則修正。在初分模塊中，針對二字詞及二字以上詞占語料庫的絕大部分的情況，采用雙字哈希詞典機制，提升初分的效率。對歧義字段的檢測，提出一種優(yōu)化的雙向最大匹配檢測算法。利用基于統(tǒng)計的方式消除歧義。最后，通過一個人工的規(guī)則庫，對分詞結(jié)果進一步修正。使檢索盡可能的按照自然語言的語義返回結(jié)果。
　　最后