復雜工程系統(tǒng)監(jiān)測數據檢索模型研究與應用.pdf

1、在復雜工程系統(tǒng)中，監(jiān)測系統(tǒng)將分布著的各種類型的系統(tǒng)數據進行整合，實現資源共享和整體操控。這也就造成了在該監(jiān)測系統(tǒng)中數據量較大，維度高，數據類型多。其中，數據量大是最為突出的問題，其不止包括海量的歷史運行數據，還包括在評估系統(tǒng)或子系統(tǒng)工況時需要在可接受時間范圍內檢索到大量數據。
　　并且在復雜工程系統(tǒng)中，通過經驗的積累，會形成相當多的以中文文檔形式出現的數據，這一類非結構化數據用于解釋系統(tǒng)的特性，以及各設備的數據特征表明的問題以及解

2、決辦法。
　　在利用復雜工程系統(tǒng)海量數據的過程中，首先要從數據庫或者數據文件中將大量的目標數據準確快速的檢索出來，滿足上層應用對數據的處理分析，以支持決策層對工業(yè)流程的一個全程把控。如何更實時準確的完成數據的檢索，有著相當重要的實用價值。
　　對于結構化數據，通常采用RDBMS（Relational Database Management System）技術來管理。在對結構化數據的檢索效率研究過程中發(fā)現，由于傳統(tǒng)數據庫受到磁

3、盤機械旋轉定位時間長和I/O等限制，不能滿足數據處理的時效性的要求。針對結構化數據的組織和管理，結合現階段內存容量不斷增大并且有大量內存空間被閑置的情況，本文研究了主存數據庫的數據存儲結構和索引技術等關鍵技術。并從高速緩存的行對齊和范圍查詢的角度提出一種優(yōu)化的 T樹索引算法。以此建立數據的內存副本，通過內存的高速有效的訪問，提升數據的檢索時間效率。
　　對于中文文檔的全文檢索，主要關心檢索的準確性問題。影響檢索準確性的主要原因是對

4、中文文檔的語義分詞準確性和高效性。為了滿足實用性要求，本文提出了一種基于詞典和統(tǒng)計的中文分詞算法。該算法主要流程分為預處理、初分、歧義消除、規(guī)則修正。在初分模塊中，針對二字詞及二字以上詞占語料庫的絕大部分的情況，采用雙字哈希詞典機制，提升初分的效率。對歧義字段的檢測，提出一種優(yōu)化的雙向最大匹配檢測算法。利用基于統(tǒng)計的方式消除歧義。最后，通過一個人工的規(guī)則庫，對分詞結果進一步修正。使檢索盡可能的按照自然語言的語義返回結果。
　　最后