不確定數據集成工具的設計與實現(xiàn).pdf

1、隨著信息技術的不斷發(fā)展，不確定數據引起了學術界與工業(yè)界的高度重視，并得到了廣泛的應用，使得各個領域保存了大量的不確定性數據。然而各個企業(yè)和部門的應用往往各自獨立，數據得不到有效的交換與共享，致使數據形成“孤島”，這需要數據集成。不確定數據是帶有概率的數據，集成需要發(fā)現(xiàn)模式之間的映射關系與消除相似記錄，而數據的不確定性加大了集成的困難。
　　不確定數據集成與傳統(tǒng)數據集成的不同在于不確定數據集成需要處理數據的概率，在研究不確定數據集成

2、需求的基礎之上，設計了不確定數據集成工具的總體結構，主要包括模式匹配與相似記錄處理兩大模塊。在模式匹配模塊中，設計實現(xiàn)了一種基于實例劃分的模式匹配方法，這種方法將待匹配模式中的實例數據分為數值型數據與字符串數據，字符型數據采用最小平均編輯距離方法將屬性值劃分到不同的分區(qū)中，數值類型數據采用相鄰平均差的方法將屬性數據劃分到不同的分區(qū)中，再利用信息熵的思想計算屬性的相似度概率，最后根據屬性的相似度，計算模式的相似度概率。在相似記錄處理模塊中

3、，設計了一種多線程的方法，使得相似記錄檢測與聚集并發(fā)執(zhí)行。同時設計了不確定數據相似記錄檢測方法，該方法在最大概率相似記錄檢測方法基礎之上，將多元組概率表示的元組按概率從大到小排序，檢測按概率從大到小進行，直到檢測完所有的記錄。針對相似記錄，將按多元組概率表示方式存放在一起，形成不出現(xiàn)在同一可能世界的元組關系；如果存在相同數據的元組，利用證據合并理論將概率合并，并刪除相同的元組，最后將合并后的元組的概率標準化。
　　通過實驗驗證了不