中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究.pdf

1、分類號UDC密級學號10110004博士學位論文博士學位論文中文地名數(shù)據(jù)清洗技術(shù)及其中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究工程應(yīng)用研究葉鷗學科名稱：工業(yè)工程工業(yè)工程學科門類：工科指導教師：張璟申請日期：2013年10月中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究葉鷗摘要本研究得到以下項目的資助：國家“863”高技術(shù)研究發(fā)展計劃基金（No.2007AA010305）國家自然基金項目：面向室內(nèi)復(fù)雜環(huán)境的RFID定位方法研究（No.61172018）陜

2、西水利科技計劃項目基金I論文題目論文題目：中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究學科學科名稱名稱：工業(yè)工程工業(yè)工程研究生：葉鷗葉鷗簽名：指導教師指導教師：張璟張璟教授教授簽名：摘要隨著科學技術(shù)進步與信息技術(shù)發(fā)展，各行各業(yè)中不同類型的信息系統(tǒng)（例如協(xié)同設(shè)計與制造系統(tǒng)、客戶關(guān)系管理系統(tǒng)、企業(yè)資源規(guī)劃系統(tǒng)、供水工程信息系統(tǒng)等）應(yīng)用日益廣泛。在這些信息系統(tǒng)的應(yīng)用過程中，積累了大量來源不同、類型各異的數(shù)據(jù)，并且數(shù)

3、據(jù)規(guī)模隨著信息系統(tǒng)應(yīng)用的深入而不斷增大。在大量數(shù)據(jù)中，可能存在輸入錯誤、不合理以及重復(fù)的數(shù)據(jù)。這些異常數(shù)據(jù)嚴重影響數(shù)據(jù)質(zhì)量與信息系統(tǒng)的正常運行，降低了數(shù)據(jù)處理和分析的效率，甚至可能影響到企業(yè)的決策方向，給企業(yè)帶來一定的經(jīng)濟損失。為了保障信息系統(tǒng)的正常運行，減少異常數(shù)據(jù)對企業(yè)的負面影響，必須進行數(shù)據(jù)清洗，提高信息系統(tǒng)的數(shù)據(jù)質(zhì)量。地名數(shù)據(jù)是信息系統(tǒng)中常見的一類基礎(chǔ)數(shù)據(jù)，在制造業(yè)、金融、水利等領(lǐng)域信息系統(tǒng)中起著重要作用。由于中文地名數(shù)據(jù)具有描

4、述方法靈活、語義變化多樣等特性，已有的數(shù)據(jù)清洗技術(shù)較難適用于中文地名數(shù)據(jù)的清洗工作，并且檢測結(jié)果的全面性和準確度都有待提高。進行中文地名數(shù)據(jù)清洗，提高中文地名數(shù)據(jù)的質(zhì)量問題已成為數(shù)據(jù)清洗領(lǐng)域的一個研究重點。本文從數(shù)據(jù)糾錯、字段匹配、相似重復(fù)記錄檢測和孤立點檢測方面，對中文地名數(shù)據(jù)清洗的關(guān)鍵技術(shù)進行了深入研究。主要研究工作與創(chuàng)新點如下：1.為提高中文地名數(shù)據(jù)糾錯的查準率，提出了一種基于地名索引表的清洗框架和雙向地名糾錯方法，用于數(shù)據(jù)源中準

5、確檢索和糾正錯誤的中文地名數(shù)據(jù)?；诘孛饕淼那逑纯蚣苡蓴?shù)據(jù)輸入、數(shù)據(jù)規(guī)格化、模式層數(shù)據(jù)檢測、實例層數(shù)據(jù)檢測與清洗以及數(shù)據(jù)輸出五個部分組成?；谠摽蚣苁紫葘χ形牡孛麛?shù)據(jù)進行數(shù)據(jù)規(guī)格化，然后從模式層和實例層兩個層次對中文地名數(shù)據(jù)進行檢測。在實例層的檢測方面，針對中文地名數(shù)據(jù)中出現(xiàn)的同音字“真詞錯誤”問題，采用已有的拼音檢測方法，將測試數(shù)據(jù)與中文地名標準數(shù)據(jù)進行匹配，進而對含有同音字的中文地名數(shù)據(jù)進行糾錯。雙向地名糾錯算法主要用于解決“非