中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究.pdf

1、分類號(hào)UDC密級(jí)學(xué)號(hào)10110004博士學(xué)位論文博士學(xué)位論文中文地名數(shù)據(jù)清洗技術(shù)及其中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究工程應(yīng)用研究葉鷗學(xué)科名稱：工業(yè)工程工業(yè)工程學(xué)科門類：工科指導(dǎo)教師：張璟申請日期：2013年10月中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究葉鷗摘要本研究得到以下項(xiàng)目的資助：國家“863”高技術(shù)研究發(fā)展計(jì)劃基金（No.2007AA010305）國家自然基金項(xiàng)目：面向室內(nèi)復(fù)雜環(huán)境的RFID定位方法研究（No.61172018）陜

2、西水利科技計(jì)劃項(xiàng)目基金I論文題目論文題目：中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究中文地名數(shù)據(jù)清洗技術(shù)及其工程應(yīng)用研究學(xué)科學(xué)科名稱名稱：工業(yè)工程工業(yè)工程研究生：葉鷗葉鷗簽名：指導(dǎo)教師指導(dǎo)教師：張璟張璟教授教授簽名：摘要隨著科學(xué)技術(shù)進(jìn)步與信息技術(shù)發(fā)展，各行各業(yè)中不同類型的信息系統(tǒng)（例如協(xié)同設(shè)計(jì)與制造系統(tǒng)、客戶關(guān)系管理系統(tǒng)、企業(yè)資源規(guī)劃系統(tǒng)、供水工程信息系統(tǒng)等）應(yīng)用日益廣泛。在這些信息系統(tǒng)的應(yīng)用過程中，積累了大量來源不同、類型各異的數(shù)據(jù)，并且數(shù)

3、據(jù)規(guī)模隨著信息系統(tǒng)應(yīng)用的深入而不斷增大。在大量數(shù)據(jù)中，可能存在輸入錯(cuò)誤、不合理以及重復(fù)的數(shù)據(jù)。這些異常數(shù)據(jù)嚴(yán)重影響數(shù)據(jù)質(zhì)量與信息系統(tǒng)的正常運(yùn)行，降低了數(shù)據(jù)處理和分析的效率，甚至可能影響到企業(yè)的決策方向，給企業(yè)帶來一定的經(jīng)濟(jì)損失。為了保障信息系統(tǒng)的正常運(yùn)行，減少異常數(shù)據(jù)對企業(yè)的負(fù)面影響，必須進(jìn)行數(shù)據(jù)清洗，提高信息系統(tǒng)的數(shù)據(jù)質(zhì)量。地名數(shù)據(jù)是信息系統(tǒng)中常見的一類基礎(chǔ)數(shù)據(jù)，在制造業(yè)、金融、水利等領(lǐng)域信息系統(tǒng)中起著重要作用。由于中文地名數(shù)據(jù)具有描

4、述方法靈活、語義變化多樣等特性，已有的數(shù)據(jù)清洗技術(shù)較難適用于中文地名數(shù)據(jù)的清洗工作，并且檢測結(jié)果的全面性和準(zhǔn)確度都有待提高。進(jìn)行中文地名數(shù)據(jù)清洗，提高中文地名數(shù)據(jù)的質(zhì)量問題已成為數(shù)據(jù)清洗領(lǐng)域的一個(gè)研究重點(diǎn)。本文從數(shù)據(jù)糾錯(cuò)、字段匹配、相似重復(fù)記錄檢測和孤立點(diǎn)檢測方面，對中文地名數(shù)據(jù)清洗的關(guān)鍵技術(shù)進(jìn)行了深入研究。主要研究工作與創(chuàng)新點(diǎn)如下：1.為提高中文地名數(shù)據(jù)糾錯(cuò)的查準(zhǔn)率，提出了一種基于地名索引表的清洗框架和雙向地名糾錯(cuò)方法，用于數(shù)據(jù)源中準(zhǔn)

5、確檢索和糾正錯(cuò)誤的中文地名數(shù)據(jù)?；诘孛饕淼那逑纯蚣苡蓴?shù)據(jù)輸入、數(shù)據(jù)規(guī)格化、模式層數(shù)據(jù)檢測、實(shí)例層數(shù)據(jù)檢測與清洗以及數(shù)據(jù)輸出五個(gè)部分組成?；谠摽蚣苁紫葘χ形牡孛麛?shù)據(jù)進(jìn)行數(shù)據(jù)規(guī)格化，然后從模式層和實(shí)例層兩個(gè)層次對中文地名數(shù)據(jù)進(jìn)行檢測。在實(shí)例層的檢測方面，針對中文地名數(shù)據(jù)中出現(xiàn)的同音字“真詞錯(cuò)誤”問題，采用已有的拼音檢測方法，將測試數(shù)據(jù)與中文地名標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行匹配，進(jìn)而對含有同音字的中文地名數(shù)據(jù)進(jìn)行糾錯(cuò)。雙向地名糾錯(cuò)算法主要用于解決“非