非結(jié)構(gòu)化文檔數(shù)據(jù)抽取與分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、網(wǎng)絡(luò)與信息時代的到來，數(shù)據(jù)與信息充斥著我們的生活，滲透于各個領(lǐng)域。同時，隨著我國辦公自動化進程不斷推進，產(chǎn)生的數(shù)據(jù)越來越多，數(shù)據(jù)庫存儲技術(shù)給這些數(shù)據(jù)提供了規(guī)范化、結(jié)構(gòu)化的管理方式，但是能否將日常產(chǎn)生的數(shù)據(jù)全部規(guī)范為數(shù)據(jù)庫格式，能否從看似有用卻又無法處理的海量數(shù)據(jù)中挖掘與分析出有用的信息，傳統(tǒng)的數(shù)據(jù)庫導(dǎo)入技術(shù)與查詢方式顯然已無法滿足需要，尤其對于文檔類的非結(jié)構(gòu)化數(shù)據(jù)進行采集、分析更是成為目前研究的熱點問題。
　　 本課題從實際業(yè)務(wù)

2、需求出發(fā)，針對目前計算機軟件產(chǎn)生的各類文檔進行采集、存儲、實體信息提取與分析。結(jié)合實際工作需要，研發(fā)了“基于非結(jié)構(gòu)化數(shù)據(jù)的抽取與分析系統(tǒng)”軟件。根據(jù)其業(yè)務(wù)應(yīng)用，制定了開發(fā)方案，對技術(shù)難點進行了攻堅，將日常使用的各類文檔以非二進制數(shù)據(jù)形式存入數(shù)據(jù)庫中，完成數(shù)據(jù)的入庫規(guī)整。使用Windows IFilter API來解決對各類不同格式文檔的采集兼容性問題，利用CDO組件解決Email文件的操作難題，效果明顯、方法簡練，將非結(jié)構(gòu)化文檔成功轉(zhuǎn)換

3、為半結(jié)構(gòu)化文檔轉(zhuǎn)換。在此基礎(chǔ)上，利用TQP.SplitAI.dll組件從采集的文檔內(nèi)容中抽取出姓名、地址、電話號碼、汽車牌照、身份證號、銀行卡號、Email地址、URL等有用和關(guān)心的實體信息，全面實現(xiàn)數(shù)據(jù)結(jié)構(gòu)化。
　　 為了適應(yīng)真實數(shù)據(jù)與工作環(huán)境，針對海量數(shù)據(jù)的特性，根據(jù)“私有云”中“基礎(chǔ)設(shè)施即服務(wù)”的理念設(shè)計了分布式處理系統(tǒng)，解決了海量文檔采集與實體信息提取的難題，實現(xiàn)了網(wǎng)絡(luò)負載均衡。并且最終根據(jù)業(yè)務(wù)需求模型對結(jié)構(gòu)化數(shù)據(jù)進行分

4、析，以圖形的方式展示了分析結(jié)果，系統(tǒng)中模擬HuSpring力引導(dǎo)動態(tài)布點算法對分析結(jié)果進行可視化展示，依照引用力學(xué)原理，有效區(qū)分圖形社團，有利于海量信息的展示，增強了最終分析結(jié)果圖形展示可讀性。
　　 在系統(tǒng)設(shè)計與研發(fā)中，應(yīng)用了文檔采集、實體抽取、分布式計算、可視化展示等多項技術(shù)，并進行了區(qū)分功能模塊的設(shè)計思路，符合現(xiàn)代軟件開發(fā)標(biāo)準。研發(fā)成果得到了使用單位的肯定并得到使用單位系統(tǒng)全國裝備，顯著提升了相關(guān)業(yè)務(wù)工作能力。