海量非結(jié)構(gòu)化數(shù)據(jù)的組織研究與實(shí)現(xiàn).pdf

1、計(jì)算機(jī)應(yīng)用的不斷發(fā)展導(dǎo)致了數(shù)據(jù)量的急劇增加，由于數(shù)據(jù)結(jié)構(gòu)化過程受限于人工處理速度，導(dǎo)致非結(jié)構(gòu)化數(shù)據(jù)的增長速度遠(yuǎn)遠(yuǎn)大于結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)上使用文件目錄樹組織管理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的方案存在很大缺陷。文件目錄樹不能很好地表達(dá)非結(jié)構(gòu)化數(shù)據(jù)自身以及數(shù)據(jù)之間語義關(guān)系的多樣性，同時(shí)在大規(guī)模數(shù)據(jù)集下維護(hù)文件目錄樹的一致性會(huì)非常困難而且開銷極大。因此，對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的組織進(jìn)行研究，成為如今迫在眉睫的問題。 本文通過介紹分析文件目錄樹、索引及檢

2、索、數(shù)據(jù)庫、語義文件系統(tǒng)等數(shù)據(jù)組織管理的方法，結(jié)合海量非結(jié)構(gòu)化數(shù)據(jù)組織管理的需求，設(shè)計(jì)并實(shí)現(xiàn)了海量非結(jié)構(gòu)化數(shù)據(jù)組織管理系統(tǒng)MUDOMS。MUDOMS通過對(duì)象模型來表示數(shù)據(jù)，使用屬性值對(duì)來描述數(shù)據(jù)的特征，提供接口讓用戶根據(jù)理解來創(chuàng)建屬性值對(duì)，為屬性之間創(chuàng)建關(guān)系，記錄了用戶對(duì)數(shù)據(jù)的理解處理過程，系統(tǒng)還采用混合索引機(jī)制THLI對(duì)屬性和關(guān)系進(jìn)行索引，MUDOMS還提供了熱點(diǎn)導(dǎo)航，通過導(dǎo)航的方式來方便用戶快速獲取數(shù)據(jù)。根據(jù)用戶習(xí)慣，系統(tǒng)還為用戶創(chuàng)

3、建了個(gè)性化的邏輯視圖，不同的分類方式和顯示次序的個(gè)性化邏輯視圖方便用戶的使用。在用戶參與產(chǎn)生屬性值對(duì)的基礎(chǔ)上，分析了屬性、關(guān)系自動(dòng)化生成和組織的策略機(jī)制。通過時(shí)間、空間和上下文等關(guān)系，可以實(shí)現(xiàn)屬性關(guān)系的自動(dòng)生成、傳遞，進(jìn)而可以對(duì)系統(tǒng)已有的屬性關(guān)系再進(jìn)行組織。通過對(duì)比測(cè)試，MUDOMS在功能上實(shí)現(xiàn)了一種海量非結(jié)構(gòu)化數(shù)據(jù)組織管理的方案，加入了人工智能提取語義屬性。在與同類軟件對(duì)比測(cè)試中，MUDOMS 對(duì)文件索引所占用的空間比同類軟件降低了6