海量非結(jié)構(gòu)化數(shù)據(jù)的組織研究與實現(xiàn).pdf

1、計算機應(yīng)用的不斷發(fā)展導(dǎo)致了數(shù)據(jù)量的急劇增加，由于數(shù)據(jù)結(jié)構(gòu)化過程受限于人工處理速度，導(dǎo)致非結(jié)構(gòu)化數(shù)據(jù)的增長速度遠遠大于結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)上使用文件目錄樹組織管理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的方案存在很大缺陷。文件目錄樹不能很好地表達非結(jié)構(gòu)化數(shù)據(jù)自身以及數(shù)據(jù)之間語義關(guān)系的多樣性，同時在大規(guī)模數(shù)據(jù)集下維護文件目錄樹的一致性會非常困難而且開銷極大。因此，對海量非結(jié)構(gòu)化數(shù)據(jù)的組織進行研究，成為如今迫在眉睫的問題。 本文通過介紹分析文件目錄樹、索引及檢

2、索、數(shù)據(jù)庫、語義文件系統(tǒng)等數(shù)據(jù)組織管理的方法，結(jié)合海量非結(jié)構(gòu)化數(shù)據(jù)組織管理的需求，設(shè)計并實現(xiàn)了海量非結(jié)構(gòu)化數(shù)據(jù)組織管理系統(tǒng)MUDOMS。MUDOMS通過對象模型來表示數(shù)據(jù)，使用屬性值對來描述數(shù)據(jù)的特征，提供接口讓用戶根據(jù)理解來創(chuàng)建屬性值對，為屬性之間創(chuàng)建關(guān)系，記錄了用戶對數(shù)據(jù)的理解處理過程，系統(tǒng)還采用混合索引機制THLI對屬性和關(guān)系進行索引，MUDOMS還提供了熱點導(dǎo)航，通過導(dǎo)航的方式來方便用戶快速獲取數(shù)據(jù)。根據(jù)用戶習慣，系統(tǒng)還為用戶創(chuàng)

3、建了個性化的邏輯視圖，不同的分類方式和顯示次序的個性化邏輯視圖方便用戶的使用。在用戶參與產(chǎn)生屬性值對的基礎(chǔ)上，分析了屬性、關(guān)系自動化生成和組織的策略機制。通過時間、空間和上下文等關(guān)系，可以實現(xiàn)屬性關(guān)系的自動生成、傳遞，進而可以對系統(tǒng)已有的屬性關(guān)系再進行組織。通過對比測試，MUDOMS在功能上實現(xiàn)了一種海量非結(jié)構(gòu)化數(shù)據(jù)組織管理的方案，加入了人工智能提取語義屬性。在與同類軟件對比測試中，MUDOMS 對文件索引所占用的空間比同類軟件降低了6