科研項(xiàng)目數(shù)據(jù)入庫模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、信息化節(jié)奏越來越快,“科研管理數(shù)據(jù)庫”的實(shí)施,作為信息化建設(shè)的手段,為改善當(dāng)前科研管理部門的信息管理現(xiàn)狀,具有非常重要的意義。信息化初期的一個重要工作就是數(shù)據(jù)建設(shè),它的內(nèi)容主要包括將來自不同地方的不同格式的數(shù)據(jù)進(jìn)行規(guī)范矯正,然后以統(tǒng)一的方式組織起來,并存在數(shù)據(jù)庫中。
　　本文從需求入手,將數(shù)據(jù)入庫工作分為數(shù)據(jù)獲取和數(shù)據(jù)處理兩部分。其中數(shù)據(jù)獲取根據(jù)現(xiàn)有數(shù)據(jù)源的特點(diǎn)分為了導(dǎo)入和爬取兩種模式。文章分析了導(dǎo)入和爬取工作的特點(diǎn),為其分別設(shè)計(jì)

2、并實(shí)現(xiàn)了代碼框架。數(shù)據(jù)處理方面,本文以三個代表性問題為切入點(diǎn),詳細(xì)介紹了這幾個問題的來源、解決辦法,借此闡述了數(shù)據(jù)處理需要注意的各個方面。最后,通過詳細(xì)的正確性測試和性能測試,驗(yàn)證了系統(tǒng)的可靠性和穩(wěn)定性。
　　技術(shù)上,本文所有工作基于JavaEE平臺,使用了Hibernate和Spring框架,并使用事務(wù)處理技術(shù)保證數(shù)據(jù)入庫過程中的數(shù)據(jù)的準(zhǔn)確性和一致性。數(shù)據(jù)爬取方面,課題使用HttpClient來訪問外部網(wǎng)站、借助java線程池來