數(shù)據(jù)庫技術(shù)在高能物理的研究與應(yīng)用課題工作報(bào)告

1、數(shù)據(jù)庫技術(shù)在高能物理的研究與應(yīng)用課題工作報(bào)告,馬梅高能物理所計(jì)算中心2002.12.20,內(nèi) 容,工作進(jìn)展國外高能物理實(shí)驗(yàn)室控制系統(tǒng)數(shù)據(jù)庫應(yīng)用狀況Oracle、PostgreSQL、MySQL性能比較數(shù)據(jù)庫管理系統(tǒng)與服務(wù)器開發(fā)方法與開發(fā)工具希望,工 作 進(jìn) 展(一),建立數(shù)據(jù)庫系統(tǒng)試驗(yàn)環(huán)境Database: >Oracle9i，trial version, from OTN（Oracle Techno

2、logy Network）>PostgreSQL 7.2.3>MySQL 3.23.53OS: Red Hat Linux 7.1Server: Dell PowerEdge 1400 SC/1130, 2 x Intel Pentium III Processor 1260MHZ/512K, 512 MB DIMMDisk：1X18GB， 36X

3、18GB， U160，SCSI， 10KRPM,工 作 進(jìn) 展(二),Application 服務(wù)器 和 Web服務(wù)器OS: Red Hat Linux 7.1Server: Personal Computer Intel Pentium IV Processor 2.0GHZ/512K 512 MB DIMMApplication Server: Oracle 9i A

4、pplication ServerWeb Server: Apache 1.3.27開發(fā)工具 Oracle9i IDE開發(fā)工具, Perl 5.8, C/C++, JAVA, PHP4.2.2, JDBC/ODBC,工 作 進(jìn) 展（三）,選定統(tǒng)一建模語言UML作為軟件工程方法 近年來建模方法被廣泛應(yīng)用于系統(tǒng)的需求和設(shè)計(jì)階段，經(jīng)調(diào)研將把集成了多種方法的優(yōu)點(diǎn)并被對象管理組織OMG接納為標(biāo)準(zhǔn)建模語言的UML（United M

5、odeling Language）用于軟件開發(fā)中,并做了相關(guān)技術(shù)準(zhǔn)備。了解研究ARGO數(shù)據(jù)處理中數(shù)據(jù)庫的應(yīng)用狀況 與粒子天體物理中心有關(guān)同志就ARGO實(shí)驗(yàn)中數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)庫的應(yīng)用進(jìn)行了多次討論。 參加了“Workshop on YBJ ARGO Experiment”（Dec.11-Dec.13)，并提交一個(gè)報(bào)告。研討會(huì)期間與意大利方有關(guān)人員就數(shù)據(jù)處理中的數(shù)據(jù)庫應(yīng)用進(jìn)行了較深入的討論。目前意大利方提出的數(shù)據(jù)處理方案中使用Po

6、stgreSQL數(shù)據(jù)庫管理系統(tǒng)。,工 作 進(jìn) 展（四）,據(jù)了解BES3數(shù)據(jù)處理中將使用MySQL作為數(shù)據(jù)庫管理系統(tǒng)，并建立自己的數(shù)據(jù)庫服務(wù)器。Oracle9i、PostgreSQL、MySQL性能研究與測試為保衛(wèi)處建立了“放射工作人員外照射個(gè)人劑量監(jiān)測數(shù)據(jù)及全所放射源管理系統(tǒng) ”，已投入使用。為節(jié)能辦公室編制“高能所電水氣收費(fèi)管理系統(tǒng)”，還未投入使用。,工 作 進(jìn) 展（五）,控制系統(tǒng)實(shí)時(shí)數(shù)據(jù)信息管理系統(tǒng)需求的初步調(diào)研與控制組、物

7、理組座談（均有座談報(bào)告）調(diào)研國外高能物理實(shí)驗(yàn)室控制系統(tǒng)數(shù)據(jù)庫應(yīng)用情況研讀BEPCII初步設(shè)計(jì)報(bào)告參加 “EPICS Seminar，IHEP Beijing”研討會(huì)，并提交報(bào)告“A Preliminary design of BEPCII database system”。安排中控室值班,BEPCII時(shí)實(shí)數(shù)據(jù)庫和Oracle數(shù)據(jù)庫的關(guān)系,,,BEPCII需存放的數(shù)據(jù)（一）,靜態(tài)參數(shù)BEPCⅡ機(jī)器參數(shù)：理論計(jì)算出的Twiss參數(shù)

8、，Lattice參數(shù)以及磁測參數(shù)，如磁鐵長度，位置，有效長度等等?？刂葡到y(tǒng)設(shè)備參數(shù)：設(shè)備名，設(shè)備類型，信號(hào)名，硬件I/O地址，科學(xué)單位，標(biāo)度變換系統(tǒng)，Alarm條件，Alarm分類報(bào)警信息等?？刂葡到y(tǒng)配置參數(shù),BEPCII需存放的數(shù)據(jù)（二）,動(dòng)態(tài)參數(shù)（實(shí)時(shí)、歷史數(shù)據(jù)）來自設(shè)備的I/O數(shù)據(jù)，如壓力，脈沖波形，流強(qiáng)及設(shè)備開關(guān)及狀態(tài)參數(shù)Alarm數(shù)據(jù)，設(shè)備報(bào)警記錄束流參數(shù)，BPM和束流軌道參數(shù)及來自各種束流測量設(shè)備的實(shí)時(shí)數(shù)據(jù)所有上

9、述實(shí)時(shí)數(shù)據(jù)均帶有采集時(shí)刻時(shí)間標(biāo)記，并分別以二進(jìn)制和實(shí)型數(shù)計(jì)入各種數(shù)據(jù)庫。,BEPCII需存放的數(shù)據(jù)（三）,運(yùn)行管理信息存放加速器各種文本、HELP文本、加速器運(yùn)行值班記錄、設(shè)備維修記錄、系統(tǒng)技術(shù)檔案以及人員、經(jīng)費(fèi)信息。 BEPC實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)中存放有關(guān)的靜態(tài)參數(shù)和全部動(dòng)態(tài)參數(shù)。 關(guān)系數(shù)據(jù)庫中存放全部三種參數(shù)和信息，其中動(dòng)態(tài)參數(shù)作為歷史數(shù)據(jù)存放。,系 統(tǒng) 功 能（一）,一般用戶通過Web頁面訪問數(shù)據(jù)庫；提供API(Appli

10、cation Program Interface)開發(fā)界面,使用戶程序可以訪問數(shù)據(jù)庫；數(shù)據(jù)可以輸出到MS Excel表格中，或?qū)ｉT格式的表格中顯示；數(shù)據(jù)可以批量下裝到用戶程序中，供離線數(shù)據(jù)分析使用；以二維或三維圖形方式顯示數(shù)據(jù)庫中的實(shí)時(shí)、歷史數(shù)據(jù)；以表格方式顯示的故障記錄。,系 統(tǒng) 功 能（二）,授權(quán)用戶1、顯示數(shù)據(jù)庫關(guān)系表模型；2、增加、刪除、修改記錄的靜態(tài)域值如描述字段、Alarm條件等；3、顯示記錄的基本信息和當(dāng)

11、前記錄的域值；4、Dump記錄 ；5、將指定記錄中的數(shù)據(jù)按指定格式寫入專用數(shù)據(jù)文件或MS Excel表格6、 圖形顯示，提供二維歷史曲線圖及三維包絡(luò)線圖形功能，具體要求：坐標(biāo)系隨數(shù)據(jù)大小可自動(dòng)調(diào)整；在一張圖上可允許用戶選擇8種不同的顏色顯示8條曲線；允許用戶選擇一區(qū)域曲線放大顯示；用戶點(diǎn)擊曲線上的一點(diǎn)、一列則可顯示該處的值；允許用戶選擇多種關(guān)鍵域顯示圖形，如按信號(hào)名，按時(shí)間段顯示歷史曲線。,BEPCII控制系統(tǒng)被控設(shè)備及

12、信號(hào)數(shù)目,數(shù)據(jù)存儲(chǔ)量估計(jì)(一),信號(hào)的記錄類型 在BEPCⅡ控制系統(tǒng)中信號(hào)使用的主要記錄類型有：模擬信號(hào)輸入AI，模擬信號(hào)輸出AO，數(shù)字輸入DI和數(shù)字輸出DO。BEPCⅡ控制系統(tǒng)中所要關(guān)注的域（fields）信息主要包含在如下6種參數(shù)里： 1. scan parameters 2. read and convert parameters 3. operator display parameters

13、 4. alarm parameters 5. monitor parameters 6. run_time parameters,數(shù)據(jù)存儲(chǔ)量估計(jì)(二),,模擬信號(hào)輸入AI： 從硬件設(shè)備中獲得模擬信號(hào)值模擬信號(hào)輸出AO：將數(shù)字信號(hào)轉(zhuǎn)換成模擬信號(hào)，并輸出到硬件設(shè)備。,數(shù)據(jù)存儲(chǔ)量估計(jì)(三),DI是從硬件獲得數(shù)據(jù) , DO存儲(chǔ)數(shù)據(jù)，并送到數(shù)字輸出模塊,數(shù)據(jù)存儲(chǔ)量估計(jì)(三),所需存儲(chǔ)空間： 總信號(hào)量=9

14、505，需128字節(jié)/信號(hào)（最大空間）,,數(shù)據(jù)存儲(chǔ)量估計(jì)( 四),所需存儲(chǔ)空間： 總信號(hào)量=9505，需64字節(jié)/信號(hào)（最小空間）,,國外高能物理實(shí)驗(yàn)室控制系統(tǒng)數(shù)據(jù)庫應(yīng)用狀況,研究了KEKB 、BESSY、SLAC PEP-II、SLS、SNS控制系統(tǒng)及ALICE探測器系統(tǒng)數(shù)據(jù)庫的應(yīng)用情況。,KEKB 控制系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（一）,數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)庫管理系統(tǒng): Oracle 7.2.3 數(shù)據(jù)庫服務(wù)器: IBM RS600

15、0操作系統(tǒng): UNIX開發(fā)平臺(tái)開發(fā)工具：Python開發(fā)模式：基于Web,KEKB 控制系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（二）,存放的數(shù)據(jù)加速器各類設(shè)備如：磁鐵、電源、真空、控制模塊等的參數(shù)，包括設(shè)備的歷史、設(shè)備參數(shù)、物理位置、電子特性、線纜連接表等。存儲(chǔ)EPICS各個(gè)控制點(diǎn)上的配置信息印象 KEKB數(shù)據(jù)庫系統(tǒng)到面前為止，存儲(chǔ)的只是設(shè)備數(shù)據(jù)以及用于EPICS實(shí)時(shí)數(shù)據(jù)庫的配置數(shù)據(jù)，基本上是靜態(tài)數(shù)據(jù)，并沒有將EPICS的實(shí)時(shí)數(shù)據(jù)裝入到

16、ORACLE數(shù)據(jù)庫，因此數(shù)據(jù)量不大。,http://www.bessy.de/,BESSY 控制系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（一）,數(shù)據(jù)庫系統(tǒng)平臺(tái)數(shù)據(jù)庫管理系統(tǒng): Oracle 7.2.3數(shù)據(jù)庫服務(wù)器: Lenin and ash操作系統(tǒng): HP_UX 10.xWeb服務(wù)器：與數(shù)據(jù)庫服務(wù)器在同一機(jī)器上。數(shù)據(jù)庫開發(fā)平臺(tái)開發(fā)模式：基于Web開發(fā)工具：Oracle PRO*C 2.0, Oracle Forms、Reports、Graph

17、icsExcel - Oracle - Interface：該界面是基于Microsoft ODBC和Visual Basic for Applications (VBA)的。Oracle-Tcl Interface Oracle-WWW- Interface,BESSY 控制系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（二）,存放的數(shù)據(jù)建立了兩個(gè)數(shù)據(jù)庫實(shí)例bii_par和bii_cad，bii_par存放參數(shù)數(shù)據(jù)、物理設(shè)備數(shù)據(jù)和EPICS配置數(shù)據(jù)，ii

18、_cad存放的是CAD和幾何參數(shù)。加速器各類設(shè)備如：磁鐵、電源、真空、控制模塊等的參數(shù)，包括設(shè)備的歷史、設(shè)備參數(shù)、物理位置、電子特性、線纜連接表存儲(chǔ)EPICS各個(gè)控制點(diǎn)上的配置信息EPICS配置參數(shù)數(shù)據(jù)庫：各種電源；儲(chǔ)存環(huán)、控制系統(tǒng)、增強(qiáng)器設(shè)備的IOC數(shù)據(jù)；嵌入控制器數(shù)據(jù)；電子加速器設(shè)備。,BESSY 控制系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（三）,系統(tǒng)功能 BESSY II數(shù)據(jù)庫將用戶分為兩級(jí)，一級(jí)為collectors，有權(quán)對參數(shù)數(shù)據(jù)進(jìn)行增、

19、刪、改的操作，另一類用戶只有對數(shù)據(jù)的查詢權(quán)；參數(shù)數(shù)據(jù)按儲(chǔ) 存環(huán)、注入系統(tǒng)和常規(guī)設(shè)備三個(gè)子系統(tǒng)進(jìn)行管理為Oracle用戶提供了各種開發(fā)工具,PEP-II 控制系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（一）,數(shù)據(jù)庫系統(tǒng)平臺(tái)數(shù)據(jù)庫管理系統(tǒng): Oracle 數(shù)據(jù)庫服務(wù)器:Alpha操作系統(tǒng):Open VMS數(shù)據(jù)庫開發(fā)平臺(tái)開發(fā)工具：Oracle Developer 2000、Designer 2000、 Oracle CASE、

20、其他的腳本語言開發(fā)模式：基于Web,PEP-II 控制系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（二）,存放的數(shù)據(jù)1992年P(guān)EP-II工程開始是提出的，最初的目的是管理整個(gè)加速器工程建造中各個(gè)環(huán)節(jié)中的技術(shù)、文檔資料，其結(jié)果遠(yuǎn)遠(yuǎn)超過了這個(gè)目的。它主要包括：PEP-II/BABAR的設(shè)計(jì)說明書整個(gè)系統(tǒng)的設(shè)備和安裝數(shù)據(jù)機(jī)器參數(shù)列表、磁鐵、真空設(shè)備數(shù)據(jù)CAD圖表，測量和校準(zhǔn)數(shù)據(jù)出版物和文檔資料所有的控制器數(shù)據(jù)與BESSY合作將實(shí)時(shí)數(shù)據(jù)放到Orac

21、le數(shù)據(jù)庫,SLS 數(shù)據(jù)庫管理系統(tǒng)(一),SLS (Swiss light source) 數(shù)據(jù)庫系統(tǒng)平臺(tái)數(shù)據(jù)庫管理系統(tǒng): Oracle數(shù)據(jù)庫服務(wù)器: Alpha操作系統(tǒng): Open/VMS， Linux數(shù)據(jù)庫開發(fā)平臺(tái)開發(fā)模式：基于Web開發(fā)工具：Java/ JDBC Java: jdk1.1  Tcl/Tk/tclX/blt: 8.0&#

22、160; c/c++ : g++ 2.7.2  make:gnumake 3.74,SLS 數(shù)據(jù)庫管理系統(tǒng)(二),控制系統(tǒng)的軟件結(jié)構(gòu)CDEV：基于JAVA的軟件包，通過JDBC實(shí)現(xiàn)與Oracle的連接,SNS 控制系統(tǒng)數(shù)據(jù)庫管理(一),SNS （ Spallation Neutron Source ）數(shù)據(jù)庫系統(tǒng)平臺(tái)數(shù)據(jù)庫管理系統(tǒng): Oracle

23、數(shù)據(jù)庫服務(wù)器: Sun操作系統(tǒng): Solaris,Linuxhttp://shawnee.sns.ornl.gov/mis/EnterpriseModel/modell.htm數(shù)據(jù)庫開發(fā)原則參照 KEKB和BESSY的數(shù)據(jù)庫開發(fā)模式開發(fā)工具：Java/ JDBC Java: jdk1.1  c/c++,SNS 數(shù)據(jù)庫管理系統(tǒng)(二),Januar

24、y 11, 2001,ALICE 探測器系統(tǒng)數(shù)據(jù)庫管理,Central database:Oracle, will be placed at CERN. It contains central inventory of components, copies of data from laboratories, metadata (e.g. dictionaries) etc.Satellite databases :PostgreSQ

25、L, will be placed in laboratories-participants. They contain source data produced at laboratories, delivered by manufacturers, working copies of data from central repository and partial copies of metadata (read on

26、ly).,Oracle、PostgreSQL、MySQL性能比較,在Gartner Dataquest發(fā)布的2001年數(shù)據(jù)庫市場份額調(diào)查報(bào)告中，Oracle在關(guān)系型數(shù)據(jù)庫市場中占據(jù)了39.8%的市場份額，在UNIX市場上則為63.3%的市場份額。 PostgreSQL是一個(gè)在Unix世界被廣泛應(yīng)用的免費(fèi)數(shù)據(jù)庫管理系統(tǒng)（DBMS），起源于美國加州大學(xué)伯克萊分校計(jì)算機(jī)科學(xué)系的一個(gè)數(shù)據(jù)庫研究項(xiàng)目——Postgres，能夠在多個(gè)操作系統(tǒng)平臺(tái)上

27、運(yùn)行，包括：Solaris、AIX、SCO Unix、HP Unix、Linux、FreeBSD等。MySQL是MySQL AB公司的產(chǎn)品，它既以GPL（GNU General Public License (GPL)） 發(fā)行，也以商業(yè)方式銷售，主要是針對那些不愿意受到GPL方式約束的人。雖然許多人認(rèn)為MySQL只是一個(gè)快速存儲(chǔ)工具，是一個(gè)徹頭徹尾的低端產(chǎn)品，但它還是有不少亮點(diǎn)。,Oracle、PostgreSQL、MySQL性能比較

28、（一）,,說明：A: 優(yōu)秀 B: 好C: 一般 D: 差,Oracle、PostgreSQL、MySQL性能比較（二）,,Oracle、PostgreSQL、MySQL性能比較（三）,Oracle、PostgreSQL、MySQL性能比較（四）,,Oracle、PostgreSQL、MySQL性能比較（五）,,數(shù)據(jù)庫管理系統(tǒng)與硬件方案（一）,選擇數(shù)據(jù)庫最需要考慮的問題系統(tǒng)可靠性、穩(wěn)定性、數(shù)據(jù)量以及數(shù)據(jù)間關(guān)系的復(fù)雜度。如果BE

29、PCII控制系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)量不大，數(shù)據(jù)只是今后系統(tǒng)調(diào)束、物理分析的一種輔助手段，那選用以上哪種數(shù)據(jù)庫都可以。如果數(shù)據(jù)量很大，數(shù)據(jù)作為今后系統(tǒng)調(diào)束、物理分析的主要依據(jù)，那么數(shù)據(jù)庫選擇的優(yōu)先級(jí)別應(yīng)為: 1、Oracle 2、PostgreSQL 3、MySQL,數(shù)據(jù)庫管理系統(tǒng)與硬件方案（二）,數(shù)據(jù)庫管理系統(tǒng)與服務(wù)器詢價(jià)Oracle 9i有兩種報(bào)價(jià)方式：按處理器個(gè)數(shù)和按最小用戶數(shù)1 處理器：50萬最小

30、用戶數(shù)為25個(gè)用戶（2002/9/6前最小用戶數(shù)為10個(gè)）每用戶需付 9,932元。購買如下產(chǎn)品： Oracle Database Enterprise Edition Internet Application Server Internet Developer Suite 總價(jià)(含17%增值稅)：398,

31、322元,數(shù)據(jù)庫管理系統(tǒng)與硬件方案（三）,MS SQL SERVER 2000 有兩種報(bào)價(jià)方式：企業(yè)版按處理器報(bào)價(jià)，標(biāo)準(zhǔn)版按最小用戶數(shù)報(bào)價(jià)。企業(yè)版：1 處理器：170,900元標(biāo)準(zhǔn)版最小用戶數(shù)為10個(gè)用戶，需 15,300元。,數(shù)據(jù)庫管理系統(tǒng)與硬件方案（四）,SunFire V880服務(wù)器系統(tǒng)2 x 900MHz UltraSPARCIII處理器4GByte 內(nèi)存6 x 73GByte 10KRPM FC-AL內(nèi)置硬盤驅(qū)動(dòng)器

32、DVD ROM驅(qū)動(dòng)器Gigabit Interface3(N+1冗于) 電源和風(fēng)扇Solaris 8 Simp Chinese Media開發(fā)工具：C/C++，Java、Fortran等 總價(jià)：275 , 000元,數(shù)據(jù)庫管理系統(tǒng)與硬件方案（五）,AS-PE4600 - Dell PowerEdge 4600 Server處理器：2 x 1.8GHZ/512K Intel 至強(qiáng)處理器內(nèi)存：2GB（8x256）或

33、（4*512） DIMM硬盤：2 x 73GB U320，SCSI，10KRPM 36GB，U320，SCSI，10K RPM內(nèi)置雙網(wǎng)卡：100Mb/Gigabit InterfaceCD-ROM 驅(qū)動(dòng)器，12/24X 報(bào)價(jià)：62,358元 凈價(jià)：45,800元,數(shù)據(jù)庫管理系統(tǒng)與硬件方案（六）,AS-PE6600 - Dell PowerEdge 6600 Server處理器：2 x 1.9GHZ/

34、1M Intel 至強(qiáng)處理器 ==》4個(gè)CPU內(nèi)存：2GB（8x256）或（4*512） DIMM硬盤：2 x 73GB U320，SCSI，10KRPM ==》12個(gè)硬盤 36GB，U320，SCSI，10K RPM內(nèi)置雙網(wǎng)卡：100Mb/Gigabit InterfaceCD-ROM 驅(qū)動(dòng)器，12/24X 報(bào)價(jià)：137,000元 凈價(jià)：95,000元,數(shù)據(jù)庫管理系統(tǒng)與硬件方案（七）,Oracl

35、e9i + Solaris/Sun+ Solaris/Sun 36萬+27.5萬+4.5萬 = 68萬Oracle9i +Linux/Intel+Linux/Intel (Dell, IBM) 36萬+9.5萬（18萬）+4.5萬 = 50萬--58.5萬PostgreSQL + Linux/Intel + Linux/Intel 14萬--22萬MySQL + Linux/Intel + Linux/Inte

36、l 14萬--22萬,開發(fā)方法與開發(fā)工具,三層開發(fā)模式: Browser+AS+DB開發(fā)工具Oracle9i Developer Suite+Application ServerApache+Tomcat+Java Servlets+JSPC/C++, Java,Perl，XML,希 望,盡快確定和批準(zhǔn)數(shù)據(jù)庫管理系統(tǒng)的方案。 邀請加速器有關(guān)同志作為該課題的成員或顧問，共同完成系統(tǒng)調(diào)查、數(shù)據(jù)庫設(shè)計(jì)和系統(tǒng)功能的細(xì)化。,,