calis規(guī)范 - 北京交通大學(xué)圖書館

1、CALIS學(xué)位論文子項目相關(guān)標(biāo)準(zhǔn)規(guī)范,王 燕2007.09.27,提 綱,CALIS數(shù)字對象唯一標(biāo)識符命名規(guī)范CALIS元數(shù)據(jù)倉儲唯一標(biāo)識符命名規(guī)范CALIS元數(shù)據(jù)唯一標(biāo)識符命名規(guī)范OAICALIS OAI與METS記錄格式與發(fā)布規(guī)范CALIS OAI與METS數(shù)據(jù)導(dǎo)出規(guī)范參建館本地系統(tǒng)配置信息示例,CALIS數(shù)字對象唯一標(biāo)識符命名規(guī)范,簡稱：CALIS-OID符合URN的標(biāo)準(zhǔn)，是URN的一個子集

2、兩個概念簡單數(shù)字對象：指具體的物理文件復(fù)雜數(shù)字對象：邏輯概念，是若干簡單數(shù)字對象的集合,語法,復(fù)雜數(shù)字對象的CALIS-OID語法：urn:CALIS:館數(shù)字代碼-CollectionName[.CollectionName]/ObjID簡單數(shù)字對象的CALIS-OID語法：urn:CALIS:館數(shù)字代碼-CollectionName[.CollectionName]/ObjID.type.format說明命名方式“urn

3、”應(yīng)全部采用小寫字母CALIS-OID的長度最長不應(yīng)超過255個字符復(fù)雜數(shù)字對象與其所含的簡單數(shù)字對象的CollectionName 、ObjID無繼承關(guān)系,CALIS-OID中的元素,館數(shù)字代碼CollectionNameObjIDTypeformat,館數(shù)字代碼,采用由中華人民共和國教育部高等學(xué)校圖書情報工作指導(dǎo)委員會編寫的《高校圖書館數(shù)字代碼表》以北京大學(xué)為例，其代碼為211011，第一位數(shù)字“2”代表高等院校；第二

4、位數(shù)字“1”代表地區(qū)；第三位數(shù)字“1”代表省市；第四到六位代表“011”代表學(xué)校。《高校圖書館數(shù)字代碼表》請查看CALIS主頁：http://www.calis.edu.cn/allacademe.asp?fid=6&class=5對于學(xué)校分校區(qū)的情況，可在6位數(shù)字代碼后加上一位字母以示區(qū)別，如211010A、211010B等對于沒有館數(shù)字代碼的成員館，請向高教司條件處李曉明老師（lixiaom@moe.edu.cn）申

5、請，獲得館數(shù)字代碼方可加入CALIS各項目,集合名稱（CollectionName）,必備，可嵌套采用《信息資源名稱規(guī)范列表》中資源的英文簡稱對學(xué)位論文項目來說，該名稱為“ETD”,ObjID,要求ObjID符合網(wǎng)絡(luò)資源的命名規(guī)則：使用ASCII code 命名；文件名稱大小寫不敏感；不使用 “%”、“/”、“?”、“#”、“*”、“-”、“.”、“:”字符。如在鏡像、備份等情況下，發(fā)生數(shù)字對象的拷貝情況，原則上使用相同的O

6、bjID,Type,對于簡單數(shù)字對象，類型type是必備的，表明該對象的用途,Format,對于簡單數(shù)字對象，文件格式（format）也屬必備項目，指明該數(shù)字對象的文件類型文本TXT、PDF、HTML、XML、SGML、DJVU、DOC、RTF、CEB、PPT、PDG、KDH、NH、CAJ；圖像TIF、GIF、JPG、PNG、PCD、MrSID、EPS、FLA、SWF、SVG、VML、VRML；音頻WAV、MID、RMI、M

7、P3、WMA、RA；視頻MPG、AVI、MOV、WMV、RM；如不在列舉中的，請向CALIS技術(shù)中心報告，獲準(zhǔn)后推行,CALIS-OID示例,北京大學(xué)的某一篇學(xué)位論文：學(xué)位論文作為一個復(fù)雜對象urn:CALIS:211011-ETD/S02024前16頁urn:CALIS: 211011-ETD/S02025.P.PDF對應(yīng)論文全文urn:CALIS: 211011-ETD/S02025.T.DOC,CALIS-OID

8、示例,北大名師庫中的某位名師：假設(shè)北大為了建設(shè)名師庫，另外建了一些資源庫，如書目庫、圖片庫、視頻庫、音頻庫等這些數(shù)字資源名師這個復(fù)雜對象urn:CALIS:211011-teacher/Teacher0452該名師的照片（網(wǎng)上瀏覽，中精度）urn:CALIS:211011-picture/pic219.M.JPG該名師的照片（網(wǎng)上瀏覽，縮略圖）urn:CALIS:211011-picture/pic219.S.JPG該名

9、師的著作（電子書）urn:CALIS:211011-ebook/book156.REB.CEB該名師的一段錄像（流式播放）urn:CALIS:211011-video/video67.VM2.RM該名師的一段音頻（本地播放）urn:CALIS:211011-audio/audio23.L.MP3從這個例子可以看出，為了建設(shè)名師庫，其數(shù)字資源可以來自不同的庫，為了避免出現(xiàn)一個數(shù)字資源有多個CALIS-OID，仍舊采用該數(shù)字資源

10、原來的CALIS-OID,已有資源標(biāo)識符的處理辦法,對新建資源，要求強制采用CALIS唯一標(biāo)識符方案對已數(shù)字化并已有ObjID的資源，可按集合、type、format成批注冊，形成一個ID對照表。要求所有系統(tǒng)對新建資源支持CALIS數(shù)字對象唯一標(biāo)識符，對原有資源只要通過ID對照表可解析即可,CALIS元數(shù)據(jù)倉儲唯一標(biāo)識符命名規(guī)范,對于高校圖書館中的資源倉庫的唯一標(biāo)識符，其命名規(guī)范如下：oai:lib.高校域名.edu.cn:倉庫簡名

11、 （推薦）oai:館代碼.calis.cn:倉庫簡名 （推薦）倉儲的命名應(yīng)具有全國乃至全球范圍內(nèi)的唯一性，為多個倉庫的聯(lián)合奠定基礎(chǔ)說明：要求以”oai:”開頭倉庫簡名前加冒號其它內(nèi)容由參建館自行定義但要保證整個元數(shù)據(jù)倉儲的唯一標(biāo)識符是全球唯一的例：北大學(xué)位論文倉儲的唯一標(biāo)識符：oai:lib.pku.edu.cn:etdoai:211010.calis.cn:etd,CALIS元數(shù)據(jù)唯一標(biāo)識符命名規(guī)范,簡稱“

12、MetaID”MetaID的語法為：倉儲唯一標(biāo)識符 ＋ “-” ＋ LocalPrefix ＋ “/” ＋ 應(yīng)用系統(tǒng)內(nèi)部元數(shù)據(jù)標(biāo)識其中LocalPrefix為應(yīng)用系統(tǒng)本地前綴，可自行定義示例北大學(xué)位論文倉儲唯一標(biāo)識符：oai:pku.edu.cn:etd某條學(xué)位論文記錄：oai:lib.pku.edu.cn:etd-ETD/innerMetaId其中innerMetaId可以是學(xué)號,OAI,OAI（Open Archive

13、s Initiative）是一種檢索協(xié)議，國際標(biāo)準(zhǔn)兩個概念DP（Data Providers） 支持OAI-PMH并以此方式提供元數(shù)據(jù)的管理系統(tǒng)SP（Service Providers） 通過OAI-PMH收割元數(shù)據(jù)，并在此基礎(chǔ)上提供增值服務(wù)。SP中包含一個基于OAI-PMH的元數(shù)據(jù)收割器（Harvester），也稱HP,DP與SP的關(guān)系,OAI記錄,OAI記錄有三個部分HeaderUniqueindentifer 唯一標(biāo)識

14、符，即MetaIDDatestamp 倉儲中某一個條目的創(chuàng)建、刪除或最后修改時間Metadata  元數(shù)據(jù)，規(guī)定都必須支持DC，是否支持其他元數(shù)據(jù)格式由倉儲自行決定About可選部分，內(nèi)容一般是關(guān)于元數(shù)據(jù)部分的數(shù)據(jù)，例如使用權(quán)限等，可自行定義。這部分的結(jié)構(gòu)協(xié)議中不做規(guī)定，但CALIS給出了其具體定義,OAI請求,OAI-DP提供兩種數(shù)據(jù)發(fā)布方法GetRecordListRecords,CALIS OAI與METS

15、記錄格式與發(fā)布規(guī)范,CALIS OAI Record V1.0記錄格式V1.0發(fā)布方式及其特點CALIS OAI Record V2.0 記錄格式V2.0發(fā)布方式及其特點,CALIS OAI RecordV1.0記錄格式,元數(shù)據(jù)（metadata）通過“CALIS_OBJ:objInfo”來建立與相應(yīng)數(shù)字對象的對應(yīng)關(guān)系,,CALIS OAI Record的應(yīng)用方式,作為OAI數(shù)據(jù)導(dǎo)出文件的數(shù)據(jù)記錄格式導(dǎo)出的XML記錄文件中含有一

16、條Record記錄 作為OAI-DP發(fā)布的數(shù)據(jù)記錄格式OAI-DP提供兩種數(shù)據(jù)發(fā)布方法采用OAI-DP中的GetRecord方法進(jìn)行單條元數(shù)據(jù)發(fā)布 采用OAI-DP中的ListRecords方法進(jìn)行多條元數(shù)據(jù)發(fā)布,GetRecord方法進(jìn)行單條元數(shù)據(jù)發(fā)布,GetRecord的響應(yīng)結(jié)果中含有一條Record記錄,,ListRecords方法進(jìn)行多條元數(shù)據(jù)發(fā)布,ListRecords的響應(yīng)結(jié)果中含有一至多條Record記錄,,Abo

17、ut元素,about元素可重復(fù)，about具有一個子元素，即objInfo objInfo有四個子元素calisOidtype約定為root、middle、leaf和single之一datestamp是數(shù)字對象在資源系統(tǒng)里維護(hù)的數(shù)字對象創(chuàng)建或修改的時間，注意格式為”YYYY-MM-DDThh:mm:ssZ”如2004-02-19T03:09:23Z，時間要換算到格林尼治時間，即零時區(qū)時間。deleted是字符串類型，true表

18、示對象已經(jīng)被刪除，false表示對象仍然存在,About元素,只有元數(shù)據(jù)，無數(shù)字對象時about/objInfo中的子元素calisOid、type、datestamp和deleted可以不含任何值，留空即可否則calisOid和type是必然存在的datestamp和deleted可以沒有值，無值時留空即可,,,,,Mets包XML片斷,V1.0的發(fā)布方式,基于OAI +METS+ MQ（Message Queue）的發(fā)布方式

19、 自動發(fā)布本地系統(tǒng)的元數(shù)據(jù)通過OAI-DP發(fā)布。OAI-DP所發(fā)布出來的OAI Record采用CALIS Record V1.0格式本地系統(tǒng)的數(shù)字對象通過METS-DP+MQ發(fā)布。METS-DP負(fù)責(zé)將數(shù)字對象封裝成METS數(shù)據(jù)包，然后通過MQ服務(wù)器發(fā)布出去元數(shù)據(jù)和數(shù)字對象之間的關(guān)系通過OAI Record中的CALIS_OBJ:objInfo 子元素所包含的MetaID進(jìn)行關(guān)聯(lián),V1.0的發(fā)布方式,手動發(fā)布本地系統(tǒng)管理員用O

20、AI數(shù)據(jù)導(dǎo)出工具將OAI-DP中的元數(shù)據(jù)導(dǎo)出成為包含OAI Record數(shù)據(jù)的XML文件。該文件中的數(shù)據(jù)格式為“CALIS OAI Record V1.0”本地系統(tǒng)管理員用METS數(shù)據(jù)導(dǎo)出工具將METS-DP中的數(shù)字對象數(shù)據(jù)導(dǎo)出成為包含METS Record數(shù)據(jù)的XML文件管理員手工將上述兩類文件通過FTP上傳至CALIS子項目中心，由CALIS子項目中心完成數(shù)據(jù)匯總工作,OAI harvester與METS harvester的聯(lián)

21、動,OAI harvester把從DP新收割的元數(shù)據(jù)的identifier（即MetaId）和CALIS-OID（元數(shù)據(jù)所對應(yīng)的復(fù)雜對象的CALIS-OID）傳給METS harvesterMETS harvester根據(jù)元數(shù)據(jù)的時間戳和數(shù)字對象的時間戳以及刪除狀態(tài)與已經(jīng)收割的數(shù)字對象比較，判斷數(shù)字對象有無更新，以決定是否收割對應(yīng)的數(shù)字對象同時，METS harvester應(yīng)該從OAI harvester獲得相應(yīng)數(shù)字對象的類型，以決

22、定采取何種策略對該數(shù)字對象進(jìn)行收割,,V1.0發(fā)布方式的特點,需要對OAI記錄和METS記錄進(jìn)行檢查和校驗 必備性正確性一致性等OAI記錄與METS記錄需要分別收割,CALIS OAI Record V2.0 記錄格式,CALIS OAI Record V1.0格式 CALIS OAI Record V2.0格式（含METS包 ）,,若當(dāng)前元數(shù)據(jù)存在對應(yīng)的METS包，則在ab

23、out段中直接添加METS包。METS包本身的格式不變（仍遵循“CALIS METS Record V1.0格式”）,CALIS OAI Record V2.0樣板數(shù)據(jù)片斷,CALIS OAI Record V2.0 記錄格式,若當(dāng)前元數(shù)據(jù)不存在對應(yīng)的METS包，則將about段去掉,,CALIS Record V2.0格式（不含METS包）,V2.0的發(fā)布方式,基于純OAI 的發(fā)布方式 自動發(fā)布本地系統(tǒng)將相關(guān)的元數(shù)據(jù)和數(shù)字對象按

24、CALIS Record V2.0格式封裝為一條OAI記錄，通過OAI-DP對外發(fā)布手動發(fā)布本地系統(tǒng)管理員采用新的OAI數(shù)據(jù)導(dǎo)出工具將本地系統(tǒng)中的元數(shù)據(jù)和數(shù)字對象合并為一條OAI記錄導(dǎo)出為OAI記錄文件。該文件中的數(shù)據(jù)格式為“CALIS OAI Record V2.0”METS-DP中的數(shù)字對象數(shù)據(jù)無需再單獨導(dǎo)出管理員手工將上述類型的文件通過FTP上傳至CALIS子項目中心，由CALIS子項目中心完成數(shù)據(jù)匯總工作,V2.0發(fā)布方

25、式的特點,OAI-DP用于對外發(fā)布數(shù)據(jù)METS-DP只需為OAI-DP提供數(shù)字對象的封裝功能OAI-DP所發(fā)布的OAI Record數(shù)據(jù)遵循CALIS OAI Record V2.0格式在OAI Record數(shù)據(jù)內(nèi)，metadata和METS存在同一個中，能夠自動保證元數(shù)據(jù)和數(shù)字對象的對應(yīng)關(guān)系但OAI Record仍需要保證數(shù)據(jù)的必備性、內(nèi)容正確性以及數(shù)據(jù)內(nèi)部的一致性當(dāng)數(shù)字對象文件太大時，收割可能出現(xiàn)錯誤，建議如提供數(shù)字對象文

26、件給CALIS的，文件不要超過80M,harvester身份驗證,倉儲應(yīng)該具有對harvester進(jìn)行身份合法性驗證的功能。有兩種方案：IP驗證 判斷請求的harvester是否在合法的IP范圍內(nèi)。合法的IP范圍應(yīng)該可以由管理員設(shè)定。（必須提供）帳號驗證 harvester管理員先到倉儲注冊一個帳號，填寫harvester信息。然后harvester憑帳號登錄并進(jìn)行收割。（可選）可以使用必備的一種，也可以同時使用兩種,CALIS

27、OAI與METS數(shù)據(jù)導(dǎo)出規(guī)范,為了防止網(wǎng)絡(luò)傳輸?shù)葐栴}導(dǎo)致的OAI、METS不能收割等情況，制定OAI、METS數(shù)據(jù)導(dǎo)出規(guī)范要求本地系統(tǒng)能夠?qū)С鯫AI、METS數(shù)據(jù)成文件，通過FTP手工上傳作為OAI、METS數(shù)據(jù)收割方式的補充,OAI數(shù)據(jù)的導(dǎo)出要求,每條元數(shù)據(jù)記錄導(dǎo)出成一個xml格式文件（*.xml），每個xml文件符合schema ：http://www.calis.edu.cn/metadata_ns/oai/record/r

28、ecord.xsd文件名采用以下格式：先拼接字符串：完整MetaID@20位零時區(qū)文件導(dǎo)出時間.oai.xml再對此字符串進(jìn)行application/x-www-form-urlencoded MIME格式轉(zhuǎn)換——即不合法字符“:”轉(zhuǎn)換成%3A ；不合法字符“/”轉(zhuǎn)換成%2F示例：元數(shù)據(jù)MetaID：oai:211011.edu.cn:etd-dr/A1002拼接字符串：oai:211011.edu.cn:etd-dr/A1

29、002@2005-10-02T10:25:30Z.oai.xml最終導(dǎo)出文件名：oai%3A211011.edu.cn%3Aetd-dr%2FA1002@2005-10-02T10%3A25%3A30Z.oai.xml,METS數(shù)據(jù)的導(dǎo)出要求,每個METS包導(dǎo)出成一個xml格式文件（*.xml），每個xml文件符合schema ：http://www.loc.gov/standards/mets/version13/mets.xs

30、d符合《CALIS METS包結(jié)構(gòu)規(guī)范》文件名采用以下格式：先拼接字符串：完整MetaID@20位零時區(qū)文件導(dǎo)出時間.mets.xml再對此字符串進(jìn)行application/x-www-form-urlencoded MIME格式轉(zhuǎn)換——即不合法字符“:”轉(zhuǎn)換成%3A ；不合法字符“/”轉(zhuǎn)換成%2F示例：元數(shù)據(jù)MetaID：oai:211011.edu.cn:etd-dr/A1002拼接字符串：oai:211011.edu

31、.cn:etd-dr/A1002@2005-10-02T10:25:30Z.mets.xml最終導(dǎo)出文件名：oai%3A211011.edu.cn%3Aetd-dr%2FA1002@2005-10-02T10%3A25%3A30Z.mets.xml,,V2.0模式只需遵循OAI數(shù)據(jù)的導(dǎo)出要求,參建館本地系統(tǒng)配置信息,參建館本地系統(tǒng)配置信息,以上配置全部必備,示例,CALIS OAI RecordV1.0記錄僅有元數(shù)據(jù)有元數(shù)據(jù)，M