外文翻譯--對程序課程的一個可靠的考試系統(tǒng)的評估

1、<p>　　A NOVEL WEB-BASED ONLINE EXAMINATION SYSTEM FOR</p><p>　　COMPUTER SCIENCE EDUCATION</p><p>　　Yuan Zhenming1, Zhang Liang2, Zhan Guohua3</p><p>　　Abstract – Web-based Exam

2、ination System is an effective solution for mass education evaluation. We have developed a novel online examination system based on a Browser/Server framework which carries out the examination and auto-grading for object

3、ive questions and operating questions, such as programming, operating Microsoft Windows, editing Microsoft Word, Excel and PowerPoint, etc. It has been successfully applied to the distance evaluation of basic operating s

4、kills of computer science, such as </p><p>　　1. WEB-BASED ONLINE EXAMINATION SYSTEM</p><p>　　The aim of the examination system</p><p>　　As a universal examination system for the edu

5、cation of basic computer operation, it must meet the following requirements:</p><p>　　A reasonable question storage, which must conform to the general outline of the exam.</p><p>　　A practical i

6、nterface. There are two types of exam interfaces. One is the simulation, the other is the actual environment. The second scheme will give the student computer skills.</p><p>　　A range of question types , suc

7、h as objective questions, operating questions, design questions, information retrieval, group testing, etc</p><p>　　A safety and reliable examination system.</p><p>　　The components of WOES</

8、p><p>　　The Web based Online Examination System (WOES) is a multi-layer system which is composed of the Web Server, Database Server, WOES middleware Server, WOES client module and Browser, such as Internet Expl

9、orer. In this system, we use the Internet Information Server 4.0(IIS) as the Web Server, the Database Server is Microsoft SQL Server 7.0.</p><p>　　The kernel of WOES is the WOES middleware Serve and the WOES

10、 client module, which is designed according to Microsoft DCOM standards. DCOM is the binary COM object’s extension jointing LAN, WAN and Internet, which can instance and bind objects over different network. It is an adva

11、nced network protocol used to cooperate with COM based components of two processes in different locations. The WOES middleware Server is a server-side component The WOES middleware Server is a server-side component provi

12、</p><p>　　The key technologies of WOES</p><p>　　1. A user-friendly interface</p><p>　　We use browser as our user’s interface. The Browser interface has a uniform and consistent use

13、r interface. Almost everyone is able to use it skillfully. Therefore it can eliminate the differences of various exam systems and guarantee a fair test.</p><p>　　2. Simplified system maintenance</p>

14、<p>　　Since the system is based on Browser/Server architecture, the teacher can update the system or the question database o examine the student’s database only in Server. It is not necessary to update the client sy

15、stem as the Client/Server must do.</p><p>　　3. Central examination management</p><p>　　Profiting from the central controlled system, the teacher can easily control the examination process, such

16、 as the beginning and end of the exam, collecting the answers and monitoring the students’ conditions on the teacher’s screen.</p><p>　　4. Security</p><p>　　The most severe difficulty which the

17、 B/S based system faces is security, because in principle the web-based examination system can be accessed on the Internet or WAN in a city.</p><p>　　All the questions, materials and answers are transmitted

18、in bits stream format after encoding, not in file format. It can ensure not only security in the transmission process, but also protect from invasion. </p><p>　　When one student starts his test, the system w

19、ill distribute him a password produced according to his client’s hardware and operation system environment. It can prevent cribbers to login from other clients imitating this student.</p><p>　　The newest met

20、hod to prevent the distant student from leaving the client or is making use of face detection and recognition technology. Before the start of the exam, the student is asked to sit in front of the computer camera, which c

21、an monitor the whole scene. Then the system will automatically recognize the student’s face and his identification. As soon as the validation is performed, the student must stay in front of the camera until the exam is f

22、inished.</p><p>　　2. AUTO-GRADING SYSTEM</p><p>　　The auto-grading system can automatically grade the answers, which are collected from the examination system. It helps teachers to achieve the s

23、core with ease.</p><p>　　There are two types of the grading: objective questions and operating questions. Objective questions, such as choice questions, yes/no questions, and fill-in questions, can be graded

24、 effectively by accurate matching or fuzzy matching. But it is difficult to grade operating questions by simple matching technologies. A possible solution could be: (1) Reading the answer file directly and comparing it t

25、o the key file. But this is not practical because the format of Microsoft Office files is complica</p><p>　　We propose a universalized grading system, which is carried out on the basis of a database of key k

26、nowledge.First, we extract all possible knowledge points and store them in a triple form: (key, value, location). Then we produce the question file by labeling the question point directly on it; the system will add the c

27、orresponding question key to the standard key library. So, the last process of auto-grading system is to compare the answer file with the standard key library. The auto-grading syst</p><p>　　3. CONCLUSION<

28、;/p><p>　　We have developed an overall solution to the examination system for practical computer skills . It provides a user- friendly platform of various questions for the basic computer education in Universit

29、ies, civil servant training and education in Universities, civil servant training and Zhejiang Province, Hundreds of thousands of students and teachers have used this system and agree that it has effectively raised the l

30、earning and testing efficiency.</p><p>　　對程序課程的一個可靠的考試系統(tǒng)的評估</p><p>　　Torbjörn Jonsson, Pouria Loghmani and Simin Nadjm-Tehrani</p><p>　　Department of Computer and Information S

31、cience</p><p>　　Linköping University, Sweden</p><p>　　{torjo,poulo,simin}@ida.liu.se</p><p><b>　　摘要：</b></p><p>　　本文是我們對程序課程的一個可靠的考試系統(tǒng)的經(jīng)驗描述。我們簡要描述這個系統(tǒng)的

32、結構和把這個系統(tǒng)的真實測試狀態(tài)的評估的結果呈現(xiàn)出來。一些細節(jié)因素從網(wǎng)上的學生和測試者中學習，在響應時間和他們親身體驗的影響下，他們所采用的方法和考試形式是否自然性。</p><p><b>　　介紹：</b></p><p>　　像有經(jīng)驗的程序課程教師，我們發(fā)現(xiàn)了使用程序課程傳統(tǒng)考試形式的缺點。學生學程序是通過實驗課的練習，但最后評估他們能力和考試成績的卻是采用紙和筆

33、代替電腦。判斷學生在個人生涯中不會不使用這種模式制作程序，我們考慮到這不是個正確的方法。</p><p>　　在****大學的計算機科學系，每年大約有1000名學生在不同的教育性程序下教12門基礎程序課程。這篇文章論述了程序課程在教育上的新的看法，能提供給任何程序語言、不同類型的學生和教育程序。這個想法是基于廣大學生圍繞不同考試形式的個人成績，最有用和有效的反饋選擇考試方式使用的考試形式的可靠性的基礎準則。我們相

34、信能通過把方法的選擇和經(jīng)過估價附加的效率相結合來改善我們學習程序的質量。特別的，我們相信它能把考試過程****</p><p>　　一些年來，我們在一些試驗性課程對學生們進行了廣泛的計算機輔助考試的測試實驗——對這種類型的考試的一個可靠的考試形式。然而，這種考試形式因為計算機必要環(huán)境的支持不充分并沒有預想的那樣更加廣泛的流傳。去年，所有的學生和測試教師都連接到了一個新開發(fā)的可靠的考試系統(tǒng)（AES）。這個過程，經(jīng)過

35、通信和分級被環(huán)境支持。這篇文章我們描述了這個考試系統(tǒng)和對這個考試系統(tǒng)和其他一些有關的考試**相比較的最初評價。這個課程的問題覆蓋了Ada程序和被第一年和第二年的學生**。</p><p>　　在去年我們對AES進行了評估。這個儀器用來評估存在的一系列問題在通過對231個學生3個月和4次考試解決。</p><p>　　在第1部分我們描述為什么我們提議考試的種類為編程的路線是最適當?shù)牟⑶遗c一些

36、相關系統(tǒng)比較。 第2部分包括考試系統(tǒng)的一個簡要的技術描述，包括它的結構設計。 在第3部分我們描述怎么計算機系統(tǒng)，那在網(wǎng)上處理考試過程，必須由在每條特殊路線設定的規(guī)則增添。 第4部分在第5部分包括我們的評估方法和由評估結果跟隨。 第6部分結束本文。</p><p><b>　　1次考試形式</b></p><p>　　每個考試方法有使它更或較不適當對一個特殊路線設置的具

37、體特征。 H ？kan Oswaldsson在當前考試系統(tǒng)的發(fā)展之前在我們的部門學習了可能的考試形式的范圍的一條典型的編程路線。 當考試幾個方式可以被考慮作為有效的手段為改進的學會(即在家任務、口試跟隨設計任務的等等)時，沒有結合需要對于一個summative評估的許多考試類型，以導致學會的不充分反饋。 與我們當前教的很大數(shù)量的學生結合，一個理想的考試設置的設計是一項真實地富挑戰(zhàn)性任務。</p><p>　　工作

38、在Dawson-Howe旁邊是帶領計算機支持進入編程任務評估和管理的過程。 對自動化的考試系統(tǒng)的需要變得恰當。在90年代后期期間以出現(xiàn)距離和生活長學會。 例如，在英國的函授大學有企圖到交換學生任務和他們的(隨后)更正由稽查通過MS-Word文件。 然而，可利用的報告(即工作在Price和Petre旁邊)在一次網(wǎng)上地道考試集中管理舒適為路線任務和分級，而不是師范反饋。 幾位作者近年來報告關于自動評估系統(tǒng)，主要集中系統(tǒng)和學生的結果的技術現(xiàn)狀

39、的介紹根據(jù)分級。 當我們分享這些研究小組的志向并且進行相似的研究時，我們的焦點在正式評估怎樣學生察覺考試環(huán)境。 另外我們學習了怎么他們是受因素的影響的具體到地道考試，怎么系統(tǒng)性能和稽查的網(wǎng)上行為在學生影響被察覺的裝載和其他這樣方面。</p><p><b>　　學生帳戶</b></p><p><b>　　老師帳戶</b></p>

40、<p><b>　　檢查</b></p><p><b>　　考試處理</b></p><p><b>　　傳訊</b></p><p><b>　　統(tǒng)計</b></p><p>　　AES設計被劃分成多排： 客戶排、中間排(包括一個或更多次級排

41、)和后端排。 分成設計入排允許我們選擇適當?shù)募夹g為一個特定情況。 多技術可能甚而用于提供同一項服務用不同的情況。 例如， HTML頁、JSP頁和獨立應用程序可能所有用于客戶排。</p><p>　　客戶排中間排后端排</p><p>　　2 AES的技術描述</p><p>　　AES使用J2EE平臺開發(fā)。 這代表一個唯一標準為實施和部署復雜企業(yè)應用。 通過一個

42、開放過程， J2EE被設計符合大范圍企業(yè)應用程序要求，包括發(fā)行具體機制例如傳訊系統(tǒng)、可測量性和模塊化。</p><p>　　客戶根據(jù)模型看法控制器(MVC)應用建筑學，在應用之內分離功能的三個分明形式：</p><p>　　模型在應用在數(shù)據(jù)代表數(shù)據(jù)的結構，并且有特殊用途的操作。</p><p>　　看法訪問數(shù)據(jù)從模型并且指定怎么應該提出那數(shù)據(jù)。 看法在AES包括提供

43、看法功能的獨立應用程序。</p><p>　　控制器翻譯對模型的用戶動作并且選擇根據(jù)用戶首選項的適當?shù)目捶ā?lt;/p><p>　　AES被設計作為一套松散接合的模塊，內部緊耦合。 編組功能入模塊提供綜合化在合作的類之間，分離偶爾地互相提到的類。 模塊設計支持設計目標軟件將是可再用的。 每個模塊有定義了模塊的功能要求并且提供地方最新組分也許聯(lián)合的一個接口。 AES包括模塊為：</p&g

44、t;<p>　　圖2.1 ： AES設計。</p><p>　　每一三排在設計的一個具體角色。</p><p>　　客戶排負責對提出數(shù)據(jù)對用戶，互動與用戶和溝通與系統(tǒng)的其他排。 在這種情況下客戶排是系統(tǒng)的唯一的部分可看見對用戶。 AES客戶排包括與其他排聯(lián)絡通過明確定義的接口的主要一個獨立應用程序。 根據(jù)JMS的一種針對消息的方法(Java傳訊系統(tǒng))被選擇照料通信在客戶排和中

45、間排之間。</p><p>　　中間排負責對所有處理介入的企業(yè)JavaBeans。 企業(yè)JavaBeans是延伸服務器執(zhí)行有特殊用途的功能的軟件元件。 這些組分和他們的容器之間的接口在企業(yè)JavaBeans規(guī)格被定義。 他們包含的容器提供服務給企業(yè)JavaBeans事例，例如控制交易，處理的安全，穿線或者合并和處理堅持，在其他高級系統(tǒng)任務中的其他資源。</p><p>　　后端排是系統(tǒng)信息

46、基礎設施。 這排包括可能是有用的一個或更多關系數(shù)據(jù)庫管理系統(tǒng)和潛在地其他信息財產，即中央大學路線結果管理系統(tǒng)(LADOK)。 EIS排也強制執(zhí)行安全并且提供可測量性。 后端排提供映射現(xiàn)有數(shù)據(jù)和軟件的層數(shù) </p><p>　　應用資源到AES里設計用一個實施中立方式。</p><p>　　系統(tǒng)被分離入五不同功能層數(shù)，中的每一以它自己的責任和它自己的API。 這些層數(shù)橫跨三不同排完全被分裂。

47、 堅持層數(shù)，例如，提供機制必要永久地保存對象狀態(tài)。</p><p>　　它提供基本的CRUD (創(chuàng)造，讀，更新，刪除)服務并且應付對象對關系映射的問題。 這導致一個更加靈活和更加可維護的系統(tǒng)，即層數(shù)可以改變沒有作用對其他層數(shù)，只要API依然是恒定。</p><p><b>　　3次考試設定</b></p><p>　　考試系統(tǒng)只是考試過程的一份

48、。 第二個部分是設定(規(guī)則)我們有為學生。 我們嘗試了幾個設定在一定數(shù)量的歲月期間(使用一個原型為系統(tǒng)5-6年)。</p><p><b>　　3.1第一個設定</b></p><p>　　第一個版本允許學生使用計算機寫節(jié)目而不是寫在紙。 我們發(fā)現(xiàn)這個方法是改善，因為我們沒有必須讀“難認”文本，并且遞交的解答可能之后被測試。 等級根據(jù)正確地解決的鍛煉的數(shù)量。</

49、p><p>　　一個問題與這個集合-是所有仍然分級必須完成，在完成了之后檢查。 大多學生在解答等待送直到高潮性檢查。</p><p><b>　　3.2第二個設定</b></p><p>　　我們的意圖將有考試，學生在幾分鐘內應該有一個反應從稽查，并且等級被給了學生的地方，當他們離開檢查。 我們在幾分鐘內也打算提供學生以得到反應的可能性為每鍛煉，因

50、此他們可能改正一種幾乎正確解答。</p><p>　　我們今天使用)的第二個設定(根據(jù)正確地解決的鍛煉的數(shù)字和需要的時間解決他們。 給一定數(shù)量的最后期限。 如果學生想要高等級他或她在一個被預先指定的期限之內必須解決一定數(shù)量的鍛煉。</p><p>　　當前考試過程跟隨幾步：</p><p>　　1.學生送一個考試要求鍛煉到稽查。</p><p&

51、gt;　　2.稽查能退回以下結果之一。</p><p>　　通過-解答是正確的。</p><p>　　殘缺不全-解答有錯誤，并且必須改正。 使新的企圖后是可能的。</p><p>　　? 出故障-解答是不正確的，并且學生不允許繼續(xù)在這鍛煉工作。</p><p>　　3. 每考試企圖和結果對期終考試等級將貢獻，并且學生是消息靈通的他/她的當前

52、成績。 如果學生在一另外的鍛煉遞交一個新的考試請求他或她可以到達高級。</p><p>　　這個考試過程被建立入我們的當前AES，但規(guī)則(期限等)可以為分開的路線被改變。 這使系統(tǒng)靈活。</p><p><b>　　期限和分級</b></p><p>　　在這個系統(tǒng)被測試那里的路線是三鍛煉在每檢查，并且不同的成績的要求是：</p>

53、<p>　　為等級5 (優(yōu)秀)學生必須完成：</p><p>　　o3鍛煉正確在3個小時或</p><p>　　o2鍛煉正確在2個小時</p><p>　　為等級4 (非常好)學生必須完成：</p><p>　　o2鍛煉正確在3個小時或</p><p>　　o1鍛煉正確在1.5小時</p>

54、;<p>　　為等級3 (通過)學生必須完成：</p><p>　　o1鍛煉正確在4個小時</p><p>　　在檢查期間，上述設定與AES支持一起提供我們機會分級學生。 解決了一鍛煉他們到達了的學生是消息靈通的等級。 如果他們滿意對那個等級他們可以離開檢查(許多學生在一個到二個小時以后離開，當他們有等級4或5)時。</p><p><b>

55、;　　學生問題</b></p><p>　　在普通的計算機輔助的檢查，一定數(shù)量的問題由學生遞交，答復可能或者被分類如個人或如感興趣為所有學生。 稽查能決定他或她是否將寄發(fā)答復到整體小組學生或到一名具體學生。 問題的數(shù)量似乎是相對地恒定的在檢查(大約每5分鐘的2-5個問題期間)。 在檢查的起點期間，多數(shù)問題被送，可以解釋用事實學生詢問具體事關于鍛煉，并且那里是更多學生在的開頭部分檢查。</p>

56、;<p><b>　　提議或認同企圖</b></p><p>　　在普通的計算機輔助的檢查我們有很大數(shù)量的考試請求從學生。 我們在表3.1能看我們有一相對地高頻率在期間從30分鐘到3個小時。 在那以后，大多學生離開(他們比時間)的3不可能以后得到高級。</p><p>　　在最后期限附近我們能看考試嘗試經(jīng)常出現(xiàn)，但不更經(jīng)常。 但是，考試請求增量導致更多工

57、作為稽查。 這可能導致在響應時間(等待時間的增量為學生)。</p><p><b>　　4個評估方法</b></p><p>　　當前系統(tǒng)的發(fā)展在夏天開始了2001年并且通過冬天2001/2002繼續(xù)了。 當我們開始測試這個系統(tǒng)我們想要作為測試例子一條路線與很大數(shù)量的學生。 我們的一門基礎課在編程每年有大約270名學生，因此是我們的第一個選擇。 大約180這些學生是產

58、業(yè)管理工程學學生，并且休息是技術生物學生。 我們的統(tǒng)計根據(jù)他們的第一次考試在這條路線，在2002年3月發(fā)生。</p><p>　　我們在這條路線也使用再拿檢查做一項新的研究與新的套問題。 這個評估在2002年5月完成。</p><p>　　在這二項研究，學生直接地在檢查以后填裝了查詢表。 最后的查詢表有二份。 第一個部分是主要問題，答復以大方的本體格式。 第二個部分包括問題以被稱的答復(等

59、級到五，不同意-同意，更壞-改善)。 第一個部分用于三個評估。 更加廣泛的查詢表與二份為最后評估僅使用了(即為二最后檢查)。 附錄顯示最后的查詢表。</p><p>　　查詢表的兩個類型是匿名的，并且查詢表被填裝了，在分級為檢查之后完成。 當他們填裝了查詢表，學生已經(jīng)接受了他們的等級。 我們相信這在學生邊提供可觀性措施。</p><p>　　我們?yōu)闄z查也使用記錄文件從AES得到統(tǒng)計趨向關于

60、等級，性別，反應時間為問題各自認同企圖在其他中(參見第5部分)。</p><p><b>　　5個評估結果</b></p><p>　　不幸地幾乎所有學生沒有早先經(jīng)驗與紙基于編程的考試，因此回復不可能為與那個考試形式的比較使用。 然而，我們使用反應詳細學習其他問題(特別地零件與時間有關或注重因素)。</p><p>　　首先，在請求送的學生(問

61、題或認同企圖)和時期為反應多頻繁多久是？ 第二，多么恰當考試系統(tǒng)由學生接受？ 第三個問題是比較由等級在性別之間。</p><p>　　查詢表的反應速度是相當好。 我們有四檢查在評估期間以以下反應速度：</p><p>　　檢查66個學生(75.7%)檢查4:18答復105個學生(82.8%)檢查3:50答復112個學生(67.8%)檢查2:87答復1:76答復22名學生(81.8%)<

62、;/p><p>　　前三張查詢表做了在第一個考試場合為學生，并且第四你在再拿考試做了，所有學生是學生沒有等級從更加早期的檢查。</p><p>　　5.1事件在考試期間</p><p>　　事件，問題和考試請求的數(shù)量，延長了4個小時考試會議可以是看的一有趣公尺的。 在查詢表被表明的主要消極因素是時間壓力或重音的感覺。 17%大方的本體答復有與這個因素的一些連接。 從一個

63、技術觀點我們對發(fā)現(xiàn)也感興趣系統(tǒng)的容量是充分的。 所以我們在每檢查總結了互作用的數(shù)量發(fā)生。</p><p>　　圖5.1 ： 學生事件(問題和考試請求)在檢查期間。</p><p>　　在表5.1我們能看問題的數(shù)量是高在的開頭部分考試，但我們有問題事件在整考試時間期間。</p><p>　　考試請求的數(shù)量是相對時間。 有幾個請求在第一半小時，并且那前二個小時為稽查是繁

64、忙的。 請求率相當高，當我們到達期限為等級時(特別是4個小時極限)。</p><p>　　從一個技術觀點系統(tǒng)性能在上述裝載之下是充分的。 要學習重音的學生經(jīng)驗由于等待時間我們計算等待答復到問題和各自考試請求的認同的平均。 W e也看極端價值。</p><p>　　它結果那為最短的回答的時間是30秒和最長的6分鐘的問題。 對應數(shù)字為認同企圖分別為1分鐘和10分鐘。 互作用的第一個類型采取了2

65、分鐘和42秒和第二個類型3分鐘和31秒平均為一特殊檢查。</p><p>　　學生反應，從查詢表，在這時間是等待一分鐘或是可接受的</p><p>　　二為一個答復在問題和那等待一個結果在考試請求的幾分鐘是順利。</p><p>　　基于這個看法我們認為，等待時間不是一個貢獻的因素到學生體驗的重音。</p><p><b>　　5.

66、2采納由學生</b></p><p>　　學生反應表明了巨大支持為這個考試形式。 退回查詢表的94.5%學生更喜歡這個考試形式對傳統(tǒng)紙和鉛筆檢查。</p><p>　　許多大方的本體答復提到了考試形式是緊挨一個現(xiàn)實情景并且是正面的關于可能性編寫和測試(94個這樣的評論的一個總數(shù))。</p><p>　　在檢查，關于考試形式的定量問題增加到查詢表， 16

67、17名學生回答說這個形式是離一個現(xiàn)實情況較近與其他考試形式比較。 多數(shù)學生認為自己匿名的關于稽查在檢查期間。</p><p>　　5.3等級比較(男性女性)</p><p>　　我們在第一次考試在路線做了比較等級在學生的男性末端女性小組之間。 我們使用正?；臄?shù)字，因此我們可以直接地比較圖。</p><p>　　如圖5.2所顯示，等級為女性學生低于等級在平均為男性學

68、生。 我們是否是對公尺的此感興趣發(fā)現(xiàn)</p><p>　　圖5.2 ： 等級與學生有關性別。</p><p>　　考試形式是性別中立的。 當它結果我們不可能總結這個結論。 然而，一可能解說是在采取路線之前編程了的大多學生是男性。</p><p>　　區(qū)別的另一個方面在等級上的可能是我們有二個不同小組學生在這條路線小組以女性學生(技術生物)一個大比例在他們期間，讀路線

69、在他們第一年期間，并且另一個小組讀路線</p><p>　　第二年。 學生在第二該年可能有更好的研究習性并且是更加老練的和有更加理論的知識。</p><p>　　第三個方面是小組以女性學生一個更高的比率只有這條編程的路線如強制在整體教育規(guī)劃。 另一個小組學生在這條路線有更多路線在之后編程并且是可能被刺激學習和到達高級。</p><p>　　這個問題是明顯的點為進一步

70、研究。</p><p>　　6個結論和持續(xù)的工作</p><p>　　本文總結了早經(jīng)驗與一個地道考試系統(tǒng)為編程的路線。 考試系統(tǒng)和考試設置的當前正式評估提供我們以一定數(shù)量的洞察在系統(tǒng)的有效率作為一個工具為學會和為評估。 當初始評價是正面的并且指向往這個考試方法的成功為學生的多數(shù)時，輸入從學生開放新的方向為研究和新的想法關于怎樣改進環(huán)境。</p><p>　　工作的前