軟件評測與軟件測試知識介紹

1、軟件評測,北京通和實益電信科學(xué)技術(shù)研究所有限公司信息產(chǎn)業(yè)數(shù)據(jù)通信產(chǎn)品質(zhì)量監(jiān)督檢驗中心威爾克實驗室彭博pb_1212@sina.com,中 心 簡 介,北京通和實益電信科學(xué)技術(shù)研究所有限公司成立于2003年1月，同時成立威爾克實驗室，公司所屬的信息產(chǎn)業(yè)數(shù)據(jù)通信產(chǎn)品質(zhì)量監(jiān)督檢驗中心成立于1990年，歸工業(yè)和信息化部管理。公司股東為數(shù)據(jù)所。作為第三方檢測機(jī)構(gòu)，主要業(yè)務(wù)是為工業(yè)與信息化部業(yè)務(wù)主管部門提供技術(shù)支撐、執(zhí)行電信產(chǎn)品的工信部進(jìn)

2、網(wǎng)檢驗、為國內(nèi)外電信設(shè)備制造商、電信運(yùn)營商、設(shè)備制造商、軟件制造商等各行業(yè)用戶提供各種第三方檢測/驗收/標(biāo)準(zhǔn)方案制定、網(wǎng)絡(luò)安全防護(hù)評測和軟件功能/效率/可靠性/易用性/可維護(hù)性評測等，產(chǎn)品范圍覆蓋各類無線和有線電信設(shè)備、網(wǎng)絡(luò)、標(biāo)準(zhǔn)、技術(shù)、業(yè)務(wù)和應(yīng)用軟件等。在測試行業(yè)和通信行業(yè)中具有非常高的知名度，尤其軟件評測方面。數(shù)據(jù)所成立于1972年11月2日，是我國最早從事數(shù)據(jù)通信技術(shù)研究及設(shè)備制造的專業(yè)研究所之一，現(xiàn)作為工信部電信科學(xué)技術(shù)研究院

3、的所屬單位，由國務(wù)院國有資產(chǎn)監(jiān)督管理委員會管理。,CCSA標(biāo)準(zhǔn),GB/T 2500.51-2010《軟件工程 軟件產(chǎn)品質(zhì)量要求與評價（SQuaRE） 商業(yè)現(xiàn)貨（COTS）軟件產(chǎn)品的質(zhì)量要求和測試細(xì)則》,軟件質(zhì)量與軟件測試,軟件質(zhì)量是指軟件的功能和性能滿足用戶需求和期望的程度，是軟件的一種內(nèi)在特性。軟件測試則是通過技術(shù)、流程、工具、人員以及管理手段，檢測軟件文檔、軟件中間產(chǎn)品和最終產(chǎn)品，查找和報告軟件缺陷、錯誤以及隱患的技藝。通過跟蹤

4、缺陷、錯誤及隱患的修正過程，確保軟件產(chǎn)品、中間產(chǎn)品和文檔符合軟件工程過程需求和用戶的最終需求。,軟件質(zhì)量與軟件測試,軟件測試就是利用測試工具按照測試方案和流程對產(chǎn)品進(jìn)行功能和性能測試，甚至根據(jù)需要編寫不同的測試工具，設(shè)計和維護(hù)測試系統(tǒng)，對測試方案可能出現(xiàn)的問題進(jìn)行分析和評估。執(zhí)行測試用例后，需要跟蹤故障，以確保開發(fā)的產(chǎn)品適合需求。,軟件質(zhì)量與軟件測試,軟件測試是改進(jìn)軟件組織管理過程、提高軟件質(zhì)量的必要途徑。軟件測試過程是提取軟件測試過程

5、中可計量的屬性，在測試過程進(jìn)行中以一定頻度不斷地采集這些屬性的值，并采用一些恰當(dāng)?shù)姆治龇椒▽Φ玫降倪@些數(shù)據(jù)進(jìn)行分析，從而量化地評定測試過程的能力和性能，提高測試過程的可視性，幫助軟件組織管理以及改進(jìn)軟件測試過程。,軟件質(zhì)量與軟件測試,隨著軟件應(yīng)用的領(lǐng)域不斷深入，設(shè)計的復(fù)雜程度逐步擴(kuò)大，開發(fā)的周期不斷縮短，質(zhì)量的要求水漲船高，軟件企業(yè)也面臨著巨大挑戰(zhàn)。因此，加強(qiáng)軟件測試過程和技術(shù)，可以有效保證軟件質(zhì)量，這種觀念正在被更多的軟件企業(yè)人士理解

6、、接受和實施，也是軟件企業(yè)快速發(fā)展的必經(jīng)之道。,軟件缺陷,軟件測試使用各種術(shù)語描述軟件出現(xiàn)的問題，通用的術(shù)語如下：軟件錯誤（software error）軟件缺陷（software defect）軟件故障（software fault）軟件失效（software failure）軟件失效的機(jī)理可描述為：軟件錯誤→軟件缺陷→軟件故障→軟件失效,軟件缺陷,1、軟件錯誤：在可以預(yù)見的時期內(nèi)，軟件仍將由人來開發(fā)。在整個軟件生存期的各個

7、階段，都貫穿者人的直接或間接的干預(yù)。然而，人難免犯錯誤，這必然給軟件留下不良的痕跡。軟件錯誤是指在軟件生存期內(nèi)的不希望或不可接受的人為錯誤，其結(jié)果是導(dǎo)致軟件缺陷的產(chǎn)生。可見，軟件錯誤是一種人為過程，相對于軟件本身，是一種外部行為。2、軟件缺陷：軟件缺陷是存在于軟件（文檔、數(shù)據(jù)、程序）之中的那些不希望或不可接受的偏差，如少一個逗號、多一語句等。其結(jié)果是軟件運(yùn)行于某一特定條件時出現(xiàn)軟件故障，這時稱軟件缺陷被激活。3、軟件故障：軟件故障是

8、指軟件運(yùn)行過程中出現(xiàn)的一種不希望或不可接受的內(nèi)部狀態(tài)。譬如，軟件處于執(zhí)行一個多余循環(huán)過程時，我們說軟件出現(xiàn)故障。此時若無時當(dāng)?shù)拇胧ㄈ蒎e）加以及時處理，便產(chǎn)生軟件失效。顯然，軟件故障是一種動態(tài)行為。4、軟件失效：軟件失效是指軟件運(yùn)行時產(chǎn)生 的一種不希望或不可接受的外部行為結(jié)果。,軟件缺陷,軟件缺陷（Defect），常常又被叫做Bug。所謂軟件缺陷，即為計算機(jī)軟件或程序中存在的某種破壞正常運(yùn)行能力的問題、錯誤，或者隱藏的功能缺陷。缺陷的

9、存在會導(dǎo)致軟件產(chǎn)品在某種程度上不能滿足用戶的需要。從產(chǎn)品內(nèi)部看，缺陷是軟件產(chǎn)品開發(fā)或維護(hù)過程中存在的錯誤、毛病等各種問題；從產(chǎn)品外部看，缺陷是系統(tǒng)所需要實現(xiàn)的某種功能的失效或違背。,軟件缺陷,一旦發(fā)現(xiàn)軟件缺陷，就要設(shè)法找到引起這個缺陷的原因，分析對產(chǎn)品質(zhì)量的影響，然后確定軟件缺陷的嚴(yán)重性和處理這個缺陷的優(yōu)先級。各種缺陷所造成的后果是不一樣的，有的僅僅是不方便，有的可能是災(zāi)難性的。一般問題越嚴(yán)重，其處理優(yōu)先級就越高。,軟件缺陷,對于缺

10、陷的嚴(yán)重性，如果分為4級，則可以參考下面的方法確定：　　1 – 非常嚴(yán)重的缺陷，例如，軟件的意外退出甚至操作系統(tǒng)崩潰，造成數(shù)據(jù)丟失?！　? – 較嚴(yán)重的缺陷，例如，軟件的某個菜單不起作用或者產(chǎn)生錯誤的結(jié)果；　　3 – 軟件一般缺陷，例如，本地化軟件的某些字符沒有翻譯或者翻譯不準(zhǔn)確；　　4 – 軟件界面的細(xì)微缺陷，例如，某個控件沒有對齊，某個標(biāo)點符號丟失等；對于缺陷的優(yōu)先性，如果分為4級，則可以參考下面的方法確定：　　1 –最

11、高優(yōu)先級，例如，軟件的主要功能錯誤或者造成軟件崩潰，數(shù)據(jù)丟失的缺陷。　　2 – 較高優(yōu)先級，例如，影響軟件功能和性能的一般缺陷；　　3 –一般優(yōu)先級，例如，本地化軟件的某些字符沒有翻譯或者翻譯不準(zhǔn)確的缺陷；　　4 – 低優(yōu)先級，例如，對軟件的質(zhì)量影響非常輕微或出現(xiàn)幾率很低的缺陷；,軟件缺陷導(dǎo)致嚴(yán)重后果的典型案例,2009年2月份Google的Gmail故障 2009年2月份Google的Gmail故障，Gmail用戶幾小

12、時不能訪問郵箱，應(yīng)該算是最近因軟件故障而受到廣泛關(guān)注的事件。據(jù)Google后稱，那次故障是因數(shù)據(jù)中心之間的負(fù)載均衡軟件的Bug引發(fā)的。1996年6月4日，阿麗亞娜5型運(yùn)載火箭的首航，原計劃將運(yùn)送4顆太陽風(fēng)觀察衛(wèi)星到預(yù)定軌道，但因軟件引發(fā)的問題導(dǎo)致火箭在發(fā)射39秒后偏軌，從而激活了火箭的自我摧毀裝置。阿麗亞娜5型火箭和其他衛(wèi)星在瞬間灰飛煙滅。 后來查明的事故原因是：代碼重用。阿5型的發(fā)射系統(tǒng)代碼直接重用了阿4型的相應(yīng)代碼，而阿

13、4型的飛行條件和阿5型的飛行條件截然不同。此次事故損失3.7億美元。,軟件缺陷導(dǎo)致嚴(yán)重后果的典型案例,2011 年溫州7.23 動車事故 2011年7月23日20時30分05秒，甬溫線浙江省溫州市境內(nèi)，由北京南站開往福州站的D301次列車與杭州站開往福州南站的D3115次列車發(fā)生動車組列車追尾事故，造成40人死亡、172人受傷，中斷行車32小時35分，直接經(jīng)濟(jì)損失19371.65萬元。 上海鐵路

14、局局長安路生28日說，根據(jù)初步掌握的情況分析，“7·23”動車事故是由于溫州南站信號設(shè)備在設(shè)計上存在嚴(yán)重缺陷，遭雷擊發(fā)生故障后，導(dǎo)致本應(yīng)顯示為紅燈的區(qū)間信號機(jī)錯誤顯示為綠燈。,測試范圍,功能測試可靠性測試易用性測試效率測試維護(hù)性測試可移植性測試流程測試邊界值測試容錯性測試異常測試文擋測試,啟動停止測試安裝測試界面測試接口測試配置測試安全性和訪問控制測試性能測試壓力測試兼容性測試割接/升級測

15、試回歸測試,測試工具,一、自動化測試工具--QTPQTP工具是Quicktest Professional的簡稱，是HP公司發(fā)布的一款企業(yè)級自動化測試工具，使用QTP工具將功能測試中重復(fù)使用的測試用例自動化，可以大幅度提高回歸測試效率，提高回歸測試質(zhì)量的目的。 QTP進(jìn)行功能測試的測試流程為 [制定測試計劃]——>[創(chuàng)建測試腳本]——>[增強(qiáng)測試腳本功能]——>[運(yùn)行測試]——>[分析測試結(jié)果

16、] 大致五個步驟。,測試工具,QTP工具的優(yōu)勢為： 1）QTP是一個側(cè)重于功能的回歸自動化測試工具；提供了很多插件，如：.NET的，Java的，SAP的，Terminal Emulator的等等，支持 產(chǎn)品類型廣泛。2）QTP支持的腳本語言是VBScript，容易上手。3）QTP支持錄制和回放的功能，尤其適用于web頁面測試。4）QTP采用錄制回放的機(jī)制，腳本開發(fā)效率較高。,測試工具,二、測試用例管理工具--ALM(QC)A

17、LM(QC)工具是Application Lifecycle Management的簡稱，是HP公司發(fā)布的一款企業(yè)級測試管理工具，使用ALM(QC)工具可以實現(xiàn)從測試需求、測試用例、測試執(zhí)行到測試缺陷的全流程測試管理。尤其是在記錄測試缺陷方面， ALM(QC)工具可以跟蹤缺陷狀態(tài)，并提供了豐富的報表，可以詳細(xì)分析缺陷各種狀態(tài)，例如缺陷密度，缺陷修復(fù)率，缺陷嚴(yán)重程度占比等。,測試工具,測試工具,ALM(QC)工具的優(yōu)勢為： 1）提

18、供統(tǒng)一的平臺，質(zhì)量人員、開發(fā)人員和業(yè)務(wù)分析人員的分布式合作和交流 。 2）可以通過實時可見的測試覆蓋率和關(guān)聯(lián)的缺陷，來評估對業(yè)務(wù)需求的風(fēng)險。 3）實現(xiàn)需求到需求、測試和缺陷的雙向可追蹤性。 4）提供了版本控制和基線管理功能。 5）便于分布式團(tuán)隊協(xié)作，聯(lián)合開發(fā)需求和測試。 6）聯(lián)系需求和缺陷，從而可以清晰表達(dá)缺陷，并實現(xiàn)缺陷自動通知相關(guān)人員。,測試工具,三、性能測試工具--LoadRunner

19、 LoadRunner是一種預(yù)測系統(tǒng)行為和性能的工業(yè)標(biāo)準(zhǔn)級負(fù)載測試工具。它通過模擬實際用戶操作來實施并發(fā)負(fù)載來對整個系統(tǒng)架構(gòu)進(jìn)行測試，來幫助更快的查找和發(fā)現(xiàn)問題。適合在性能測試和壓力測試中使用。LoadRunner進(jìn)行性測試的測試流程分為[創(chuàng)建測試腳本]——>[參數(shù)化測試場景] ——> [運(yùn)行測試場景]——>[分析測試結(jié)果] 大致三個步驟。,測試工具,LoadRunner工具的優(yōu)勢為1）根據(jù)實際需求與用戶操縱來創(chuàng)

20、建Vuser（虛擬用戶/模擬負(fù)載），并且對每個Vuser可以分配不同的腳本和負(fù)載生成器2）支持多種協(xié)議腳本的錄制，包括.NET、HTML、FTP、Java等3）內(nèi)含集成的實時監(jiān)測器，可以實時顯示性能數(shù)據(jù)（如響應(yīng)時間）和其它系統(tǒng)組件包括application server,web server，網(wǎng)路設(shè)備和數(shù)據(jù)庫等的實時性能4）提供高級的分析和報告工具，以便迅速查找到性能問題并追溯原由。,測試人員,測試項目負(fù)責(zé)人3名測試工程師20名

21、質(zhì)量管理及監(jiān)督人員3名以上人員包括高級工程師5名、中級工程師17名、初級工程師4名，且均獲得了工信部頒發(fā)的軟件測試資質(zhì)證書。,成功的測試案例--uCloud1.0測試項目,,uCLOUD1.0項目采用“平臺+應(yīng)用”全新IT云架構(gòu)來支撐業(yè)務(wù)管理，是中國聯(lián)通具有戰(zhàn)略意義的項目，一期主要包含PASS平臺、ESB、電子運(yùn)維應(yīng)用、資源應(yīng)用、 資產(chǎn)應(yīng)用。,成功的測試案例--uCloud1.0測試項目,項目前期的需求和設(shè)計階段對需求和設(shè)計文檔進(jìn)行

22、匯總、測試管理，代碼開發(fā)完成后對系統(tǒng)進(jìn)行功能和性能測試，在整個項目期間完成每周的項目質(zhì)量預(yù)警實施。,配置管理成果,驗收測試,質(zhì)量管理,,項目成果,功能測試：設(shè)計測試用例，4000余個發(fā)現(xiàn)缺陷，3500余個，缺陷發(fā)現(xiàn)率99%以上撰寫驗收報告：14份驗收日報：150份性能測試：優(yōu)化性能點72個；整體性能提高40%以上。性能日報：150份源代碼檢測：檢測模塊代碼，70個發(fā)現(xiàn)缺陷，1000余個發(fā)布代碼檢測報告：70余份,

23、2,文檔管理：共收集 ①需求文檔和設(shè)計文檔2000多份，并對這些文檔進(jìn)行版本管理、文檔測試；②配置管理文檔3份；③文檔測試報告40份。源代碼管理：共管理各類版本的源代碼1500余個，共計200多萬行。編譯部署：共編譯部署2800余次，部署報告90份，部署日報150份。,1,質(zhì)量周報：發(fā)布質(zhì)量周報50多期。質(zhì)量月報：發(fā)布質(zhì)量月報12期。,3,成功的測試案例--uCloud1.0測試項目,驗收測試包含三方面內(nèi)容，即功能測試、性能