軟件評(píng)測(cè)與軟件測(cè)試知識(shí)介紹

1、軟件評(píng)測(cè),北京通和實(shí)益電信科學(xué)技術(shù)研究所有限公司信息產(chǎn)業(yè)數(shù)據(jù)通信產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心威爾克實(shí)驗(yàn)室彭博pb_1212@sina.com,中 心 簡(jiǎn) 介,北京通和實(shí)益電信科學(xué)技術(shù)研究所有限公司成立于2003年1月，同時(shí)成立威爾克實(shí)驗(yàn)室，公司所屬的信息產(chǎn)業(yè)數(shù)據(jù)通信產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心成立于1990年，歸工業(yè)和信息化部管理。公司股東為數(shù)據(jù)所。作為第三方檢測(cè)機(jī)構(gòu)，主要業(yè)務(wù)是為工業(yè)與信息化部業(yè)務(wù)主管部門(mén)提供技術(shù)支撐、執(zhí)行電信產(chǎn)品的工信部進(jìn)

2、網(wǎng)檢驗(yàn)、為國(guó)內(nèi)外電信設(shè)備制造商、電信運(yùn)營(yíng)商、設(shè)備制造商、軟件制造商等各行業(yè)用戶提供各種第三方檢測(cè)/驗(yàn)收/標(biāo)準(zhǔn)方案制定、網(wǎng)絡(luò)安全防護(hù)評(píng)測(cè)和軟件功能/效率/可靠性/易用性/可維護(hù)性評(píng)測(cè)等，產(chǎn)品范圍覆蓋各類(lèi)無(wú)線和有線電信設(shè)備、網(wǎng)絡(luò)、標(biāo)準(zhǔn)、技術(shù)、業(yè)務(wù)和應(yīng)用軟件等。在測(cè)試行業(yè)和通信行業(yè)中具有非常高的知名度，尤其軟件評(píng)測(cè)方面。數(shù)據(jù)所成立于1972年11月2日，是我國(guó)最早從事數(shù)據(jù)通信技術(shù)研究及設(shè)備制造的專(zhuān)業(yè)研究所之一，現(xiàn)作為工信部電信科學(xué)技術(shù)研究院

3、的所屬單位，由國(guó)務(wù)院國(guó)有資產(chǎn)監(jiān)督管理委員會(huì)管理。,CCSA標(biāo)準(zhǔn),GB/T 2500.51-2010《軟件工程 軟件產(chǎn)品質(zhì)量要求與評(píng)價(jià)（SQuaRE） 商業(yè)現(xiàn)貨（COTS）軟件產(chǎn)品的質(zhì)量要求和測(cè)試細(xì)則》,軟件質(zhì)量與軟件測(cè)試,軟件質(zhì)量是指軟件的功能和性能滿足用戶需求和期望的程度，是軟件的一種內(nèi)在特性。軟件測(cè)試則是通過(guò)技術(shù)、流程、工具、人員以及管理手段，檢測(cè)軟件文檔、軟件中間產(chǎn)品和最終產(chǎn)品，查找和報(bào)告軟件缺陷、錯(cuò)誤以及隱患的技藝。通過(guò)跟蹤

4、缺陷、錯(cuò)誤及隱患的修正過(guò)程，確保軟件產(chǎn)品、中間產(chǎn)品和文檔符合軟件工程過(guò)程需求和用戶的最終需求。,軟件質(zhì)量與軟件測(cè)試,軟件測(cè)試就是利用測(cè)試工具按照測(cè)試方案和流程對(duì)產(chǎn)品進(jìn)行功能和性能測(cè)試，甚至根據(jù)需要編寫(xiě)不同的測(cè)試工具，設(shè)計(jì)和維護(hù)測(cè)試系統(tǒng)，對(duì)測(cè)試方案可能出現(xiàn)的問(wèn)題進(jìn)行分析和評(píng)估。執(zhí)行測(cè)試用例后，需要跟蹤故障，以確保開(kāi)發(fā)的產(chǎn)品適合需求。,軟件質(zhì)量與軟件測(cè)試,軟件測(cè)試是改進(jìn)軟件組織管理過(guò)程、提高軟件質(zhì)量的必要途徑。軟件測(cè)試過(guò)程是提取軟件測(cè)試過(guò)程

5、中可計(jì)量的屬性，在測(cè)試過(guò)程進(jìn)行中以一定頻度不斷地采集這些屬性的值，并采用一些恰當(dāng)?shù)姆治龇椒▽?duì)得到的這些數(shù)據(jù)進(jìn)行分析，從而量化地評(píng)定測(cè)試過(guò)程的能力和性能，提高測(cè)試過(guò)程的可視性，幫助軟件組織管理以及改進(jìn)軟件測(cè)試過(guò)程。,軟件質(zhì)量與軟件測(cè)試,隨著軟件應(yīng)用的領(lǐng)域不斷深入，設(shè)計(jì)的復(fù)雜程度逐步擴(kuò)大，開(kāi)發(fā)的周期不斷縮短，質(zhì)量的要求水漲船高，軟件企業(yè)也面臨著巨大挑戰(zhàn)。因此，加強(qiáng)軟件測(cè)試過(guò)程和技術(shù)，可以有效保證軟件質(zhì)量，這種觀念正在被更多的軟件企業(yè)人士理解

6、、接受和實(shí)施，也是軟件企業(yè)快速發(fā)展的必經(jīng)之道。,軟件缺陷,軟件測(cè)試使用各種術(shù)語(yǔ)描述軟件出現(xiàn)的問(wèn)題，通用的術(shù)語(yǔ)如下：軟件錯(cuò)誤（software error）軟件缺陷（software defect）軟件故障（software fault）軟件失效（software failure）軟件失效的機(jī)理可描述為：軟件錯(cuò)誤→軟件缺陷→軟件故障→軟件失效,軟件缺陷,1、軟件錯(cuò)誤：在可以預(yù)見(jiàn)的時(shí)期內(nèi)，軟件仍將由人來(lái)開(kāi)發(fā)。在整個(gè)軟件生存期的各個(gè)

7、階段，都貫穿者人的直接或間接的干預(yù)。然而，人難免犯錯(cuò)誤，這必然給軟件留下不良的痕跡。軟件錯(cuò)誤是指在軟件生存期內(nèi)的不希望或不可接受的人為錯(cuò)誤，其結(jié)果是導(dǎo)致軟件缺陷的產(chǎn)生。可見(jiàn)，軟件錯(cuò)誤是一種人為過(guò)程，相對(duì)于軟件本身，是一種外部行為。2、軟件缺陷：軟件缺陷是存在于軟件（文檔、數(shù)據(jù)、程序）之中的那些不希望或不可接受的偏差，如少一個(gè)逗號(hào)、多一語(yǔ)句等。其結(jié)果是軟件運(yùn)行于某一特定條件時(shí)出現(xiàn)軟件故障，這時(shí)稱(chēng)軟件缺陷被激活。3、軟件故障：軟件故障是

8、指軟件運(yùn)行過(guò)程中出現(xiàn)的一種不希望或不可接受的內(nèi)部狀態(tài)。譬如，軟件處于執(zhí)行一個(gè)多余循環(huán)過(guò)程時(shí)，我們說(shuō)軟件出現(xiàn)故障。此時(shí)若無(wú)時(shí)當(dāng)?shù)拇胧ㄈ蒎e(cuò)）加以及時(shí)處理，便產(chǎn)生軟件失效。顯然，軟件故障是一種動(dòng)態(tài)行為。4、軟件失效：軟件失效是指軟件運(yùn)行時(shí)產(chǎn)生 的一種不希望或不可接受的外部行為結(jié)果。,軟件缺陷,軟件缺陷（Defect），常常又被叫做Bug。所謂軟件缺陷，即為計(jì)算機(jī)軟件或程序中存在的某種破壞正常運(yùn)行能力的問(wèn)題、錯(cuò)誤，或者隱藏的功能缺陷。缺陷的

9、存在會(huì)導(dǎo)致軟件產(chǎn)品在某種程度上不能滿足用戶的需要。從產(chǎn)品內(nèi)部看，缺陷是軟件產(chǎn)品開(kāi)發(fā)或維護(hù)過(guò)程中存在的錯(cuò)誤、毛病等各種問(wèn)題；從產(chǎn)品外部看，缺陷是系統(tǒng)所需要實(shí)現(xiàn)的某種功能的失效或違背。,軟件缺陷,一旦發(fā)現(xiàn)軟件缺陷，就要設(shè)法找到引起這個(gè)缺陷的原因，分析對(duì)產(chǎn)品質(zhì)量的影響，然后確定軟件缺陷的嚴(yán)重性和處理這個(gè)缺陷的優(yōu)先級(jí)。各種缺陷所造成的后果是不一樣的，有的僅僅是不方便，有的可能是災(zāi)難性的。一般問(wèn)題越嚴(yán)重，其處理優(yōu)先級(jí)就越高。,軟件缺陷,對(duì)于缺

10、陷的嚴(yán)重性，如果分為4級(jí)，則可以參考下面的方法確定：　　1 – 非常嚴(yán)重的缺陷，例如，軟件的意外退出甚至操作系統(tǒng)崩潰，造成數(shù)據(jù)丟失?！　? – 較嚴(yán)重的缺陷，例如，軟件的某個(gè)菜單不起作用或者產(chǎn)生錯(cuò)誤的結(jié)果；　　3 – 軟件一般缺陷，例如，本地化軟件的某些字符沒(méi)有翻譯或者翻譯不準(zhǔn)確；　　4 – 軟件界面的細(xì)微缺陷，例如，某個(gè)控件沒(méi)有對(duì)齊，某個(gè)標(biāo)點(diǎn)符號(hào)丟失等；對(duì)于缺陷的優(yōu)先性，如果分為4級(jí)，則可以參考下面的方法確定：　　1 –最

11、高優(yōu)先級(jí)，例如，軟件的主要功能錯(cuò)誤或者造成軟件崩潰，數(shù)據(jù)丟失的缺陷?！　? – 較高優(yōu)先級(jí)，例如，影響軟件功能和性能的一般缺陷；　　3 –一般優(yōu)先級(jí)，例如，本地化軟件的某些字符沒(méi)有翻譯或者翻譯不準(zhǔn)確的缺陷；　　4 – 低優(yōu)先級(jí)，例如，對(duì)軟件的質(zhì)量影響非常輕微或出現(xiàn)幾率很低的缺陷；,軟件缺陷導(dǎo)致嚴(yán)重后果的典型案例,2009年2月份Google的Gmail故障 2009年2月份Google的Gmail故障，Gmail用戶幾小

12、時(shí)不能訪問(wèn)郵箱，應(yīng)該算是最近因軟件故障而受到廣泛關(guān)注的事件。據(jù)Google后稱(chēng)，那次故障是因數(shù)據(jù)中心之間的負(fù)載均衡軟件的Bug引發(fā)的。1996年6月4日，阿麗亞娜5型運(yùn)載火箭的首航，原計(jì)劃將運(yùn)送4顆太陽(yáng)風(fēng)觀察衛(wèi)星到預(yù)定軌道，但因軟件引發(fā)的問(wèn)題導(dǎo)致火箭在發(fā)射39秒后偏軌，從而激活了火箭的自我摧毀裝置。阿麗亞娜5型火箭和其他衛(wèi)星在瞬間灰飛煙滅。 后來(lái)查明的事故原因是：代碼重用。阿5型的發(fā)射系統(tǒng)代碼直接重用了阿4型的相應(yīng)代碼，而阿

13、4型的飛行條件和阿5型的飛行條件截然不同。此次事故損失3.7億美元。,軟件缺陷導(dǎo)致嚴(yán)重后果的典型案例,2011 年溫州7.23 動(dòng)車(chē)事故 2011年7月23日20時(shí)30分05秒，甬溫線浙江省溫州市境內(nèi)，由北京南站開(kāi)往福州站的D301次列車(chē)與杭州站開(kāi)往福州南站的D3115次列車(chē)發(fā)生動(dòng)車(chē)組列車(chē)追尾事故，造成40人死亡、172人受傷，中斷行車(chē)32小時(shí)35分，直接經(jīng)濟(jì)損失19371.65萬(wàn)元。 上海鐵路

14、局局長(zhǎng)安路生28日說(shuō)，根據(jù)初步掌握的情況分析，“7·23”動(dòng)車(chē)事故是由于溫州南站信號(hào)設(shè)備在設(shè)計(jì)上存在嚴(yán)重缺陷，遭雷擊發(fā)生故障后，導(dǎo)致本應(yīng)顯示為紅燈的區(qū)間信號(hào)機(jī)錯(cuò)誤顯示為綠燈。,測(cè)試范圍,功能測(cè)試可靠性測(cè)試易用性測(cè)試效率測(cè)試維護(hù)性測(cè)試可移植性測(cè)試流程測(cè)試邊界值測(cè)試容錯(cuò)性測(cè)試異常測(cè)試文擋測(cè)試,啟動(dòng)停止測(cè)試安裝測(cè)試界面測(cè)試接口測(cè)試配置測(cè)試安全性和訪問(wèn)控制測(cè)試性能測(cè)試壓力測(cè)試兼容性測(cè)試割接/升級(jí)測(cè)

15、試回歸測(cè)試,測(cè)試工具,一、自動(dòng)化測(cè)試工具--QTPQTP工具是Quicktest Professional的簡(jiǎn)稱(chēng)，是HP公司發(fā)布的一款企業(yè)級(jí)自動(dòng)化測(cè)試工具，使用QTP工具將功能測(cè)試中重復(fù)使用的測(cè)試用例自動(dòng)化，可以大幅度提高回歸測(cè)試效率，提高回歸測(cè)試質(zhì)量的目的。 QTP進(jìn)行功能測(cè)試的測(cè)試流程為 [制定測(cè)試計(jì)劃]——>[創(chuàng)建測(cè)試腳本]——>[增強(qiáng)測(cè)試腳本功能]——>[運(yùn)行測(cè)試]——>[分析測(cè)試結(jié)果

16、] 大致五個(gè)步驟。,測(cè)試工具,QTP工具的優(yōu)勢(shì)為： 1）QTP是一個(gè)側(cè)重于功能的回歸自動(dòng)化測(cè)試工具；提供了很多插件，如：.NET的，Java的，SAP的，Terminal Emulator的等等，支持 產(chǎn)品類(lèi)型廣泛。2）QTP支持的腳本語(yǔ)言是VBScript，容易上手。3）QTP支持錄制和回放的功能，尤其適用于web頁(yè)面測(cè)試。4）QTP采用錄制回放的機(jī)制，腳本開(kāi)發(fā)效率較高。,測(cè)試工具,二、測(cè)試用例管理工具--ALM(QC)A

17、LM(QC)工具是Application Lifecycle Management的簡(jiǎn)稱(chēng)，是HP公司發(fā)布的一款企業(yè)級(jí)測(cè)試管理工具，使用ALM(QC)工具可以實(shí)現(xiàn)從測(cè)試需求、測(cè)試用例、測(cè)試執(zhí)行到測(cè)試缺陷的全流程測(cè)試管理。尤其是在記錄測(cè)試缺陷方面， ALM(QC)工具可以跟蹤缺陷狀態(tài)，并提供了豐富的報(bào)表，可以詳細(xì)分析缺陷各種狀態(tài)，例如缺陷密度，缺陷修復(fù)率，缺陷嚴(yán)重程度占比等。,測(cè)試工具,測(cè)試工具,ALM(QC)工具的優(yōu)勢(shì)為： 1）提

18、供統(tǒng)一的平臺(tái)，質(zhì)量人員、開(kāi)發(fā)人員和業(yè)務(wù)分析人員的分布式合作和交流 。 2）可以通過(guò)實(shí)時(shí)可見(jiàn)的測(cè)試覆蓋率和關(guān)聯(lián)的缺陷，來(lái)評(píng)估對(duì)業(yè)務(wù)需求的風(fēng)險(xiǎn)。 3）實(shí)現(xiàn)需求到需求、測(cè)試和缺陷的雙向可追蹤性。 4）提供了版本控制和基線管理功能。 5）便于分布式團(tuán)隊(duì)協(xié)作，聯(lián)合開(kāi)發(fā)需求和測(cè)試。 6）聯(lián)系需求和缺陷，從而可以清晰表達(dá)缺陷，并實(shí)現(xiàn)缺陷自動(dòng)通知相關(guān)人員。,測(cè)試工具,三、性能測(cè)試工具--LoadRunner

19、 LoadRunner是一種預(yù)測(cè)系統(tǒng)行為和性能的工業(yè)標(biāo)準(zhǔn)級(jí)負(fù)載測(cè)試工具。它通過(guò)模擬實(shí)際用戶操作來(lái)實(shí)施并發(fā)負(fù)載來(lái)對(duì)整個(gè)系統(tǒng)架構(gòu)進(jìn)行測(cè)試，來(lái)幫助更快的查找和發(fā)現(xiàn)問(wèn)題。適合在性能測(cè)試和壓力測(cè)試中使用。LoadRunner進(jìn)行性測(cè)試的測(cè)試流程分為[創(chuàng)建測(cè)試腳本]——>[參數(shù)化測(cè)試場(chǎng)景] ——> [運(yùn)行測(cè)試場(chǎng)景]——>[分析測(cè)試結(jié)果] 大致三個(gè)步驟。,測(cè)試工具,LoadRunner工具的優(yōu)勢(shì)為1）根據(jù)實(shí)際需求與用戶操縱來(lái)創(chuàng)

20、建Vuser（虛擬用戶/模擬負(fù)載），并且對(duì)每個(gè)Vuser可以分配不同的腳本和負(fù)載生成器2）支持多種協(xié)議腳本的錄制，包括.NET、HTML、FTP、Java等3）內(nèi)含集成的實(shí)時(shí)監(jiān)測(cè)器，可以實(shí)時(shí)顯示性能數(shù)據(jù)（如響應(yīng)時(shí)間）和其它系統(tǒng)組件包括application server,web server，網(wǎng)路設(shè)備和數(shù)據(jù)庫(kù)等的實(shí)時(shí)性能4）提供高級(jí)的分析和報(bào)告工具，以便迅速查找到性能問(wèn)題并追溯原由。,測(cè)試人員,測(cè)試項(xiàng)目負(fù)責(zé)人3名測(cè)試工程師20名

21、質(zhì)量管理及監(jiān)督人員3名以上人員包括高級(jí)工程師5名、中級(jí)工程師17名、初級(jí)工程師4名，且均獲得了工信部頒發(fā)的軟件測(cè)試資質(zhì)證書(shū)。,成功的測(cè)試案例--uCloud1.0測(cè)試項(xiàng)目,,uCLOUD1.0項(xiàng)目采用“平臺(tái)+應(yīng)用”全新IT云架構(gòu)來(lái)支撐業(yè)務(wù)管理，是中國(guó)聯(lián)通具有戰(zhàn)略意義的項(xiàng)目，一期主要包含PASS平臺(tái)、ESB、電子運(yùn)維應(yīng)用、資源應(yīng)用、 資產(chǎn)應(yīng)用。,成功的測(cè)試案例--uCloud1.0測(cè)試項(xiàng)目,項(xiàng)目前期的需求和設(shè)計(jì)階段對(duì)需求和設(shè)計(jì)文檔進(jìn)行

22、匯總、測(cè)試管理，代碼開(kāi)發(fā)完成后對(duì)系統(tǒng)進(jìn)行功能和性能測(cè)試，在整個(gè)項(xiàng)目期間完成每周的項(xiàng)目質(zhì)量預(yù)警實(shí)施。,配置管理成果,驗(yàn)收測(cè)試,質(zhì)量管理,,項(xiàng)目成果,功能測(cè)試：設(shè)計(jì)測(cè)試用例，4000余個(gè)發(fā)現(xiàn)缺陷，3500余個(gè)，缺陷發(fā)現(xiàn)率99%以上撰寫(xiě)驗(yàn)收?qǐng)?bào)告：14份驗(yàn)收日?qǐng)?bào)：150份性能測(cè)試：優(yōu)化性能點(diǎn)72個(gè)；整體性能提高40%以上。性能日?qǐng)?bào)：150份源代碼檢測(cè)：檢測(cè)模塊代碼，70個(gè)發(fā)現(xiàn)缺陷，1000余個(gè)發(fā)布代碼檢測(cè)報(bào)告：70余份,

23、2,文檔管理：共收集 ①需求文檔和設(shè)計(jì)文檔2000多份，并對(duì)這些文檔進(jìn)行版本管理、文檔測(cè)試；②配置管理文檔3份；③文檔測(cè)試報(bào)告40份。源代碼管理：共管理各類(lèi)版本的源代碼1500余個(gè)，共計(jì)200多萬(wàn)行。編譯部署：共編譯部署2800余次，部署報(bào)告90份，部署日?qǐng)?bào)150份。,1,質(zhì)量周報(bào)：發(fā)布質(zhì)量周報(bào)50多期。質(zhì)量月報(bào)：發(fā)布質(zhì)量月報(bào)12期。,3,成功的測(cè)試案例--uCloud1.0測(cè)試項(xiàng)目,驗(yàn)收測(cè)試包含三方面內(nèi)容，即功能測(cè)試、性能