軟件測試的重要性是毋庸置疑的。如何以最少的人力和資源投入，在最短的時間內(nèi)完成測試，發(fā)現(xiàn)軟件系統(tǒng)的缺陷，保證軟件的優(yōu)良品質(zhì)，是軟件公司探索和追求的目標(biāo)。然而大家都知道，從理論上講測試是永無止境的，只要不斷測試就一定能不斷發(fā)現(xiàn)問題，那么究竟如何度量測試的進(jìn)度，如何判斷測試可以完結(jié)呢？這些，可以依靠測試覆蓋率的分析來實現(xiàn)。嵌入式軟件系統(tǒng)也不例外。

1 代碼覆蓋分析

代碼覆蓋分析過程包含以下幾個方面：

◇通過一組覆蓋測試數(shù)據(jù)發(fā)現(xiàn)和分析那些沒有被運行到的代碼；

◇為了提高代碼覆蓋率而設(shè)計新的測試用例；

◇確定代碼覆蓋的定量標(biāo)準(zhǔn)，這些數(shù)據(jù)也間接地反映測試質(zhì)量；

◇識別那些冗余的測試用例。

代碼覆蓋分析是一種白盒測試方法，因為覆蓋分析需要訪問測試代碼本身，且經(jīng)常需要重新編譯程序，以程序的內(nèi)部結(jié)構(gòu)為基礎(chǔ)來設(shè)計測試案例。其基本準(zhǔn)則是測試案例要盡可能多地覆蓋程序的內(nèi)部邏輯結(jié)構(gòu)，發(fā)現(xiàn)其中的錯誤和問題。另外要注意的是，覆蓋分析并不是為了提高程序本身的質(zhì)量而是為了確保測試用例的質(zhì)量。一般來說，覆蓋分析通常應(yīng)用在軟件測試的早期，即單元測試階段。在軟件發(fā)布版本階段是不需要運行軟件覆蓋分析的。

2 覆蓋分析在嵌入式系統(tǒng)上的問題

嵌入式軟件的開發(fā)與通用軟件的開發(fā)很大的不同點在于：嵌入式系統(tǒng)需要采用交叉開發(fā)的方式，即開發(fā)工具運行在軟硬件配置豐富的宿主機(jī)上，而嵌入式應(yīng)用程序則運行在軟硬件資源相對缺乏的目標(biāo)機(jī)上。所以針對覆蓋分析測試，嵌入式系統(tǒng)的困難之一就是如何獲取測試產(chǎn)生的覆蓋數(shù)據(jù)。大多數(shù)的覆蓋分析測試工具都需要對代碼插裝，而當(dāng)在目標(biāo)環(huán)境下運行經(jīng)過代碼插裝的可執(zhí)行程序時，就會有覆蓋分析數(shù)據(jù)產(chǎn)生。這些數(shù)據(jù)是分析覆蓋數(shù)據(jù)報告的重要輸入條件，所以要順利實現(xiàn)嵌入式系統(tǒng)覆蓋分析的一個關(guān)鍵點是如何建立宿主機(jī)與目標(biāo)機(jī)之間的物理／邏輯連接，解決覆蓋分析數(shù)據(jù)信息的傳輸問題。

3 BullseyeCoverage的實現(xiàn)方式

BullseyeCoverage是Bullseye公司提供的一款C／C++代碼覆蓋率測試工具。相對于Rational公司的Pure Cov-erage，BullseyeCoverage支持的C／C++編譯器更多，除了支持各種Unix下的編譯器之外，在Windows下還支持VC、Borland C++、GNU C++和Intel C++。其提供的代碼覆蓋率是基于條件／判斷的分支覆蓋率，而不是一般的代碼行覆蓋率。

BullseyeCoverage采用的是先對代碼進(jìn)行插裝，然后收集覆蓋數(shù)據(jù)，最后分析覆蓋率原理的技術(shù)。其工作原理是：針對不同的編譯器，設(shè)計一個和真實編譯器名字相同的攔截器，這些攔截器文件存放在BullseyeCoverage的bin目錄下。當(dāng)覆蓋編譯開關(guān)打開時，文件在編譯過程中將首先被這些攔截器所攔截，而不是由真實的編譯器去編譯源代碼。在這個攔截過程中，攔截器將一系列探針代碼插入到C／C++源代碼中，然后文件再次通過真實的編譯器生成二進(jìn)制代碼。當(dāng)覆蓋編譯開關(guān)關(guān)閉時，這些攔截器將直接調(diào)用真實的編譯器而不進(jìn)行代碼插裝的過程。兩者的區(qū)別及調(diào)用關(guān)系如圖1所示。

當(dāng)完成了代碼插裝并且將編譯好的運行文件下載到嵌入式系統(tǒng)后，開始代碼覆蓋分析另外一個重要的工作過程——覆蓋分析數(shù)據(jù)更新過程。由于BullseyeCoverage需要在運行時態(tài)對經(jīng)過覆蓋攔截器生成的覆蓋分析文件（大小一般是運行代碼的1.2～1.5倍）進(jìn)行讀寫操作，所以可以對覆蓋文件的大小進(jìn)行簡單的估計，以便設(shè)計系統(tǒng)。存數(shù)據(jù)更新過程中，BullseyeCovcrage的每次讀寫操作范圍為1字節(jié)～4 KB。另外，BullseyeCoverage只有在測試程序觸發(fā)了cov_write函數(shù)時才會對覆蓋分析文件進(jìn)行更新。如果覆蓋沒有更新，那么相應(yīng)地也沒有I／O動作發(fā)生。針對嵌入式系統(tǒng)，BullseyeCoverage有兩種實現(xiàn)的方式：

①利用讀取內(nèi)存區(qū)數(shù)據(jù)的原理。首先，通過串口、以太網(wǎng)或者USB將覆蓋分析文件下載到嵌入式系統(tǒng)的某個未用內(nèi)存區(qū)域；然后，修改測試工具的I／O庫函數(shù)，將對覆蓋分析文件操作的更新數(shù)據(jù)直接寫入那塊內(nèi)存區(qū)域中。這樣在測試開始后，分析程序會自動更新位于內(nèi)存中的覆蓋分析文件。由于覆蓋分析文件在內(nèi)存中，所以這種讀寫操作的速度會非常快。測試完成后，通過串口、網(wǎng)絡(luò)或者USB再次將覆蓋分析文件讀回到PC機(jī)中，然后利用工具對覆蓋結(jié)果進(jìn)行分析。

②利用實際物理通道的原理。系統(tǒng)需要對覆蓋分析文件的I／O操作進(jìn)行封裝，將需要更新的操作命令和更新內(nèi)容通過串口、網(wǎng)絡(luò)或者USB傳遞給宿主系統(tǒng)，而宿主系統(tǒng)需要實現(xiàn)一個簡單的接收更新程序?qū)Ω采w文件進(jìn)行更新。在這種實現(xiàn)方式中，最困難的是對每次數(shù)據(jù)傳輸?shù)木彌_區(qū)大小進(jìn)行估計。由于BullseyeCoverage每次對覆蓋分析文件的讀寫操作的范圍是1字節(jié)～4 KB，而通常情況下，更新數(shù)據(jù)會是4～8字節(jié)的小數(shù)據(jù)塊（在較頻繁的操作中也會有100字節(jié)～4 KB數(shù)據(jù)的更新塊），所以Bullseye-Coverage會采取減少數(shù)據(jù)傳遞次數(shù)、增大數(shù)據(jù)塊的做法，一次性傳遞完更新數(shù)據(jù)。如何保證數(shù)據(jù)的低延時足這種方式的關(guān)鍵點。

4 嵌入式操作系統(tǒng)Nucleus的具體應(yīng)用

Nucleus PLUS嵌入式操作系統(tǒng)是目前最受歡迎的操作系統(tǒng)。Nucleus PLUS是為實時嵌入式應(yīng)用而設(shè)計的一個搶先式多任務(wù)操作系統(tǒng)內(nèi)核，其95％的代碼是用ANSIC寫成的，因此非常便于移植，并能夠支持大多數(shù)類型的處理器。Nucleus PLUS最大的優(yōu)勢在于提供注釋嚴(yán)格的C源代碼給每一個用戶。這樣，用戶能夠深入地了解底層內(nèi)核的運作方式，并可根據(jù)自己的特殊要求刪減或改動系統(tǒng)軟件，這對軟件的規(guī)范化管理及系統(tǒng)軟件的測試都有極大的幫助。

基于時間效率的要求，在Nucleus嵌入式系統(tǒng)中實現(xiàn)代碼覆蓋分析采用的是內(nèi)存存取操作的方式。具體實現(xiàn)過程如下：

①安裝BullseyeCoverage，選擇合適的編譯器。由于使用PXA270作為開發(fā)平臺，所以也選用了Intel C++編譯器。安裝完成后，從命令行輸人命令“SET COVFILE=XXX”來設(shè)定覆蓋分析文件的輸出地點和具體名稱。默認(rèn)的名稱是test.cov。

②修改Makefile，將編譯器的路徑設(shè)置到Bullseye-Coveragc的bin目錄下。

③使用命令“cov01-1”打開覆蓋編譯選項。然后編譯代碼，需要在編譯過程中確定調(diào)用了BullseyeCoverage的攔截器，可以通過查看編譯記錄中是否含有“Bullseye-Coverage Compile C++version platform”的信息確定。通常會在編譯結(jié)束時發(fā)現(xiàn)鏈接錯誤，這是由于需要調(diào)用的函數(shù)實現(xiàn)體并沒有編譯、鏈接進(jìn)來。

④進(jìn)入到BullseyeCoverage的run目錄下，根據(jù)系統(tǒng)平臺要求修改libcov-user.h、atomic-user.h和Makefile文件，用-DSYS_user區(qū)編譯BullseyeCoverage運行庫文件。通過這個選項可以使編譯器選擇用戶自定義的平臺文件，在這些文件中就含有需要封裝的一些函數(shù)，如write、read、open等。編譯完的庫文件可以命名為libcov-user.a或libcov-user.lib。

⑤修改要測試系統(tǒng)的編譯文件，在Makefile的鏈接過程中加入libcov-user.a或libcov-user.lib。再次重新編澤，應(yīng)該沒有任何錯誤。

⑥根據(jù)BullseyeCoverage的要求，將libcov-user.h中帶有REQUIRED標(biāo)識的函數(shù)根據(jù)具體情況實現(xiàn)。在這個過程中，建議首先實現(xiàn)error_write_screen，這樣在后續(xù)過程中可以將錯誤信息打印到屏幕或者輸出到測試日志中，然后逐步實現(xiàn)其他函數(shù)。

⑦實現(xiàn)了所有必需的函數(shù)后，重新編譯一遍確定沒有任何編譯、鏈接問題。最終會生成2個文件，一個是要運行的二進(jìn)制文件（如ffs.bin），另外一個是覆蓋分析文件test.COV。

⑧將ffs.bin和覆蓋文件文件分別下載到系統(tǒng)中。其中，將ffs.bin下載到Flash存儲器中，通過Nucleus的調(diào)試命令download將test.cov下載到系統(tǒng)內(nèi)存中。

⑨運行二進(jìn)制代碼，在這個過程中，系統(tǒng)內(nèi)存結(jié)構(gòu)如圖2所示。

⑩二進(jìn)制代碼運行完畢后，用Nucleus的調(diào)試命令upload將test.cov上載到PC機(jī)中。

⑾用Coverage Browser打開test.cov，覆蓋分析結(jié)果就得到了。

通過實驗，在沒有使用BullseyeCoverage時，一般測試方式的測試覆蓋率大致是55％～70％；而通過使用BullseyeCoverage重新設(shè)計測試用例，測試覆蓋率提高到了85％～90％，其中7％的測試用例直接影響到產(chǎn)品的質(zhì)量。使用測試覆蓋分析工具BullseyeCoverage可以使測試更有針對性，減少冗余測試用例測試，提高測試團(tuán)隊的工作效率，能夠在開發(fā)過程中盡早地發(fā)現(xiàn)Bug。

5 總 結(jié)

測試覆蓋分析是一種對測試階段度量及測試工作情況進(jìn)行分析的很好的方法，可以使測試程度更為明確，階段進(jìn)度一目了然，其統(tǒng)計值也便于管理部門對當(dāng)前測試狀態(tài)進(jìn)行了解與把握。

責(zé)任編輯：gt