TF 測試生命週期

使用 Trade Federation 執行的測試的生命週期由四個獨立的階段組成,圍繞著正式定義的介面設計。

定義的介面

  • 建置提供者:提供建置以進行測試,並在必要時下載適當的檔案。
  • 目標準備者:準備測試環境,可能包括軟體安裝和設備配置。
  • 測試:執行測試並收集測試結果。這可能是任何 JUnit 測試,儘管我們的IRemoteTest介面是專門設計用於在 Trade Federation 環境中運作良好的。
  • 測試呼叫監聽器(結果報告) :監聽測試結果,通常用於將測試結果轉送到儲存庫或將其顯示給測試運行器。

TF 中的基本測試實體是設定(config)。配置是一個 XML 文件,用於聲明測試的生命週期組件。

測試生命週期的這種分離旨在允許重複使用。使用這種設計,開發人員可以建立一次測試,然後整合商可以建立不同的配置以在不同的環境中執行該測試。例如,他們可以建立一個配置,在本機電腦上執行測試並將結果轉儲到標準輸出。然後,他們可以建立第二個配置來執行相同的測試,但使用不同的測試呼叫偵聽器將測試結果儲存在資料庫中。第三種配置可能被設計為從某個測試實驗室連續執行測試。

這裡要注意的是,配置及其命令列參數(由測試運行器提供)稱為命令。當 TF 將 Command 與ITestDevice配對並執行它時,後續物件稱為「呼叫」 。簡而言之,呼叫包含完整的 TF 測試執行,貫穿其整個生命週期。

附加配置元件

階段輸出和錯誤

調用的每個階段都按順序執行並具有特定的目標。本節描述每個階段的常見輸出和錯誤。

建置提供者

此階段建立並輸出一個IBuildInfo對象,其中包含設定和執行測試所需的所有檔案參考。

此階段最常見的錯誤是無法下載或找到請求的檔案。

此階段出現錯誤會導致直接報告錯誤,並且不會執行任何測試。

目標準備

此階段為測試目標設定必要的狀態。此階段可以根據給定測試調用的需要更改設備或主機設定。

此階段的常見錯誤通常涉及無法將裝置設定為給定狀態(例如,閃爍失敗)以及無法找到設定所需的檔案。

此階段的錯誤會導致目標清理運行、報告錯誤並且不執行任何測試。

測試

此階段在先前準備的目標上執行請求的測試,並報告所有測試執行結果。

此階段的常見錯誤通常涉及被測目標不可用或導致測試部分執行的某些錯誤。這些錯誤是影響測試執行本身的基礎設施問題,而不是單一測試案例的失敗。

此階段的錯誤會導致測試執行停止、目標清理運行、報告錯誤並獲得部分結果。

結果報告

此階段會向已設定的服務(例如伺服器和本機檔案)報告結果和錯誤。

儘管個別結果報告者可能會出現錯誤,但他們是相互隔離的(一名報告者看不到另一名報告者的錯誤)。這些錯誤僅影響個別報告者自己的結果報告,並且可以在日誌中查看錯誤。