解釋 CTS 結果

CTS 測試結果放在文件中:

CTS_ROOT/android-cts/results/start_time.zip

如果您自己構建了 CTS, CTS_ROOT類似於out/host/linux-x86/cts ,但因平台而異。這反映了您解壓從該站點下載的預構建官方 CTS 的路徑。

在 zip 中,test_result.xml 文件包含實際結果。

顯示 Android 10 及更高版本的結果

zip 存檔中存在一個 test_result.html 文件,您可以在任何兼容 HTML5 的 Web 瀏覽器中直接打開它

顯示 Android 10 之前的結果

在任何兼容 HTML5 的 Web 瀏覽器中打開 test_result.xml 文件以查看測試結果

如果在使用 Chrome 瀏覽器時此文件顯示空白頁,請更改瀏覽器配置以啟用--allow-file-access-from-files命令行標誌。

讀取測試結果

測試結果的詳細信息取決於您使用的 CTS 版本:

  • 適用於 Android 6.0 及更早版本的 CTS v1
  • 適用於 Android 7.0 及更高版本的 CTS v2

設備信息

在 CTS v1 及更早版本中,選擇設備信息(測試摘要上方的鏈接)以查看有關設備、固件(品牌、型號、固件版本、平台)和設備硬件(屏幕分辨率、鍵盤、屏幕類型)的詳細信息。 CTS v2 不顯示設備信息。

測試總結

測試摘要部分提供已執行的測試計劃詳細信息,例如 CTS 計劃名稱以及執行開始和結束時間。它還提供了通過、失敗、超時或無法執行的測試數量的匯總摘要。

Android 10 CTS 樣例測試總結

Android 10 CTS 測試總結

圖 1: Android 10 CTS 示例測試總結

CTS v2 樣例測試總結

CTS v2 測試總結

圖 2: CTS v2 示例測試總結

CTS v1 樣例測試總結

CTS v1 測試總結

圖 3: CTS v1 示例測試總結

測試報告

下一部分 CTS 測試報告提供了每個包通過的測試的摘要。

接下來是執行的實際測試的詳細信息。該報告列出了測試包、測試套件、測試用例和已執行的測試。它顯示了測試執行的結果——通過、失敗、超時或未執行。如果發生測試失敗,將提供詳細信息以幫助診斷原因。

此外,失敗的堆棧跟踪在 XML 文件中可用,但不包含在報告中以確保簡潔——使用文本編輯器查看 XML 文件應提供測試失敗的詳細信息(搜索與失敗的測試並在其中查找[StackTrace]標記)。

顯示 CTS v2 樣本測試報告

CTS v2 測試報告

圖 4: CTS v2 樣本測試報告

顯示 CTS v1 樣本測試報告

CTS v1 測試報告

圖 5: CTS v1 樣本測試報告

查看 test_result.xml 中是否有不完整的測試模塊

要確定給定測試會話中不完整模塊的數量,請運行命令“列出結果”。列出了每個先前會話的已完成模塊數和總模塊數。要確定哪些模塊是完整的還是不完整的,請打開 test_result.xml 文件並讀取結果報告中每個模塊的“done”屬性值。值為 done = "false" 的模塊尚未運行完成。

分類測試失敗

使用以下建議對測試失敗進行分類。

  • 如果測試由於不正確的先決條件而失敗,請驗證您的CTS 環境設置是否正確。這包括物理環境、台式機設置和 Android 設備設置。
  • 如果測試顯得過於不穩定,請驗證設備穩定性、測試設置或環境問題。
  • 如果仍然失敗,請單獨重試測試。
  • 檢查導致測試失敗的外部因素,例如:
    • 環境設置。例如,錯誤配置的台式機設置可能是所有被測設備 (DUT)(包括參考設備)上發生測試失敗的原因。
    • 外部依賴。例如,如果從特定時間點開始在多個站點中的所有設備上測試失敗,則可能是錯誤的 URL 有問題。
    • 如果 DUT 不包含安全補丁,則預計其安全測試失敗。
  • 驗證和分析通過和失敗設備之間的差異。
  • 分析斷言、日誌、錯誤報告和CTS 源。對於 HostTest,斷言和日誌可能非常通用,因此檢查和附加設備 logcat 也很有幫助。
  • 提交測試改進補丁以幫助減少測試失敗。

保存部分結果

當測試調用失敗時,Tradefed 不會保存部分測試結果。

當 Tradefed 沒有生成任何測試結果時,這意味著在測試運行期間出現了嚴重問題,從而使測試結果不可信。部分結果被認為沒有幫助,因為它在調查設備問題時沒有提供價值。