解釋 CTS 結果

CTS測試結果放置在檔案中:

CTS_ROOT/android-cts/results/start_time.zip

如果您自己建置了 CTS, CTS_ROOT類似於out/host/linux-x86/cts ,但因平台而異。這反映了您解壓縮從此網站下載的預先建置官方 CTS 的路徑。

在 zip 內,test_result.xml 檔案包含實際結果。

顯示 Android 10 及更高版本的結果

zip 檔案中存在 test_result.html 文件,您可以直接在任何與 HTML5 相容的 Web 瀏覽器中開啟它

顯示 Android 10 之前的結果

在任何相容於 HTML5 的 Web 瀏覽器中開啟 test_result.xml 檔案以查看測試結果

如果使用 Chrome 瀏覽器時此檔案顯示空白頁面,請變更瀏覽器設定以啟用--allow-file-access-from-files命令列標誌。

讀取測試結果

測試結果的詳細資訊取決於您使用的 CTS 版本:

  • 適用於 Android 6.0 及更早版本的 CTS v1
  • 適用於 Android 7.0 及更高版本的 CTS v2

設備資訊

在CTS v1 及更早版本中,選擇裝置資訊(測試摘要上方的連結)以查看有關裝置、韌體(品牌、型號、韌體版本、平台)和裝置硬體(螢幕解析度、鍵盤、螢幕類型)的詳細資訊. CTS v2 不顯示設備資訊。

測試總結

測試摘要部分提供已執行的測試計劃詳細信息,例如 CTS 計劃名稱以及執行開始和結束時間。它還提供了通過、失敗、逾時或無法執行的測試數量的總結摘要。

Android 10 CTS 範例測試總結

Android 10 CTS測試總結

圖 1: Android 10 CTS 範例測試摘要

CTS v2 範例測試摘要

CTS v2 測試總結

圖 2: CTS v2 範例測試摘要

CTS v1 範例測試摘要

CTS v1 測試總結

圖 3: CTS v1 範例測試摘要

測試報告

下一部分(CTS 測試報告)提供了每個包通過的測試的摘要。

接下來是所執行的實際測試的詳細資訊。該報告列出了測試包、測試套件、測試案例和已執行的測試。它顯示測試執行的結果—通過、失敗、逾時或未執行。如果測試失敗,將提供詳細資訊以幫助診斷原因。

此外,失敗的堆疊追蹤在 XML 檔案中可用,但未包含在報告中以確保簡潔性 - 使用文字編輯器查看 XML 檔案應提供測試失敗的詳細資訊(搜尋與失敗的測試並在其中查找[StackTrace]標記)。

顯示 CTS v2 測試報告樣本

CTS v2測試報告

圖4: CTS v2測試報告樣本

顯示 CTS v1 測試報告樣本

CTS v1測試報告

圖5: CTS v1測試報告樣本

檢查 test_result.xml 是否有不完整的測試模組

若要確定給定測試會話中不完整模組的數量,請執行命令「list results」。列出了先前每個會話的已完成模組數和總模組數。要確定哪些模組是完整的還是不完整的,請開啟 test_result.xml 檔案並讀取結果報告中每個模組的「done」屬性值。值為done =“false”的模組尚未運作完成。

分類測試失敗

使用以下建議對測試失敗進行分類。

  • 如果測試因不正確的先決條件而失敗,請驗證您的CTS 環境設定是否正確。這包括實體環境、桌上型電腦設定和 Android 裝置設定。
  • 如果測試顯得過於不穩定,請驗證裝置穩定性、測試設定或環境問題。
  • 如果仍然失敗,請單獨重試測試。
  • 檢查導致測試失敗的外部因素,例如:
    • 環境設定。例如,配置錯誤的桌上型電腦設定可能是所有被測設備 (DUT)(包括參考設備)上發生測試失敗的原因。
    • 外部依賴。例如,如果從特定時間點開始在多個網站中的所有裝置上進行的測試失敗,則可能是錯誤的 URL 造成的。
    • 如果 DUT 不包含安全補丁,則預期其安全測試會失敗。
  • 驗證並分析通過和失敗設備之間的差異。
  • 分析斷言、日誌、錯誤報告和CTS 來源。對於 HostTest,斷言和日誌可能非常通用,因此檢查和附加裝置 logcat 也很有幫助。
  • 提交測試改進補丁以幫助減少測試失敗。

保存部分結果

當測試呼叫失敗時,Tradefed 不會保存部分測試結果。

當 Tradefed 沒有產生任何測試結果時,表示測試運行期間出現了嚴重問題,導致測試結果不可信。部分結果被認為沒有幫助,因為它在調查設備問題時沒有提供價值。