執行測試 (Atest)

Atest 是一項指令列工具,可讓使用者建構、安裝和執行 Android 在本機測試,大幅加快重新執行測試的速度,而且不需 瞭解貿易聯盟測試工具 指令列選項本頁面說明如何使用 Atest 執行 Android 測試。

如需瞭解如何編寫 Android 測試的一般資訊,請參閱 Android 平台測試

如需瞭解 Atest 的整體結構,請參閱 Atest 開發人員指南

如要進一步瞭解如何透過 Atest 在 TEST_MAPPING 檔案中執行測試,請參閱 在 TEST_MAPPING 檔案中執行測試

如要將功能新增至 Atest,請按照 Atest 開發人員工作流程

設定環境

如要設定 Atest 環境,請按照設定 環境選擇目標建構程式碼

基本用法

測試指令的格式如下:

atest test-to-run [optional-arguments]

選用引數

下表列出最常用的引數。完整清單如下: 訂閱期限:atest --help

選項 長選項 說明
-b --build 建立測試目標。(預設)
-i --install 在裝置上安裝測試成果 (APK)。(預設)
-t --test 執行測試。(預設)
-s --serial 在指定裝置上執行測試。一次只能測試一部裝置,
-d --disable-teardown 停用測試拆除和清理功能。
--dry-run 模擬測試 Atest,無需實際建構、安裝或執行測試。
-m --rebuild-module-info 強制重新建構 module-info.json 檔案。
-w --wait-for-debugger 等待偵錯工具執行完畢再執行。
-v --verbose 顯示 DEBUG 層級記錄。
--iterations 循環執行測試,直到疊代次數達到上限。(預設為 10)
--rerun-until-failure [COUNT=10] 重新執行所有測試,直到失敗或疊代上限達到 。(預設為 10)
--retry-any-failure [COUNT=10] 系統會重新執行失敗的測試,直到通過或疊代次數上限為止。(10)。 )
--start-avd 自動建立 AVD 並在虛擬裝置上執行測試。
--acloud-create 使用 acloud 指令建立 AVD。
--[CUSTOM_ARGS] 為測試執行器指定自訂引數。
-a --all-abi 針對所有可用的裝置架構執行測試。
--host 在沒有裝置的情況下在主機上完全執行測試。
注意:執行主機測試且必須使用搭載 --host 的裝置 失敗。
--history 依時間順序顯示測試結果。
--latest-result 顯示最新的測試結果。

如要進一步瞭解 -b-i-t,請參閱 指定步驟:建構、安裝或執行區段。

指定測試

如要執行測試,請使用下列其中一種方式指定一或多個測試 識別碼:

  • 模組名稱
  • 模組:類別
  • 類別名稱
  • 交易整合測試
  • 檔案路徑
  • 套件名稱

請使用空格分隔多項測試的參照,例如:

atest test-identifier-1 test-identifier-2

模組名稱

如要執行整個測試模組,請使用模組名稱。請輸入畫面上顯示的名稱 在該測試的 LOCAL_MODULELOCAL_PACKAGE_NAME 變數中 Android.mkAndroid.bp 檔案。

例如:

atest FrameworksServicesTests
atest CtsVideoTestCases

模組:類別

如要在模組中執行單一類別,請使用 Module:Class模組是 與「模組名稱」中所述。「Class」是類別的名稱 .java 檔案中的測試類別,可以是完整的類別名稱或 基本名稱。

例如:

atest CtsVideoTestCases:VideoEncoderDecoderTest
atest FrameworksServicesTests:ScreenDecorWindowTests
atest FrameworksServicesTests:com.android.server.wm.ScreenDecorWindowTests

類別名稱

如要執行單一類別而不明確指出模組名稱,請使用 類別 名稱。

例如:

atest ScreenDecorWindowTests
atest VideoEncoderDecoderTest

交易整合測試

如要執行已直接整合至 TradeFed (非模組) 的測試,請輸入 這個名稱會顯示在 tradefed.sh list configs 指令輸出內容中。例如:

若要執行 reboot.xml 測試

atest example/reboot

若要執行 native-benchmark.xml 測試

atest native-benchmark

檔案路徑

Atest 支援執行模組式測試和整合型測試, 輸入其測試檔案或目錄的路徑。此外, 支援執行單一類別,方法是指定類別的 Java 檔案路徑。 系統同時支援相對路徑和絕對路徑。

執行模組

下列範例說明執行 CtsVideoTestCases 模組的兩種方式 檔案路徑

透過 Android repo-root 執行:

atest cts/tests/video

透過 Android repo-root/cts/tests/video 執行:

    atest .

執行測試類別

以下範例說明如何在 使用檔案路徑的 CtsVideoTestCases 模組。

從 Android repo-root 裝置:

    atest cts/tests/video/src/android/video/cts/VideoEncoderDecoderTest.java

執行整合測試

以下範例顯示如何使用檔案路徑執行整合測試 來自 Android repo-root

    atest tools/tradefederation/contrib/res/config/example/reboot.xml

套件名稱

Atest 支援依套件名稱搜尋測試,

例如:

    atest com.android.server.wm
    atest com.android.uibench.janktests

指定步驟:建構、安裝或執行

使用 -b-i-t 選項指定要執行的步驟。如果 如果您並未指定選項,則所有步驟都會執行。

  • 僅限版本目標:atest -b test-to-run
  • 僅執行測試:atest -t test-to-run
  • 安裝 APK 並執行測試:atest -it test-to-run
  • 建構並執行,但不安裝:atest -bt test-to-run

測試可以強制測試略過清理或拆除步驟。多種測試,例如 CTS,請在測試執行後清理裝置,以便重新執行測試 假如沒有 --disable-teardown 參數,-t 就會失敗。請在以下日期前使用 -d-t,略過測試清理步驟並反覆測試。

atest -d test-to-run
atest -t test-to-run

執行特定方法

Atest 支援在測試類別中執行特定方法。雖然整個 ,可減少執行測試所需的時間。跑步 請使用 識別類別 (Module:Class、檔案路徑等) 並附加 方法:

atest reference-to-class#method1

指定多個方法時,請使用半形逗號分隔:

atest reference-to-class#method1,method2,method3

例如:

atest com.android.server.wm.ScreenDecorWindowTests#testMultipleDecors
atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange,testRemoval

以下兩個範例說明執行單一方法的偏好方法。 testFlagChange。比起只使用類別名稱,建議優先使用這些範例 因為指定模組或 Java 檔案位置可讓 Atest 找到 加快測試速度

使用 Module:Class:

atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange

從 Android repo-root 裝置:

atest frameworks/base/services/tests/wmtests/src/com/android/server/wm/ScreenDecorWindowTests.java#testFlagChange

可從不同的類別和模組執行多種方法:

atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange,testRemoval ScreenDecorWindowTests#testMultipleDecors

執行多個課程

如要執行多個類別,請以空格分隔各類別,做法與執行 多次測試。有效率地測試建構和執行類別,因此請指定 與執行整個類別相比,模組中部分類別的效能有所提升 後續課程我們將逐一介紹 預先訓練的 API、AutoML 和自訂訓練

如要在相同模組中執行兩個類別:

atest FrameworksServicesTests:ScreenDecorWindowTests FrameworksServicesTests:DimmerTests

如何在不同模組中執行兩個類別:

atest FrameworksServicesTests:ScreenDecorWindowTests CtsVideoTestCases:VideoEncoderDecoderTest

執行 GTest 二進位檔

Atest 可執行 GTest 二進位檔。使用 -a 對所有可用版本執行這些測試 裝置架構,此例中為 armeabi-v7a (ARM 32 位元) 和 arm64-v8a (ARM 64 位元)。

輸入測試範例:

atest -a libinput_tests inputflinger_tests

如要選取要執行的特定 GTest 二進位檔,請使用半形冒號 (:) 指定測試 名稱和「主題標記」(#) 屬性,用於進一步指定個別方法。

以下列測試定義為例:

TEST_F(InputDispatcherTest, InjectInputEvent_ValidatesKeyEvents)

執行下列指令,指定整個測試:

atest inputflinger_tests:InputDispatcherTest

或使用以下指令執行個別測試:

atest inputflinger_tests:InputDispatcherTest#InjectInputEvent_ValidatesKeyEvents

在 TEST_MAPPING 中執行測試

測試可以在 TEST_MAPPING 檔案中執行測試。

以隱含方式執行預先提交測試

在目前和父項目錄中的 TEST_MAPPING 檔案中執行預先提交測試:

atest

/path/to/project 和 應用程式的 TEST_MAPPING 檔案中執行預先提交測試,並 父項目錄:

atest --test-mapping /path/to/project

執行指定的測試群組

可用的測試群組如下:presubmit(預設)、postsubmitmainline-presubmitall

在目前和父項目錄中的 TEST_MAPPING 檔案中執行提交後測試:

atest :postsubmit

從 TEST_MAPPING 檔案中所有群組執行測試:

atest :all

在「/path/to/project」和「/path/to/project」中的 TEST_MAPPING 檔案中執行提交後測試 父項目錄:

atest --test-mapping /path/to/project:postsubmit

/path/to/project 的 TEST_MAPPING 檔案中執行主線測試,並 父項目錄:

atest --test-mapping /path/to/project:mainline-presubmit

在子目錄中執行測試

根據預設,Atest 只會在 TEST_MAPPING 檔案中搜尋測試 (來自 目前或指定的目錄附加到父項目錄)。如果您也想要 如要在子目錄的 TEST_MAPPING 檔案中執行測試,請使用 --include-subdirs 強制 Atest 納入這些測試:

atest --include-subdirs /path/to/project

在疊代作業中執行測試

藉由傳遞 --iterations 引數以疊代執行測試。是否通過 或失敗時,Atest 會重複測試,直到達到疊代上限為止。

例如:

根據預設,Atest 疊代 10 次。疊代次數須為正數 整數值。

atest test-to-run --iterations
atest test-to-run --iterations 5

下列方法可讓偵測不穩定的測試:

方法 1:執行所有測試,直到失敗或疊代達到上限為止。

  • 在失敗或疊代達到第 10 輪 (預設為) 時停止。
    atest test-to-run --rerun-until-failure
    
  • 在失敗或疊代達到第 100 輪時停止。
    atest test-to-run --rerun-until-failure 100
    

方法 2:僅執行失敗的測試,直到通過或疊代次數上限為止。

  • 假設 test-to-run 有多個測試案例,以及其中一個 測試失敗的狀況。僅執行失敗的測試 10 次 (預設),或直到 測試通過
    atest test-to-run --retry-any-failure
    
  • 測試通過或達到第 100 輪時,停止執行失敗的測試。
    atest test-to-run --retry-any-failure 100
    

在 AVD 上執行測試

Atest 可以在新建立的 AVD 上執行測試。執行 acloud create 即可建立 建立 AVD 和建構構件,然後使用下列範例執行測試。

啟動 AVD 並執行測試:

acloud create --local-instance --local-image && atest test-to-run

在測試執行作業中啟動 AVD:

atest test-to-run --acloud-create "--local-instance --local-image"

詳情請參閱 acloud create --help

將選項傳遞至模組

Atest 可以將選項傳遞至測試模組。如何新增 TradeFed 指令列 測試執行的選項,請使用以下結構 必須遵循交易指令列選項格式

atest test-to-run -- [CUSTOM_ARGS]

將測試模組選項傳遞至 測試設定檔:

atest test-to-run -- --module-arg module-name:option-name:option-value
atest GtsPermissionTestCases -- --module-arg GtsPermissionTestCases:ignore-business-logic-failure:true

將選項傳遞至跑者類型或類別:

atest test-to-run -- --test-arg test-class:option-name:option-value
atest CtsVideoTestCases -- --test-arg com.android.tradefed.testtype.JarHosttest:collect-tests-only:true

如要進一步瞭解僅供測試的選項,請參閱 將選項傳遞至模組