자동화된 CTS 테스트 실행(Android 11 이상)

자동화된 CTS 테스트를 실행하는 방법은 두 가지가 있습니다.

  • Trade Federation은 명령줄에서 테스트를 실행할 수 있는 앱 및 테스트 프레임워크입니다. 기본적으로 이 프레임워크를 사용하면 @Test 주석을 사용해 테스트에 주석을 달 수 있고 앱은 이러한 테스트를 찾아 실행합니다.

  • OmniLab Android 테스트 스테이션은 GUI에서 테스트를 실행할 수 있는 앱입니다.

이 페이지에서는 Trade Federation을 사용하여 자동화된 테스트를 실행하는 방법을 설명합니다. OmniLab Android 테스트 하네스를 사용하여 테스트를 실행하는 방법에 관한 안내는 OmniLab Android 테스트 스테이션을 참고하세요.

모든 자동화된 CTS 테스트 실행

Trade Federation에는 테스트를 실행하기 위한 명령줄 인터페이스인 CTS 콘솔이 포함되어 있습니다. 자동화된 CTS 테스트 모음 전체를 실행하려면 다음 단계를 따르세요.

  1. 자동화된 CTS 테스트 설정의 안내를 따랐는지 확인합니다.

  2. 테스트 워크스테이션에서 CTS 패키지가 압축 해제된 폴더의 cts-tradefed 스크립트를 실행하여 CTS 콘솔을 시작합니다.

    ./android-cts/tools/cts-tradefed

    CTS 콘솔에 CTS 명령어(cts-tradefed >)를 입력할 수 있는 커서가 표시됩니다.

  3. cts 테스트 계획에는 자동화된 CTS 테스트가 모두 포함되어 있습니다. cts 테스트 계획을 실행하려면 다음 명령어를 실행합니다.

    run cts

    자동화된 CTS 테스트가 실행됩니다. 다음 내용을 참고하세요.

    • Android 13 이상에서는 멀티 디바이스 테스트를 지원합니다. 이러한 테스트는 샤딩이 사용될 때만 자동으로 실행됩니다. 샤딩에 관한 자세한 내용은 테스트 실행 시간 개선을 참고하세요. 이러한 테스트를 수동으로 실행하려면 멀티 디바이스 테스트 실행을 참고하시기 바랍니다.

    • CTS를 실행할 때마다 Ctrl+C를 눌러 기존 CTS 콘솔을 중지한 후 CTS 콘솔을 다시 실행합니다.

    • 단일 호스트에서 여러 CTS 버전을 실행할 수는 없습니다. 각 버전이 기존의 공개 위치 코드(OLC) 서버를 사용하여 열리기 때문입니다.

  4. 테스트 결과를 확인합니다. 자세한 내용은 CTS 결과 해석을 참고하세요.

  5. 테스트 실행이 이번이 처음이라면 제어할 수 없는 문제로 인해 실패하는 테스트가 있을 수 있습니다. 예를 들어 네트워크 연결이 느리거나 GPS 신호가 약할 수 있습니다. 모든 테스트 모듈이 완료되고 테스트 실패 수가 마지막 두 번의 재시도 세션에서 동일할 때까지 테스트를 다시 실행(재시도)합니다.

    run retry --retry session_number`

  6. 테스트 실패가 재시도에서 일관되면 나머지 실패한 테스트를 디버깅하는 데 집중합니다. 테스트 결과 문제 해결에 관한 자세한 내용은 테스트 실패 분류와 CTS 테스트 문제 해결을 참고하세요.

멀티스크린 기기용 CTS 실행

기기에서 Android 11 또는 12를 실행하고 기기의 화면이 여러 개라면 cts-foldable 테스트 계획을 별도로 실행해야 합니다.

run cts-foldable

대체 화면 모드의 통과하거나 실패한 테스트 사례는 display_mode의 값과 함께 추가됩니다. 예를 들면 testcase1[display_mode=0]과 같습니다.

멀티 디바이스 테스트 실행

cts-multidevice 테스트 계획을 실행하려면 다음 명령어를 실행합니다.

run cts-multidevice

개별 테스트 계획 실행

한 번에 모든 테스트 계획을 실행하는 대신 개별 테스트 계획을 실행할 수 있습니다. 개별 테스트 계획을 실행하려면 다음 단계를 따르세요.

  1. 실행하려는 테스트 계획의 이름을 식별하려면 list modules 명령어를 실행합니다.

  2. 다음과 같이 테스트 계획을 실행합니다.

    run cts --plan test_module_or_plan_name

테스트 실행 시간 개선

테스트 실행 시간을 개선하기 위해 여러 기기에서 테스트를 샤딩할 수 있습니다. 샤딩하려면 호스트에 2개 이상의 기기를 연결해야 하지만, 효율성을 위해 6개 이상의 기기를 연결하는 것이 좋습니다.

Android 11 이상에서 테스트를 샤딩하려면 다음을 실행하세요.

run cts --shard-count number_of_shards

또한 검증을 위해 테스트를 실행하기 전에 CTS run cts-dev 명령어를 사용하여 테스트 실행 시간을 개선할 수 있습니다. 이 명령어는 전제 조건, 기기 정보 수집, 모든 시스템 상태 검사기를 건너뜁니다. 또한 단일 ABI에서만 테스트를 실행합니다.