Использование CTS Verifier

Средство проверки совместимости Android (CTS Verifier) ​​дополняет набор тестов совместимости (CTS). В то время как CTS проверяет API и функции, которые можно автоматизировать, CTS Verifier предоставляет тесты для API и функций, которые нельзя протестировать на стационарном устройстве без ручного ввода, например качество звука, сенсорный экран, акселерометр и камеру.

Требования

Перед запуском CTS Verifier убедитесь, что у вас есть следующее оборудование:

  • Устройство Android, которое проверило совместимость с Android API, успешно пройдя CTS. Это тестируемое устройство (DUT).
  • Компьютер Linux с портом, совместимым с USB 2.0. Все подключения к DUT проходят через этот порт.
  • Второе устройство Android с известной совместимой реализацией Bluetooth, Wi-Fi Direct и эмуляции хост-карты NFC (HCE).
  • Маршрутизатор Wi-Fi, настроенный с именем точки доступа и паролем. Маршрутизатор должен иметь возможность отключаться от Интернета, но не отключаться.

Требования UICC для тестов NFC

CTS Verifier имеет следующие тестовые примеры NFC:

  • Field-off (использует данные транзакции из 0x54)
  • Отменить выбор (использует данные транзакции из 0x52)
  • Команда HCI (0025000000) (использует данные транзакции из 0x02)

Для тестирования событий транзакции требуются два устройства, одно из которых должно иметь SecureElement UICC со следующими правилами доступа:

  • CtsVerifier APK-хеш: 61: ED: 37: 7E: 85: D3: 86: A8: DF: EE: 6B: 86: 4B: D8: 5B: 0B: FA: A5: AF: 81
  • Идентификатор авторизованного приложения (AID) для доступа к событию NFC: 0xA000000476416E64726F696443545341

На стороне эмулятора мы ожидаем, что событие транзакции вытолкнет соответствующее действие на передний план.

Настройка

Измените режим системной навигации тестового устройства на трехкнопочный следующим образом:

  1. Открыть настройки.
  2. Перейдите к Системе> Жест> Системы навигации.
  3. Выберите любой кнопочный режим навигации, предпочтительно трехкнопочный режим, если он доступен.

Чтобы настроить среду тестирования CTS Verifier:

  1. На компьютере Linux:

    • Выполните следующую команду перед установкой CTS Verifier, чтобы разрешить доступ к интерфейсам, не относящимся к SDK.

      adb shell settings put global hidden_api_policy 1
      
    • Установите Android Studio .

    • Скачать CTS Verifier APK для версии Android для тестирования.

  2. Подключите DUT к компьютеру с Linux.

  3. Из терминала на компьютере Linux, установите CtsVerifier.apk на ИУ.

    adb install -r -g CtsVerifier.apk
    
  4. Для Android 10 и более поздних версий выполните следующую команду, чтобы предоставить приложению разрешение на создание отчета.

    adb shell appops set com.android.cts.verifier android:read_device_identifiers allow
    
  5. Для Android 11 и более поздних версий выполните следующую команду, чтобы разрешить сохранение отчетов в самоопределяемом каталоге во внешнем каталоге верхнего уровня устройства.

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0
    
  6. Убедитесь, что на тестируемом устройстве правильно установлены системные данные и время.

Бег

Запустите приложение CTS Verifier, коснувшись значка CTS Verifier на DUT.

Значок CTS Verifier на панели запуска

Значок Рисунок 1. CTS Verifier

Приложение отображает несколько наборов тестов, доступных для ручной проверки.

CTS Verifier меню тестов

Меню Рисунок 2. CTS Verifier испытаний

Каждый тест содержит набор общих элементов (информация, пройден, не пройден) внизу экрана.

Верификатор качества потокового видео

Элементы Рисунок 3. Тест

  • Info (?). Коснитесь, чтобы отобразить инструкции по тестированию. Также появляется автоматически при первом открытии теста.
  • Проход (✓). Коснитесь, если ИУ соответствует требованиям к испытаниям в соответствии с информационными инструкциями.
  • Сбой (!). Коснитесь, если DUT не соответствует требованиям к испытаниям в соответствии с информационными инструкциями.

Некоторые тесты, такие как режим USB-аксессуаров и тест калибровки камеры, требуют дополнительной настройки теста и инструкций, подробно описанных в следующих разделах.

Тестирование режима аксессуаров USB для 8.0 и выше

Тест аксессуаров USB CTS Verifier

Рисунок 4. USB - тест аксессуар prcedure для 8.0 и выше

Тест USB-аксессуаров CTS Verifier

Рисунок 5. Тестирование режима USB - аксессуар для 8,0 и выше

Тестирование режима аксессуаров USB для 7.x и ниже

Тест USB-аксессуаров требует, чтобы на компьютере с Linux была запущена программа USB-настольного компьютера (хоста).

  1. Подключите DUT к компьютеру с Linux.
  2. На компьютере, выполните cts-usb-accessory программу из пакета CTS Verifier:

    ./cts-usb-accessory
  3. Подождите , всплывающее сообщение появится на ИУ, а затем выберите OK.
    Тест аксессуаров USB CTS Verifier

    Рисунок тест аксессуар 6. USB

  4. Перейдите к тесту USB-аксессуаров в приложении CTS Verifier на DUT.

  5. На компьютере просмотрите вывод консоли. Пример вывода:

    CTS USB Accessory Tester
    Found possible Android device (413c:2106) - attempting to switch to accessory
    mode...
    Failed to read protocol versionfigure3
    Found Android device in accessory mode (18d1:2d01)...
    [RECV] Message from Android device #0
    [SENT] Message from Android accessory #0
    [RECV] Message from Android device #1
    [SENT] Message from Android accessory #1
    [RECV] Message from Android device #2
    [SENT] Message from Android accessory #2
    [RECV] Message from Android device #3
    [SENT] Message from Android accessory #3
    [RECV] Message from Android device #4
    [SENT] Message from Android accessory #4
    [RECV] Message from Android device #5
    [SENT] Message from Android accessory #5
    [RECV] Message from Android device #6
    [SENT] Message from Android accessory #6
    [RECV] Message from Android device #7
    [SENT] Message from Android accessory #7
    [RECV] Message from Android device #8
    [SENT] Message from Android accessory #8
    [RECV] Message from Android device #9
    [SENT] Message from Android accessory #9
    [RECV] Message from Android device #10
    [SENT] Message from Android accessory #10
    

Калибровка поля зрения камеры

Используйте процедуру калибровки поля зрения, чтобы быстро определить поле зрения устройства с умеренной точностью.

  1. Настройте тестовую среду:

    1. Печать калибровочный-pattern.pdf целевого файла на бумаге размером 11” х 17” A3.
    2. Закрепите распечатанный рисунок на жесткой основе.
    3. Сориентируйте камеру и распечатанную мишень, как показано ниже.
      Мишень, напечатанная камерой

      Рисунок 7. Камера печататься цель

  2. Установите целевую ширину:

    1. Измерьте расстояние (в сантиметрах) между сплошными линиями на целевом шаблоне, чтобы учесть неточности печати (~ 38 см).
    2. Запустите приложение калибровки.
    3. Нажмите кнопку настройки и выберите Marker расстояние.
    4. Измерьте и введите расстояние до целевого шаблона (~ 100 см).
    5. Нажмите кнопку «Назад», чтобы вернуться к предварительному просмотру калибровки.
  3. Убедитесь, что устройство и цель размещены, как показано на рисунке, и правильные расстояния введены в диалоговом окне настройки. Предварительный просмотр отображает изображение с наложенной на него вертикальной линией; эта линия должна совпадать с центральной линией целевого шаблона. Прозрачную сетку можно использовать с другими вертикальными линиями, чтобы обеспечить ортогональность оптической оси цели.

  4. Запустите калибровочный тест:

    1. Выберите разрешение изображения (используя селектор в левом нижнем углу), затем коснитесь экрана, чтобы сделать снимок. Тест переходит в режим калибровки и отображает фотографию с двумя вертикальными линиями, наложенными на изображение.
    2. Определите точность:
      • Если линии совпадают с вертикальными линиями на целевом шаблоне в пределах нескольких сантиметров, указанное поле обзора для выбранного разрешения является точным.
      • Если линии не выровнены, указанное поле зрения неточно. Чтобы исправить это, переместите ползунок в нижней части экрана так, чтобы наложение как можно точнее совпадало с целевым шаблоном. Когда наложение и изображение целевого шаблона выровнены, отображаемое поле зрения является близким приближением к правильному значению. Сообщаемое поле обзора должно находиться в пределах +/- 1 градуса от калибровочного значения.
    3. Нажмите кнопку «Назад» и повторите калибровочный тест для всех разрешений изображения, поддерживаемых тестируемым устройством.

Запуск CTS Verifier для альтернативных режимов

Начиная с выпусков CTS 10 R6 и CTS 11 R2, CTS Verifier поддерживает тесты, необходимые для устройств с альтернативными режимами или для устройств с более чем одним режимом экрана.

В верхней части основного списка в CTS Verifier отображается кнопка, позволяющая пользователям переключаться между развернутым и свернутым режимами отображения. CTS Verifier покажет необходимые тесты для выбранного режима отображения. Чтобы выполнить альтернативные режимы в CTS Verifier, необходимо переключить кнопку в соответствующий режим отображения и запустить показанный список тестов.

Тумблер CTS-V

Результаты свернутых тестов будут записаны в том же отчете, что и развернутые тесты. Чтобы идентифицировать каждый результат теста, из которого взят набор тестов, к имени каждого теста в свернутом режиме добавляется суффикс.

<Test result="fail" name="com.android.cts.verifier.deskclock.DeskClockTestsActivity[folded]">
  <RunHistory subtest="CREATE_ALARM[folded]">
    <Run start="1594176663973" end="1594176665841" isAutomated="false" />
  </RunHistory>
</Test>

Экспорт результатов

После завершения всех тестов вы можете сохранить результаты в виде отчета и загрузить их на компьютер. Имена отчетов автоматически получают метку времени на основе системного времени DUT.

  1. Нажмите на иконку Сохранить (диск).
    Значок сохранения CTS Verifier

    Рисунок 8. CTS Verifier Сохранить значок

  2. Подождите , всплывающее сообщение , чтобы отобразить путь к сохраненному отчета (например, /sdcard/verifierReports/ctsVerifierReport-date-time.zip ), а затем записать путь.
    CTS Verifier путь к сохраненному отчету

    Рисунок 9. CTS Verifier путь к сохраненному отчету

  3. Подключите DUT к компьютеру с Linux.

  4. Из установки Android SDK на компьютере Linux, загрузить отчеты с подключенного устройства с помощью adb shell content read или adb pull CTSVerifierReportPath .

    • Для Android 7.x и выше загрузите все отчеты, используя:

      adb pull /sdcard/verifierReports
      
    • Для Android 6.0 и ниже загрузите все отчеты, используя:

      adb pull /mnt/sdcard/ctsVerifierReports/
      
    • Для Android 10 и выше, реализующий Automotive и устройства , работающие в качестве вторичного пользователя , загрузите последнюю версию отчета с помощью:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/latest > report.zip
      

      Чтобы просмотреть все отчеты, доступные на подключенном устройстве:

      adb shell content query --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports
      

      Чтобы загрузить отчет из списка, вы можете указать идентификатор строки или имя файла. Например:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/0 > report.zip
      
      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/ctsVerifierReport-date-time.zip >
      report.zip
      
  5. Для очистки годен / негоден, выберите результаты в CTS Verifier приложение и выберите Меню> Удалить.