Melaporkan metrik atau data dari pengujian Tradefed

Halaman ini menjelaskan cara melaporkan metrik beserta hasil pengujian saat menulis pengujian di Tradefed.

Manfaat logging melalui pipeline Tradefed adalah untuk menemukan metrik Anda bersama dengan hasil fungsional Anda. Pembuatan log metrik dapat dilakukan dengan sangat alami dalam pengujian, sehingga memudahkan penulis pengujian untuk menambahkan lebih banyak instrumentasi.

DeviceTestCase - Gaya JUnit3

Jika pengujian Anda memperluas DeviceTestCase dalam jenis pengujian bergaya JUnit3, Anda dapat memanggil metode addTestMetric(String key, String value) dari dalam kasus pengujian apa pun untuk melaporkan metrik. Ini dapat dipanggil beberapa kali selama kuncinya unik.

Contoh:

    public static class TestMetricTestCase extends DeviceTestCase {

        public void testPass() {
            addTestMetric("key1", "metric1");
        }

        public void testPass2() {
            addTestMetric("key2", "metric2");
        }
    }

Jika ingin mencatat file agar tersedia di result_reporters, Anda dapat panggil metode addTestLog(String dataName, LogDataType dataType, InputStreamSource dataStream) dari dalam kasus pengujian apa pun untuk melaporkan file ke log.

Contoh:

    public static class TestLogTestCase extends DeviceTestCase {

        public void testPass() {
            try (InputStreamSource source = getDevice().getScreenshot()) {
                addTestLog("screenshot", LogDataType.PNG, source);
            }
        }
    }

TestCase - pengujian JUnit3 reguler

Jika Anda ingin melaporkan metrik di dalam Tradefed dari TestCase JUnit3 biasa , class tersebut harus dikonversi menjadi MetricTestCase sebagai gantinya, class yang sama persis dengan metode tambahan: addTestMetric(String key, String value)

DeviceJUnit4ClassRunner - Gaya JUnit4

Jika pengujian gaya JUnit4 Anda berjalan dengan DeviceJUnit4ClassRunner, Anda juga dapat mencatat metrik dalam kasus pengujian (di dalam @Test) untuk dilaporkan oleh Tradefed. Anda harus menggunakan aturan TestMetrics untuk melaporkan metrik.

Contoh:

    @RunWith(DeviceJUnit4ClassRunner.class)
    public static class Junit4TestClass {

        @Rule
        public TestMetrics metrics = new TestMetrics();

        @Test
        public void testPass5() {
            // test log through the rule.
            metrics.addTestMetric("key", "value");
        }

        @Test
        public void testPass6() {
            metrics.addTestMetric("key2", "value2");
        }
    }

Untuk melaporkan file, Anda harus menggunakan aturan TestLogData untuk melaporkannya.

Contoh:

    @RunWith(DeviceJUnit4ClassRunner.class)
    public static class Junit4TestClass {

        @Rule
        public TestLogData logs = new TestLogData();

        @Test
        public void testPass5() {
            // test log through the rule.
            try (InputStreamSource source = getDevice().getScreenshot()) {
                logs.addTestLog("screenshot", LogDataType.PNG, source);
            }
        }
    }

IRemoteTest - Uji Tradefed murni

Jika menulis class atau runner Pengujian Tradefed Anda sendiri, Anda akan menerapkan IRemoteTest dan mendapatkan ITestInvocationListener melalui metode run(). Pemroses ini dapat digunakan untuk mencatat metrik sebagai berikut:

    listener.testLog(String dataName, LogDataType type of data, InputStreamSource data);

Kolektor metrik yang diperdagangkan

Tradefed menyediakan objek metrics_collector khusus untuk mengumpulkan metrik dalam paralel dari pengujian.

Di sisi host

BaseDeviceMetricCollector dapat diterapkan untuk mengumpulkan metrik apa pun dari sisi host dan melaporkannya sebagai bagian dari pemanggilan pengujian. Sejumlah kolektor umum sudah tersedia untuk berbagai kasus penggunaan, tetapi kami selalu menyambut kontribusi baru.

Untuk menentukan kolektor yang akan digunakan dalam pemanggilan Tradefed, Anda hanya perlu menambahkan objek ke konfigurasi XML Tradefed Anda:

Contoh:

  <metrics_collector class="com.android.tradefed.device.metric.AtraceCollector">
      <option name="categories" value="freq"/>
  </metrics_collector>

Beberapa kolektor yang sudah ada saat ini: * Pengumpul Suhu yang mengumpulkan suhu secara berkala selama pengujian. * AtraceCollector yang mengumpulkan menggunakan 'atrace' untuk setiap kasus pengujian.

Di sisi perangkat

Saat menjalankan pengujian sisi perangkat (Instrumentasi, pengujian UIAutomator, dll.), memiliki kolektor di sisi host yang mengumpulkan secara asinkron mungkin tidak ideal. Misalnya, screenshot yang diambil secara asinkron kemungkinan besar akan melewatkan menginginkan layar dan tidak berguna.

Untuk memenuhi kasus penggunaan ini, versi pengumpulan kami di sisi perangkat ada dan dapat digunakan dalam instrumentasi 'AndroidJUnitRunner' apa pun. BaseMetricListener dapat diterapkan untuk otomatis melaporkan metrik yang dikumpulkan dengan cara yang sepenuhnya kompatibel dengan pipeline pelaporan Tradefed.

Jika menggunakan runner 'AndroidJUnitTest' dari Tradefed, Anda cukup menentukan opsi command line berikut agar kolektor berjalan dengan pengujian:

  --device-listeners android.device.collectors.ScreenshotListener

PERHATIAN: Agar class kolektor dapat diselesaikan saat runtime, APK instrumentasi kemungkinan besar harus menyertakannya secara statis dengan menambahkan pada makefile Anda seperti berikut:

  LOCAL_STATIC_JAVA_LIBRARIES += collector-device-lib

Kontribusi untuk kolektor sisi perangkat juga diterima.

Pertimbangan khusus untuk suite

Untuk suite seperti CTS yang memiliki konfigurasi tingkat atas yang menjalankan beberapa modul tidak perlu menentukan metrics_collector di setiap modul konfigurasi (AndroidTest.xml). Hal ini sebenarnya dilarang.

Untuk memastikan pengumpulan metrik diterapkan secara merata ke setiap modul, hanya konfigurasi tingkat teratas (misalnya, cts.xml) yang dapat menentukan metrics_collector seperti yang dijelaskan di atas. Kolektor ini akan diterapkan dan dijalankan terhadap setiap modul suite.

Mengumpulkan file log perangkat dari modul

Penyiapan tersedia agar pengujian sisi perangkat memberi tahu bahwa beberapa file harus dikumpulkan.

AndroidTest.xml dapat menentukan kolektor yang akan mencari file di perangkat dan menariknya.

  <metrics_collector class="com.android.tradefed.device.metric.FilePullerLogCollector">
      <!-- repeatable: Pattern of key of a FILE we listen on that should be pulled -->
      <option name = "pull-pattern-keys" value = "ScreenshotListener_.*" />

      <!-- repeatable: The key of the DIRECTORY to pull -->
      <option name = "directory-keys" value = "<example-key: /sdcard/atrace_logs>" />
  </metrics_collector>

Dengan menentukan pola dan kunci ini, kolektor akan mencoba menarik dan mencatat file terkait jika melihat kunci tersebut.

Agar kunci ini dapat dibuat, pengujian sisi perangkat (instrumentasi) harus menentukan file yang harus dicatat ke dalam log. Hal ini dilakukan dengan cara yang serupa seperti sisi host (dijelaskan di atas).

  1. Tambahkan collector-device-lib ke APK pengujian Anda di file make:
  LOCAL_STATIC_JAVA_LIBRARIES += collector-device-lib
  1. Gunakan @rule yang kami berikan untuk membuat log file:
    @RunWith(AndroidJUnit4.class)
    public static class Junit4TestClass {

        @Rule
        public TestLogData logs = new TestLogData();

        @Test
        public void testPass5() {
            // test log through the rule.
            File logFile = new File("whatever");
            logs.addTestLog("KEY", logFile);
        }
    }

Nama KEY dalam contoh di atas adalah nama yang akan digunakan untuk file dilaporkan. Ini adalah nama yang harus Anda cocokkan di FilePullerDeviceMetricCollector untuk otomatis ditarik. seharusnya nama yang unik.

CATATAN: Setelah file diambil, FilePullerDeviceMetricCollector akan otomatis menghapusnya dari perangkat.

Di mana saya dapat menemukan metrik tersebut?

Hal ini bergantung pada result_reporter yang ditentukan dalam konfigurasi XML Anda.