Bu sayfada, Tradefed'de test yazarken metriklerin test sonuçlarıyla birlikte nasıl raporlanacağı açıklanmaktadır.
Tradefed ardışık düzeni üzerinden günlük kaydetmenin avantajı, işlevsel sonuçlarınızın yanı sıra metriklerinizi de bulabilmenizdir. Metriklerin günlüğe kaydedilmesi testler içinde çok doğal bir şekilde yapılabilir. Bu da test yazarlarının daha fazla enstrümantasyon eklemesini kolaylaştırır.
DeviceTestCase - JUnit3 stili
Testiniz JUnit3 tarzında bir testte DeviceTestCase'yi genişletiyorsa bir metriği bildirmek için herhangi bir testin içinden addTestMetric(String key, String value) yöntemini çağırabilirsiniz. Anahtar benzersiz olduğu sürece bu işlev birden çok kez çağrılabilir.
Örnek:
public static class TestMetricTestCase extends DeviceTestCase {
public void testPass() {
addTestMetric("key1", "metric1");
}
public void testPass2() {
addTestMetric("key2", "metric2");
}
}
result_reporters'te kullanılacak bir dosyayı günlük kaydına almak istiyorsanız günlük kaydına alınacak dosyayı bildirmek için herhangi bir testin içinden addTestLog(String dataName, LogDataType dataType, InputStreamSource dataStream) yöntemini çağırabilirsiniz.
Örnek:
public static class TestLogTestCase extends DeviceTestCase {
public void testPass() {
try (InputStreamSource source = getDevice().getScreenshot()) {
addTestLog("screenshot", LogDataType.PNG, source);
}
}
}
TestCase - normal JUnit3 testi
Tradefed'deki metrikleri normal bir JUnit3 TestCase sınıfından bildirmek istiyorsanız bunun yerine MetricTestCase sınıfına dönüştürülmesi gerekir. Bu sınıf, ek bir yöntem içeren aynı sınıftır: addTestMetric(String key, String value)
DeviceJUnit4ClassRunner - JUnit4 stili
JUnit4 stilindeki testiniz DeviceJUnit4ClassRunner ile çalışıyorsa Tradefed tarafından raporlanacak metrikleri bir test durumunda (@Test içinde) da günlüğe kaydedebilirsiniz. Metriklerinizi bildirmek için TestMetrics kurallarını kullanmanız gerekir.
Örnek:
@RunWith(DeviceJUnit4ClassRunner.class)
public static class Junit4TestClass {
@Rule
public TestMetrics metrics = new TestMetrics();
@Test
public void testPass5() {
// test log through the rule.
metrics.addTestMetric("key", "value");
}
@Test
public void testPass6() {
metrics.addTestMetric("key2", "value2");
}
}
Dosyaları bildirmek için TestLogData kuralını kullanırsınız.
Örnek:
@RunWith(DeviceJUnit4ClassRunner.class)
public static class Junit4TestClass {
@Rule
public TestLogData logs = new TestLogData();
@Test
public void testPass5() {
// test log through the rule.
try (InputStreamSource source = getDevice().getScreenshot()) {
logs.addTestLog("screenshot", LogDataType.PNG, source);
}
}
}
IRemoteTest - pure Tradefed Test
Kendi Tradefed Test sınıfınızı veya çalıştırıcınızı yazıyorsanız IRemoteTest sınıfını uygular ve run() yöntemi aracılığıyla bir ITestInvocationListener alırsınız. Bu dinleyici, metrikleri aşağıdaki gibi günlük kaydetmek için kullanılabilir:
listener.testLog(String dataName, LogDataType type of data, InputStreamSource data);
Tradefed metrik toplayıcıları
Tradefed, testlerle paralel olarak metrikler toplamak için özel bir metrics_collector nesnesi sağlar.
Ev sahibi tarafında
BaseDeviceMetricCollector, ana makine tarafındaki tüm metrikleri toplamak ve test çağrısının bir parçası olarak bildirmek için uygulanabilir. Çeşitli kullanım alanları için halihazırda birçok genel toplayıcı mevcuttur ancak yeni katkıları her zaman memnuniyetle karşılarız.
Tradefed çağrınızda kullanılacak toplayıcıyı belirtmek için nesneyi Tradefed XML yapılandırmanıza eklemeniz yeterlidir:
Örnek:
<metrics_collector class="com.android.tradefed.device.metric.AtraceCollector">
<option name="categories" value="freq"/>
</metrics_collector>
Şu anda mevcut olan bazı toplayıcılar: * Test çalışması sırasında sıcaklığı düzenli olarak toplayan TemperatureCollector. * Her test senaryosu için "atrace" kullanarak veri toplayan AtraceCollector.
Cihaz tarafında
Cihaz tarafında testler (Enstrümasyonlar, UIAutomator testleri vb.) çalıştırırken ana tarafta eşzamansız olarak veri toplayan bir toplayıcı kullanmak ideal olmayabilir. Örneğin, eşzamanlı olmayan bir şekilde alınan ekran görüntüsü büyük olasılıkla istenen ekranı yakalamaz ve işe yaramaz.
Bu kullanım alanlarını karşılamak için toplayıcılarımızın cihaz tarafında bir sürümü mevcuttur ve herhangi bir "AndroidJUnitRunner" enstrümasyonunda kullanılabilir. BaseMetricListener, toplanan metrikleri Tradefed raporlama ardışık düzeniyle tamamen uyumlu bir şekilde otomatik olarak raporlamak için uygulanabilir.
Tradefed'den "AndroidJUnitTest" çalıştırıcısını kullanıyorsanız toplayıcınızı testlerinizle birlikte çalıştırmak için aşağıdaki komut satırı seçeneğini belirtmeniz yeterlidir:
--device-listeners android.device.collectors.ScreenshotListener
DİKKAT: Toplayıcı sınıflarının çalışma zamanında çözülmesi için enstrümantasyon APK'nızın büyük olasılıkla makefile'inize aşağıdakileri ekleyerek bunları statik olarak dahil etmesi gerekir:
LOCAL_STATIC_JAVA_LIBRARIES += collector-device-lib
Cihaz tarafında toplayıcılara da katkıda bulunabilirsiniz.
Süitler için özel hususlar
CTS gibi, bazı modül yapılandırmalarını çalıştıran üst düzey bir yapılandırmaya sahip paketlerde her modül yapılandırmasında metrics_collector belirtmenize gerek yoktur (AndroidTest.xml). Bu aslında yasaktır.
Metrik toplama işleminin her modüle eşit şekilde uygulanmasını sağlamak için yalnızca üst düzey yapılandırma (örneğin, cts.xml) yukarıda açıklandığı gibi metrics_collector değerini belirtebilir. Bu toplayıcılar, paketin her modülüne uygulanır ve çalıştırılır.
Bir modülden cihaz günlük dosyalarını toplama
Cihaz tarafında yapılan bir testin bazı dosyaların toplanmasını bildirmesi için bir kurulum mevcuttur.
AndroidTest.xml, cihazda dosyaları arayacak ve alacak bir toplayıcı belirtebilir.
<metrics_collector class="com.android.tradefed.device.metric.FilePullerLogCollector">
<!-- repeatable: Pattern of key of a FILE we listen on that should be pulled -->
<option name = "pull-pattern-keys" value = "ScreenshotListener_.*" />
<!-- repeatable: The key of the DIRECTORY to pull -->
<option name = "directory-keys" value = "<example-key: /sdcard/atrace_logs>" />
</metrics_collector>
Bu kalıpları ve anahtarı belirterek toplayıcı, anahtarı görürse ilişkili dosyayı alıp günlüğe kaydetmeyi dener.
Bu anahtarların oluşturulabilmesi için cihaz tarafında bir test (enstrümantasyon) tarafından günlük kaydının tutulacağı dosya belirtilmelidir. Bu işlem, ana makine tarafıyla (yukarıda açıklanmıştır) benzer şekilde yapılır.
- make dosyalarında test APK'nıza
collector-device-libekleyin:
LOCAL_STATIC_JAVA_LIBRARIES += collector-device-lib
- Dosyaları günlüğe kaydetmek için sağladığımız @rule kuralını kullanın:
@RunWith(AndroidJUnit4.class)
public static class Junit4TestClass {
@Rule
public TestLogData logs = new TestLogData();
@Test
public void testPass5() {
// test log through the rule.
File logFile = new File("whatever");
logs.addTestLog("KEY", logFile);
}
}
Yukarıdaki örnekte KEY adı, dosyanın bildirileceği addır. Bu, otomatik olarak çekilmesi için FilePullerDeviceMetricCollector içinde eşleştirmeniz gereken addır. Benzersiz bir ad olmalıdır.
NOT: Dosya çekildikten sonra FilePullerDeviceMetricCollector, dosyayı cihazdan otomatik olarak temizler.
Metrikleri nerede bulabilirim?
Bu, XML yapılandırmanızda belirtilen result_reporter değerine bağlıdır.