Thử nghiệm có thể không thành công vì bất kỳ lý do gì và đôi khi chỉ cần chạy lại thử nghiệm là đủ để truyền lại (do độ không ổn định, chẳng hạn như từ các vấn đề trong cơ sở hạ tầng cơ bản). Bạn có thể định cấu hình Tradefed để tự động thực hiện thao tác thử lại.
Cốt lõi của tính năng tự động thử lại là tránh chạy lại tất cả chương trình kiểm thử; tính năng này chỉ chạy lại các chương trình kiểm thử không thành công, giúp tiết kiệm đáng kể thời gian thực thi.
Tradefeed cũng hỗ trợ chạy thử nghiệm nhiều lần để phát hiện độ không ổn định thông qua tính năng vòng lặp. Trong trường hợp này, tất cả các chương trình kiểm thử sẽ được chạy lại và chương trình kiểm thử sẽ không thành công nếu bất kỳ lần lặp nào không thành công.
Bật tính năng tự động thử lại
Thao tác thử lại tự động được kiểm soát thông qua đối tượng RetryDecision. Đối tượng này cung cấp hai tuỳ chọn để bật tính năng: max-testcase-run-count và retry-strategy.
max-testcase-run-count thúc đẩy số lần thử lại hoặc lặp lại sẽ
thử đã thực hiện. Phương thức này đặt giới hạn trên để tránh thử lại mãi mãi.
retry-strategy đưa ra quyết định về cách thử lại; hãy xem các phần sau để biết thêm thông tin chi tiết.
Tắt tính năng thử lại tự động
Sử dụng tuỳ chọn sau:
--retry-strategy NO_RETRY
Thử lại không thành công
Để thử lại các lần thất bại trong kiểm thử, hãy sử dụng các tuỳ chọn sau:
--retry-strategy RETRY_ANY_FAILURE --max-testcase-run-count X
Thao tác này sẽ thử lại lỗi cho đến khi vượt qua hoặc cho đến khi đạt số lần thử lại tối đa tham gia, tuỳ vào điều kiện nào đến trước.
Lặp lại
Để chạy lại kiểm thử trong một số lần, bạn có thể sử dụng các tuỳ chọn sau:
--retry-strategy ITERATIONS --max-testcase-run-count X
Kết quả sẽ có dạng như thế nào?
Theo mặc định, trình báo cáo kết quả sẽ nhận được kết quả tổng hợp của tất cả các lần thử.
Ví dụ: Fail và Pass cho RETRY_ANY_FAILURE sẽ dẫn đến một Pass tổng hợp vì lượt thử lại đã xoá được lỗi.
Người báo cáo có thể nhận được kết quả không tổng hợp. Để làm như vậy, các lớp này cần mở rộng giao diện ISupportGranularResults khai báo tính năng hỗ trợ cho kết quả chi tiết (không tổng hợp).
Thông tin chi tiết về hoạt động triển khai
Để bật tính năng tự động thử lại nhằm chạy lại lỗi ở cấp trường hợp kiểm thử, hãy triển khai ITestFilterReceiver.
Nếu không thể triển khai ITestFilterReceiver, bạn có thể triển khai IAutoRetriableTest để kiểm soát thủ công cách hoạt động chạy lại. InstalledInstrumentationsTest là một ví dụ về cách triển khai giao diện đó.