Một bài kiểm thử có thể không thành công vì bất kỳ lý do nào và đôi khi chỉ cần chạy lại bài kiểm thử là đủ để bài kiểm thử đó vượt qua (do tính không ổn định, chẳng hạn như do các vấn đề trong cơ sở hạ tầng cơ bản). Bạn có thể định cấu hình Tradefed để tự động thực hiện lại.
Cốt lõi của tính năng tự động thử lại là tránh chạy lại tất cả các kiểm thử; tính năng này chỉ chạy lại các kiểm thử không thành công, giúp tiết kiệm đáng kể thời gian thực thi.
Tradefed cũng hỗ trợ chạy thử nghiệm nhiều lần để phát hiện sự không ổn định thông qua tính năng iterations (lần lặp lại). Trong trường hợp này, tất cả các kiểm thử sẽ được chạy lại và kiểm thử sẽ không thành công nếu có bất kỳ lần lặp nào không thành công.
Bật tính năng tự động thử lại
Tính năng tự động thử lại được kiểm soát thông qua đối tượng RetryDecision. Đối tượng này cung cấp 2 lựa chọn để bật tính năng: max-testcase-run-count và retry-strategy.
max-testcase-run-count điều khiển số lần thử lại hoặc số lần lặp lại sẽ được thực hiện. Thao tác này đặt giới hạn trên để tránh việc thử lại mãi mãi.
retry-strategy quyết định cách thử lại; hãy xem các phần sau để biết thêm thông tin chi tiết.
Tắt tính năng tự động thử lại
Hãy sử dụng lựa chọn sau:
--retry-strategy NO_RETRY
Thử lại khi gặp lỗi
Để thử lại các lần kiểm thử thất bại, hãy sử dụng các lựa chọn sau:
--retry-strategy RETRY_ANY_FAILURE --max-testcase-run-count X
Thao tác này sẽ thử lại cho đến khi thành công hoặc cho đến khi đạt đến số lần thử lại tối đa, tuỳ theo điều kiện nào đáp ứng trước.
Số lần lặp lại
Để chạy lại các kiểm thử nhiều lần, bạn có thể sử dụng các lựa chọn sau:
--retry-strategy ITERATIONS --max-testcase-run-count X
Kết quả trông như thế nào?
Theo mặc định, người báo cáo kết quả sẽ nhận được kết quả tổng hợp của tất cả các lần thử.
Ví dụ: Fail và Pass cho RETRY_ANY_FAILURE sẽ dẫn đến Pass tổng hợp vì quá trình thử lại đã xoá được lỗi.
Người báo cáo có thể nhận được kết quả không tổng hợp. Để làm như vậy, họ cần mở rộng giao diện ISupportGranularResults khai báo việc hỗ trợ các kết quả chi tiết (không tổng hợp).
Thông tin chi tiết về việc triển khai
Để bật tính năng tự động thử lại nhằm chạy lại các lỗi ở cấp độ trường hợp kiểm thử, hãy triển khai ITestFilterReceiver.
Nếu không triển khai được ITestFilterReceiver, bạn có thể triển khai IAutoRetriableTest để kiểm soát thủ công cách hoạt động của quy trình chạy lại. InstalledInstrumentationsTest là một ví dụ về cách triển khai giao diện đó.