نتایج آزمایش CTS در پرونده قرار داده شده است:
CTS_ROOT/android-cts/results/start_time.zip
اگر خودتان CTS را ساختهاید، CTS_ROOT شبیه out/host/linux-x86/cts است اما بسته به پلتفرم متفاوت است. این نشان دهنده مسیری است که CTS رسمی از پیش ساخته شده دانلود شده از این سایت را در آن از حالت فشرده خارج کردهاید.
درون فایل زیپ، فایل test_result.xml حاوی نتایج واقعی است.
نمایش نتایج اندروید ۱۰ و بالاتر
یک فایل test_result.html در آرشیو زیپ وجود دارد، میتوانید مستقیماً آن را در هر مرورگر وب سازگار با HTML5 باز کنید.
نمایش نتایج پیش از اندروید ۱۰
برای مشاهده نتایج آزمون، فایل test_result.xml را در هر مرورگر وب سازگار با HTML5 باز کنید.
اگر این فایل هنگام استفاده از مرورگر کروم یک صفحه خالی نمایش میدهد، پیکربندی مرورگر خود را تغییر دهید تا پرچم خط فرمان --allow-file-access-from-files را فعال کنید.
نتایج آزمایش را بخوانید
جزئیات نتایج آزمایش بستگی به نسخه CTS مورد استفاده شما دارد:
- CTS نسخه ۱ برای اندروید ۶.۰ و قبل از آن
- CTS نسخه ۲ برای اندروید ۷.۰ و بالاتر
اطلاعات دستگاه
در CTS نسخه ۱ و قبل از آن، برای مشاهده جزئیات مربوط به دستگاه، میانافزار (ساخت، مدل، ساختار میانافزار، پلتفرم) و سختافزار دستگاه (وضوح صفحه نمایش، صفحه کلید، نوع صفحه نمایش) گزینه اطلاعات دستگاه (لینک بالای خلاصه تست) را انتخاب کنید. CTS نسخه ۲ اطلاعات دستگاه را نمایش نمیدهد.
خلاصه آزمون
بخش خلاصه تست، جزئیات طرح تست اجرا شده، مانند نام طرح CTS و زمان شروع و پایان اجرا را ارائه میدهد. همچنین خلاصهای کلی از تعداد تستهایی که با موفقیت انجام شدهاند، شکست خوردهاند، زمانشان تمام شده یا امکان اجرا ندارند، ارائه میدهد.
خلاصه تست نمونه اندروید 10 CTS
شکل 1: خلاصه تست نمونه CTS اندروید 10
خلاصه آزمون نمونه CTS نسخه ۲
شکل ۲: خلاصه تست نمونه CTS نسخه ۲
خلاصه آزمون نمونه CTS نسخه ۱
شکل ۳: خلاصه تست نمونه CTS نسخه ۱
گزارش آزمایش
بخش بعدی، گزارش تست CTS، خلاصهای از تستهای انجامشده به ازای هر بسته را ارائه میدهد.
پس از آن جزئیات آزمایشهای واقعی اجرا شده آمده است. این گزارش، بسته آزمایشی، مجموعه آزمایشی، مورد آزمایشی و آزمایشهای اجرا شده را فهرست میکند. این گزارش نتیجه اجرای آزمایش - قبولی، رد شدن، اتمام مهلت یا عدم اجرا - را نشان میدهد. در صورت شکست آزمایش، جزئیاتی برای کمک به تشخیص علت ارائه میشود.
علاوه بر این، ردپای پشته از شکست در فایل XML موجود است اما برای اطمینان از اختصار در گزارش گنجانده نشده است - مشاهده فایل XML با یک ویرایشگر متن باید جزئیات شکست آزمایش را ارائه دهد (به دنبال برچسب [Test] مربوط به آزمایش شکست خورده بگردید و در آن به دنبال برچسب [StackTrace] بگردید).
گزارش آزمایش نمونه CTS v2 را نمایش دهید
شکل ۴: گزارش آزمایش نمونه CTS v2
گزارش آزمایش نمونه CTS v1 را نمایش دهید
شکل ۵: گزارش آزمایش نمونه CTS v1
ماژولهای تست ناقص را در test_result.xml بررسی کنید.
برای تعیین تعداد ماژولهای ناقص در یک جلسه آزمون مشخص، دستور 'list results' را اجرا کنید. تعداد ماژولهای تکمیلشده و کل ماژولها برای هر جلسه قبلی فهرست شدهاند. برای تعیین اینکه کدام ماژولها کامل و کدامها ناقص هستند، فایل test_result.xml را باز کنید و مقدار ویژگی "done" را برای هر ماژول در گزارش نتیجه بخوانید. ماژولهایی که مقدار done = "false" دارند، به طور کامل اجرا نشدهاند.
شکست در آزمونهای تریاژ
از پیشنهادات زیر برای بررسی خطاهای تست استفاده کنید.
- اگر آزمایشی به دلیل پیششرطهای نادرست با شکست مواجه میشود، تأیید کنید که محیط CTS شما به درستی تنظیم شده است. این شامل محیط فیزیکی، تنظیمات دستگاه دسکتاپ و تنظیمات دستگاه اندروید میشود.
- اگر تستی بیش از حد ناپایدار به نظر میرسد، پایداری دستگاه، تنظیمات تست یا مشکلات محیطی را بررسی کنید.
- اگر هنوز موفق نشدید، آزمایش را به صورت جداگانه دوباره امتحان کنید.
- عوامل خارجی که باعث شکست آزمایش میشوند را بررسی کنید، مانند:
- تنظیمات محیطی. به عنوان مثال، یک تنظیمات نادرست دستگاه رومیزی ممکن است علت بروز خطاهای تست در تمام دستگاههای تحت تست (DUTs) (از جمله دستگاههای مرجع) باشد.
- وابستگیهای خارجی. به عنوان مثال، اگر آزمایشی در تمام دستگاهها در چندین سایت از یک نقطه زمانی خاص با شکست مواجه شود، ممکن است یک URL نامناسب مقصر باشد.
- اگر DUT وصله امنیتی را شامل نشود، انتظار میرود که تست امنیتی آن با شکست مواجه شود.
- تفاوتهای بین دستگاههای موفق و ناموفق را اعتبارسنجی و تحلیل کنید.
- assertion، log، bugreport و منبع CTS را تجزیه و تحلیل کنید. برای یک HostTest، assertion و log میتوانند بسیار کلی باشند، بنابراین بررسی و پیوست کردن logcat دستگاه نیز مفید است.
- برای کمک به کاهش خطاهای تست، یک وصله بهبود تست ارسال کنید.
ذخیره نتایج جزئی
Tradefed نتایج تست جزئی را در صورت عدم موفقیت فراخوانی تست ذخیره نمیکند.
وقتی Tradefed هیچ نتیجه آزمایشی ارائه نمیدهد، به این معنی است که یک مشکل جدی در طول اجرای آزمایش رخ داده است، بنابراین نتیجه آزمایش غیرقابل اعتماد میشود. نتیجه جزئی بیفایده تلقی میشود زیرا هنگام بررسی مشکل دستگاه، ارزشی ارائه نمیدهد.