نتایج آزمون CTS در فایل قرار داده شده است:
CTS_ROOT/android-cts/results/start_time.zip
اگر CTS را خودتان ساخته اید، CTS_ROOT شبیه out/host/linux-x86/cts است اما بر اساس پلتفرم متفاوت است. این نشان دهنده مسیری است که در آن CTS رسمی از پیش ساخته شده دانلود شده از این سایت را از حالت فشرده خارج کرده اید.
در داخل فایل فشرده، فایل test_result.xml حاوی نتایج واقعی است.
نمایش نتایج اندروید 10 به بعد
یک فایل test_result.html در بایگانی zip وجود دارد، می‌توانید مستقیماً آن را در هر مرورگر وب سازگار با HTML5 باز کنید.
نمایش نتایج Pre-Android 10
برای مشاهده نتایج آزمون، فایل test_result.xml را در هر مرورگر وب سازگار با HTML5 باز کنید
اگر هنگام استفاده از مرورگر کروم، این فایل صفحه خالی را نشان می دهد، پیکربندی مرورگر خود را تغییر دهید تا پرچم خط فرمان --allow-file-access-from-files فعال شود.
نتایج آزمون را بخوانید
جزئیات نتایج آزمایش به این بستگی دارد که از کدام نسخه CTS استفاده می کنید:
- CTS نسخه 1 برای اندروید 6.0 و بالاتر
- CTS v2 برای اندروید 7.0 و بالاتر
اطلاعات دستگاه
در CTS نسخه 1 و نسخه های قبلی، اطلاعات دستگاه (پیوند در بالا خلاصه آزمایش) را انتخاب کنید تا جزئیات مربوط به دستگاه، سیستم عامل (ساخت، مدل، ساخت سیستم عامل، پلت فرم) و سخت افزار دستگاه (رزولوشن صفحه، صفحه کلید، نوع صفحه) را مشاهده کنید. CTS v2 اطلاعات دستگاه را نمایش نمی دهد.
خلاصه آزمون
بخش خلاصه آزمون جزئیات طرح آزمون اجرا شده، مانند نام طرح CTS و زمان شروع و پایان اجرا را ارائه می دهد. همچنین خلاصه‌ای از تعداد تست‌هایی را ارائه می‌کند که با موفقیت، شکست خورده، به پایان رسیده یا اجرا نشدند.
خلاصه تست نمونه CTS اندروید 10
شکل 1: خلاصه آزمایش نمونه CTS اندروید 10
خلاصه آزمایش نمونه CTS v2
شکل 2: خلاصه آزمایش نمونه CTS v2
خلاصه آزمایش نمونه CTS v1
شکل 3: خلاصه آزمایش نمونه CTS v1
گزارش تست
بخش بعدی، گزارش آزمون CTS، خلاصه ای از تست های گذرانده شده در هر بسته را ارائه می دهد.
به دنبال آن جزئیات آزمایش های واقعی انجام شده است. این گزارش بسته آزمایشی، مجموعه آزمایشی، مورد آزمایشی و آزمایش‌های اجرا شده را فهرست می‌کند. نتیجه اجرای آزمایش را نشان می‌دهد - قبولی، شکست، زمان‌بندی یا اجرا نشدن. در صورت شکست تست، جزئیات برای کمک به تشخیص علت ارائه شده است.
علاوه بر این، ردپای پشته ای از شکست در فایل XML موجود است اما برای اطمینان از اختصار در گزارش گنجانده نشده است - مشاهده فایل XML با یک ویرایشگر متن باید جزئیات شکست تست را ارائه دهد (جستجوی برچسب [Test] مربوط به تست ناموفق و در آن به دنبال برچسب [StackTrace] بگردید).
نمایش نمونه گزارش تست CTS v2
شکل 4: نمونه گزارش تست CTS v2
نمایش نمونه گزارش تست CTS v1
شکل 5: نمونه گزارش تست CTS v1
test_result.xml را برای ماژول های تست ناقص بررسی کنید
برای تعیین تعداد ماژول های ناقص در یک جلسه آزمون داده شده، دستور 'list results' را اجرا کنید. تعداد ماژول های تکمیل شده و مجموع ماژول ها برای هر جلسه قبلی ذکر شده است. برای تعیین اینکه کدام ماژول کامل در مقابل ناقص است، فایل test_result.xml را باز کنید و مقدار مشخصه "done" را برای هر ماژول در گزارش نتیجه بخوانید. ماژول‌های با مقدار done = "false" هنوز تکمیل نشده‌اند.
شکست تست تریاژ
از پیشنهادات زیر برای شکست تست تریاژ استفاده کنید.
- اگر آزمایشی به دلیل پیش‌شرط‌های نادرست با شکست مواجه شد، بررسی کنید که محیط CTS شما به درستی تنظیم شده است. این شامل محیط فیزیکی، راه‌اندازی دستگاه دسکتاپ و راه‌اندازی دستگاه Android است.
- اگر آزمایشی بیش از حد پوسته پوسته به نظر می‌رسد، پایداری دستگاه، راه‌اندازی آزمایش یا مشکلات محیطی را تأیید کنید.
- اگر باز هم شکست خوردید، آزمایش را به صورت مجزا امتحان کنید.
- عوامل خارجی که باعث شکست تست می شوند را بررسی کنید، مانند:
- راه اندازی محیطی به عنوان مثال، پیکربندی نادرست دستگاه دسکتاپ ممکن است علت شکست تست در همه دستگاه‌های تحت آزمایش (DUT) (از جمله دستگاه‌های مرجع) باشد.
- وابستگی های خارجی به عنوان مثال، اگر یک آزمایش در همه دستگاه‌ها در چندین سایت که در یک نقطه زمانی خاص شروع می‌شود ناموفق باشد، ممکن است یک URL بد مقصر باشد.
- اگر DUT شامل وصله امنیتی نباشد، شکست تست امنیتی آن مورد انتظار است.
- اعتبارسنجی و تجزیه و تحلیل تفاوت بین دستگاه های عبوری و خراب.
- ادعا، گزارش، گزارش اشکال و منبع CTS را تجزیه و تحلیل کنید. برای HostTest، ادعا و گزارش می‌توانند بسیار عمومی باشند، بنابراین بررسی و پیوست کردن logcat دستگاه نیز مفید است.
- برای کمک به کاهش شکست تست، یک وصله بهبود تست ارسال کنید.
ذخیره نتایج جزئی
Tradefed در صورت شکست فراخوانی آزمون، نتایج جزئی آزمون را ذخیره نمی کند.
هنگامی که Tradefed هیچ نتیجه آزمایشی را ایجاد نمی کند، به این معنی است که یک مشکل جدی در طول اجرای آزمایشی رخ داده است، بنابراین نتیجه آزمایش قابل اعتماد نیست. نتیجه جزئی مفید تلقی می‌شود، زیرا هنگام بررسی مشکل دستگاه، ارزشی ارائه نمی‌کند.