תוצאות הבדיקה של CTS נמצאות בקובץ:
CTS_ROOT/android-cts/results/start_time.zip
אם יצרתם את ה-CTS בעצמכם, הערך של CTS_ROOT דומה ל-out/host/linux-x86/cts, אבל משתנה בהתאם לפלטפורמה. זהו הנתיב שבו דחסת את קובץ ה-CTS הרשמי המובנה שהורדתם מהאתר הזה.
בתוך קובץ ה-zip, הקובץ test_result.xml מכיל את התוצאות בפועל.
הצגת תוצאות של Android מגרסה 10 ואילך
קובץ test_result.html קיים בארכיון ה-zip, אפשר לפתוח אותו ישירות בכל דפדפן אינטרנט תואם HTML5
הצגת תוצאות מ-Android 10 ואילך
פותחים את הקובץ test_result.xml בכל דפדפן אינטרנט תואם HTML5 כדי להציג את תוצאות הבדיקה.
אם בדף הזה מוצג דף ריק כשמשתמשים בדפדפן Chrome, צריך לשנות את הגדרות הדפדפן כדי להפעיל את הדגל --allow-file-access-from-files בשורת הפקודה.
קריאת תוצאות הבדיקה
פרטי תוצאות הבדיקה תלויים בגרסה של CTS שבה אתם משתמשים:
- CTS v1 ל-Android 6.0 וגרסאות קודמות
- CTS v2 ל-Android 7.0 ואילך
פרטי המכשיר
ב-CTS v1 ובגרסאות קודמות, בוחרים באפשרות 'פרטי המכשיר' (הקישור מעל 'סיכום הבדיקה') כדי להציג פרטים על המכשיר, הקושחה (יצרן, דגם, build של הקושחה, פלטפורמה) וחומרת המכשיר (רזולוציית המסך, מקלדת, סוג המסך). ב-CTS v2 לא מוצגים פרטי המכשיר.
סיכום הבדיקה
בקטע סיכום הבדיקה מוצגים פרטים של תוכנית הבדיקה שבוצעה, כמו שם תוכנית ה-CTS ושעות ההתחלה והסיום של הביצוע. בנוסף, מוצג סיכום מצטבר של מספר הבדיקות שעברו, נכשלו, פג תוקפן או שלא ניתן היה לבצע אותן.
סיכום של בדיקת דוגמה ל-CTS ב-Android 10
איור 1: סיכום של בדיקת CTS לדוגמה ב-Android 10
סיכום של בדיקת דוגמה ל-CTS v2
איור 2: סיכום של בדיקת דוגמה ל-CTS v2
סיכום של בדיקת דוגמה ל-CTS v1
איור 3: סיכום של בדיקת דוגמה ל-CTS v1
דוח בדיקה
בקטע הבא, דוח הבדיקה של CTS, מוצג סיכום של הבדיקות שעברו בכל חבילה.
לאחר מכן מוצגים פרטי הבדיקות בפועל שבוצעו. בדוח מפורטים חבילת הבדיקה, חבילת הבדיקות, תרחיש הבדיקה והבדיקות שבוצעו. הוא מציג את התוצאה של ביצוע הבדיקה – עבר, נכשל, פג התוקף או לא בוצע. במקרה של כשל בבדיקה, יוצגו פרטים שיעזרו לאבחן את הבעיה.
בנוסף, נתיב הסטאק של הכישלון זמין בקובץ ה-XML, אבל הוא לא נכלל בדוח כדי לשמור על קצרנות. הצגת קובץ ה-XML באמצעות עורך טקסט אמורה לספק פרטים על כישלון הבדיקה (מחפשים את התג [Test] התואם לבדיקה שנכשלה, ומחפשים בתוכו את התג [StackTrace]).
הצגת דוח בדיקה לדוגמה של CTS v2
איור 4: דוח בדיקה לדוגמה של CTS v2
הצגת דוח בדיקה לדוגמה של CTS v1
איור 5: דוח בדיקה לדוגמה של CTS v1
בדיקת הקובץ test_result.xml כדי למצוא מודולים של בדיקות שלא הושלמו
כדי לבדוק את מספר המודולים הלא מושלמים בסשן בדיקה מסוים, מריצים את הפקודה 'list results'. מספר המודולים שהושלמו ומספר המודולים הכולל מפורטים לכל סשן קודם. כדי לקבוע אילו מודולים הושלמו ואילו לא, פותחים את הקובץ test_result.xml וקוראים את הערך של המאפיין done לכל מודול בדוח התוצאות. מודולים עם הערך done = "false" לא הושלמו.
סיווג של כשלים בבדיקות
תוכלו להיעזר בהצעות הבאות כדי לסווג את הכישלונות בבדיקות.
- אם הבדיקה נכשלת בגלל תנאים מוקדמים שגויים, צריך לוודא שסביבת CTS מוגדרת בצורה נכונה. ההגדרות האלה כוללות את הסביבה הפיזית, את ההגדרה של המחשב ואת ההגדרה של מכשיר Android.
- אם הבדיקה לא יציבה, כדאי לבדוק את יציבות המכשיר, את הגדרת הבדיקה או את הבעיות בסביבה.
- אם הבדיקה עדיין נכשלת, מנסים אותה שוב בנפרד.
- בודקים אם יש גורמים חיצוניים שגורמים לכשלים בבדיקות, כמו:
- הגדרת הסביבה. לדוגמה, הגדרה שגויה של מחשב שולחני עשויה לגרום לכישלונות בבדיקות בכל המכשירים שנבדקים (DUT) (כולל מכשירי העזר).
- יחסי תלות חיצוניים. לדוגמה, אם בדיקה נכשלת בכל המכשירים בכמה אתרים החל מנקודת זמן מסוימת, יכול להיות שמדובר בכתובת URL שגויה.
- אם ה-DUT לא כולל את תיקון האבטחה, צפוי כי בדיקת האבטחה שלו תיכשל.
- אימות ההבדלים בין מכשירים שעברו את הבדיקה לבין מכשירים שנכשלו בה, וניתוח ההבדלים האלה.
- בודקים את ההצהרה, היומן, דוח הבאג ומקור ה-CTS. ב-HostTest, ההצהרה (assertion) והיומן יכולים להיות כלליים מאוד, לכן מומלץ לבדוק ולצרף גם את ה-logcat של המכשיר.
- שולחים תיקון לשיפור הבדיקה כדי לצמצם את מספר הכשלונות בבדיקה.
שמירת תוצאות חלקיות
Tradefed לא שומר תוצאות בדיקה חלקיות כשהפעלת הבדיקה נכשלת.
אם Tradefed לא יוצר תוצאות בדיקה, סימן שהתרחשה בעיה רצינית במהלך הרצת הבדיקה, ולכן אי אפשר לסמוך על תוצאת הבדיקה. התוצאה החלקית לא מועילה כי היא לא מספקת ערך כשבודקים את הבעיה במכשיר.