תוצאות הבדיקה של CTS ממוקמות בקובץ:
CTS_ROOT/android-cts/results/start_time.zip
אם יצרתם את ה-CTS בעצמכם, הוא CTS_ROOT דומה ל-
out/host/linux-x86/cts אבל שונה בהתאם לפלטפורמה. זהו הנתיב שבו ביטלתם את הדחיסה של חבילת ה-CTS הרשמית שנבנתה מראש והורדתם מהאתר הזה.
בתוך קובץ ה-ZIP, הקובץ test_result.xml מכיל את התוצאות בפועל.
הצגת תוצאות של Android מגרסה 10 ואילך
קובץ test_result.html קיים בארכיון ה-ZIP, ואפשר לפתוח אותו ישירות בכל דפדפן אינטרנט שתואם ל-HTML5
הצגת תוצאות של מכשירים עם Android מגרסה שלפני 10
פותחים את הקובץ test_result.xml בכל דפדפן אינטרנט שתואם ל-HTML5 כדי לראות את תוצאות הבדיקה.
אם מוצג דף ריק בקובץ הזה כשמשתמשים בדפדפן Chrome, צריך לשנות את הגדרות הדפדפן כדי להפעיל את התכונה הניסיונית --allow-file-access-from-files בשורת הפקודה.
קריאת תוצאות הבדיקה
הפרטים של תוצאות הבדיקה תלויים בגרסה של CTS שבה אתם משתמשים:
- CTS v1 ל-Android 6.0 וגרסאות קודמות
- CTS v2 ל-Android 7.0 ואילך
פרטי המכשיר
ב-CTS גרסה 1 ובגרסאות קודמות, בוחרים באפשרות 'פרטי המכשיר' (הקישור נמצא מעל 'סיכום הבדיקה') כדי לראות פרטים על המכשיר, הקושחה (יצרן, דגם, גרסת קושחה, פלטפורמה) והחומרה של המכשיר (רזולוציית המסך, לוח המקשים, סוג המסך). ב-CTS v2 לא מוצג מידע על המכשיר.
סיכום הבדיקה
בקטע Test Summary (סיכום הבדיקה) מופיעים פרטים על תוכנית הבדיקה שהופעלה, כמו שם תוכנית ה-CTS ושעות ההתחלה והסיום של ההפעלה. בנוסף, מוצג סיכום מצטבר של מספר הבדיקות שעברו בהצלחה, נכשלו, חרגו מזמן הקצוב או שלא ניתן היה להריץ אותן.
סיכום בדיקות לדוגמה של Android 10 CTS
איור 1: סיכום של בדיקה לדוגמה ב-Android 10 CTS
סיכום בדיקת דוגמה של CTS גרסה 2
איור 2: סיכום בדיקה לדוגמה של CTS v2
סיכום בדיקת דוגמה של CTS v1
איור 3: סיכום של בדיקת מדגם ב-CTS v1
דוח בדיקה
בקטע הבא, דוח הבדיקה של CTS, מוצג סיכום של הבדיקות שעברו בהצלחה לכל חבילה.
אחרי זה מופיעים פרטים על הבדיקות בפועל שבוצעו. בדוח מפורטים חבילת הבדיקה, חבילת הבדיקות, תרחיש הבדיקה והבדיקות שהופעלו. הוא מציג את התוצאה של הרצת הבדיקה – pass (עברה), fail (נכשלה), timed out (פג הזמן) או not executed (לא בוצעה). במקרה של כשל בבדיקה, מסופקים פרטים שיעזרו לאבחן את הסיבה.
בנוסף, פרטי מעקב אחר מחסנית (stack trace) של הכשל זמינים בקובץ ה-XML, אבל לא נכללים בדוח כדי לשמור על תמציתיות. כדי לראות את הפרטים של הכשל בבדיקה, צריך לפתוח את קובץ ה-XML באמצעות עורך טקסט (מחפשים את התג [Test] שמתאים לבדיקה שנכשלה, ואז מחפשים בתוכו את התג [StackTrace]).
הצגת דוח בדיקה לדוגמה של CTS v2
איור 4: דוח בדיקה לדוגמה של CTS v2
הצגת דוח בדיקה לדוגמה של CTS v1
איור 5: דוח בדיקה לדוגמה של CTS v1
בדיקת test_result.xml כדי לראות אם יש מודולים של בדיקות שלא הושלמו
כדי לקבוע את מספר המודולים הלא שלמים בסשן בדיקה נתון, מריצים את הפקודה 'list results'. המספר של המודולים שהושלמו והמספר הכולל של המודולים מופיעים עבור כל סשן קודם. כדי לדעת אילו מודולים הושלמו ואילו לא, פותחים את הקובץ test_result.xml וקוראים את הערך של המאפיין done לכל מודול בדוח התוצאות. מודולים עם הערך done = "false" לא הופעלו עד הסוף.
מיון של שגיאות בבדיקות
ההצעות הבאות יעזרו לכם לתעדף את הכשלים בבדיקות.
- אם בדיקה נכשלת בגלל תנאים מוקדמים שגויים, צריך לוודא שסביבת ה-CTS מוגדרת בצורה נכונה. ההגדרה כוללת את הסביבה הפיזית, את הגדרת המחשב ואת הגדרת מכשיר Android.
- אם בדיקה מסוימת נראית לא יציבה מדי, צריך לבדוק את יציבות המכשיר, את הגדרת הבדיקה או את הבעיות בסביבה.
- אם הבדיקה עדיין נכשלת, כדאי לנסות אותה שוב בנפרד.
- צריך לבדוק אם יש גורמים חיצוניים שגורמים לכשלים בבדיקות, למשל:
- הגדרת הסביבה. לדוגמה, יכול להיות שהגדרת מחשב שולחני לא תקינה היא הסיבה לכישלון הבדיקות בכל המכשירים שנבדקים (DUT) (כולל מכשירי הפניה).
- תלויות חיצוניות. לדוגמה, אם הבדיקה נכשלת בכל המכשירים בכמה אתרים החל מנקודת זמן ספציפית, יכול להיות שכתובת URL פגומה היא הסיבה לכך.
- אם ה-DUT לא כולל את תיקון האבטחה, צפוי שהבדיקה תיכשל.
- מאמתים ומנתחים את ההבדלים בין מכשירים שעברו את הבדיקה לבין מכשירים שנכשלו בה.
- מנתחים את הטענה, היומן, דוח הבאגים ומקור ה-CTS. ב-HostTest, הטענה והיומן יכולים להיות כלליים מאוד, ולכן כדאי גם לבדוק ולצרף את יומן ה-logcat של המכשיר.
- שליחת תיקון לשיפור הבדיקה כדי להפחית את מספר השגיאות בבדיקה.
שמירת תוצאות חלקיות
מערכת Tradefed לא שומרת תוצאות בדיקה חלקיות אם הפעלת הבדיקה נכשלת.
אם Tradefed לא מייצר תוצאות בדיקה, זה מרמז שהייתה בעיה רצינית במהלך הרצת הבדיקה, ולכן אי אפשר לסמוך על תוצאת הבדיקה. התוצאה החלקית נחשבת ללא מועילה כי היא לא מספקת ערך כשבודקים בעיה במכשיר.