תוצאות בדיקת CTS ממוקמות בקובץ:
CTS_ROOT/android-cts/results/start_time.zip
אם בנית את ה-CTS בעצמך, CTS_ROOT דומה out/host/linux-x86/cts אבל שונה לפי פלטפורמה. זה משקף את הנתיב שבו ביטלת את דחיסת ה-CTS הרשמי המוכן מראש שהורד מאתר זה.
בתוך ה-zip, הקובץ test_result.xml מכיל את התוצאות בפועל.
הצג תוצאות של Android 10 ואילך
קובץ test_result.html קיים בארכיון ה-zip, אתה יכול לפתוח אותו ישירות בכל דפדפן אינטרנט תואם HTML5
הצג תוצאות טרום אנדרואיד 10
פתח את קובץ test_result.xml בכל דפדפן אינטרנט תואם HTML5 כדי להציג את תוצאות הבדיקה
אם קובץ זה מציג דף ריק בעת שימוש בדפדפן Chrome, שנה את תצורת הדפדפן שלך כדי להפעיל את דגל שורת הפקודה --allow-file-access-from-files .
קרא את תוצאות הבדיקה
הפרטים של תוצאות הבדיקה תלויים באיזו גרסה של CTS אתה משתמש:
- CTS v1 עבור אנדרואיד 6.0 ואילך
- CTS v2 עבור אנדרואיד 7.0 ואילך
מידע על המכשיר
ב-CTS v1 ואילך, בחר מידע על מכשיר (קישור מעל סיכום בדיקה) כדי להציג פרטים על המכשיר, הקושחה (יצרן, דגם, בניית קושחה, פלטפורמה) וחומרת המכשיר (רזולוציית מסך, לוח מקשים, סוג מסך). CTS v2 אינו מציג מידע על המכשיר.
סיכום מבחן
הקטע 'סיכום בדיקה' מספק פרטים של תוכנית הבדיקה שבוצעה, כגון שם תוכנית ה-CTS ושעות ההתחלה והסיום של הביצוע. הוא גם מציג סיכום מצטבר של מספר המבחנים שעברו, נכשלו, פג פסק זמן או שלא ניתן היה לבצע.
סיכום מבחן לדוגמה של Android 10 CTS
איור 1: סיכום מבחן לדוגמה של Android 10 CTS
סיכום מבחן לדוגמה של CTS v2
איור 2: סיכום מבחן לדוגמה של CTS v2
סיכום מבחן לדוגמה של CTS v1
איור 3: סיכום מבחן לדוגמה של CTS v1
דוח בדיקה
הסעיף הבא, דוח בדיקת CTS, מספק סיכום של בדיקות שעברו בכל חבילה.
לאחר מכן, פרטים על הבדיקות שבוצעו בפועל. הדוח מפרט את חבילת הבדיקה, חבילת הבדיקה, מקרה הבדיקה והבדיקות שבוצעו. הוא מציג את התוצאה של ביצוע הבדיקה - עבר, נכשל, פג פסק זמן או לא בוצע. במקרה של כשל בבדיקה מסופקים פרטים כדי לסייע באבחון הסיבה.
יתר על כן, מעקב המחסנית של הכשל זמין בקובץ ה-XML אך אינו נכלל בדוח כדי להבטיח קוצר - צפייה בקובץ ה-XML עם עורך טקסט אמורה לספק פרטים על כישלון הבדיקה (חפש את התג [Test] המתאים ל- המבחן שנכשל וחפש בתוכו את התג [StackTrace] ).
הצג דוח בדיקה לדוגמה של CTS v2
איור 4: דוח בדיקה לדוגמה של CTS v2
הצג דוח בדיקה לדוגמה של CTS v1
איור 5: דוח בדיקה לדוגמה של CTS v1
בדוק את test_result.xml עבור מודולי בדיקה לא שלמים
כדי לקבוע את מספר המודולים הלא שלמים בהפעלת בדיקה נתונה, הפעל את הפקודה 'רשימת תוצאות'. ספירת המודולים שהושלמו וכלל המודולים רשומים עבור כל מפגש קודם. כדי לקבוע אילו מודולים הושלמו לעומת לא שלמים, פתח את הקובץ test_result.xml וקרא את הערך של התכונה "בוצע" עבור כל מודול בדוח התוצאות. מודולים עם ערך done = "false" לא פעלו עד להשלמתם.
כשלים בבדיקת טריאז'
השתמש בהצעות הבאות כדי לבדוק כשלים בבדיקה.
- ודא שסביבת ה-CTS שלך מוגדרת כהלכה, אם בדיקה נכשלת עקב תנאים מוקדמים שגויים. זה כולל את הסביבה הפיזית, הגדרת מחשב שולחני והגדרת מכשיר אנדרואיד.
- אמת את יציבות המכשיר, הגדרת הבדיקה או בעיות סביבתיות, אם בדיקה נראית מתקלפת מדי.
- נסה שוב את המבחן בבידוד אם עדיין נכשל.
- בדוק אם יש גורמים חיצוניים הגורמים לכשלים בבדיקה, כגון:
- הגדרה סביבתית. לדוגמה, הגדרה שגויה של מחשב שולחני עשויה להיות הגורם לכשלי בדיקה המתרחשים בכל ה-Device-Under- Test (DUTs) (כולל התקני ייחוס).
- תלות חיצונית. לדוגמה, אם בדיקה נכשלת בכל המכשירים באתרים מרובים החל מנקודת זמן מסוימת, ייתכן שכתובת URL שגויה אשמה.
- אם DUT אינו כולל את תיקון האבטחה, צפוי כישלון בבדיקת האבטחה שלו.
- אמת ונתח את ההבדלים בין מכשירים חולפים לכשלים.
- נתח את הטענה, היומן, דיווח הבאג ומקור ה- CTS . עבור HostTest, טענה ויומן יכולים להיות מאוד כלליים ולכן מומלץ לבדוק ולצרף את logcat של מכשיר.
- שלח תיקון לשיפור הבדיקה כדי לעזור בצמצום כשלים בבדיקה.
שמור תוצאות חלקיות
Tradefed לא שומר תוצאות בדיקה חלקיות כאשר הפעלת הבדיקה נכשלת.
כאשר Tradefed לא מייצרת תוצאות בדיקה כלשהן, משתמע מכך שהתרחשה בעיה רצינית במהלך הפעלת הבדיקה, ובכך הופך את תוצאת הבדיקה ללא אמינה. התוצאה החלקית נחשבת לא מועילה מכיוון שהיא אינה מספקת ערך בעת חקירת בעיית המכשיר.