הרצת בדיקות CTS

Federation (איחוד הסחר) הוא מסגרת בדיקה רציפה (CD) להרצת בדיקות ב-Android מכשירים. כדי להפעיל את הכלי לבדיקת תאימות (CTS), תחילה יש לקרוא את סקירה כללית של Trade Federation לקבלת הסבר על מסגרת בדיקה עסק.

כדי להפעיל תוכנית לבדיקה:

1. הגדרת מכשירים בבדיקה (DUT) לפי הגדרת מכשיר Android.
2. מוודאים שהתקנתם את הגרסאות האחרונות של שני המכשירים גשר לניפוי באגים ב-Android (adb) וגם כלי אריזת נכסי Android (AAPT) והוספנו את המיקום של הכלים האלה לנתיב המערכת של המכונה. לקבלת מידע על התקנת הכלים האלה, אפשר לעיין במאמר הגדרת CTS: ADB ו-AAPT.
3. מורידים את גרסאות ה-CTS שפורסמו אל מכונה מארחת של Linux ומחלצים את תוכן ה-build כדי לארח את המארח.
4. צריך לחבר מכשיר אחד לפחות. כדי להכין את מסמך ה-DUT:
   • לוחצים על לחצן הבית כדי להגדיר את המכשיר למסך הבית.
   • אל תשתמשו ב-DUT למשימות אחרות.
   • יש להשאיר את מכשיר ה-DUT במיקום נייח כדי למנוע הפעלת החיישן פעילות.
   • מכוונים את מצלמת המכשיר לאובייקט שאפשר להתמקד בו.
   • אין ללחוץ על מקשים כלשהם במכשיר בזמן שה-CTS פועל. לחיצה מקשים או נגיעה במסך של DUT מפריעות לביצוע הבדיקות ועלולים לגרום לכשלים בבדיקות.

5. הפעלת הסקריפט cts-tradefed של מסוף ה-CTS מהתיקייה שבה ה-CTS החבילה הוסרה מהדחיסה. במעטפת שורת הפקודה של המארח מריצים את:

   ./android-cts/tools/cts-tradefed

6. מריצים את תוכנית הבדיקה שמוגדרת כברירת מחדל (מכילה את כל חבילות הבדיקה):

   cts-tradefed > run cts

   • כדי לשפר את זמן הביצוע של הבדיקה, אפשר לחלק את הבדיקות בכמה מכשירים. הפיצול מחייב את המארח להתחבר לפחות שני מכשירים, אך מומלץ להשתמש בשישה מכשירים או יותר לצורך יעילות. כשמבצעים פיצול של יותר ממכשיר אחד:

     • ב-Android מגרסה 9 ואילך, משתמשים באפשרות הפקודה

       --shard-count number_of_shards

     • ב-Android מגרסה 8.1 ומטה, משתמשים באפשרות הפקודה

       --shards number_of_shards

   • אם לא רוצים להפעיל את כל חבילת הבדיקות, אפשר להריץ את תוכנית CTS לבחירתך מתוך שורת הפקודה:

     run cts --plan test_plan_name

     כדי למצוא את השם של תוכנית הבדיקה:

     • ב-Android מגרסה 7.0 ואילך, כדי להציג רשימה של מודולים לבדיקה, יש להזין

       list modules

     • ב-Android 6.0 ומטה, כדי להציג רשימה של תוכניות בדיקה מאגר, מזינים

       list plans

     • עבור Android 6.0 ומטה, כדי להציג רשימה של חבילות בדיקה מאגר, מזינים

       list packages

   • לקבלת אפשרויות פקודות נוספות בהתאם לגרסאות CTS, קראו את הסבר על פקודות מסוף, או בקטע 'עזרה לכולם' במסוף Tradeified.

7. מריצים מספר סשנים של ניסיון חוזר עד להשלמת כל המודולים של הבדיקה מספרי הכשלים בבדיקה זהים בשני הסשנים האחרונים של הניסיונות החוזרים.

   • ב-Android מגרסה 9 ואילך, יש להשתמש

     run retry --retry session_number --shard-count number_of_shards

   • ב-Android מגרסה 7.0 עד 8.1, צריך להשתמש

     run cts --retry session_number --shards number_of_shards

   • למידע על אפשרויות נוספות של פקודות לניסיון חוזר בהתאם לגרסת ה-CTS, ראו: מסוף CTS v2.

   • כדי להבין את פרטי ההטמעה של ניסיון חוזר ל-CTS, אפשר לעיין במאמר ניסיון חוזר שלTrade Federation Suite

8. אפשר להריץ סשן של ניסיון חוזר רק בבדיקות עם פרמטרים שנכשלו. עברה לא מתבצע ניסיון חוזר של בדיקות עם פרמטרים.

   • ב-Android מגרסה 11 ואילך, האפשרות הבאה של פקודה חוזרת מופעלת כברירת מחדל בפקודה run cts:

     run retry --retry  --new-parameterized-handling

9. הצגת התקדמות הבדיקה והתוצאות המדווחות במסוף.

הפעלת CTS באמצעות תחנת הבדיקה של Android

Android Test Station הוא כלי אוטומציה לבדיקות, שמפתחי Android ובודקים מהנדסי התוכנה יכולים להשתמש בממשק משתמש להרצת בדיקות רגילות סוויטות. הוא פועל עם חבילת בדיקת התאימות ל-Android (CTS).

הכלי זמין לציבור דרך מדריך למשתמש ל-ATS, והקוד שלו הוא בקוד פתוח ב-AOSP (multitest_transport, tradefed_cluster).

הפעלת CTS למצבים חלופיים

גרסת CTS 10 R4 מוסיפה תוכנית בדיקה למכשירים עם מצבים חלופיים, או עבור במכשירים עם יותר ממסך אחד. מפעילים את תוכנית הבדיקה של המצבים החלופיים באמצעות run cts-foldable

מקרי בדיקה שעברו או נכשלו במצב מסך חלופי מצורפים עם מ-display_mode, לדוגמה, testcase1[display_mode=0].

ב-CTS 13, ממשק ה-API של DeviceStateManager מאפשר מודולים לבדיקה עם הרכיבים הבאים: את אפשרות ההגדרה כך שתפעל במצבי מכשיר שונים של מכשיר מתקפל. ביצוע הבדיקה הוא אוטומטי ב-CTS על סמך מצב קיפול התצוגה מוגדרת במכשיר בלי שתצטרכו להפעיל את תוכנית הבדיקה של cts-foldable.

<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />

בדיקה של מספר מכשירים ב-CTS

ב-Android מגרסה 13 ואילך יש תמיכה בבדיקה לכמה מכשירים. בדיקות שמחייבות מספר מכשירים יבוצעו באופן אוטומטי במהלך הרצת ה-CTS. CTS 13 כולל כמה בדיקות למכשירים מרובים שמופעלות באופן אוטומטי במהלך פיצול נעשה שימוש. הבדיקות לא דורשות שינויים נוספים בהגדרה הפיזית, צריך להתקין את virtualenv כדי שהבדיקות יפעלו כראוי. לפרטים, להצגת מכשירים מרובים סוויטות.

הרצת בדיקות על מספר מכשירים

כדי להפעיל בדיקות על מספר מכשירים באופן עצמאי, צריך להשתמש בקוד הבא:

  cts-tradefed > run cts-multidevice
  

כל האפשרויות הרגילות נתמכות. כדי לטרגט מכשירים ספציפיים, יש להוסיף --serial <serial1> --serial <serial2> וכן הלאה לגבי מספר המכשירים מטורגט.

כדי להפעיל בדיקות במכשירים מרובים באופן אוטומטי, יש להשתמש בפיצול, כמו ב---shard-count 2.