הגדרת חבילות

חבילה ב-Tradefed היא הגדרה שבה כמה בדיקות פועלות באמצעות מפעיל בדיקות משותף שמנהל את הביצוע הכולל.

ב-Tradefed, חבילות מופעלות באמצעות הכיתה ITestSuite, שמאפשרת להוסיף ולהסיר בדיקות ללא קשר לאופן שבו הן מופעלות.

הגדרות

  • חבילה: קבוצה של מודולי בדיקה שהוגדרו לפעול בהגדרה דומה ברמה העליונה כדי לדווח על התוצאות שלהם בהפעלה אחת.
  • הגדרה ברמה העליונה: ההגדרה חלה על המכשירים לפני שמפעילים את אחד ממודולי הבדיקה.
  • ההגדרה הראשית: קובץ ה-XML של Tradefed ברמת החבילה שמתאר אילו מודולים צריך להריץ ואילו הגדרות ברמה העליונה צריך להשתמש בהן.
  • הגדרה ברמת המודול: ההגדרה חלה על המכשירים ממש לפני הרצת המודול. הן נקראות גם הגדרות ספציפיות למודול.
  • הגדרת מודול: מתייחסת לקובץ התצורה של AndroidTest.xml Tradefed XML שמתאר את המודולים ואת ההגדרה ברמת המודול שצריך לבצע.
  • מודול: יחידת בדיקה המורכבת משלב הגדרה (הגדרה ברמת המודול), משלב ביצוע בדיקה ומשלב ניתוק.
  • ניסיון חוזר בתוך המודול: ניסיון חוזר אוטומטי שמתבצע על ידי רתמת הכבלים בתוך המודול.
  • ניסיון חוזר של חבילת הבדיקות: הפעלה מחדש מלאה של הבדיקות בחבילה שנכשלו בעבר.

המבנה של ITestSuite

ITestSuite ב-Tradefed מתייחס לכיתה הבסיסית המשותפת שמפעילה את חבילת הבדיקה. הוא משותף לכל חבילות הבדיקה העיקריות, במיוחד Android Compatibility Test Suite‏ (CTS) ו-Android Vendor Test Suite‏ (VTS), ומבטיח חוויית ביצוע עקבית בכל החבילות.

לפעמים אנחנו מתייחסים ל-ITestSuite בתור מפעיל הסוויטות.

הכלי להרצת המארז פועל לפי השלבים הבאים:

  1. טוענים את ההגדרות של המודול ומחליטים איזו קבוצה צריך להריץ.

  2. מריצים כל מודול:

    1. מריצים את ההגדרה ברמת המודול.
    2. הרצת בדיקות של מודולים.
    3. מריצים ניתוח ברמת המודול.

  3. מדווחים על התוצאות.

הגדרה ברמה העליונה

מנקודת המבט של Tradefed, ITestSuite הוא רק עוד בדיקה. זו בדיקה מורכבת, אבל היא עדיין בדיקה כמו כל IRemoteTest אחר. לכן, כשמציינים את הכלי להרצת המארז בתצורה של Tradefed, Tradefed פועל לפי התבנית הרגילה של התצורה: מריצים את build_provider, target_preparer, test (המארז שלנו במקרה הזה) ו-target_cleaner.

התצורה הזו ב-Tradefed שמכילה את ITestSuite היא ההגדרה ברמה העליונה.

דוגמה:

<configuration description="Common config for Compatibility suites">

    <build_provider class="com.android.compatibility.common.tradefed.build.CompatibilityBuildProvider" />
    <!-- Setup applied before the suite: so everything running in the suite will
    have this setup beforehand -->
    <target_preparer class="com.android.tradefed.targetprep.RunCommandTargetPreparer">
        <option name="run-command" value="settings put global package_verifier_enable 0" />
        <option name="teardown-command" value="settings put global package_verifier_enable 1"/>
    </target_preparer>

    <!-- Our ITestSuite implementation -->
    <test class="com.android.compatibility.common.tradefed.testtype.suite.CompatibilityTestSuite" />

    <result_reporter class="com.android.compatibility.common.tradefed.result.ConsoleReporter" />
</configuration>

מטא-נתונים של מודול

אנחנו קוראים למידע הנוסף שצוין במודול הבדיקה AndroidTest.xml מטא-נתונים של מודול. המטא-נתונים האלה מאפשרים לציין מידע נוסף על המודול, ואפשר לסנן מודולים באמצעות המטא-נתונים.

מטא-נתונים לדוגמה:

<option name="config-descriptor:metadata" key="component" value="framework" />
<option name="config-descriptor:metadata" key="parameter" value="instant_app" />

דוגמה למסנן על מטא-נתונים:

--module-metadata-include-filter component=framework

הפקודה שלמעלה מריצה את כל המודולים עם מסגרת כמטא-נתונים של רכיב.

דוגמה מלאה של AndroidTest.xml:

<configuration description="Config for CTS Gesture test cases">
    <option name="test-suite-tag" value="cts" />
    <!-- Metadata -->
    <option name="config-descriptor:metadata" key="component" value="framework" />
    <option name="config-descriptor:metadata" key="parameter" value="instant_app" />
    <!-- End: metadata -->
    <target_preparer class="com.android.tradefed.targetprep.suite.SuiteApkInstaller">
        <option name="cleanup-apks" value="true" />
        <option name="test-file-name" value="CtsGestureTestCases.apk" />
    </target_preparer>
    <test class="com.android.tradefed.testtype.AndroidJUnitTest" >
        <option name="package" value="android.gesture.cts" />
        <option name="runtime-hint" value="10m50s" />
    </test>
</configuration>

מודול עם פרמטרים

סוג מטא-נתונים מיוחד הוא parameter.

<option name="config-descriptor:metadata" key="parameter" value="instant_app" />

המטא-נתונים האלה מציינים שצריך להריץ את המודול במצב אחר, למשל כאפליקציה מיידית, במקום במצב אפליקציה רגיל.

כל המצבים או הפרמטרים האפשריים מתוארים ב-ModuleParameters, ולכל אחד מהם יש טיפול משויך ב-ModuleParametersHelper שמאפשר לשנות את הגדרת המודול כך שיפעל במצב הספציפי.

לדוגמה, מצב האפליקציה ללא התקנה מאלץ את התקנת ה-APK כמצב אפליקציה ללא התקנה.

כדי שהפרמטריה תתבצע, צריך להפעיל אותה בשורת הפקודה באמצעות:

--enable-parameterized-modules

אפשר גם להריץ מצב נתון אחד באמצעות:

--enable-parameterized-modules --module-parameter <Mode>

--enable-parameterized-modules --module-parameter INSTANT_APP

כשגרסה עם פרמטרים של מודול מופעלת, התוצאות שלה מדווחות בשם המודול עם הפרמטרים, למשל CtsGestureTestCases[instant] לעומת CtsGestureTestCases הבסיסי.