ตั้งค่าชุด

ชุดใน Tradefed หมายถึงการตั้งค่าที่มีการทดสอบหลายรายการที่ทำงานภายใต้โปรแกรมเรียกใช้การทดสอบทั่วไปซึ่งขับเคลื่อนการดำเนินการโดยรวม

ใน Tradefed ชุดทดสอบจะทำงานผ่านคลาส ITestSuite ซึ่งช่วยให้เพิ่มและนำการทดสอบออกได้โดยไม่ขึ้นอยู่กับวิธีเรียกใช้

คำจำกัดความ

  • Suite: ชุดโมดูลทดสอบที่กำหนดค่าให้ทำงานภายใต้การตั้งค่าระดับบนสุด ที่คล้ายกันเพื่อรายงานผลลัพธ์ภายใต้การเรียกใช้ครั้งเดียว
  • การตั้งค่าระดับบนสุด: การตั้งค่าที่ใช้กับอุปกรณ์ก่อนที่จะเรียกใช้โมดูลการทดสอบ
  • การกำหนดค่าหลัก: การกำหนดค่า XML ระดับชุดทดสอบของ Tradefed ที่อธิบายว่าควรเรียกใช้โมดูลใดและควรใช้การตั้งค่าระดับบนสุดใด
  • การตั้งค่าระดับโมดูล: การตั้งค่าที่ใช้กับอุปกรณ์ก่อนเรียกใช้โมดูล หรือเรียกอีกอย่างว่าการตั้งค่าเฉพาะโมดูล
  • การกำหนดค่าโมดูล: หมายถึงAndroidTest.xmlการกำหนดค่า XML ของ Tradefed ที่อธิบายโมดูลและการตั้งค่าระดับโมดูล ที่ควรทำ
  • โมดูล: หน่วยทดสอบที่ประกอบด้วยขั้นตอนการตั้งค่า (การตั้งค่าระดับโมดูล) ขั้นตอนการทดสอบ การดำเนินการ และขั้นตอนการล้างข้อมูล
  • ลองอีกครั้งภายในโมดูล: การลองอีกครั้งโดยอัตโนมัติที่ฮาร์เนสทำภายในโมดูล
  • ลองชุดโปรแกรมอีกครั้ง: เรียกใช้การทดสอบที่ล้มเหลวก่อนหน้านี้ของชุดโปรแกรมอีกครั้งทั้งหมด

โครงสร้าง ITestSuite

ITestSuite ใน Tradefed หมายถึงคลาสฐานทั่วไปที่ขับเคลื่อนการดำเนินการชุดทดสอบ โดยชุดเครื่องมือทดสอบหลักทั้งหมดจะใช้เครื่องมือนี้ร่วมกัน โดยเฉพาะชุดเครื่องมือทดสอบความเข้ากันได้ของ Android (CTS) และชุดเครื่องมือทดสอบของผู้ให้บริการ Android (VTS) และช่วยให้มั่นใจได้ถึงประสบการณ์การดำเนินการที่สอดคล้องกันในชุดเครื่องมือทั้งหมด

บางครั้งเราเรียก ITestSuite ว่าตัวเรียกใช้ชุดทดสอบ

โปรแกรมเรียกใช้ชุดทดสอบจะทำตามขั้นตอนต่อไปนี้เมื่อดำเนินการ

  1. โหลดการกำหนดค่าของโมดูลและกำหนดชุดที่จะเรียกใช้

  2. เรียกใช้แต่ละโมดูล

    1. เรียกใช้การตั้งค่าระดับโมดูล
    2. เรียกใช้การทดสอบโมดูล
    3. เรียกใช้การล้างข้อมูลระดับโมดูล

  3. รายงานผลลัพธ์

การตั้งค่าระดับบนสุด

จากมุมมองของ Tradefed ITestSuite เป็นเพียงการทดสอบอีกรายการหนึ่ง แม้จะเป็นIRemoteTestที่ซับซ้อน แต่ก็ยังคงเป็นเพียงการทดสอบเช่นเดียวกับIRemoteTestอื่นๆ ดังนั้นเมื่อระบุ โปรแกรมเรียกใช้ชุดทดสอบในการกำหนดค่า Tradefed, Tradefed จะทำตามรูปแบบปกติ ของการกำหนดค่า: เรียกใช้ build_provider, target_preparer, test (ชุดทดสอบของเราในกรณีนี้) และ target_cleaner

ลำดับนี้ในการกำหนดค่า Tradefed ที่มี ITestSuite คือการตั้งค่าระดับบนสุด

ตัวอย่าง

<configuration description="Common config for Compatibility suites">

    <build_provider class="com.android.compatibility.common.tradefed.build.CompatibilityBuildProvider" />
    <!-- Setup applied before the suite: so everything running in the suite will
    have this setup beforehand -->
    <target_preparer class="com.android.tradefed.targetprep.RunCommandTargetPreparer">
        <option name="run-command" value="settings put global package_verifier_enable 0" />
        <option name="teardown-command" value="settings put global package_verifier_enable 1"/>
    </target_preparer>

    <!-- Our ITestSuite implementation -->
    <test class="com.android.compatibility.common.tradefed.testtype.suite.CompatibilityTestSuite" />

    <result_reporter class="com.android.compatibility.common.tradefed.result.ConsoleReporter" />
</configuration>

ข้อมูลเมตาของโมดูล

เราเรียกข้อมูลเมตาของโมดูลว่าข้อมูลเพิ่มเติมที่ระบุไว้ในโมดูลทดสอบ AndroidTest.xml ข้อมูลเมตานี้ช่วยให้คุณระบุข้อมูลเพิ่มเติมเกี่ยวกับ โมดูล และกรองโมดูลโดยใช้ข้อมูลเมตาได้

ตัวอย่างข้อมูลเมตา

<option name="config-descriptor:metadata" key="component" value="framework" />
<option name="config-descriptor:metadata" key="parameter" value="instant_app" />

ตัวอย่างตัวกรองในข้อมูลเมตา

--module-metadata-include-filter component=framework

คำสั่งข้างต้นจะเรียกใช้โมดูลทั้งหมดที่มีเฟรมเวิร์กเป็นข้อมูลเมตาคอมโพเนนต์

ตัวอย่าง AndroidTest.xml แบบเต็ม

<configuration description="Config for CTS Gesture test cases">
    <option name="test-suite-tag" value="cts" />
    <!-- Metadata -->
    <option name="config-descriptor:metadata" key="component" value="framework" />
    <option name="config-descriptor:metadata" key="parameter" value="instant_app" />
    <!-- End: metadata -->
    <target_preparer class="com.android.tradefed.targetprep.suite.SuiteApkInstaller">
        <option name="cleanup-apks" value="true" />
        <option name="test-file-name" value="CtsGestureTestCases.apk" />
    </target_preparer>
    <test class="com.android.tradefed.testtype.AndroidJUnitTest" >
        <option name="package" value="android.gesture.cts" />
        <option name="runtime-hint" value="10m50s" />
    </test>
</configuration>

โมดูลที่มีพารามิเตอร์

parameter เป็นข้อมูลเมตาประเภทพิเศษ

<option name="config-descriptor:metadata" key="parameter" value="instant_app" />

ข้อมูลเมตานี้ระบุว่าต้องเรียกใช้โมดูลในโหมดอื่น เช่น เป็นแอปด่วน แทนที่จะเป็นโหมดแอปมาตรฐาน

โหมดหรือพารามิเตอร์ที่เป็นไปได้ทั้งหมดอธิบายโดย ModuleParameters และมีตัวแฮนเดิลที่เชื่อมโยงใน ModuleParametersHelper ซึ่งช่วยให้คุณเปลี่ยนการตั้งค่าโมดูลเพื่อดำเนินการในโหมดใดโหมดหนึ่งได้

เช่น โหมด Instant App จะบังคับให้ติดตั้ง APK เป็นโหมด ด่วน

หากต้องการให้เกิดการกำหนดพารามิเตอร์ บรรทัดคำสั่งต้องเปิดใช้ด้วย ด้วยคำสั่งต่อไปนี้

--enable-parameterized-modules

นอกจากนี้ คุณยังเรียกใช้โหมดที่ต้องการเพียงโหมดเดียวได้ด้วย

--enable-parameterized-modules --module-parameter <Mode>

--enable-parameterized-modules --module-parameter INSTANT_APP

เมื่อโมดูลเวอร์ชันที่กำหนดพารามิเตอร์ทำงาน ระบบจะรายงานผลลัพธ์ภายใต้ ชื่อโมดูลที่กำหนดพารามิเตอร์ เช่น CtsGestureTestCases[instant] เทียบกับ ฐาน CtsGestureTestCases