โมดูลสำหรับหลายอุปกรณ์

เอกสารนี้จะแสดงวิธีการแบบทีละขั้นตอนเกี่ยวกับวิธีสร้างข้อบังคับหลายอุปกรณ์และระบุข้อจำกัดปัจจุบัน (หากทราบ)

ตัวอย่าง

มีโมดูลหลายอุปกรณ์ที่รองรับ Wi-Fi ของ CTS โดยส่งข้อความจากอุปกรณ์เครื่องหนึ่งผ่าน Wi-Fi และยืนยันว่าอุปกรณ์อีกเครื่องหนึ่งได้รับข้อความดังกล่าว

แหล่งที่มาของโมดูลอยู่ที่ packages/modules/Wifi/tests/hostsidetests/multidevices/test/aware/

เราได้ใส่คำอธิบายประกอบในตัวอย่างโดยใส่ความคิดเห็นให้มากที่สุดเท่าที่จะทำได้

ขั้นตอนที่ 1: สร้างโฟลเดอร์โมดูล

เราขอแนะนำให้สร้างโฟลเดอร์สำหรับข้อบังคับสำหรับอุปกรณ์หลายเครื่องในโปรเจ็กต์ชุดของข้อบังคับนั้น เช่น cts/hostsidetests/multidevices/ เราขอแนะนำให้ทำเช่นนี้เพื่อให้โมดูลอุปกรณ์หลายเครื่องทั้งหมดอยู่ร่วมกันอย่างน้อยในช่วงแรก ซึ่งจะช่วยให้ค้นพบตัวอย่างได้ง่ายขึ้น

ไฟล์ทั้งหมดสำหรับโมดูลนี้ควรใส่ไว้ในโฟลเดอร์โมดูลของตนเอง เช่น wifi_aware

ขั้นตอนที่ 2: สร้างการทดสอบ

นี่คือที่ที่คุณใช้นำตรรกะการทดสอบไปใช้ ขึ้นอยู่กับสิ่งที่ทดสอบเป็นหลัก

สร้างแหล่งที่มาของการทดสอบ Mobly เช่น wifi_aware_test.py

ขั้นตอนที่ 3: สร้างไฟล์บิลด์: Android.bp

เพิ่มไฟล์ Android.bp เช่น packages/modules/Wifi/tests/hostsidetests/multidevices/test/Android.bp กำหนดโมดูล python_test_host ในลักษณะคล้ายกับตัวอย่างต่อไปนี้

python_test_host {
    name: "CtsWifiAwareTestCases",
    main: "wifi_aware_test.py",
    srcs: ["wifi_aware_test.py"],
    test_suites: [
        "cts",
        "general-tests",
    ],
    test_options: {
        unit_test: false,
    },
    data: [
          // Package the snippet with the mobly test
        ":wifi_aware_snippet",
    ],
}

ระบุข้อมูลโค้ดสำหรับการทดสอบด้วยช่องข้อมูล ซึ่งจะบรรจุไบนารีไว้ และจะหาและติดตั้งในการทดสอบโดย ATest ได้ หรืออยู่ในการดำเนินการแบบต่อเนื่อง

ข้อมูลโค้ดที่รวมกลุ่มของ Mobly มีให้บริการใน Android ที่ external/mobly-bundled-snippets/

ไม่บังคับ: สร้างข้อมูลเพิ่มเติมที่กําหนดเอง

โมดูลหลายอุปกรณ์บางรายการอาจต้องใช้ข้อมูลโค้ด Mobly ที่กำหนดเอง การทดสอบตัวอย่างนี้รวมข้อมูลโค้ดที่รับรู้ Wi-Fi ที่ packages/modules/Wifi/tests/hostsidetests/multidevices/com.google.snippet.wifi/aware/WifiAwareSnippet.java ซึ่งสร้างขึ้นด้วย Mobly Snippet Lib ซึ่งมีอยู่ใน Android ที่ external/mobly-snippet-lib/

ควรกำหนดข้อมูลโค้ดด้วยกฎ android_test ใน Android.bp ดังนี้ การทดสอบมาตรฐาน

android_test {
    name: "wifi_aware_snippet",
    sdk_version: "current",
    srcs: [
        "CallbackUtils.java",
        "WifiAwareSnippet.java",
    ],
    manifest: "AndroidManifest.xml",
    static_libs: [
        "androidx.test.runner",
        "guava",
        "mobly-snippet-lib",
    ],
}

ขั้นตอนที่ 4: สร้างการกำหนดค่าโมดูล: AndroidTest.xml

เพิ่มไฟล์ AndroidTest.xml เช่น packages/modules/Wifi/tests/hostsidetests/multidevices/test/aware/AndroidTest.xml ในการกำหนดค่าการทดสอบนี้ คุณต้องระบุอุปกรณ์ 2 เครื่องสำหรับการทดสอบ คล้ายกับตัวอย่างต่อไปนี้

<configuration description="Config for CTS Wifi Aware test cases">
    <option name="test-suite-tag" value="cts" />
    <option name="config-descriptor:metadata" key="component" value="wifi" />
    <option name="config-descriptor:metadata" key="parameter" value="not_instant_app" />
    <option name="config-descriptor:metadata" key="parameter" value="not_multi_abi" />
    <option name="config-descriptor:metadata" key="parameter" value="not_secondary_user" />

    <device name="device1">
        <!-- For coverage to work, the APK should not be uninstalled until after coverage is pulled.
             So it's a lot easier to install APKs outside the python code.
        -->
        <target_preparer class="com.android.tradefed.targetprep.suite.SuiteApkInstaller">
            <option name="test-file-name" value="wifi_aware_snippet.apk" />
        </target_preparer>
        <target_preparer class="com.android.tradefed.targetprep.RunCommandTargetPreparer">
            <option name="run-command" value="input keyevent KEYCODE_WAKEUP" />
            <option name="run-command" value="wm dismiss-keyguard" />
        </target_preparer>
        <target_preparer class="com.android.tradefed.targetprep.PythonVirtualenvPreparer">
          <!-- Any python dependencies can be specified and will be installed with pip -->
          <option name="dep-module" value="mobly" />
        </target_preparer>
    </device>
    <device name="device2">
        <target_preparer class="com.android.tradefed.targetprep.suite.SuiteApkInstaller">
            <option name="test-file-name" value="wifi_aware_snippet.apk" />
        </target_preparer>
        <target_preparer class="com.android.tradefed.targetprep.RunCommandTargetPreparer">
            <option name="run-command" value="input keyevent KEYCODE_WAKEUP" />
            <option name="run-command" value="wm dismiss-keyguard" />
        </target_preparer>
    </device>

    <test class="com.android.tradefed.testtype.mobly.MoblyBinaryHostTest">
      <!-- The mobly-par-file-name should match the module name -->
      <option name="mobly-par-file-name" value="CtsWifiAwareTestCases" />
      <!-- Timeout limit in milliseconds for all test cases of the python binary -->
      <option name="mobly-test-timeout" value="60000" />
    </test>
</configuration>

โปรดทราบว่า:

• การทดสอบตัวอย่างนี้ใช้ Mobly คุณระบุการพึ่งพาใดก็ได้สำหรับ PythonVirtualenvPreparer และระบบจะติดตั้งด้วย pip
• mobly-par-file-namefor MoblyBinaryHostTest ต้องตรงกับชื่อโมดูลใน Android.bp
• ระบุ mobly-test-timeout สำหรับการทดสอบ ค่านี้เป็นมิลลิวินาทีและมีผลกับการเรียกใช้ไบนารี Python ทั้งหมด (เทสเคสทั้งหมดรวมกัน) ซึ่งจำเป็นเพื่อไม่ให้เฟรมทดสอบค้างอยู่ตลอดในกรณีที่เกิดปัญหาบางอย่าง
• แท็ก device แต่ละรายการอาจมีการตั้งค่าที่แตกต่างกันในอุปกรณ์แต่ละเครื่อง การกำหนดค่า Mobly จะได้รับการตั้งค่าตามลำดับเดียวกันกับที่ระบุไว้ใน XML

เกี่ยวข้องกับการติดตั้ง apk ของข้อมูลโค้ด

• POC เริ่มต้นได้รับการอัปเดตให้ติดตั้ง snippet apk ผ่าน target_preparer เนื่องจากการพูดคุยกับทีมความครอบคลุม: เพื่อให้มั่นใจว่าการวัดผลการครอบคลุมจะไม่เร็วเกินไป การถอนการติดตั้งโดย Harness แทนการติดตั้งโค้ดทดสอบในไบนารีของ Python จะให้การรับประกันที่ดีกว่าในแง่ของเวลา

ขั้นตอนที่ 5: เรียกใช้การทดสอบในเครื่อง: atest

ปัจจุบันการทดสอบหลายอุปกรณ์จะทํางานในอุปกรณ์จริงเท่านั้น ก่อนทำการทดสอบ ให้ตรวจสอบว่าอุปกรณ์ทดสอบอยู่ในสถานะที่เหมาะสม คำสั่ง adb devices ควรแสดงรายการอุปกรณ์ที่เชื่อมต่อ หากรายการมีอุปกรณ์ที่ไม่ได้ตั้งใจสำหรับการทดสอบ ให้ระบุอุปกรณ์สำหรับการทดสอบโดยใช้แฟล็ก -s

สำหรับการทดสอบ Wi-Fi ให้ตรวจสอบว่าได้เปิดใช้ Wi-Fi ให้กับอุปกรณ์แล้ว (หลังจากรีเซ็ตเป็นค่าเริ่มต้น)

คุณทำการทดสอบในเครื่องได้โดยใช้ atest โดยทำดังนี้

$ atest CtsWifiAwareTestCases

คุณควรเห็นจํานวนอุปกรณ์ที่ใช้ในส่วนหัวของข้อมูลสรุปในเอาต์พุตการทดสอบ เช่น Test executed with 2 device(s)

การแก้ปัญหา

หากการทดสอบล้มเหลวเมื่อเรียกใช้ในพื้นที่เนื่องจากสาเหตุต่อไปนี้

ข้อผิดพลาดของ Virtualenv

java.io.IOException: Cannot run program
"virtualenv": error=2, No such file or directory

โปรดตรวจสอบว่า virtualenv อยู่ใน PATH การเพิ่ม "~/.local/bin" ลงใน PATH ควรช่วยแก้ปัญหาได้ หากยังไม่ได้ติดตั้ง virtualenv ให้ทำตาม https://virtualenv.pypa.io/en/latest/installation.html

คาดว่าจะได้รับออบเจ็กต์ตัวควบคุมอย่างน้อย 2 รายการ แต่ได้รับเพียง 1 รายการ

โมดูลทดสอบเป็นแบบอุปกรณ์หลายเครื่องหรืออุปกรณ์เครื่องเดียว ไม่มีแบบผสม หากพยายามเรียกใช้โมดูลหลายอุปกรณ์โดยไม่มีอุปกรณ์หลายเครื่อง คุณจะเห็นข้อผิดพลาดนี้

Expected to get at least 2 controller objects, got 1

การดำเนินการกับโมดูลในโหมดหลายอุปกรณ์จะช่วยแก้ปัญหาได้

สำหรับ CTS: คุณสามารถใช้การแยกข้อมูลเพื่อเรียกใช้ (เช่น --shard-count 2) หรือ run cts-multidevces