เรียกใช้การทดสอบ CTS

Trade Federation เป็นเฟรมเวิร์กการทดสอบอย่างต่อเนื่องสำหรับการเรียกใช้การทดสอบใน Android อุปกรณ์ หากต้องการเรียกใช้ชุดเครื่องมือทดสอบความเข้ากันได้ (CTS) โปรดอ่านส่วน ภาพรวมของสหพันธ์การค้าสำหรับ คำอธิบายกรอบการทดสอบการแลกเปลี่ยน

วิธีเรียกใช้แผนทดสอบ

1. ตั้งค่าอุปกรณ์ภายใต้การทดสอบ (DUT) ตาม การตั้งค่าอุปกรณ์ Android
2. ตรวจสอบว่าคุณได้ติดตั้งเวอร์ชันล่าสุดของทั้ง 2 เวอร์ชันแล้ว Android Debug Bridge (adb) และ Android Asset Pack Tool (AAPT) และเพิ่มตำแหน่งของเครื่องมือเหล่านั้นลงในเส้นทางระบบของเครื่อง โปรดดูข้อมูลเกี่ยวกับการติดตั้งเครื่องมือดังกล่าวที่ การตั้งค่า CTS: ADB และ AAPT
3. ดาวน์โหลดบิลด์ CTS ที่เผยแพร่ลงใน เครื่องโฮสต์ Linux แล้วคลายการบีบอัดบิลด์ไปยังตำแหน่งโฮสต์
4. เชื่อมต่ออุปกรณ์อย่างน้อย 1 เครื่อง วิธีเตรียม DUT
   • กดปุ่มหน้าแรกเพื่อตั้งค่าอุปกรณ์ให้อยู่ที่หน้าจอหลัก
   • อย่าใช้ DUT สำหรับงานอื่นๆ
   • วาง DUT ให้อยู่กับที่เพื่อหลีกเลี่ยงการทริกเกอร์เซ็นเซอร์ กิจกรรม
   • เล็งกล้องของอุปกรณ์ไปยังวัตถุที่โฟกัสได้
   • อย่ากดปุ่มใดๆ บนอุปกรณ์ขณะที่ CTS ทำงานอยู่ กำลังกด การกดปุ่มหรือการแตะหน้าจอของ DUT รบกวนการทดสอบที่ทำงานอยู่ และอาจทำให้การทดสอบไม่สำเร็จ

5. เปิดสคริปต์ cts-tradefed ของคอนโซล CTS จากโฟลเดอร์ที่มี CTS คลายการซิปแพ็กเกจแล้ว ในเชลล์บรรทัดคำสั่งของโฮสต์ ให้เรียกใช้คำสั่งต่อไปนี้

   ./android-cts/tools/cts-tradefed

6. เรียกใช้แผนการทดสอบเริ่มต้น (มีแพ็กเกจการทดสอบทั้งหมด) ดังนี้

   cts-tradefed > run cts

   • หากต้องการปรับปรุงเวลาการดำเนินการทดสอบ คุณสามารถ ชาร์ดการทดสอบ ในหลายอุปกรณ์ การชาร์ดดิ้งกำหนดให้โฮสต์เชื่อมต่ออย่างน้อย 2 อุปกรณ์ แต่แนะนำให้ใช้อุปกรณ์ 6 เครื่องขึ้นไปเพื่อประสิทธิภาพ เมื่อชาร์ดดิ้งอุปกรณ์มากกว่า 1 เครื่อง

     • สำหรับ Android 9 ขึ้นไป ให้ใช้ตัวเลือกคำสั่ง

       --shard-count number_of_shards

     • สำหรับ Android 8.1 และต่ำกว่า ให้ใช้ตัวเลือกคำสั่ง

       --shards number_of_shards

   • หากไม่ต้องการเรียกใช้ชุดทดสอบทั้งชุด คุณสามารถเรียกใช้ แพ็กเกจ CTS ที่คุณเลือกจาก บรรทัดคำสั่งดังนี้

     run cts --plan test_plan_name

     วิธีค้นหาชื่อแพ็กเกจทดสอบ

     • สำหรับ Android 7.0 ขึ้นไป หากต้องการดูรายการโมดูลทดสอบ ให้ป้อน

       list modules

     • สำหรับ Android 6.0 และต่ำกว่า เพื่อดูรายการแผนการทดสอบใน ที่เก็บ ให้ป้อน

       list plans

     • สำหรับ Android 6.0 และต่ำกว่า หากต้องการดูรายการแพ็กเกจการทดสอบใน ที่เก็บ ให้ป้อน

       list packages

   • สำหรับตัวเลือกคำสั่งเพิ่มเติมที่ขึ้นอยู่กับเวอร์ชัน CTS โปรดดู การอ้างอิงคำสั่งของคอนโซล หรือในส่วน "ช่วยเหลือทั้งหมด" ในคอนโซล Tradefed

7. เรียกใช้เซสชันลองอีกครั้งหลายครั้งจนกว่าโมดูลทดสอบทั้งหมดจะเสร็จสมบูรณ์ และ ตัวเลขความล้มเหลวในการทดสอบจะเท่ากันในเซสชันการลองใหม่ 2 ครั้งล่าสุด

   • สําหรับ Android 9 ขึ้นไป ให้ใช้

     run retry --retry session_number --shard-count number_of_shards

   • สำหรับ Android 7.0-8.1 ให้ใช้

     run cts --retry session_number --shards number_of_shards

   • สำหรับตัวเลือกคำสั่งลองอีกครั้งโดยขึ้นอยู่กับเวอร์ชัน CTS โปรดดูที่ คอนโซลบัญชาการ CTS v2

   • หากต้องการทำความเข้าใจรายละเอียดการใช้งานสำหรับการลอง CTS อีกครั้ง โปรดดู Trade Federation Suite ลองใหม่

8. เรียกใช้เซสชันลองอีกครั้งเฉพาะในการทดสอบที่ทำพารามิเตอร์ไม่สำเร็จ ผ่าน ไม่ต้องลองทำการทดสอบแบบพารามิเตอร์อีก

   • สำหรับ Android 11 ขึ้นไป ตัวเลือกคำสั่งลองอีกครั้งต่อไปนี้เปิดใช้อยู่ โดยค่าเริ่มต้นในคำสั่ง run cts:

     run retry --retry  --new-parameterized-handling

9. ดูความคืบหน้าของการทดสอบและผลการทดสอบที่รายงานในคอนโซล

เรียกใช้ CTS โดยใช้ Android Test Station

Android Test Station คือเครื่องมือทดสอบอัตโนมัติที่นักพัฒนาแอป Android และทดสอบ วิศวกรสามารถใช้อินเทอร์เฟซผู้ใช้เพื่อทำการทดสอบมาตรฐาน ห้องชุด ใช้ได้กับชุดเครื่องมือทดสอบความเข้ากันได้ของ Android (CTS)

เครื่องมือนี้มีให้บริการแบบสาธารณะผ่านทาง คู่มือผู้ใช้ ATS และโค้ดเป็นโอเพนซอร์สใน AOSP (multitest_transport tradefed_cluster)

เรียกใช้ CTS สำหรับโหมดสำรอง

CTS 10 R4 เพิ่มแผนการทดสอบสำหรับอุปกรณ์ที่มีโหมดอื่น หรือ อุปกรณ์ที่มีหน้าจอมากกว่า 1 หน้าจอ ดำเนินการตามแผนการทดสอบโหมดสำรองโดยใช้ run cts-foldable

กรอบการทดสอบที่ผ่านหรือไม่ผ่านสำหรับโหมดหน้าจอสำรองจะต่อท้ายด้วย จาก display_mode เช่น testcase1[display_mode=0]

ใน CTS 13 DeviceStateManager API อนุญาตโมดูลทดสอบที่มีสิ่งต่อไปนี้ ตัวเลือกการกำหนดค่าเพื่อให้ทำงานในสถานะต่างๆ ของอุปกรณ์แบบพับได้ การดำเนินการทดสอบจะดำเนินการโดยอัตโนมัติใน CTS ตามสถานะการพับจอแสดงผล ที่กำหนดไว้ในอุปกรณ์โดยไม่จำเป็นต้องเรียกใช้แพ็กเกจการทดสอบ cts-foldable

<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />

การทดสอบหลายอุปกรณ์ใน CTS

Android 13 ขึ้นไปรองรับการทดสอบแบบหลายอุปกรณ์ การทดสอบที่ต้องใช้อุปกรณ์หลายเครื่องจะดำเนินการโดยอัตโนมัติระหว่างการเรียกใช้ CTS CTS 13 มีการทดสอบหลายอุปกรณ์ที่ทริกเกอร์โดยอัตโนมัติเมื่อชาร์ดดิ้ง แม้ว่าการทดสอบจะไม่จำเป็นต้องมีการเปลี่ยนแปลงการตั้งค่าทางกายภาพเพิ่มเติม ต้องติดตั้ง virtualenv เพื่อให้การทดสอบทำงานได้อย่างถูกต้อง โปรดดูรายละเอียด ดูอุปกรณ์ที่หลากหลาย Suites

ทำการทดสอบหลายอุปกรณ์

หากต้องการเรียกใช้การทดสอบหลายอุปกรณ์อย่างอิสระ ให้ใช้โค้ดต่อไปนี้

  cts-tradefed > run cts-multidevice
  

ระบบรองรับตัวเลือกปกติทั้งหมด หากต้องการกำหนดเป้าหมายอุปกรณ์ที่เฉพาะเจาะจง ให้เพิ่ม --serial <serial1> --serial <serial2> และต่อไปเรื่อยๆ ตามจำนวนอุปกรณ์ กำหนดเป้าหมาย

หากต้องการทริกเกอร์การทดสอบหลายอุปกรณ์โดยอัตโนมัติ ให้ใช้การชาร์ด เช่น --shard-count 2