เรียกใช้การทดสอบ CTS แบบอัตโนมัติ (Android 11 ขึ้นไป)

จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

การเรียกใช้การทดสอบอัตโนมัติของ CTS มี 2 ตัวเลือก ได้แก่

• Trade Federation คือเฟรมเวิร์กแอปและเฟรมเวิร์กทดสอบที่ช่วยให้คุณเรียกใช้การทดสอบจากบรรทัดคำสั่งได้ โดยพื้นฐานแล้ว เฟรมเวิร์กนี้จะช่วยให้คุณกำกับเนื้อหาการทดสอบได้โดยใช้คำอธิบายประกอบ @Test จากนั้นแอปจะค้นหาและเรียกใช้การทดสอบเหล่านั้น

• OmniLab Android Test Station เป็นแอปที่ช่วยให้คุณทำการทดสอบใน GUI ได้

หน้านี้จะอธิบายวิธีเรียกใช้การทดสอบอัตโนมัติโดยใช้ Trade Federation ดูวิธีการทดสอบโดยใช้ OmniLab Android Test Harness ได้ที่สถานีทดสอบ Android ของ OmniLab

เรียกใช้การทดสอบ CTS แบบอัตโนมัติทั้งหมด

Trade Federation มีคอนโซล CTS ซึ่งเป็นอินเทอร์เฟซบรรทัดคำสั่งสำหรับการทดสอบ วิธีเรียกใช้ชุดทดสอบ CTS แบบอัตโนมัติทั้งหมด

1. ตรวจสอบว่าคุณได้ทำตามวิธีการในหัวข้อตั้งค่าการทดสอบอัตโนมัติ CTS

2. ในเวิร์กสเตชันทดสอบ ให้เปิดคอนโซล CTS โดยเรียกใช้สคริปต์ cts-tradefed จากโฟลเดอร์ที่แตกไฟล์แพ็กเกจ CTS แล้ว

   ./android-cts/tools/cts-tradefed
   

   คอนโซล CTS จะแสดงเคอร์เซอร์ให้คุณพิมพ์คําสั่ง CTS (cts-tradefed >)

3. แผนทดสอบ cts มีการทดสอบ CTS แบบอัตโนมัติทั้งหมด เรียกใช้คำสั่งต่อไปนี้เพื่อเรียกใช้แผนการทดสอบ cts

   run cts
   

   การทดสอบ CTS แบบอัตโนมัติจะทำงาน ข้อควรทราบ

   • Android 13 ขึ้นไปรองรับการทดสอบหลายอุปกรณ์ การทดสอบเหล่านี้จะทํางานโดยอัตโนมัติก็ต่อเมื่อมีการใช้การแยกข้อมูลเท่านั้น ดูข้อมูลเพิ่มเติมเกี่ยวกับการจัดสรรได้ที่ปรับปรุงเวลาในการเรียกใช้การทดสอบ หากต้องการทำการทดสอบเหล่านี้ด้วยตนเอง โปรดดูทำการทดสอบหลายอุปกรณ์

   • เมื่อใดก็ตามที่เรียกใช้ CTS ให้กด ctrl+c เพื่อหยุดคอนโซล CTS ที่มีอยู่ แล้วเรียกใช้คอนโซล CTS อีกครั้ง

   • คุณไม่สามารถเรียกใช้ CTS หลายเวอร์ชันในโฮสต์เดียวได้ เนื่องจากแต่ละเวอร์ชันจะเปิดขึ้นด้วยเซิร์ฟเวอร์รหัสตำแหน่งแบบเปิด (OLC) ที่มีอยู่

4. ดูผลการทดสอบ ดูข้อมูลเพิ่มเติมได้ที่ตีความผลลัพธ์ CTS

5. หากนี่เป็นการทดสอบครั้งแรก การทดสอบอาจล้มเหลวเนื่องจากปัญหาที่อยู่นอกเหนือการควบคุมของคุณ เช่น การเชื่อมต่อเครือข่ายอาจช้าหรือสัญญาณ GPS อาจอ่อน เรียกใช้การทดสอบอีกครั้ง (ลองใหม่) จนกว่าโมดูลการทดสอบทั้งหมดจะเสร็จสมบูรณ์ และจำนวนการทดสอบที่ไม่ผ่านเหมือนกันระหว่างเซสชันการลองใหม่ 2 รายการล่าสุด

   run retry --retry session_number`
   

6. หลังจากการทดสอบล้มเหลวอย่างต่อเนื่องในการลองอีกครั้ง ให้มุ่งเน้นที่การแก้ไขข้อบกพร่องของการทดสอบที่เหลือซึ่งไม่ผ่าน ดูข้อมูลเกี่ยวกับการแก้ปัญหาผลลัพธ์การทดสอบได้ที่หัวข้อจัดประเภทการทดสอบที่ไม่ผ่านและแก้ปัญหาการทดสอบ CTS

เรียกใช้ CTS สำหรับอุปกรณ์หลายหน้าจอ

หากอุปกรณ์ใช้ Android 11 หรือ 12 และมีหน้าจอหลายหน้าจอ คุณต้องเรียกใช้แผนการทดสอบ cts-foldable แยกต่างหาก โดยทำดังนี้

run cts-foldable

เทสเคสที่ผ่านหรือไม่ผ่านสําหรับโหมดหน้าจออื่นจะเพิ่มค่าจาก display_mode ต่อท้าย เช่น testcase1[display_mode=0]

ทำการทดสอบหลายอุปกรณ์

เรียกใช้คำสั่งต่อไปนี้เพื่อเรียกใช้แผนการทดสอบ cts-multidevice

run cts-multidevice

เรียกใช้แผนการทดสอบแต่ละรายการ

คุณเรียกใช้แผนการทดสอบแต่ละรายการได้แทนการเรียกใช้แผนการทดสอบทั้งหมดพร้อมกัน ตัวเลือกนี้มีประโยชน์ในการประหยัดเวลาและมุ่งเน้นที่ชุดการทดสอบที่เฉพาะเจาะจง วิธีเรียกใช้แผนการทดสอบแต่ละรายการ

1. ระบุชื่อแผนการทดสอบที่ต้องการเรียกใช้โดยเรียกใช้คําสั่ง list modules

2. เรียกใช้แผนทดสอบ

   run cts --plan test_module_or_plan_name
   

ปรับปรุงเวลาในการเรียกใช้การทดสอบ

หากต้องการปรับปรุงเวลาในการเรียกใช้การทดสอบ คุณสามารถแบ่งการทดสอบในอุปกรณ์หลายเครื่อง การแยกข้อมูลกำหนดให้โฮสต์ต้องเชื่อมต่ออุปกรณ์อย่างน้อย 2 เครื่อง แต่เราขอแนะนำให้ใช้อุปกรณ์อย่างน้อย 6 เครื่องเพื่อให้มีประสิทธิภาพ

หากต้องการแบ่งกลุ่มการทดสอบใน Android 11 ขึ้นไป ให้เรียกใช้คำสั่งต่อไปนี้

run cts --shard-count number_of_shards

นอกจากนี้ ก่อนทำการทดสอบเพื่อตรวจสอบ คุณสามารถปรับปรุงเวลาในการเรียกใช้การทดสอบได้โดยใช้คําสั่ง CTS run cts-dev คำสั่งนี้จะข้ามเงื่อนไขเบื้องต้น การเก็บรวบรวมข้อมูลอุปกรณ์ และเครื่องมือตรวจสอบสถานะระบบทั้งหมด รวมถึงจะทำการทดสอบกับ ABI เพียงรายการเดียวเท่านั้น