Trade Federation เป็นเฟรมเวิร์กการทดสอบอย่างต่อเนื่องสำหรับการทดสอบในอุปกรณ์ Android หากต้องการเรียกใช้ชุดเครื่องมือทดสอบความเข้ากันได้ (CTS) โปรดอ่านส่วน ภาพรวมของสหพันธ์การค้าสำหรับ คำอธิบายกรอบการทดสอบการแลกเปลี่ยน
วิธีเรียกใช้แผนทดสอบ
- ตั้งค่าอุปกรณ์ทดสอบ (DUT) ตามการตั้งค่าอุปกรณ์ Android
- ตรวจสอบว่าคุณได้ติดตั้งทั้ง Android Debug Bridge (adb) และ Android Asset Packaging Tool (AAPT) เวอร์ชันล่าสุด รวมถึงเพิ่มตำแหน่งของเครื่องมือเหล่านั้นลงในเส้นทางของระบบของเครื่องแล้ว ดูข้อมูลเกี่ยวกับการติดตั้งเครื่องมือดังกล่าวได้ที่หัวข้อการตั้งค่า CTS: ADB และ AAPT
- ดาวน์โหลดบิลด์ CTS ที่เผยแพร่ลงใน เครื่องโฮสต์ Linux แล้วคลายการบีบอัดบิลด์ไปยังตำแหน่งโฮสต์
- เชื่อมต่ออุปกรณ์อย่างน้อย 1 เครื่อง วิธีเตรียม DUT
- กดปุ่มหน้าแรกเพื่อตั้งค่าอุปกรณ์เป็นหน้าจอหลัก
- อย่าใช้ DUT ทำงานอย่างอื่น
- วาง DUT ในตำแหน่งคงที่เพื่อหลีกเลี่ยงการทริกเกอร์กิจกรรมของเซ็นเซอร์
- เล็งกล้องของอุปกรณ์ไปที่วัตถุที่โฟกัสได้
- อย่ากดแป้นใดๆ ในอุปกรณ์ขณะที่ CTS ทำงานอยู่ การกดแป้นพิมพ์หรือสัมผัสหน้าจอของ DUT จะรบกวนการทดสอบที่กำลังดำเนินอยู่และอาจทำให้การทดสอบล้มเหลว
เปิดสคริปต์ cts-tradefed ของคอนโซล CTS จากโฟลเดอร์ที่แตกไฟล์ CTS ไว้ ในเชลล์บรรทัดคำสั่งของโฮสต์ ให้เรียกใช้คำสั่งต่อไปนี้
./android-cts/tools/cts-tradefed
เรียกใช้แผนการทดสอบเริ่มต้น (มีแพ็กเกจทดสอบทั้งหมด)
cts-tradefed > run cts
หากต้องการปรับปรุงเวลาในการเรียกใช้การทดสอบ คุณสามารถแยกการทดสอบในอุปกรณ์หลายเครื่อง การแบ่งกลุ่มต้องให้โฮสต์เชื่อมต่ออุปกรณ์อย่างน้อย 2 เครื่อง แต่เราขอแนะนำให้ใช้อุปกรณ์อย่างน้อย 6 เครื่องเพื่อให้มีประสิทธิภาพ เมื่อมีการแยกข้อมูลอุปกรณ์มากกว่า 1 เครื่อง
สำหรับ Android 9 ขึ้นไป ให้ใช้ตัวเลือกคำสั่ง
--shard-count number_of_shards
สำหรับ Android 8.1 และต่ำกว่า ให้ใช้ตัวเลือกคำสั่ง
--shards number_of_shards
หากไม่ต้องการเรียกใช้ชุดทดสอบทั้งชุด คุณสามารถเรียกใช้ แพ็กเกจ CTS ที่คุณเลือกจาก บรรทัดคำสั่งดังนี้
run cts --plan test_plan_name
วิธีค้นหาชื่อแผนทดสอบ
สำหรับ Android 7.0 ขึ้นไป หากต้องการดูรายการโมดูลทดสอบ ให้ป้อน
list modules
สำหรับ Android 6.0 และต่ำกว่า เพื่อดูรายการแผนการทดสอบใน ที่เก็บ ให้ป้อน
list plans
สำหรับ Android 6.0 และต่ำกว่า หากต้องการดูรายการแพ็กเกจทดสอบในที่เก็บ ให้ป้อน
list packages
สำหรับตัวเลือกคำสั่งเพิ่มเติมที่ขึ้นอยู่กับเวอร์ชัน CTS โปรดดู การอ้างอิงคำสั่งของคอนโซล หรือในส่วน "ช่วยเหลือทั้งหมด" ในคอนโซล Tradefed
เรียกใช้เซสชันลองอีกครั้งหลายครั้งจนกว่าโมดูลทดสอบทั้งหมดจะเสร็จสมบูรณ์ และ ตัวเลขความล้มเหลวในการทดสอบจะเท่ากันในเซสชันการลองใหม่ 2 ครั้งล่าสุด
สำหรับ Android 9 ขึ้นไป ให้ใช้
run retry --retry session_number --shard-count number_of_shards
สำหรับ Android 7.0–8.1 ให้ใช้
run cts --retry session_number --shards number_of_shards
สำหรับตัวเลือกคำสั่งลองอีกครั้งโดยขึ้นอยู่กับเวอร์ชัน CTS โปรดดูที่ คอนโซลบัญชาการ CTS v2
หากต้องการทำความเข้าใจรายละเอียดการใช้งานสำหรับการลอง CTS อีกครั้ง โปรดดู Trade Federation Suite ลองใหม่
เรียกใช้เซสชันลองอีกครั้งเฉพาะในการทดสอบที่ทำพารามิเตอร์ไม่สำเร็จ ระบบจะไม่ลองทดสอบที่มีพารามิเตอร์อีกครั้งหากทดสอบผ่าน
สำหรับ Android 11 ขึ้นไป ตัวเลือกคำสั่งลองอีกครั้งต่อไปนี้เปิดใช้อยู่ โดยค่าเริ่มต้นในคำสั่ง
run cts
:run retry --retry
--new-parameterized-handling
ดูความคืบหน้าและการรายงานผลลัพธ์การทดสอบในคอนโซล
เรียกใช้ CTS โดยใช้ Android Test Station
Android Test Station เป็นเครื่องมือทดสอบอัตโนมัติที่นักพัฒนาแอป Android และวิศวกรทดสอบสามารถใช้อินเทอร์เฟซผู้ใช้เพื่อเรียกใช้ชุดทดสอบมาตรฐาน ใช้ได้กับชุดเครื่องมือทดสอบความเข้ากันได้ของ Android (CTS)
เครื่องมือนี้พร้อมให้บริการแก่สาธารณะผ่านคู่มือผู้ใช้ ATS และโค้ดของเครื่องมือนี้เป็นโอเพนซอร์สใน AOSP (multitest_transport
, tradefed_cluster
)
เรียกใช้ CTS สำหรับโหมดสำรอง
CTS 10 R4 เพิ่มแผนการทดสอบสำหรับอุปกรณ์ที่มีโหมดอื่น หรือ
อุปกรณ์ที่มีหน้าจอมากกว่า 1 หน้าจอ ดำเนินการตามแผนการทดสอบโหมดสำรองโดยใช้
run cts-foldable
กรอบการทดสอบที่ผ่านหรือไม่ผ่านสำหรับโหมดหน้าจอสำรองจะต่อท้ายด้วย
จาก display_mode
เช่น testcase1[display_mode=0]
ใน CTS 13 DeviceStateManager API อนุญาตให้เรียกใช้โมดูลทดสอบที่มีตัวเลือกการกําหนดค่าต่อไปนี้ในสถานะอุปกรณ์ต่างๆ ของอุปกรณ์แบบพับได้
การดำเนินการทดสอบจะดำเนินการโดยอัตโนมัติใน CTS ตามสถานะการพับจอแสดงผล
ที่กำหนดไว้ในอุปกรณ์โดยไม่จำเป็นต้องเรียกใช้แพ็กเกจการทดสอบ cts-foldable
<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />
การทดสอบหลายอุปกรณ์ใน CTS
Android 13 ขึ้นไปรองรับการทดสอบหลายอุปกรณ์
การทดสอบที่ต้องใช้อุปกรณ์หลายเครื่องจะดำเนินการโดยอัตโนมัติระหว่างการเรียกใช้ CTS
CTS 13 มีการทดสอบหลายอุปกรณ์บางอย่างที่จะเริ่มทำงานโดยอัตโนมัติเมื่อมีการใช้การแยกข้อมูล แม้ว่าการทดสอบจะไม่จําเป็นต้องเปลี่ยนแปลงการตั้งค่าอุปกรณ์เพิ่มเติม แต่virtualenv
ต้องติดตั้งเพื่อให้การทดสอบทํางานได้อย่างถูกต้อง โปรดดูรายละเอียดที่หัวข้อชุดโปรแกรมสำหรับอุปกรณ์หลายเครื่อง
ทำการทดสอบหลายอุปกรณ์
หากต้องการเรียกใช้การทดสอบแบบหลายอุปกรณ์อย่างอิสระ ให้ใช้โค้ดต่อไปนี้
cts-tradefed > run cts-multidevice
ระบบรองรับตัวเลือกปกติทั้งหมด หากต้องการกําหนดเป้าหมายอุปกรณ์ที่เฉพาะเจาะจง ให้เพิ่ม--serial <serial1> --serial <serial2>
และตามด้วยจํานวนอุปกรณ์ที่ต้องการกําหนดเป้าหมาย
หากต้องการทริกเกอร์การทดสอบหลายอุปกรณ์โดยอัตโนมัติ ให้ใช้การแยกข้อมูล ดังที่แสดงใน --shard-count 2