ระบบจะวางผลการทดสอบ CTS ไว้ในไฟล์ต่อไปนี้
CTS_ROOT/android-cts/results/start_time.zip
หากคุณสร้าง CTS ด้วยตนเอง CTS_ROOT จะคล้ายกับ
out/host/linux-x86/cts แต่จะแตกต่างกันไปตามแพลตฟอร์ม ซึ่งแสดงถึงเส้นทางที่คุณ
คลายการบีบอัด CTS อย่างเป็นทางการที่สร้างไว้ล่วงหน้า
ดาวน์โหลดจากเว็บไซต์นี้
ไฟล์ test_result.xml จะมีผลลัพธ์จริงอยู่ภายในไฟล์ ZIP
แสดงผลลัพธ์ของ Android 10 ขึ้นไป
มีไฟล์ test_result.html อยู่ภายในที่เก็บถาวร zip คุณสามารถเปิดไฟล์นี้ได้โดยตรง ในเว็บเบราว์เซอร์ที่รองรับ HTML5
แสดงผลลัพธ์ก่อน Android 10
เปิดไฟล์ test_result.xml ในเว็บเบราว์เซอร์ที่รองรับ HTML5 เพื่อดูผลการทดสอบ
หากไฟล์นี้แสดงหน้าว่างเมื่อใช้เบราว์เซอร์ Chrome ให้เปลี่ยนการกำหนดค่าเบราว์เซอร์ เพื่อเปิดใช้ --allow-file-access-from-files Flag บรรทัดคำสั่ง
อ่านผลการทดสอบ
รายละเอียดของผลการทดสอบจะขึ้นอยู่กับเวอร์ชันของ CTS ที่คุณใช้
- CTS v1 สำหรับ Android 6.0 และเก่ากว่า
- CTS v2 สำหรับ Android 7.0 ขึ้นไป
ข้อมูลอุปกรณ์
ใน CTS เวอร์ชัน 1 และเวอร์ชันก่อนหน้า ให้เลือกข้อมูลอุปกรณ์ (ลิงก์เหนือสรุปการทดสอบ) เพื่อดูรายละเอียดเกี่ยวกับอุปกรณ์ เฟิร์มแวร์ (ยี่ห้อ รุ่น บิลด์เฟิร์มแวร์ แพลตฟอร์ม) และฮาร์ดแวร์ของอุปกรณ์ (ความละเอียดหน้าจอ แป้นกด ประเภทหน้าจอ) CTS v2 ไม่แสดงข้อมูลอุปกรณ์
สรุปการทดสอบ
ส่วนสรุปการทดสอบจะแสดงรายละเอียดแผนการทดสอบที่ดำเนินการ เช่น ชื่อแผน CTS และเวลาเริ่มต้นและสิ้นสุดการดำเนินการ นอกจากนี้ ยังแสดงข้อมูลสรุปแบบรวมของจำนวนการทดสอบที่ผ่าน ไม่ผ่าน หมดเวลา หรือดำเนินการไม่ได้
สรุปการทดสอบตัวอย่าง CTS ของ Android 10
รูปที่ 1: สรุปการทดสอบตัวอย่าง CTS ของ Android 10
สรุปการทดสอบตัวอย่าง CTS v2
รูปที่ 2: สรุปการทดสอบตัวอย่าง CTS v2
สรุปการทดสอบตัวอย่าง CTS v1
รูปที่ 3: สรุปการทดสอบตัวอย่าง CTS v1
รายงานการทดสอบ
ส่วนถัดไปคือรายงานการทดสอบ CTS ซึ่งจะแสดงสรุปการทดสอบที่ผ่านต่อแพ็กเกจ
จากนั้นจะเป็นรายละเอียดของการทดสอบจริงที่ดำเนินการ รายงาน แสดงรายการแพ็กเกจทดสอบ ชุดโปรแกรมทดสอบ กรณีทดสอบ และการทดสอบที่ดำเนินการ โดยจะแสดงผลการดำเนินการทดสอบ ซึ่งได้แก่ ผ่าน ไม่ผ่าน หมดเวลา หรือไม่ได้ดำเนินการ ใน กรณีที่การทดสอบล้มเหลว ระบบจะให้รายละเอียดเพื่อช่วยวินิจฉัยสาเหตุ
นอกจากนี้ สแต็กเทรซ ของความล้มเหลวจะอยู่ในไฟล์ XML แต่ไม่ได้รวมไว้ในรายงานเพื่อให้รายงานสั้นกระชับ การดูไฟล์ XML ด้วยเครื่องมือแก้ไขข้อความจะแสดงรายละเอียดของการทดสอบล้มเหลว (ค้นหาแท็ก [Test] ที่สอดคล้องกับการทดสอบที่ไม่สำเร็จ แล้วค้นหาแท็ก [StackTrace] ภายในแท็กนั้น)
แสดงรายงานการทดสอบตัวอย่าง CTS v2
รูปที่ 4: รายงานผลการทดสอบตัวอย่างของ CTS v2
แสดงรายงานผลการทดสอบตัวอย่าง CTS v1
รูปที่ 5: รายงานผลการทดสอบตัวอย่างของ CTS v1
ตรวจสอบ test_result.xml สำหรับโมดูลการทดสอบที่ไม่สมบูรณ์
หากต้องการทราบจำนวนโมดูลที่ไม่สมบูรณ์ในเซสชันการทดสอบที่กำหนด ให้เรียกใช้ คำสั่ง "list results" ระบบจะแสดงจำนวนโมดูลที่ทำเสร็จและโมดูลทั้งหมดสำหรับแต่ละเซสชันก่อนหน้า หากต้องการดูว่าโมดูลใดเสร็จสมบูรณ์และโมดูลใดไม่สมบูรณ์ ให้เปิดไฟล์ test_result.xml แล้วอ่านค่าของแอตทริบิวต์ "done" สำหรับแต่ละโมดูลในรายงานผลลัพธ์ โมดูลที่มีค่า done = "false" ยังทำงานไม่เสร็จ
การคัดกรองการทดสอบที่ไม่สำเร็จ
ใช้คำแนะนำต่อไปนี้เพื่อจัดลำดับความสำคัญของข้อสอบที่สอบไม่ผ่าน
- ยืนยันว่าได้ตั้งค่า สภาพแวดล้อม CTS อย่างถูกต้องแล้ว หากการทดสอบล้มเหลวเนื่องจากมีข้อกำหนดเบื้องต้นที่ไม่ถูกต้อง ซึ่งรวมถึงสภาพแวดล้อมทางกายภาพ การตั้งค่าเครื่องเดสก์ท็อป และ การตั้งค่าอุปกรณ์ Android
- ตรวจสอบความเสถียรของอุปกรณ์ การตั้งค่าการทดสอบ หรือปัญหาด้านสภาพแวดล้อม หากการทดสอบดูไม่เสถียรมากเกินไป
- หากยังทดสอบไม่สำเร็จ ให้ลองทดสอบอีกครั้งโดยแยกการทดสอบ
- ตรวจสอบปัจจัยภายนอกที่ทำให้การทดสอบล้มเหลว เช่น
- การตั้งค่าสภาพแวดล้อม เช่น การตั้งค่าเครื่องเดสก์ท็อปที่ไม่ถูกต้อง อาจเป็นสาเหตุที่ทำให้การทดสอบในอุปกรณ์ภายใต้การทดสอบ (DUT) ทั้งหมด (รวมถึงอุปกรณ์อ้างอิง) ไม่สำเร็จ
- ทรัพยากร Dependency ภายนอก เช่น หากการทดสอบล้มเหลวในอุปกรณ์ทั้งหมดในหลายเว็บไซต์ที่เริ่มต้น ณ จุดเวลาที่เฉพาะเจาะจง URL ที่ไม่ดีอาจเป็นสาเหตุ
- หาก DUT ไม่มีแพตช์ความปลอดภัย การทดสอบความปลอดภัยอาจไม่สำเร็จ
- ตรวจสอบและวิเคราะห์ความแตกต่างระหว่างอุปกรณ์ที่ผ่านและไม่ผ่าน
- วิเคราะห์การยืนยัน บันทึก รายงานข้อบกพร่อง และแหล่งที่มาของ CTS สำหรับการทดสอบโฮสต์ การยืนยันและบันทึกอาจเป็นแบบทั่วไปมาก ดังนั้นจึงควรตรวจสอบและแนบ Logcat ของอุปกรณ์ด้วย
- ส่งแพตช์การปรับปรุงการทดสอบเพื่อช่วยลดความล้มเหลวในการทดสอบ
บันทึกผลลัพธ์บางส่วน
Tradefed จะไม่บันทึกผลการทดสอบบางส่วนเมื่อการเรียกใช้การทดสอบล้มเหลว
เมื่อ Tradefed ไม่สร้างผลการทดสอบใดๆ แสดงว่าเกิดปัญหาที่ร้ายแรงขึ้น ระหว่างการทดสอบ จึงทำให้ผลการทดสอบไม่น่าเชื่อถือ ผลลัพธ์บางส่วนถือว่าไม่เป็นประโยชน์เนื่องจากไม่มีคุณค่าเมื่อ ตรวจสอบปัญหาเกี่ยวกับอุปกรณ์