ผลการทดสอบ CTS จะอยู่ในไฟล์ต่อไปนี้
CTS_ROOT/android-cts/results/start_time.zip
หากคุณสร้าง CTS ด้วยตนเอง CTS_ROOT จะคล้ายกับ
out/host/linux-x86/cts แต่จะแตกต่างกันไปตามแพลตฟอร์ม ซึ่งแสดงถึงเส้นทางที่คุณ
คลายการบีบอัด CTS อย่างเป็นทางการที่สร้างไว้ล่วงหน้า
ดาวน์โหลดจากเว็บไซต์นี้
ไฟล์ test_result.xml ในไฟล์ ZIP จะมีผลการทดสอบจริง
แสดงผลลัพธ์ของ Android 10 ขึ้นไป
มีไฟล์ test_result.html อยู่ในไฟล์เก็บถาวร zip คุณสามารถเปิดไฟล์นี้ได้โดยตรง ในเว็บเบราว์เซอร์ที่รองรับ HTML5
แสดงผลลัพธ์ก่อน Android 10
เปิดไฟล์ test_result.xml ในเว็บเบราว์เซอร์ที่รองรับ HTML5 เพื่อดูผลการทดสอบ
หากไฟล์นี้แสดงหน้าว่างเมื่อใช้เบราว์เซอร์ Chrome ให้เปลี่ยนการกำหนดค่าเบราว์เซอร์
เพื่อเปิดใช้การตั้งค่าสถานะบรรทัดคำสั่ง --allow-file-access-from-files
อ่านผลการทดสอบ
รายละเอียดของผลการทดสอบจะขึ้นอยู่กับเวอร์ชันของ CTS ที่คุณใช้
- CTS v1 สำหรับ Android 6.0 และเก่ากว่า
- CTS v2 สำหรับ Android 7.0 ขึ้นไป
ข้อมูลอุปกรณ์
ใน CTS เวอร์ชัน 1 และเวอร์ชันก่อนหน้า ให้เลือกข้อมูลอุปกรณ์ (ลิงก์เหนือสรุปการทดสอบ) เพื่อดูรายละเอียดเกี่ยวกับอุปกรณ์ เฟิร์มแวร์ (ยี่ห้อ รุ่น บิลด์เฟิร์มแวร์ แพลตฟอร์ม) และฮาร์ดแวร์ของอุปกรณ์ (ความละเอียดหน้าจอ แป้นกด ประเภทหน้าจอ) CTS v2 ไม่แสดงข้อมูลอุปกรณ์
สรุปการทดสอบ
ส่วนสรุปการทดสอบจะแสดงรายละเอียดแผนการทดสอบที่ดำเนินการ เช่น ชื่อแผน CTS และเวลาเริ่มต้นและสิ้นสุดของการดำเนินการ นอกจากนี้ ยังแสดงข้อมูลสรุปแบบรวมของจำนวนการทดสอบที่ผ่าน ไม่ผ่าน หมดเวลา หรือดำเนินการไม่ได้
สรุปการทดสอบตัวอย่าง CTS ของ Android 10
รูปที่ 1: สรุปการทดสอบตัวอย่าง CTS ของ Android 10
สรุปการทดสอบตัวอย่าง CTS v2
รูปที่ 2: สรุปการทดสอบตัวอย่าง CTS v2
สรุปการทดสอบตัวอย่าง CTS v1
รูปที่ 3: สรุปการทดสอบตัวอย่าง CTS v1
รายงานการทดสอบ
ส่วนถัดไปคือรายงานการทดสอบ CTS ซึ่งแสดงสรุปการทดสอบที่ผ่านต่อแพ็กเกจ
ตามด้วยรายละเอียดของการทดสอบจริงที่ดำเนินการ รายงาน แสดงรายการแพ็กเกจการทดสอบ ชุดการทดสอบ กรณีทดสอบ และการทดสอบที่ดำเนินการ โดยจะแสดงผลการทดสอบ ซึ่งได้แก่ ผ่าน ไม่ผ่าน หมดเวลา หรือไม่ได้ดำเนินการ ในกรณีที่การทดสอบล้มเหลว ระบบจะให้รายละเอียดเพื่อช่วยวินิจฉัยสาเหตุ
นอกจากนี้ ยังมี Stack Trace ของความล้มเหลวในไฟล์ XML แต่ไม่ได้รวมไว้ในรายงานเพื่อให้รายงานกระชับ การดูไฟล์ XML ด้วยเครื่องมือแก้ไขข้อความควรให้รายละเอียดของความล้มเหลวในการทดสอบ (ค้นหาแท็ก [Test] ที่สอดคล้องกับการทดสอบที่ไม่สำเร็จ และค้นหาแท็ก [StackTrace] ภายในแท็กนั้น)
แสดงรายงานการทดสอบตัวอย่าง CTS v2
รูปที่ 4: รายงานผลการทดสอบตัวอย่างของ CTS v2
แสดงรายงานการทดสอบตัวอย่าง CTS v1
รูปที่ 5: รายงานผลการทดสอบตัวอย่างของ CTS v1
ตรวจสอบ test_result.xml สำหรับโมดูลการทดสอบที่ไม่สมบูรณ์
หากต้องการกำหนดจำนวนโมดูลที่ไม่สมบูรณ์ในเซสชันการทดสอบที่กำหนด ให้เรียกใช้ คำสั่ง "list results" ระบบจะแสดงจำนวนโมดูลที่ทำเสร็จและโมดูลทั้งหมดสำหรับแต่ละเซสชันก่อนหน้า หากต้องการดูว่าโมดูลใดเสร็จสมบูรณ์แล้วและโมดูลใดยังไม่เสร็จสมบูรณ์ ให้เปิดไฟล์ test_result.xml แล้วอ่านค่าของแอตทริบิวต์ "done" สำหรับแต่ละโมดูลในรายงานผลลัพธ์ โมดูลที่มีค่า done = "false" ยังทำงานไม่เสร็จ
การจัดลำดับความสำคัญของข้อบกพร่องในการทดสอบ
ใช้คำแนะนำต่อไปนี้เพื่อจัดลำดับความสำคัญของข้อสอบที่สอบไม่ผ่าน
- ยืนยันว่าได้ตั้งค่าสภาพแวดล้อม CTS อย่างถูกต้องแล้ว หากการทดสอบล้มเหลวเนื่องจากมีข้อกำหนดเบื้องต้นที่ไม่ถูกต้อง ซึ่งรวมถึงสภาพแวดล้อมทางกายภาพ การตั้งค่าเครื่องเดสก์ท็อป และ การตั้งค่าอุปกรณ์ Android
- ตรวจสอบความเสถียรของอุปกรณ์ การตั้งค่าการทดสอบ หรือปัญหาเกี่ยวกับสภาพแวดล้อม หากการทดสอบดูเหมือนไม่เสถียรมากเกินไป
- หากยังทดสอบไม่สำเร็จ ให้ลองทดสอบอีกครั้งโดยแยกการทดสอบ
- ตรวจสอบปัจจัยภายนอกที่ทำให้การทดสอบล้มเหลว เช่น
- การตั้งค่าสภาพแวดล้อม เช่น การตั้งค่าเครื่องเดสก์ท็อปที่ไม่ถูกต้อง อาจเป็นสาเหตุที่ทำให้การทดสอบในอุปกรณ์ภายใต้การทดสอบ (DUT) ทั้งหมด (รวมถึงอุปกรณ์อ้างอิง) ไม่สำเร็จ
- ทรัพยากร Dependency ภายนอก เช่น หากการทดสอบล้มเหลวในอุปกรณ์ทั้งหมดในหลายเว็บไซต์โดยเริ่มที่จุดเวลาที่เฉพาะเจาะจง URL ที่ไม่ดีอาจเป็นสาเหตุ
- หาก DUT ไม่มีแพตช์ความปลอดภัย คาดว่าการทดสอบความปลอดภัยจะล้มเหลว
- ตรวจสอบและวิเคราะห์ความแตกต่างระหว่างอุปกรณ์ที่ผ่านและไม่ผ่าน
- วิเคราะห์การยืนยัน บันทึก รายงานข้อบกพร่อง และแหล่งที่มาของ CTS สำหรับการทดสอบโฮสต์ การยืนยันและบันทึกอาจเป็นแบบทั่วไปมาก ดังนั้นจึงควรตรวจสอบและแนบ Logcat ของอุปกรณ์ด้วย
- ส่งแพตช์การปรับปรุงการทดสอบเพื่อช่วยลดความล้มเหลวในการทดสอบ
บันทึกผลลัพธ์บางส่วน
Tradefed จะไม่บันทึกผลการทดสอบบางส่วนเมื่อการเรียกใช้การทดสอบล้มเหลว
เมื่อ Tradefed ไม่สร้างผลการทดสอบใดๆ แสดงว่าเกิดปัญหาที่ร้ายแรงขึ้นระหว่างการทดสอบ จึงทำให้ผลการทดสอบไม่น่าเชื่อถือ ผลลัพธ์บางส่วนถือว่าไม่เป็นประโยชน์เนื่องจากไม่มีประโยชน์เมื่อ ตรวจสอบปัญหาเกี่ยวกับอุปกรณ์