ผลการทดสอบ CTS จะอยู่ในไฟล์ดังนี้
CTS_ROOT/android-cts/results/start_time.zip
หากคุณสร้าง CTS ด้วยตนเอง CTS_ROOT จะมีลักษณะคล้ายกับ
out/host/linux-x86/cts แต่แตกต่างกันไปตามแพลตฟอร์ม ข้อมูลนี้แสดงเส้นทางที่
คุณคลายการบีบอัด CTS อย่างเป็นทางการที่สร้างไว้ล่วงหน้า
ดาวน์โหลดจากเว็บไซต์นี้
ในไฟล์ test_result.xml ในไฟล์ ZIP จะมีผลลัพธ์จริง
แสดงผลการค้นหา Android 10 ขึ้นไป
มีไฟล์ test_result.html อยู่ในไฟล์เก็บถาวร Zip คุณสามารถเปิดไฟล์ได้โดยตรง ในเว็บเบราว์เซอร์ที่รองรับ HTML5
แสดงผลลัพธ์ก่อน Android 10
เปิดไฟล์ test_result.xml ในเว็บเบราว์เซอร์ที่รองรับ HTML5 เพื่อดูการทดสอบ ผลลัพธ์
หากไฟล์นี้แสดงหน้าว่างเมื่อใช้เบราว์เซอร์ Chrome
เปลี่ยนการกำหนดค่าเบราว์เซอร์
เพื่อเปิดใช้แฟล็กบรรทัดคำสั่ง --allow-file-access-from-files
อ่านผลการทดสอบ
รายละเอียดของผลการทดสอบขึ้นอยู่กับเวอร์ชัน CTS ที่คุณใช้ ดังนี้
- CTS v1 สำหรับ Android 6.0 และรุ่นก่อนหน้า
- CTS v2 สำหรับ Android 7.0 ขึ้นไป
ข้อมูลอุปกรณ์
ใน CTS v1 และเวอร์ชันก่อนหน้า ให้เลือก "ข้อมูลอุปกรณ์" (ลิงก์ด้านบนสรุปการทดสอบ) เพื่อ ดูรายละเอียดเกี่ยวกับอุปกรณ์ เฟิร์มแวร์ (ยี่ห้อ รุ่น เฟิร์มแวร์ แพลตฟอร์ม) และฮาร์ดแวร์อุปกรณ์ (ความละเอียดหน้าจอ ปุ่มกด ประเภทหน้าจอ) CTS v2 ไม่ แสดงข้อมูลอุปกรณ์
สรุปการทดสอบ
ส่วนสรุปการทดสอบจะแสดงรายละเอียดของแผนการทดสอบที่ดำเนินการ เช่น CTS ชื่อแผนและเวลาเริ่มต้นและสิ้นสุดในการดำเนินการ และยังแสดงภาพรวม สรุปจำนวนการทดสอบที่ผ่าน ล้มเหลว หมดเวลา หรือไม่สามารถ ดำเนินการแล้ว
สรุปการทดสอบตัวอย่าง Android 10 CTS
รูปที่ 1: สรุปการทดสอบตัวอย่าง Android 10 CTS
สรุปการทดสอบตัวอย่าง CTS v2
รูปที่ 2: สรุปการทดสอบตัวอย่าง CTS v2
สรุปการทดสอบตัวอย่าง CTS v1
รูปที่ 3: สรุปการทดสอบตัวอย่าง CTS v1
รายงานการทดสอบ
ส่วนถัดไปคือรายงานการทดสอบ CTS จะแสดงข้อมูลสรุปของการทดสอบที่ผ่านตาม ใหม่
ตามด้วยรายละเอียดของการทดสอบจริงที่ได้ดำเนินการไปแล้ว รายงาน จะแสดงแพ็กเกจทดสอบ ชุดทดสอบ กรอบการทดสอบ และการทดสอบที่ดำเนินการแล้ว ซึ่งแสดง ผลลัพธ์ของการดำเนินการทดสอบ เช่น ผ่าน ล้มเหลว หมดเวลา หรือไม่ได้ดำเนินการ ใน โดยจะให้รายละเอียดเกี่ยวกับเหตุการณ์ความล้มเหลวในการทดสอบเพื่อช่วยในการวินิจฉัยสาเหตุ
นอกจากนี้ สแต็กเทรซของความล้มเหลวมีอยู่ในไฟล์ XML แต่จะไม่มี ที่รวมอยู่ในรายงานเพื่อให้มีความกระชับ คุณสามารถดูไฟล์ XML ด้วยเครื่องมือแก้ไขข้อความ ควรระบุรายละเอียดของการทดสอบที่ไม่สำเร็จ (ค้นหาแท็ก [Test] ที่สัมพันธ์กับการทดสอบที่ล้มเหลว และมองหาแท็ก [StackTrace] ในรายการดังกล่าว)
แสดงรายงานการทดสอบตัวอย่าง CTS v2
รูปที่ 4: รายงานการทดสอบตัวอย่าง CTS v2
แสดงรายงานการทดสอบตัวอย่าง CTS v1
รูปที่ 5: รายงานการทดสอบตัวอย่าง CTS v1
ตรวจสอบ test_result.xml เพื่อดูโมดูลทดสอบที่ไม่สมบูรณ์
หากต้องการระบุจำนวนโมดูลที่ไม่สมบูรณ์ในเซสชันทดสอบหนึ่งๆ ให้เรียกใช้ คำสั่ง "แสดงรายการผลการค้นหา" จำนวนโมดูลที่เสร็จสมบูรณ์และโมดูลทั้งหมด แสดงในเซสชันก่อนหน้าแต่ละเซสชัน หากต้องการทราบว่าโมดูลใดเสร็จสมบูรณ์เทียบกับ ไม่สมบูรณ์ โปรดเปิดไฟล์ test_result.xml และอ่านค่าของ "done" สำหรับแต่ละโมดูลในรายงานผลลัพธ์ โมดูลที่มีค่าเสร็จสิ้น = "เท็จ" ยังทำงานไม่จบ
คัดแยกการทดสอบที่ไม่สำเร็จ
ใช้คำแนะนำต่อไปนี้เพื่อคัดแยกการทดสอบที่ไม่สำเร็จ
- ยืนยัน สภาพแวดล้อม CTS ได้รับการตั้งค่าอย่างถูกต้อง หากการทดสอบล้มเหลวเนื่องจากเงื่อนไขเบื้องต้นที่ไม่ถูกต้อง ซึ่งรวมถึงสภาพแวดล้อมจริง การตั้งค่าเครื่องเดสก์ท็อป และ การตั้งค่าอุปกรณ์ Android
- ตรวจสอบปัญหาด้านความเสถียรของอุปกรณ์ ทดสอบการตั้งค่า หรือปัญหาด้านสภาพแวดล้อม หากการทดสอบดูไม่สม่ำเสมอมากเกินไป
- ลองทำการทดสอบแยกต่างหากอีกครั้งหากยังคงไม่สำเร็จ
- ตรวจสอบปัจจัยภายนอกที่ทําให้การทดสอบไม่สําเร็จ เช่น
- การตั้งค่าเพื่อสิ่งแวดล้อม เช่น เครื่องเดสก์ท็อปที่กำหนดค่าไม่ถูกต้อง การตั้งค่าอาจเป็นสาเหตุของการทดสอบความล้มเหลวที่เกิดขึ้นในอุปกรณ์ทั้งหมด ทดสอบ (DUT) (รวมถึงอุปกรณ์อ้างอิง)
- ทรัพยากร Dependency ภายนอก เช่น หากการทดสอบไม่สำเร็จในอุปกรณ์ทุกเครื่องใน เว็บไซต์หลายเว็บที่เริ่มต้นด้วยช่วงเวลาใดเวลาหนึ่ง URL ที่ไม่ถูกต้องอาจ ไม่ใช่ความผิด
- หาก DUT ไม่รวมหลักทรัพย์ คาดว่าการทดสอบความปลอดภัยจะไม่สำเร็จ
- ตรวจสอบและวิเคราะห์ความแตกต่างระหว่างอุปกรณ์ที่ผ่านและไม่ได้ทำงาน
- วิเคราะห์การยืนยัน บันทึก รายงานข้อบกพร่อง และ แหล่งที่มา CTS สำหรับ HostTest นั้น การยืนยันและบันทึกอาจกว้างมาก และตรวจสอบและแนบ Logcat ของอุปกรณ์ด้วย
- ส่งแพตช์การปรับปรุงการทดสอบเพื่อช่วยลดความล้มเหลวในการทดสอบ
บันทึกผลลัพธ์บางส่วน
Tradefed จะไม่บันทึกผลการทดสอบบางส่วนเมื่อเรียกใช้การทดสอบไม่สำเร็จ
เมื่อ Tradefed ไม่ได้สร้างผลการทดสอบใดๆ ก็หมายความว่าเป็นปัญหาร้ายแรง เกิดขึ้นระหว่างการดำเนินการทดสอบ ทำให้ผลการทดสอบไม่น่าเชื่อถือ ผลลัพธ์บางส่วนถือว่าไม่มีประโยชน์ เนื่องจากไม่ได้ให้ประโยชน์เมื่อ กำลังตรวจสอบปัญหาของอุปกรณ์