ผลการทดสอบ CTS จะถูกวางไว้ในไฟล์:
CTS_ROOT/android-cts/results/start_time.zip
หากคุณสร้าง CTS ด้วยตัวเอง CTS_ROOT จะมีลักษณะคล้ายกับ out/host/linux-x86/cts แต่จะแตกต่างกันไปตามแต่ละแพลตฟอร์ม สิ่งนี้สะท้อนถึงเส้นทางที่คุณได้คลายการบีบอัด CTS อย่างเป็นทางการที่สร้างไว้ล่วงหน้า ที่ดาวน์โหลด จากไซต์นี้
ภายในไฟล์ zip ไฟล์ test_result.xml มีผลลัพธ์จริง
แสดงผลลัพธ์ Android 10 และใหม่กว่า
มีไฟล์ test_result.html อยู่ในไฟล์ zip คุณสามารถเปิดได้โดยตรงในเว็บเบราว์เซอร์ที่รองรับ HTML5
แสดงผล Pre-Android 10
เปิดไฟล์ test_result.xml ในเว็บเบราว์เซอร์ที่รองรับ HTML5 เพื่อดูผลการทดสอบ
หากไฟล์นี้แสดงหน้าว่างเมื่อใช้เบราว์เซอร์ Chrome ให้เปลี่ยนการกำหนดค่าเบราว์เซอร์ของคุณ เพื่อเปิดใช้งานการตั้งค่าสถานะบรรทัดคำ --allow-file-access-from-files
อ่านผลการทดสอบ
รายละเอียดของผลการทดสอบขึ้นอยู่กับเวอร์ชันของ CTS ที่คุณใช้:
- CTS v1 สำหรับ Android 6.0 และรุ่นก่อนหน้า
- CTS v2 สำหรับ Android 7.0 และใหม่กว่า
ข้อมูลอุปกรณ์
ใน CTS v1 และก่อนหน้า ให้เลือกข้อมูลอุปกรณ์ (ลิงก์ด้านบนสรุปการทดสอบ) เพื่อดูรายละเอียดเกี่ยวกับอุปกรณ์ เฟิร์มแวร์ (ยี่ห้อ รุ่น การสร้างเฟิร์มแวร์ แพลตฟอร์ม) และฮาร์ดแวร์ของอุปกรณ์ (ความละเอียดหน้าจอ ปุ่มกด ประเภทหน้าจอ) CTS v2 ไม่แสดงข้อมูลอุปกรณ์
สรุปการทดสอบ
ส่วน สรุปการทดสอบ จะให้รายละเอียดแผนการทดสอบที่ดำเนินการแล้ว เช่น ชื่อแผน CTS และเวลาเริ่มต้นและสิ้นสุดการดำเนินการ นอกจากนี้ยังนำเสนอสรุปรวมของจำนวนการทดสอบที่ผ่าน ล้มเหลว หมดเวลา หรือไม่สามารถดำเนินการได้
สรุปการทดสอบตัวอย่าง Android 10 CTS
รูปที่ 1: สรุปการทดสอบตัวอย่าง Android 10 CTS
สรุปการทดสอบตัวอย่าง CTS v2
รูปที่ 2: สรุปการทดสอบตัวอย่าง CTS v2
สรุปการทดสอบตัวอย่าง CTS v1
รูปที่ 3: สรุปการทดสอบตัวอย่าง CTS v1
รายงานผลการทดสอบ
ส่วนถัดไปคือรายงานการทดสอบ CTS ให้ข้อมูลสรุปการทดสอบที่ผ่านต่อแพ็คเกจ
ตามด้วยรายละเอียดของการทดสอบจริงที่ดำเนินการ รายงานแสดงรายการแพ็คเกจการทดสอบ ชุดทดสอบ กรณีทดสอบ และการทดสอบที่ดำเนินการ โดยแสดงผลการดำเนินการทดสอบ เช่น ผ่าน ล้มเหลว หมดเวลา หรือไม่ได้ดำเนินการ ในกรณีที่การทดสอบล้มเหลว ให้รายละเอียดเพื่อช่วยวินิจฉัยสาเหตุ
นอกจากนี้ การติดตามสแต็กของความล้มเหลวมีอยู่ในไฟล์ XML แต่ไม่รวมอยู่ในรายงานเพื่อให้แน่ใจว่ามีความกระชับ การดูไฟล์ XML ด้วยโปรแกรมแก้ไขข้อความควรให้รายละเอียดของความล้มเหลวในการทดสอบ (ค้นหาแท็ก [Test] ที่สอดคล้องกับ การทดสอบที่ล้มเหลวและมองหาแท็ก [StackTrace] ภายในนั้น)
แสดงรายงานการทดสอบตัวอย่าง CTS v2
รูปที่ 4: รายงานการทดสอบตัวอย่าง CTS v2
แสดงรายงานการทดสอบตัวอย่าง CTS v1
รูปที่ 5: รายงานการทดสอบตัวอย่าง CTS v1
ตรวจสอบ test_result.xml เพื่อหาโมดูลทดสอบที่ไม่สมบูรณ์
หากต้องการกำหนดจำนวนโมดูลที่ไม่สมบูรณ์ในเซสชันการทดสอบ ให้รันคำสั่ง 'list results' จำนวนโมดูลที่เสร็จสมบูรณ์และโมดูลทั้งหมดจะแสดงรายการสำหรับแต่ละเซสชันก่อนหน้า ในการพิจารณาว่าโมดูลใดเสร็จสมบูรณ์และไม่สมบูรณ์ ให้เปิดไฟล์ test_result.xml และอ่านค่าของแอตทริบิวต์ "done" สำหรับแต่ละโมดูลในรายงานผลลัพธ์ โมดูลที่มีค่าเสร็จสิ้น = "เท็จ" ยังทำงานไม่เสร็จ
ความล้มเหลวในการทดสอบ Triage
ใช้คำแนะนำต่อไปนี้เพื่อคัดแยกความล้มเหลวของการทดสอบ
- ตรวจสอบว่า สภาพแวดล้อม CTS ของคุณได้รับการตั้งค่าอย่างถูกต้อง หากการทดสอบล้มเหลวเนื่องจากเงื่อนไขเบื้องต้นไม่ถูกต้อง ซึ่งรวมถึงสภาพแวดล้อมทางกายภาพ การตั้งค่าเครื่องเดสก์ท็อป และการตั้งค่าอุปกรณ์ Android
- ตรวจสอบความเสถียรของอุปกรณ์ การตั้งค่าการทดสอบ หรือปัญหาสภาพแวดล้อม หากการทดสอบปรากฏไม่สม่ำเสมอเกินไป
- ลองทดสอบแยกกันอีกครั้งหากยังคงล้มเหลว
- ตรวจสอบปัจจัยภายนอกที่ทำให้เกิดความล้มเหลวในการทดสอบ เช่น:
- การตั้งค่าด้านสิ่งแวดล้อม ตัวอย่างเช่น การตั้งค่าเครื่องเดสก์ท็อปที่กำหนดค่าไม่ถูกต้องอาจเป็นสาเหตุของความล้มเหลวในการทดสอบที่เกิดขึ้นกับ Device-Under- Test (DUT) ทั้งหมด (รวมถึงอุปกรณ์อ้างอิง)
- การพึ่งพาภายนอก ตัวอย่างเช่น หากการทดสอบล้มเหลวในอุปกรณ์ทั้งหมดในหลายๆ ไซต์โดยเริ่มต้น ณ เวลาใดเวลาหนึ่ง URL ที่ไม่ถูกต้องอาจเป็นข้อผิดพลาด
- หาก DUT ไม่มีแพตช์รักษาความปลอดภัย คาดว่าการทดสอบความปลอดภัยจะล้มเหลว
- ตรวจสอบและวิเคราะห์ความแตกต่างระหว่างอุปกรณ์ที่ผ่านและล้มเหลว
- วิเคราะห์การยืนยัน บันทึก รายงานข้อบกพร่อง และ แหล่งที่มาของ CTS สำหรับ HostTest การยืนยันและบันทึกอาจเป็นข้อมูลทั่วไปได้ ดังนั้นจึงควรตรวจสอบและแนบ Logcat ของอุปกรณ์ด้วย
- ส่งโปรแกรมแก้ไขการปรับปรุงการทดสอบเพื่อช่วยลดความล้มเหลวในการทดสอบ
บันทึกผลลัพธ์บางส่วน
Tradefed จะไม่บันทึกผลการทดสอบบางส่วนเมื่อเรียกใช้การทดสอบล้มเหลว
เมื่อ Tradefed ไม่ได้สร้างผลการทดสอบใดๆ แสดงเป็นนัยว่าเกิดปัญหาร้ายแรงในระหว่างการทดสอบ ซึ่งทำให้ผลการทดสอบไม่น่าไว้วางใจ ผลลัพธ์บางส่วนถือว่าไม่มีประโยชน์เนื่องจากไม่ได้ให้คุณค่าเมื่อตรวจสอบปัญหาของอุปกรณ์