تفسير نتائج CTS

يتم وضع نتائج اختبار CTS في الملف:

CTS_ROOT/android-cts/results/start_time.zip

إذا أنشأت مجموعة اختبار التوافق بنفسك، سيكون شكلها مشابهاً CTS_ROOT out/host/linux-x86/cts ولكنها ستختلف حسب النظام الأساسي. يمثّل هذا المسار المكان الذي نزّلت منه حزمة CTS الرسمية المُنشأة مسبقًا غير المضغوطة من هذا الموقع الإلكتروني.

داخل ملف ZIP، يحتوي الملف test_result.xml على النتائج الفعلية.

عرض نتائج الإصدار 10 من نظام التشغيل Android والإصدارات الأحدث

يتوفّر ملف test_result.html ضمن الأرشيف المضغوط، ويمكنك فتحه مباشرةً في أي متصفّح ويب متوافق مع HTML5.

عرض نتائج ما قبل الإصدار 10 من نظام التشغيل Android

افتح ملف test_result.xml في أي متصفّح ويب متوافق مع HTML5 لعرض نتائج الاختبار.

إذا كان هذا الملف يعرض صفحة فارغة عند استخدام متصفّح Chrome، غيِّر إعدادات المتصفّح لتفعيل علامة سطر الأوامر --allow-file-access-from-files.

قراءة نتائج الاختبار

تعتمد تفاصيل نتائج الاختبار على إصدار CTS الذي تستخدمه:

• الإصدار 1 من مجموعة أدوات اختبار التوافق (CTS) لنظام التشغيل Android 6.0 والإصدارات الأقدم
• الإصدار 2 من مجموعة اختبار التوافق لنظام التشغيل Android 7.0 والإصدارات الأحدث

معلومات الجهاز

في الإصدار 1 من مجموعة اختبار التوافق والإصدارات الأقدم، اختَر "معلومات الجهاز" (الرابط أعلى "ملخّص الاختبار") لعرض تفاصيل حول الجهاز والبرامج الثابتة (الشركة المصنّعة والطراز وإصدار البرامج الثابتة والنظام الأساسي) وأجهزة الجهاز (دقة الشاشة ولوحة المفاتيح ونوع الشاشة). لا يعرض الإصدار 2 من CTS معلومات الجهاز.

ملخّص الاختبار

يوفّر قسم ملخّص الاختبار تفاصيل خطة الاختبار التي تم تنفيذها، مثل اسم خطة CTS ووقتَي البدء والانتهاء. ويقدّم أيضًا ملخّصًا مجمّعًا لعدد الاختبارات التي تم اجتيازها أو تعذّر إجراؤها أو انتهى وقتها أو لم يتم تنفيذها.

ملخّص اختبار عيّنة مجموعة اختبار التوافق (CTS) لنظام التشغيل Android 10

الشكل 1: ملخّص اختبار عيّنة مجموعة أدوات اختبار التوافق (CTS) لنظام التشغيل Android 10

ملخّص اختبار عيّنة الإصدار 2 من مجموعة أدوات اختبار التوافق (CTS)

الشكل 2: ملخّص اختبار نموذج CTS الإصدار 2

ملخّص اختبار عيّنة الإصدار 1 من مجموعة أدوات اختبار التوافق (CTS)

الشكل 3: ملخّص نموذج اختبار مجموعة أدوات اختبار التوافق (CTS) الإصدار 1

تقرير الاختبار

يقدّم القسم التالي، وهو تقرير اختبار CTS، ملخّصًا للاختبارات التي تم اجتيازها لكل حزمة.

يلي ذلك تفاصيل الاختبارات الفعلية التي تم تنفيذها. يتضمّن التقرير حزمة الاختبار ومجموعة الاختبار وحالة الاختبار والاختبارات التي تم تنفيذها. تعرض هذه السمة نتيجة تنفيذ الاختبار، أي ما إذا كان الاختبار ناجحًا أو فاشلاً أو انتهت مهلته أو لم يتم تنفيذه. في حال تعذّر الاختبار، يتم تقديم تفاصيل للمساعدة في تحديد السبب.

بالإضافة إلى ذلك، يتوفّر تتبُّع تسلسل استدعاء الدوال البرمجية الخاص بتعذّر الاختبار في ملف XML، ولكنّه غير مضمّن في التقرير لضمان الإيجاز. ويمكنك الاطّلاع على تفاصيل تعذّر الاختبار من خلال عرض ملف XML باستخدام محرِّر النصوص (ابحث عن العلامة [Test] الخاصة بالاختبار الذي حدث فيه الخطأ، ثم ابحث داخلها عن العلامة [StackTrace]).

عرض نموذج تقرير اختبار CTS الإصدار 2

الشكل 4: نموذج تقرير اختبار CTS الإصدار 2

عرض نموذج تقرير اختبار CTS الإصدار 1

الشكل 5: نموذج تقرير اختبار مجموعة أدوات اختبار التوافق (CTS) الإصدار 1

مراجعة ملف test_result.xml للبحث عن وحدات اختبار غير مكتملة

لتحديد عدد الوحدات غير المكتملة في جلسة اختبار معيّنة، نفِّذ الأمر "عرض النتائج". يتم عرض عدد الوحدات المكتملة وإجمالي عدد الوحدات لكل جلسة سابقة. لتحديد الوحدات المكتملة من غير المكتملة، افتح الملف test_result.xml واقرأ قيمة السمة "done" لكل وحدة في تقرير النتائج. لم يتم إكمال الوحدات التي تتضمّن القيمة done = "false".

تعذّر إجراء اختبار الفرز

استخدِم الاقتراحات التالية لتحديد أولويات حالات فشل الاختبار.

• تأكَّد من إعداد بيئة اختبار التوافق مع نظام التشغيل Android بشكل صحيح، إذا تعذّر إجراء اختبار بسبب شروط مسبقة غير صحيحة. ويشمل ذلك البيئة المادية وإعداد جهاز الكمبيوتر المكتبي وإعداد جهاز Android.
• تحقَّق من ثبات الجهاز أو إعداد الاختبار أو المشاكل المتعلّقة بالبيئة، إذا كان الاختبار غير مستقر بشكل مفرط.
• أعِد محاولة الاختبار بشكل منفصل إذا استمرّ تعذّره.
• تحقَّق من العوامل الخارجية التي تتسبّب في فشل الاختبارات، مثل:
  • إعداد البيئة على سبيل المثال، قد يكون سبب تعذُّر إجراء الاختبارات هو إعداد جهاز مكتبي بشكل غير صحيح، ويحدث ذلك على جميع الأجهزة الخاضعة للاختبار (بما في ذلك الأجهزة المرجعية).
  • المهام التابعة الخارجية على سبيل المثال، إذا تعذّر إجراء اختبار على جميع الأجهزة في مواقع إلكترونية متعددة بدءًا من وقت معيّن، قد يكون السبب هو عنوان URL غير صالح.
  • إذا لم يتضمّن الجهاز قيد الاختبار تصحيح الأمان، من المتوقّع أن يتعذّر اجتياز اختبار الأمان.
• التحقّق من الاختلافات بين الأجهزة التي اجتازت الاختبار والأجهزة التي لم تجتزه وتحليلها
• حلِّل التأكيد والسجلّ وتقرير الأخطاء ومصدر CTS. بالنسبة إلى HostTest، يمكن أن تكون التأكيدات والسجلات عامة جدًا، لذا من المفيد أيضًا التحقّق من logcat للجهاز وإرفاقه.
• إرسال تصحيح لتحسين الاختبار للمساعدة في تقليل حالات فشل الاختبار

حفظ النتائج الجزئية

لا يحفظ Tradefed نتائج الاختبار الجزئية عند فشل استدعاء الاختبار.

عندما لا يعرض Tradefed أي نتائج اختبار، يعني ذلك أنّه حدثت مشكلة خطيرة أثناء تشغيل الاختبار، ما يجعل نتيجة الاختبار غير جديرة بالثقة. يُعدّ الجزء من النتيجة غير مفيد لأنّه لا يقدّم قيمة عند التحقيق في مشكلة الجهاز.