تفسير نتائج CTS

يتم وضع نتائج اختبار CTS في الملف:

CTS_ROOT/android-cts/results/start_time.zip

إذا أنشأت مجموعة اختبار التوافق بنفسك، سيكون شكلها مشابهاً CTS_ROOT out/host/linux-x86/cts ولكنها ستختلف حسب النظام الأساسي. يمثّل هذا المسار المكان الذي نزّلت منه حزمة CTS الرسمية المسبقة الإنشاء غير المضغوطة من هذا الموقع الإلكتروني.

داخل ملف ZIP، يحتوي الملف test_result.xml على النتائج الفعلية.

عرض نتائج الإصدار 10 من نظام التشغيل Android والإصدارات الأحدث

يتوفّر ملف test_result.html ضمن أرشيف zip، ويمكنك فتحه مباشرةً في أي متصفّح ويب متوافق مع HTML5

عرض نتائج ما قبل الإصدار 10 من نظام التشغيل Android

افتح ملف test_result.xml في أي متصفّح ويب متوافق مع HTML5 لعرض نتائج الاختبار

إذا كان هذا الملف يعرض صفحة فارغة عند استخدام متصفّح Chrome، غيِّر إعدادات المتصفّح لتفعيل علامة سطر الأوامر --allow-file-access-from-files.

قراءة نتائج الاختبار

تعتمد تفاصيل نتائج الاختبار على إصدار CTS الذي تستخدمه:

  • الإصدار 1 من مجموعة اختبار التوافق لنظام التشغيل Android 6.0 والإصدارات الأقدم
  • الإصدار 2 من مجموعة اختبار التوافق لنظام التشغيل Android 7.0 والإصدارات الأحدث

معلومات الجهاز

في الإصدار 1 من مجموعة اختبار التوافق (CTS) والإصدارات الأقدم، اختَر "معلومات الجهاز" (الرابط أعلى "ملخّص الاختبار") لعرض تفاصيل حول الجهاز والبرامج الثابتة (الشركة المصنّعة والطراز وإصدار البرامج الثابتة والنظام الأساسي) وأجهزة الجهاز (دقة الشاشة ولوحة المفاتيح ونوع الشاشة). لا يعرض الإصدار 2 من CTS معلومات الجهاز.

ملخّص الاختبار

يوفّر قسم ملخّص الاختبار تفاصيل خطة الاختبار التي تم تنفيذها، مثل اسم خطة CTS ووقتَي البدء والانتهاء. ويقدّم أيضًا ملخّصًا مجمّعًا لعدد الاختبارات التي تم اجتيازها أو تعذّر إجراؤها أو انتهى وقتها أو لم يتم تنفيذها.

ملخّص اختبار عيّنة مجموعة اختبار التوافق (CTS) لنظام التشغيل Android 10

ملخّص اختبار مجموعة أدوات اختبار التوافق (CTS) لنظام التشغيل Android 10

الشكل 1: ملخّص لعيّنة اختبار CTS على Android 10

ملخّص اختبار عيّنة الإصدار 2 من مجموعة أدوات اختبار التوافق (CTS)

ملخّص اختبار الإصدار 2 من مجموعة أدوات اختبار التوافق (CTS)

الشكل 2: ملخّص اختبار نموذج CTS الإصدار 2

ملخّص اختبار نموذج مجموعة أدوات اختبار التوافق (CTS) الإصدار 1

ملخّص اختبار الإصدار 1 من مجموعة أدوات اختبار التوافق (CTS)

الشكل 3: ملخّص اختبار نموذج مجموعة أدوات اختبار التوافق (CTS) الإصدار 1

تقرير الاختبار

يقدّم القسم التالي، وهو تقرير اختبار CTS، ملخّصًا للاختبارات التي تم اجتيازها لكل حزمة.

يلي ذلك تفاصيل الاختبارات الفعلية التي تم تنفيذها. يتضمّن التقرير حزمة الاختبار ومجموعة الاختبار وحالة الاختبار والاختبارات التي تم تنفيذها. تعرض هذه السمة نتيجة تنفيذ الاختبار، أي ما إذا كان ناجحًا أو فاشلاً أو انتهت مدته أو لم يتم تنفيذه. في حال تعذُّر إجراء الاختبار، يتم تقديم التفاصيل للمساعدة في تحديد السبب.

بالإضافة إلى ذلك، يتوفّر تتبُّع تسلسل استدعاء الدوال البرمجية الخاص بالخطأ في ملف XML، ولكنّه غير مضمّن في التقرير لضمان الإيجاز. ويجب أن يؤدي عرض ملف XML باستخدام محرر نصوص إلى توفير تفاصيل عن الخطأ في الاختبار (ابحث عن العلامة [Test] المقابلة للاختبار الذي حدث فيه الخطأ، وابحث داخلها عن العلامة [StackTrace]).

عرض نموذج تقرير اختبار CTS الإصدار 2

تقرير اختبار CTS الإصدار 2

الشكل 4: نموذج تقرير اختبار CTS الإصدار 2

عرض نموذج تقرير اختبار CTS الإصدار 1

تقرير اختبار الإصدار 1 من مجموعة أدوات اختبار التوافق (CTS)

الشكل 5: نموذج تقرير اختبار مجموعة أدوات اختبار التوافق (CTS) الإصدار 1

مراجعة ملف test_result.xml بحثًا عن وحدات اختبار غير مكتملة

لتحديد عدد الوحدات غير المكتملة في جلسة اختبار معيّنة، نفِّذ الأمر "عرض النتائج". يتم عرض عدد الوحدات المكتملة وإجمالي عدد الوحدات لكل جلسة سابقة. لتحديد الوحدات المكتملة من غير المكتملة، افتح الملف test_result.xml واقرأ قيمة السمة "done" لكل وحدة في تقرير النتائج. لم يتم إكمال الوحدات التي تتضمّن القيمة done = "false".

تحديد أولويات حالات تعذّر الاختبار

استخدِم الاقتراحات التالية لتحديد أولويات حالات فشل الاختبار.

  • تأكَّد من إعداد بيئة CTS بشكل صحيح، إذا تعذّر إجراء اختبار بسبب شروط مسبقة غير صحيحة. ويشمل ذلك البيئة المادية وإعداد جهاز الكمبيوتر المكتبي وإعداد جهاز Android.
  • تحقَّق من ثبات الجهاز أو إعداد الاختبار أو المشاكل المتعلّقة بالبيئة، إذا كان الاختبار غير مستقر بشكل مفرط.
  • أعِد إجراء الاختبار بشكل منفصل إذا استمرّت المشكلة.
  • ابحث عن عوامل خارجية تتسبّب في فشل الاختبارات، مثل:
    • إعداد البيئة على سبيل المثال، قد يكون السبب في حدوث أعطال في الاختبارات على جميع الأجهزة الخاضعة للاختبار (بما في ذلك الأجهزة المرجعية) هو إعداد غير صحيح لجهاز سطح المكتب.
    • التبعيات الخارجية على سبيل المثال، إذا تعذّر إجراء اختبار على جميع الأجهزة في مواقع إلكترونية متعددة بدءًا من وقت معيّن، قد يكون السبب هو عنوان URL غير صالح.
    • إذا لم يتضمّن الجهاز قيد الاختبار تصحيح الأمان، من المتوقّع أن يتعذّر اجتياز اختبار الأمان.
  • التحقّق من الاختلافات بين الأجهزة التي اجتازت الاختبار وتلك التي لم تجتزه وتحليل هذه الاختلافات
  • حلِّل التأكيد والسجلّ وتقرير الأخطاء ورمز مصدر CTS. بالنسبة إلى HostTest، يمكن أن تكون التأكيدات والسجلات عامة جدًا، لذا من المفيد أيضًا التحقّق من logcat للجهاز وإرفاقه.
  • إرسال حزمة تحسين اختبار للمساعدة في تقليل حالات فشل الاختبار

حفظ النتائج الجزئية

لا يحفظ Tradefed نتائج الاختبار الجزئية عند فشل استدعاء الاختبار.

عندما لا تعرض Tradefed أي نتائج اختبار، يعني ذلك أنّه حدثت مشكلة خطيرة أثناء تشغيل الاختبار، ما يجعل نتيجة الاختبار غير جديرة بالثقة. يُعدّ الجزء من النتيجة غير مفيد لأنّه لا يقدّم قيمة عند التحقيق في مشكلة الجهاز.