सीटीएस के नतीजों को समझना

सीटीएस टेस्ट के नतीजे इस फ़ाइल में रखे जाते हैं:

CTS_ROOT/android-cts/results/start_time.zip

अगर आपने खुद सीटीएस बनाया है, तो CTS_ROOT out/host/linux-x86/cts से मिलता-जुलता है, लेकिन प्लैटफ़ॉर्म के हिसाब से अलग-अलग होता है. इससे उस पाथ का पता चलता है जहां आपने इस साइट से डाउनलोड किए गए, पहले से बने आधिकारिक सीटीएस को अनकंप्रेस किया है.

ज़िप फ़ाइल में, test_result.xml फ़ाइल में असली नतीजे होते हैं.

Android 10 और इसके बाद के वर्शन के नतीजे दिखाएं

ज़िप संग्रह में test_result.html फ़ाइल मौजूद है. इसे सीधे तौर पर, एचटीएमएल5 के साथ काम करने वाले किसी भी वेब ब्राउज़र में खोला जा सकता है

Android 10 से पहले के वर्शन पर काम करने वाले डिवाइसों के नतीजे दिखाएं

जांच के नतीजे देखने के लिए, test_result.xml फ़ाइल को HTML5 के साथ काम करने वाले किसी भी वेब ब्राउज़र में खोलें

अगर Chrome ब्राउज़र का इस्तेमाल करते समय यह फ़ाइल खाली पेज दिखाती है, तो --allow-file-access-from-files कमांड लाइन फ़्लैग को चालू करने के लिए, अपने ब्राउज़र कॉन्फ़िगरेशन में बदलाव करें.

जांच के नतीजे पढ़ना

जांच के नतीजों की जानकारी, इस बात पर निर्भर करती है कि सीटीएस का कौनसा वर्शन इस्तेमाल किया जा रहा है:

• Android 6.0 और इससे पहले के वर्शन के लिए CTS v1
• Android 7.0 और इसके बाद के वर्शन के लिए CTS v2

डिवाइस की जानकारी

CTS v1 और इससे पहले के वर्शन में, डिवाइस, फ़र्मवेयर (मेक, मॉडल, फ़र्मवेयर बिल्ड, प्लैटफ़ॉर्म), और डिवाइस के हार्डवेयर (स्क्रीन रिज़ॉल्यूशन, कीपैड, स्क्रीन टाइप) के बारे में जानकारी देखने के लिए, डिवाइस की जानकारी (टेस्ट की खास जानकारी के ऊपर मौजूद लिंक) चुनें. CTS v2 में डिवाइस की जानकारी नहीं दिखती.

परीक्षण सारांश

टेस्ट की खास जानकारी सेक्शन में, टेस्ट प्लान की जानकारी मिलती है. जैसे, सीटीएस प्लान का नाम, टेस्ट शुरू और खत्म होने का समय. यह उन टेस्ट की कुल संख्या की खास जानकारी भी दिखाता है जो पास हो गए, फ़ेल हो गए, टाइम आउट हो गए या जिन्हें पूरा नहीं किया जा सका.

Android 10 सीटीएस के सैंपल टेस्ट की खास जानकारी

पहली इमेज: Android 10 के सीटीएस सैंपल टेस्ट की खास जानकारी

CTS v2 के सैंपल टेस्ट की खास जानकारी

दूसरी इमेज: सीटीएस v2 के सैंपल टेस्ट की खास जानकारी

सीटीएस v1 के सैंपल टेस्ट की खास जानकारी

तीसरी इमेज: सीटीएस v1 के सैंपल टेस्ट की खास जानकारी

टेस्ट रिपोर्ट

अगले सेक्शन, यानी कि सीटीएस टेस्ट रिपोर्ट में, हर पैकेज के हिसाब से पास किए गए टेस्ट की खास जानकारी दी गई है.

इसके बाद, उन असल टेस्ट की जानकारी दी जाती है जिन्हें लागू किया गया था. रिपोर्ट में टेस्ट पैकेज, टेस्ट सुइट, टेस्ट केस, और एक्ज़ीक्यूट किए गए टेस्ट की सूची दी गई है. इसमें टेस्ट के नतीजे दिखते हैं. जैसे, पास, फ़ेल, समयसीमा खत्म हो गई या लागू नहीं किया गया. अगर टेस्ट पूरा नहीं होता है, तो उसकी वजह का पता लगाने के लिए जानकारी दी जाती है.

इसके अलावा, फ़ेल होने की स्टैक ट्रेस, एक्सएमएल फ़ाइल में उपलब्ध है. हालांकि, इसे रिपोर्ट में शामिल नहीं किया गया है, ताकि रिपोर्ट छोटी रहे. टेक्स्ट एडिटर की मदद से एक्सएमएल फ़ाइल देखने पर, टेस्ट के फ़ेल होने की जानकारी मिलनी चाहिए. इसके लिए, फ़ेल हुए टेस्ट से जुड़े [Test] टैग को खोजें और उसके अंदर [StackTrace] टैग देखें.

CTS v2 की सैंपल टेस्ट रिपोर्ट दिखाओ

चौथी इमेज: CTS v2 की सैंपल टेस्ट रिपोर्ट

CTS v1 की सैंपल टेस्ट रिपोर्ट दिखाओ

पांचवीं इमेज: सीटीएस v1 की सैंपल टेस्ट रिपोर्ट

अधूरे टेस्ट मॉड्यूल के लिए, test_result.xml की समीक्षा करें

किसी टेस्ट सेशन में अधूरे मॉड्यूल की संख्या का पता लगाने के लिए, 'list results' कमांड चलाएं. पिछले हर सेशन के लिए, पूरे किए गए मॉड्यूल और कुल मॉड्यूल की संख्या दी गई है. यह पता लगाने के लिए कि कौनसे मॉड्यूल पूरे हो गए हैं और कौनसे नहीं, test_result.xml फ़ाइल खोलें.इसके बाद, नतीजे की रिपोर्ट में मौजूद हर मॉड्यूल के लिए, "done" एट्रिब्यूट की वैल्यू पढ़ें. जिन मॉड्यूल के लिए done = "false" वैल्यू सेट है वे पूरे नहीं हुए हैं.

टेस्ट फ़ेल होने की वजहों का पता लगाना

जांच में गड़बड़ी होने पर, यहां दिए गए सुझावों का इस्तेमाल करें.

• अगर ज़रूरी शर्तें पूरी न होने की वजह से कोई टेस्ट पूरा नहीं हो पा रहा है, तो पुष्टि करें कि आपका सीटीएस एनवायरमेंट सही तरीके से सेट अप किया गया हो. इसमें फ़िज़िकल एनवायरमेंट, डेस्कटॉप मशीन का सेटअप, और Android डिवाइस का सेटअप शामिल है.
• अगर कोई टेस्ट बहुत ज़्यादा फ़्लैकी दिख रहा है, तो डिवाइस की स्थिरता, टेस्ट सेटअप या एनवायरमेंट से जुड़ी समस्याओं की पुष्टि करें.
• अगर अब भी टेस्ट पूरा नहीं हो रहा है, तो इसे अलग से फिर से आज़माएं.
• जांच के फ़ेल होने की वजह बनने वाले बाहरी फ़ैक्टर की जांच करें. जैसे:
  • एनवायरमेंटल सेटअप. उदाहरण के लिए, हो सकता है कि डेस्कटॉप मशीन को गलत तरीके से कॉन्फ़िगर किया गया हो. इस वजह से, टेस्ट किए जा रहे सभी डिवाइसों (डीयूटी) (रेफ़रंस डिवाइसों के साथ-साथ) पर टेस्ट फ़ेल हो रहे हों.
  • बाहरी डिपेंडेंसी. उदाहरण के लिए, अगर किसी खास समय पर शुरू होने वाली कई साइटों पर सभी डिवाइसों में टेस्ट फ़ेल हो जाता है, तो हो सकता है कि यूआरएल में कोई गड़बड़ी हो.
  • अगर DUT में सुरक्षा पैच शामिल नहीं है, तो सुरक्षा जांच में फ़ेल होने की संभावना है.
• यह पुष्टि करें कि किन डिवाइसों पर टेस्ट पास हुआ है और किन पर फ़ेल. साथ ही, इन डिवाइसों के बीच के अंतर का विश्लेषण करें.
• अशन, लॉग, बगरिपोर्ट, और सीटीएस सोर्स का विश्लेषण करें. HostTest के लिए, पुष्टि और लॉग बहुत सामान्य हो सकते हैं. इसलिए, डिवाइस के logcat की जांच करना और उसे अटैच करना मददगार होता है.
• टेस्ट के फ़ेल होने की संख्या कम करने के लिए, टेस्ट को बेहतर बनाने वाला पैच सबमिट करें.

कुछ नतीजे सेव करना

टेस्ट शुरू करने की प्रोसेस पूरी न होने पर, Tradefed टेस्ट के कुछ नतीजों को सेव नहीं करता.

जब Tradefed कोई भी टेस्ट का नतीजा जनरेट नहीं करता है, तो इसका मतलब है कि टेस्ट रन के दौरान कोई गंभीर समस्या हुई है. इसलिए, टेस्ट के नतीजे पर भरोसा नहीं किया जा सकता. आंशिक नतीजे को मददगार नहीं माना जाता, क्योंकि डिवाइस से जुड़ी समस्या की जांच करते समय यह कोई काम का नहीं होता.