הרצת בדיקות הכיתה של ביצועי המדיה

חבילת בדיקות התאימות של Android‏ (CTS) כוללת בדיקות של רמת הביצועים של מדיה למכשירים עם Android מגרסה 11 ואילך. תהליך הבדיקה שונה במכשירים עם Android 13 ובמכשירים עם Android 11 או Android 12, לכן חשוב לפעול לפי ההוראות לגרסה של Android שפועלת במכשירים שלכם.

הורדת בדיקות

מורידים את הבדיקות הבאות:

בדיקת מכשירים עם Android מגרסה 14 ואילך

הפעלת בדיקות של איכות קידוד הווידאו (VEQ) ברמת הביצועים 14 (PC14)

ב-Android 14 יש דרישות לגבי איכות קידוד וידאו (VEQ) במכשירים עם סיווג ביצועים 14 (PC14). הדרישות של PC14-VEQ מגדירות למעשה יעד איכות בסיס בצורה מדידה למקודדי הווידאו בחומרה במכשיר PC14.

המטרה היא להבטיח שכל מכשיר Android שמוקצה לקבוצה 'רמת ביצועים 14' יספק למשתמשי הקצה חוויית מדיה ברמה גבוהה על ידי יצירת תוכן וידאו באיכות גבוהה.

הדרישות של PC14-VEQ מאומתות באמצעות בדיקת CTS חדשה שנקראת CtsVideoEncodingQualityHostTest.

בבדיקה הזו של CTS פועלת קבוצה של תרחישי בדיקת קידוד שמוגדרים על ידי קובצי ה-JSON של התצורה. לכל מקרה בדיקה, המערכת יוצרת את עקומת קצב-העיוות (RD) של המקודד שנבדק על ידי קידוד של מקור נתונים (bitstream) באמצעות הגדרות המקודד מקובץ ה-JSON. עקומת עיוות הקצב של קובץ העזר כלולה באותו קובץ JSON. כדי לחשב את העיוות (כלומר, אובדן האיכות), נעשה שימוש בשיטת Video Multimethod Assessment Fusion‏ (VMAF)‏ vmaf_v0.6.1.json.

מקרה בדיקה יכול לעבור רק אם התוצאה של BDRATE-VMAF נמוכה מ-0 או שווה לאפס.

בדיקת ה-CTS של PC14-VEQ כוללת הגדרות קידוד, כולל:

  • מקודדי חומרה של AVC ו-HEVC
  • מצב בקרת קצב VBR
  • קידוד של פריימים מסוג P/B
  • 1920x1080p30fps (לרוחב) או 1080x1920p30fps (לאורך)

בדיקה במכשירי Android מגרסה 13 ואילך

לפני שמתחילים הרצת בדיקה, צריך להכין את המכשירים לבדיקה:

  1. כדי להגדיר את המכשיר לפרסום מדיה ברמת הביצועים 13 (PC13), מגדירים את הערך של מאפיין המערכת _ro.odm.build.media_performance_class כ-33.

  2. מוודאים שקובץ האימג' של מערכת המכשיר הוא Android 13 ואילך. אפשר להריץ בדיקות Media CTS בתמונת מערכת של Android מגרסה 11 ואילך, אבל בדיקות CTS של מצלמה דורשות תכונות של Android 13 עבור PC13.

הרצת בדיקות ITS של המצלמה

כדי להריץ את בדיקות ITS של המצלמה בלבד, קודם צריך להגדיר את המספרים הסידוריים של המכשיר והטאבלט ב-config.yml, ואז להריץ את הפקודות הבאות:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

הרצת בדיקות של סוג הביצועים של מודעות הווידאו

תוכנית הבדיקה cts-media-performance-class מאמתת את הדרישות של CDD לגבי דרישות סיווג הביצועים של מדיה (קטע 2.2.7.1 ב-CDD) ודרישות המצלמה (קטע 2.2.7.2 ב-CDD). מריצים את תוכנית הבדיקה cts-media-performance-class באמצעות הפקודה הבאה:

cts-tradefed run cts-media-performance-class

כדי להריץ רק את בדיקות ה-CTS של המצלמה, משתמשים בפקודה הבאה:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

כדי להריץ רק את בדיקות ה-CTS של המדיה, משתמשים בפקודה הבאה:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

הרצת בדיקות CTS של MediaDrm

בדיקות CTS של MediaDrm מאמתות את הדרישות של MediaDrm ב-CDD סעיף 2.2.7.1. מריצים בדיקות CTS של MediaDrm באמצעות הפקודות הבאות:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

הרצת בדיקות CTS של מערכת קבצים

בדיקות CTS של מערכת קבצים מאמתות את דרישות הביצועים שמפורטות בקטע 2.2.7.4 ב-CDD.

  • כדי לבדוק את הדרישות לקריאה ולכתיבה רציפה, משתמשים בפקודה הבאה:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • כדי לבדוק את הדרישות לקריאה ולכתיבה אקראיות, משתמשים בפקודה הבאה:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

בדיקה במכשירי Android 11 או 12

כדי לבדוק מכשירים עם Android בגרסה 11 או 12, קודם צריך להגדיר את מכשירי הבדיקה (ההגדרה שונה בין גרסת Android לבין ניפוי הבאגים של המשתמשים לעומת מכשירי המשתמש), ואז להריץ בדיקות מאמת CTS ו-CTS.

פרסום של הכיתה 'ביצועי מדיה'

כדי להגדיר מכשירי בדיקה שיציגו את סיווג הביצועים הנכון באמצעות מאפיין המערכת ro.odm.build.media_performance_class:

  • עבור סיווג ביצועים 12 (PC12), מגדירים את הערך של המאפיין כ-31.

  • לסוג ביצועים 11 (PC11), מגדירים את הערך של הנכס כ-30.

מכשירים לניפוי באגים אצל משתמשים

כדי להגדיר מכשירי Android עם userdebug, מריצים את הפקודות הבאות:

  • מכשירים לניפוי באגים אצל משתמשים ב-Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • מכשירי Android 11 עם userdebug:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

אפשר להגדיר את מאפיין המערכת ro.odm.build.media_performance_class רק פעם אחת בכל הפעלה מחדש (אבל אין צורך להפעיל מחדש את המכשיר לפני שמגדירים אותו בפעם הראשונה).

מכשירים של משתמשים

כדי להגדיר מכשירי Android userdebug, מוסיפים את המאפיין ro.odm.build.media_performance_class עם ערך סיווג הביצועים הרצוי לקובץ product.prop. דוגמה מופיעה בהמשך:

ro.odm.build.media_performance_class=31   // use 30 for PC11

במכשירי משתמשים עם Android 11, מבצעים את השלבים הנוספים הבאים:

  1. בחרו בקפידה את התיקון [1627181] הוספת נכס של סיווג ביצועי מדיה ל-sepolicy.

  2. מריצים את הפקודה הבאה:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

הרצת בדיקות CTS ו-ITS

בונים CTS ו-CTS Verifier עם התיקונים שהורדו, ואז מפעילים את הגרסה המתאימה של Android למכשירי הבדיקה (Android 11 CTS למכשירי Android 11, Android 12 CTS למכשירי Android 12).

מדיה

הפעל בדיקות CTS של מדיה באמצעות הפקודה הבאה:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

מצלמה

מריצים את בדיקות CTS של המצלמה באמצעות הפקודות הבאות:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

במכשירים עם Android 12, מריצים את הפקודה הבאה:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

חומרה

מריצים בדיקות CTS לחומרה באמצעות הפקודות הבאות:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest