รันการทดสอบ (Atest)

Atest เป็นเครื่องมือบรรทัดคำสั่งที่อนุญาตให้ผู้ใช้สร้าง ติดตั้ง และเรียกใช้การทดสอบ Android ในเครื่อง ซึ่งช่วยเร่งการทดสอบซ้ำได้อย่างมาก โดยไม่ต้องมีความรู้เกี่ยวกับตัวเลือกบรรทัดคำ สั่งชุดทดสอบของ Trade Federation หน้านี้อธิบายวิธีใช้ Atest เพื่อรันการทดสอบ Android

สำหรับข้อมูลทั่วไปเกี่ยวกับการเขียนการทดสอบสำหรับ Android โปรดดูที่ การทดสอบแพลตฟอร์ม Android

สำหรับข้อมูลเกี่ยวกับโครงสร้างโดยรวมของ Atest โปรดดูที่ คู่มือนักพัฒนา Atest

สำหรับข้อมูลเกี่ยวกับการรันการทดสอบในไฟล์ TEST_MAPPING ผ่าน Atest โปรดดูที่ การรันการทดสอบในไฟล์ TEST_MAPPING

หากต้องการเพิ่มคุณสมบัติให้กับ Atest ให้ปฏิบัติตาม ขั้นตอนการทำงานของนักพัฒนา Atest

ตั้งค่าสภาพแวดล้อมของคุณ

หากต้องการตั้งค่าสภาพแวดล้อม Atest ให้ทำตามคำแนะนำใน การตั้งค่าสภาพแวดล้อม การเลือกเป้าหมาย และ การสร้างโค้ด

การใช้งานขั้นพื้นฐาน

คำสั่ง Atest มีรูปแบบดังนี้:

atest test-to-run [optional-arguments]

อาร์กิวเมนต์เพิ่มเติม

ตารางต่อไปนี้แสดงรายการอาร์กิวเมนต์ที่ใช้บ่อยที่สุด รายการทั้งหมดสามารถดูได้ที่ atest --help

ตัวเลือก	ตัวเลือกยาว	คำอธิบาย
-b	--build	สร้างเป้าหมายการทดสอบ (ค่าเริ่มต้น)
-i	--install	ติดตั้งส่วนทดสอบ (APK) บนอุปกรณ์ (ค่าเริ่มต้น)
-t	--test	ดำเนินการทดสอบ (ค่าเริ่มต้น)
-s	--serial	รันการทดสอบบนอุปกรณ์ที่ระบุ สามารถทดสอบอุปกรณ์ได้ครั้งละหนึ่งเครื่อง
-d	--disable-teardown	ปิดใช้งานการทดสอบการแยกส่วนและการล้างข้อมูล
	--info	แสดงข้อมูลที่เกี่ยวข้องกับเป้าหมายที่ระบุ จากนั้นออก
	--dry-run	Dry-run Atest โดยไม่ต้องสร้าง ติดตั้ง หรือรันการทดสอบจริงๆ
-m	--rebuild-module-info	บังคับให้สร้างไฟล์ module-info.json ใหม่
-w	--wait-for-debugger	รอให้ดีบักเกอร์เสร็จสิ้นก่อนที่จะดำเนินการ
-v	--verbose	แสดงการบันทึกระดับ DEBUG
	--iterations	การทดสอบแบบวนซ้ำจนกว่าจะถึงการวนซ้ำสูงสุด (10 โดยค่าเริ่มต้น)
	--rerun-until-failure [COUNT=10]	รันการทดสอบทั้งหมดซ้ำจนกว่าจะเกิดความล้มเหลวหรือถึงการวนซ้ำสูงสุด (10 โดยค่าเริ่มต้น)
	--retry-any-failure [COUNT=10]	รันการทดสอบที่ล้มเหลวอีกครั้งจนกว่าจะผ่านการทดสอบหรือถึงการวนซ้ำสูงสุด (10 โดยค่าเริ่มต้น)
	--start-avd	สร้าง AVD โดยอัตโนมัติและรันการทดสอบบนอุปกรณ์เสมือน
	--acloud-create	สร้าง AVD โดยใช้คำสั่ง acloud
	--[CUSTOM_ARGS]	ระบุอาร์กิวเมนต์ที่กำหนดเองสำหรับผู้ดำเนินการทดสอบ
-a	--all-abi	ดำเนินการทดสอบสถาปัตยกรรมอุปกรณ์ที่มีอยู่ทั้งหมด
	--host	รันการทดสอบอย่างสมบูรณ์บนโฮสต์โดยไม่มีอุปกรณ์ หมายเหตุ: การรันการทดสอบโฮสต์ที่ต้องใช้อุปกรณ์ที่มี --host จะล้มเหลว
	--history	แสดงผลการทดสอบตามลำดับเวลา
	--latest-result	พิมพ์ผลการทดสอบล่าสุด

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ -b , -i และ -t ดู ส่วนระบุขั้นตอน: สร้าง ติดตั้ง หรือรัน

ระบุการทดสอบ

หากต้องการรันการทดสอบ ให้ระบุการทดสอบอย่างน้อยหนึ่งรายการโดยใช้ตัวระบุตัวใดตัวหนึ่งต่อไปนี้:

• ชื่อโมดูล
• มอดูล:คลาส
• ชื่อชั้นเรียน
• การทดสอบการรวมระบบ Tradefed
• เส้นทางไฟล์
• ชื่อแพ็คเกจ

แยกการอ้างอิงไปยังการทดสอบหลายรายการด้วยการเว้นวรรค เช่นนี้

atest test-identifier-1 test-identifier-2

ชื่อโมดูล

หากต้องการรันโมดูลทดสอบทั้งหมด ให้ใช้ชื่อโมดูล ป้อนชื่อตามที่ปรากฏในตัวแปร LOCAL_MODULE หรือ LOCAL_PACKAGE_NAME ในไฟล์ Android.mk หรือ Android.bp ของการทดสอบนั้น

ตัวอย่าง:

atest FrameworksServicesTests
atest CtsVideoTestCases

มอดูล:คลาส

หากต้องการรันคลาสเดียวภายในโมดูล ให้ใช้ Module:Class โมดูล เหมือนกับที่อธิบายไว้ใน ชื่อโมดูล Class คือชื่อของคลาสทดสอบในไฟล์ .java และสามารถเป็นชื่อคลาสแบบเต็มหรือชื่อพื้นฐานได้

ตัวอย่าง:

atest CtsVideoTestCases:VideoEncoderDecoderTest
atest FrameworksServicesTests:ScreenDecorWindowTests
atest FrameworksServicesTests:com.android.server.wm.ScreenDecorWindowTests

ชื่อชั้นเรียน

หากต้องการรันคลาสเดียวโดยไม่ระบุชื่อโมดูลอย่างชัดเจน ให้ใช้ชื่อคลาส

ตัวอย่าง:

atest ScreenDecorWindowTests
atest VideoEncoderDecoderTest

การทดสอบการรวมระบบ Tradefed

หากต้องการรันการทดสอบที่รวมเข้ากับ TradeFed โดยตรง (ไม่ใช่โมดูล) ให้ป้อนชื่อตามที่ปรากฏในเอาต์พุตของคำสั่ง tradefed.sh list configs ตัวอย่างเช่น:

หากต้องการรัน การทดสอบ reboot.xml :

atest example/reboot

หากต้องการรัน การทดสอบ native-benchmark.xml :

atest native-benchmark

เส้นทางไฟล์

Atest รองรับการรันทั้งการทดสอบตามโมดูลและการทดสอบตามการรวมโดยการป้อนเส้นทางไปยังไฟล์ทดสอบหรือไดเร็กทอรีตามความเหมาะสม นอกจากนี้ยังรองรับการรันคลาสเดียวโดยการระบุพาธไปยังไฟล์ Java ของคลาส รองรับทั้งเส้นทางสัมพัทธ์และเส้นทางสัมบูรณ์

รันโมดูล

ตัวอย่างต่อไปนี้แสดงสองวิธีในการรันโมดูล CtsVideoTestCases โดยใช้พาธของไฟล์

เรียกใช้จาก repo-root ของ Android :

atest cts/tests/video

เรียกใช้จาก Android repo-root/cts/tests/video :

    atest .

เรียกใช้คลาสทดสอบ

ตัวอย่างต่อไปนี้แสดงวิธีการรันคลาสเฉพาะภายในโมดูล CtsVideoTestCases โดยใช้พาธของไฟล์

จาก repo-root ของ Android :

    atest cts/tests/video/src/android/video/cts/VideoEncoderDecoderTest.java

เรียกใช้การทดสอบการรวมระบบ

ตัวอย่างต่อไปนี้แสดงวิธีเรียกใช้การทดสอบการรวมโดยใช้เส้นทางไฟล์จาก Android repo-root :

    atest tools/tradefederation/contrib/res/config/example/reboot.xml

ชื่อแพ็คเกจ

Atest รองรับการค้นหาการทดสอบตามชื่อแพ็คเกจ

ตัวอย่าง:

    atest com.android.server.wm
    atest com.android.uibench.janktests

ระบุขั้นตอน: สร้าง ติดตั้ง หรือรัน

ใช้อ็อพชัน -b , -i และ -t เพื่อระบุขั้นตอนที่จะรัน หากคุณไม่ระบุตัวเลือก ขั้นตอนทั้งหมดจะทำงาน

• สร้างเป้าหมายเท่านั้น: atest -b test-to-run
• รันการทดสอบเท่านั้น: atest -t test-to-run
• ติดตั้ง apk และรันการทดสอบ: atest -it test-to-run
• สร้างและรัน แต่ไม่ต้องติดตั้ง: atest -bt test-to-run

Atest สามารถบังคับให้การทดสอบข้ามขั้นตอนการล้างข้อมูลหรือการแยกส่วนได้ การทดสอบหลายอย่าง เช่น CTS จะล้างข้อมูลอุปกรณ์หลังจากรันการทดสอบ ดังนั้นการพยายามรันการทดสอบอีกครั้งด้วย -t จะล้มเหลวหากไม่มีพารามิเตอร์ --disable-teardown ใช้ -d ก่อน -t เพื่อข้ามขั้นตอนการทำความสะอาดการทดสอบและทดสอบซ้ำ

atest -d test-to-run
atest -t test-to-run

เรียกใช้วิธีการเฉพาะ

Atest รองรับการเรียกใช้วิธีการเฉพาะภายในคลาสทดสอบ แม้ว่าจะต้องสร้างโมดูลทั้งหมด แต่จะช่วยลดเวลาที่ต้องใช้ในการทดสอบ หากต้องการรันเมธอดเฉพาะ ให้ระบุคลาสโดยใช้วิธีใดๆ ที่รองรับในการระบุคลาส (โมดูล:คลาส พาธของไฟล์ ฯลฯ) และต่อท้ายชื่อของเมธอด:

atest reference-to-class#method1

เมื่อระบุหลายวิธี ให้คั่นด้วยเครื่องหมายจุลภาค:

atest reference-to-class#method1,method2,method3

ตัวอย่าง:

atest com.android.server.wm.ScreenDecorWindowTests#testMultipleDecors
atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange,testRemoval

สองตัวอย่างต่อไปนี้แสดงวิธีที่ต้องการในการรันเมธอดเดียว testFlagChange ตัวอย่างเหล่านี้เป็นที่ต้องการมากกว่าการใช้ชื่อคลาสเพียงอย่างเดียว เนื่องจากการระบุโมดูลหรือตำแหน่งไฟล์ Java ช่วยให้ Atest ค้นหาการทดสอบได้รวดเร็วยิ่งขึ้น

การใช้โมดูล:คลาส:

atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange

จาก repo-root ของ Android :

atest frameworks/base/services/tests/wmtests/src/com/android/server/wm/ScreenDecorWindowTests.java#testFlagChange

สามารถเรียกใช้วิธีการได้หลายวิธีจากคลาสและโมดูลที่แตกต่างกัน:

atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange,testRemoval ScreenDecorWindowTests#testMultipleDecors

เรียกใช้หลายคลาส

หากต้องการรันหลายคลาส ให้แยกคลาสด้วยการเว้นวรรคในลักษณะเดียวกับการทดสอบหลายรายการ Atest สร้างและรันคลาสอย่างมีประสิทธิภาพ ดังนั้นการระบุชุดย่อยของคลาสในโมดูลจะปรับปรุงประสิทธิภาพมากกว่าการรันทั้งโมดูล

หากต้องการรันสองคลาสในโมดูลเดียวกัน:

atest FrameworksServicesTests:ScreenDecorWindowTests FrameworksServicesTests:DimmerTests

หากต้องการรันสองคลาสในโมดูลที่แตกต่างกัน:

atest FrameworksServicesTests:ScreenDecorWindowTests CtsVideoTestCases:VideoEncoderDecoderTest

เรียกใช้ไบนารี Gtest

Atest สามารถเรียกใช้ไบนารี Gtest ได้ ใช้ -a เพื่อรันการทดสอบเหล่านี้สำหรับสถาปัตยกรรมอุปกรณ์ที่มีอยู่ทั้งหมด ซึ่งในตัวอย่างนี้ได้แก่ armeabi-v7a (ARM 32 บิต) และ arm64-v8a (ARM 64 บิต)

ตัวอย่างการทดสอบอินพุต:

atest -a libinput_tests inputflinger_tests

หากต้องการเลือกไบนารี Gtest ที่ต้องการเรียกใช้ ให้ใช้โคลอน (:) เพื่อระบุชื่อการทดสอบ และใช้แฮชแท็ก (#) เพื่อระบุวิธีการเพิ่มเติม

ตัวอย่างเช่น สำหรับคำจำกัดความการทดสอบต่อไปนี้:

TEST_F(InputDispatcherTest, InjectInputEvent_ValidatesKeyEvents)

รันสิ่งต่อไปนี้เพื่อระบุการทดสอบทั้งหมด:

atest inputflinger_tests:InputDispatcherTest

หรือรันการทดสอบแต่ละรายการโดยใช้สิ่งต่อไปนี้:

atest inputflinger_tests:InputDispatcherTest#InjectInputEvent_ValidatesKeyEvents

ทำการทดสอบใน TEST_MAPPING

Atest สามารถเรียกใช้การทดสอบในไฟล์ TEST_MAPPING

เรียกใช้การทดสอบล่วงหน้าโดยปริยาย

เรียกใช้การทดสอบก่อนส่งในไฟล์ TEST_MAPPING ในไดเร็กทอรีปัจจุบันและไดเร็กทอรีพาเรนต์:

atest

รันการทดสอบส่งล่วงหน้าในไฟล์ TEST_MAPPING ใน /path/to/project และไดเร็กทอรีพาเรนต์:

atest --test-mapping /path/to/project

เรียกใช้กลุ่มการทดสอบที่ระบุ

กลุ่มการทดสอบที่ใช้ได้ ได้แก่: presubmit (ค่าเริ่มต้น), postsubmit , mainline-presubmit และ all

เรียกใช้การทดสอบภายหลังการส่งในไฟล์ TEST_MAPPING ในไดเร็กทอรีปัจจุบันและไดเร็กทอรีพาเรนต์:

atest :postsubmit

เรียกใช้การทดสอบจากทุกกลุ่มในไฟล์ TEST_MAPPING:

atest :all

รันการทดสอบหลังส่งในไฟล์ TEST_MAPPING ใน /path/to/project และไดเร็กทอรีพาเรนต์:

atest --test-mapping /path/to/project:postsubmit

รันการทดสอบ mainline ในไฟล์ TEST_MAPPING ใน /path/to/project และไดเร็กทอรีพาเรนต์:

atest --test-mapping /path/to/project:mainline-presubmit

รันการทดสอบในไดเร็กทอรีย่อย

ตามค่าเริ่มต้น Atest จะค้นหาเฉพาะการทดสอบในไฟล์ TEST_MAPPING ขึ้นไป (จากไดเร็กทอรีปัจจุบันหรือไดเร็กทอรีที่กำหนดไปยังไดเร็กทอรีหลัก) หากคุณต้องการเรียกใช้การทดสอบในไฟล์ TEST_MAPPING ในไดเรกทอรีย่อย ให้ใช้ --include-subdirs เพื่อบังคับให้ Atest รวมการทดสอบเหล่านั้นด้วย:

atest --include-subdirs /path/to/project

ทำการทดสอบในการวนซ้ำ

รันการทดสอบในการวนซ้ำโดยส่งผ่านอาร์กิวเมนต์ --iterations ไม่ว่าจะผ่านหรือล้มเหลว Atest จะทำการทดสอบซ้ำจนกว่าจะถึงการวนซ้ำสูงสุด

ตัวอย่าง:

ตามค่าเริ่มต้น Atest จะวนซ้ำ 10 ครั้ง จำนวนการวนซ้ำต้องเป็นจำนวนเต็มบวก

atest test-to-run --iterations
atest test-to-run --iterations 5

วิธีการต่อไปนี้ช่วยให้ตรวจพบการทดสอบที่ไม่สม่ำเสมอได้ง่ายขึ้น:

วิธีที่ 1: ทำการทดสอบทั้งหมดจนกว่าจะเกิดความล้มเหลวหรือถึงการวนซ้ำสูงสุด

• หยุดเมื่อเกิดความล้มเหลวหรือการวนซ้ำถึงรอบที่ 10 (โดยค่าเริ่มต้น)

  atest test-to-run --rerun-until-failure
  

• หยุดเมื่อเกิดความล้มเหลวหรือการวนซ้ำถึงรอบที่ 100

  atest test-to-run --rerun-until-failure 100
  

วิธีที่ 2: รันเฉพาะการทดสอบที่ล้มเหลวจนกว่าจะผ่านหรือถึงการวนซ้ำสูงสุด

• สมมติว่า test-to-run มีกรณีการทดสอบหลายกรณี และการทดสอบรายการใดรายการหนึ่งล้มเหลว รันเฉพาะการทดสอบที่ล้มเหลว 10 ครั้ง (โดยค่าเริ่มต้น) หรือจนกว่าการทดสอบจะผ่าน

  atest test-to-run --retry-any-failure
  

• หยุดรันการทดสอบที่ล้มเหลวเมื่อผ่านหรือถึงรอบที่ 100

  atest test-to-run --retry-any-failure 100
  

รันการทดสอบบน AVD

Atest สามารถรันการทดสอบบน AVD ที่สร้างขึ้นใหม่ได้ เรียกใช้ acloud create เพื่อสร้าง AVD และสร้างอาร์ติแฟกต์ จากนั้นใช้ตัวอย่างต่อไปนี้เพื่อรันการทดสอบ

เริ่ม AVD และรันการทดสอบ:

acloud create --local-instance --local-image && atest test-to-run

เริ่ม AVD โดยเป็นส่วนหนึ่งของการทดสอบการทำงาน:

atest test-to-run --acloud-create "--local-instance --local-image"

สำหรับข้อมูลเพิ่มเติม ให้รัน acloud create --help

ส่งผ่านตัวเลือกไปยังโมดูล

Atest สามารถส่งตัวเลือกเพื่อทดสอบโมดูลได้ หากต้องการเพิ่มตัวเลือกบรรทัดคำสั่ง TradeFed ให้กับการทดสอบของคุณ ให้ใช้โครงสร้างต่อไปนี้ และตรวจสอบให้แน่ใจว่าอาร์กิวเมนต์ที่คุณกำหนดเองเป็นไปตามรูปแบบตัวเลือกบรรทัดคำสั่ง Tradefed

atest test-to-run -- [CUSTOM_ARGS]

ส่งต่อตัวเลือกโมดูลการทดสอบไปยังผู้จัดเตรียมเป้าหมายหรือผู้ดำเนินการทดสอบที่กำหนดไว้ในไฟล์กำหนดค่าการทดสอบ:

atest test-to-run -- --module-arg module-name:option-name:option-value
atest GtsPermissionTestCases -- --module-arg GtsPermissionTestCases:ignore-business-logic-failure:true

ส่งตัวเลือกไปยังประเภทนักวิ่งหรือคลาส:

atest test-to-run -- --test-arg test-class:option-name:option-value
atest CtsVideoTestCases -- --test-arg com.android.tradefed.testtype.JarHosttest:collect-tests-only:true

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับตัวเลือกสำหรับการทดสอบเท่านั้น โปรดดูที่ ส่งตัวเลือกไปยังโมดูล