OmniLab Android Test Station

OmniLab ATS เป็นเครื่องมือทดสอบที่นักพัฒนาแอป Android และวิศวกรทดสอบใช้เพื่อใช้ส่วนติดต่อผู้ใช้ในการเรียกใช้ชุดทดสอบ Android มาตรฐาน เช่น Android Compatibility Test Suite (CTS) เครื่องมือนี้ ทำหน้าที่เป็นอินเทอร์เฟซเว็บสำหรับเฟรมเวิร์กการทดสอบต่างๆ เช่น Trade Federation (TF) และ Google Mobly ซึ่งช่วยให้คุณเรียกใช้ CTS และ การทดสอบแบบหลายอุปกรณ์ในชุดอุปกรณ์ทดสอบได้โดยมีการตั้งค่าเพียงเล็กน้อย รวมถึง กำหนดเวลาเพื่อเรียกใช้การทดสอบอย่างต่อเนื่อง

ตั้งค่า OmniLab ATS

ส่วนนี้จะอธิบายวิธีติดตั้งและตั้งค่า OmniLab ATS

OmniLab ATS ใช้ซอร์สโค้ดจากตำแหน่งต่อไปนี้

• OmniLab ATS ซอร์สโค้ด
• ซอร์สโค้ดของ TradeFed Cluster

ติดตั้ง OmniLab ATS

ทำตามข้อกำหนดด้านฮาร์ดแวร์และซอฟต์แวร์สำหรับชุดการทดสอบที่คุณเรียกใช้

ดูข้อกำหนดสำหรับ CTS ได้ที่ source.android.com

OmniLab ATS ไม่มีข้อกำหนดด้านฮาร์ดแวร์เพิ่มเติม แต่เราขอแนะนำให้ ใช้ข้อกำหนดของโฮสต์ CTS เป็นจุดเริ่มต้น

การติดตั้ง OmniLab ATS ทำได้ 2 วิธี ดังนี้

• เรียกใช้โปรแกรมติดตั้ง
• ติดตั้งด้วยตนเอง ซึ่งต้องติดตั้งโปรแกรมและทรัพยากรหลายรายการ

ติดตั้งด้วยโปรแกรมติดตั้ง

ใน Ubuntu 20.04 ขึ้นไป โปรแกรมติดตั้งจะติดตั้งและกำหนดค่าโปรแกรม และทรัพยากรทั้งหมดที่จำเป็นในการเรียกใช้ OmniLab ATS

วิธีใช้โปรแกรมติดตั้ง

1. เรียกใช้โปรแกรมติดตั้งโดยทำดังนี้

   curl https://storage.googleapis.com/android-mtt.appspot.com/prod/install.sh | bash
   

2. เรียกใช้ mtt version เพื่อตรวจสอบ OmniLab ATS CLI เวอร์ชันที่ติดตั้ง

ติดตั้งด้วยตนเอง

ติดตั้ง Docker

1. ทำตามวิธีการติดตั้ง Docker Community Edition (CE) ในเครื่อง Linux

2. ทำตามขั้นตอนหลังการติดตั้งเพื่อจัดการ Docker ในฐานะผู้ใช้ที่ไม่ใช่รูท

3. คุณอาจต้องรีสตาร์ทหน้าต่างเทอร์มินัลหรือออกจากระบบแล้วลงชื่อเข้าใช้อีกครั้ง เพื่อให้การเปลี่ยนแปลงสิทธิ์มีผล

ติดตั้ง Python 3

CLI ของ OmniLab ATS ได้รับการยืนยันกับ Python เวอร์ชัน 3.7 ถึง 3.11

สำหรับ Ubuntu 16.04 หรือเวอร์ชันก่อนหน้า ให้เพิ่มที่เก็บสำหรับ Python 3 ก่อนโดยทำอย่างใดอย่างหนึ่งต่อไปนี้

• ใช้คําสั่งนี้

  sudo add-apt-repository ppa:deadsnakes/ppa
  

• สร้างและติดตั้งที่เก็บ จากแหล่งที่มา

หากต้องการติดตั้ง Python 3 ให้เรียกใช้คำสั่งต่อไปนี้

sudo apt-get update
sudo apt install python3 python3-distutils

หากต้องการติดตั้ง Python 3 เวอร์ชันที่เฉพาะเจาะจง (เช่น 3.10) ให้เรียกใช้คำสั่งต่อไปนี้แทน

sudo apt-get update
sudo apt install python3.10 python3.10-distutils

รับ CLI ของ ATS สำหรับ OmniLab

ดาวน์โหลดแพ็กเกจอินเทอร์เฟซบรรทัดคำสั่ง (CLI) ได้ที่นี่

เริ่ม OmniLab ATS

เริ่ม OmniLab ATS ด้วยคำสั่งต่อไปนี้

mtt start

เมื่อเริ่ม UI เป็นครั้งแรก ระบบอาจใช้เวลา 2-3 นาทีจึงจะแสดง CLI แสดง URL ของเว็บเพื่อเข้าถึง UI ในเบราว์เซอร์ โดยค่าเริ่มต้น URL ของเว็บคือ localhost:8000 หากจำเป็น คุณสามารถเปลี่ยนพอร์ตเริ่มต้นเมื่อเริ่มต้นด้วย แฟล็ก --port ได้

หากมีเวอร์ชันใหม่พร้อมใช้งาน คุณสามารถอัปเดตเป็นเวอร์ชันปัจจุบันได้ คุณสามารถ ตรวจสอบบันทึกประจำรุ่น เพื่อดูรุ่นล่าสุดได้

หากต้องการอัปเดตเป็นเวอร์ชันปัจจุบัน ให้เรียกใช้คำสั่งต่อไปนี้

mtt start --force_update

หากต้องการหยุดแอป ให้เรียกใช้คำสั่งต่อไปนี้

mtt stop

หากต้องการดูรายการคำสั่งอื่นๆ ให้ใช้คำสั่งต่อไปนี้

mtt --help

สำรองและกู้คืนฐานข้อมูล

หากต้องการสำรองข้อมูลฐานข้อมูล OmniLab ATS ให้หยุดแอปและเรียกใช้คำสั่งต่อไปนี้ ซึ่งจะสำรองข้อมูลฐานข้อมูลปัจจุบันลงในไฟล์ TAR ชื่อ mtt-backup.tar ใน ไดเรกทอรีหน้าแรก

docker run --rm --mount source=mtt-data,target=/data -v ~:/out ubuntu bash -c "cd /data && tar cvf /out/mtt-backup.tar ."

หากต้องการกู้คืน ให้เรียกใช้คำสั่งต่อไปนี้ก่อนเริ่มแอป

docker run --rm --mount source=mtt-data,target=/data -v ~:/out ubuntu bash -c "cd /data && tar xvf /out/mtt-backup.tar"

วิซาร์ดการตั้งค่า

หลังจากติดตั้งและเรียกใช้ OmniLab ATS เป็นครั้งแรก ตัวช่วยสร้างการตั้งค่าจะแนะนำคุณ ผ่านขั้นตอนต่างๆ เพื่อช่วยปรับแต่งเครื่องมือให้เหมาะกับสภาพแวดล้อมของคุณ คุณกำหนดค่าการเปลี่ยนแปลงที่ทำที่นี่ใหม่ได้ในภายหลังผ่านหน้าการตั้งค่า

กู้คืนข้อมูลสำรองการกำหนดค่า

หากมีไฟล์การกำหนดค่าที่สำรองข้อมูลไว้จากโฮสต์ ATS ของ OmniLab อื่น คุณสามารถอัปโหลดไฟล์เพื่อคัดลอกการกำหนดค่าที่แก้ไขจากโฮสต์นั้นได้โดยคลิกปุ่มอัปโหลดไฟล์

รูปที่ 1 การกู้คืนข้อมูลสำรองของการกำหนดค่า

ตั้งค่าบัญชีบริการเริ่มต้น

คุณตั้งค่าบัญชีบริการ ที่ OmniLab ATS ใช้โดยค่าเริ่มต้นเมื่อเข้าถึงทรัพยากร (เช่น Google Cloud Storage, Google ไดรฟ์) ได้ หากต้องการตรวจสอบสิทธิ์บัญชีบริการ ให้คลิกอัปโหลดคีย์บัญชีบริการ แล้วเลือกไฟล์คีย์ JSON ของบัญชีบริการ

รูปที่ 2 การตั้งค่าบัญชีบริการ

เมื่อตรวจสอบสิทธิ์บัญชีบริการเรียบร้อยแล้ว อีเมลของบัญชี จะปรากฏที่มุมขวาบนของหน้า หากต้องการเปลี่ยนบัญชีบริการ ให้คลิกชื่อบัญชี นำบัญชีเริ่มต้นปัจจุบันออก แล้วอัปโหลดคีย์บัญชีบริการใหม่

รูปที่ 3 การเปลี่ยนบัญชีบริการ

นำเข้าชุดการกำหนดค่า

ชุดการกำหนดค่าคือกลุ่มการกำหนดค่าสำหรับการเรียกใช้ชุดการทดสอบ ซึ่งรวมถึงการดำเนินการที่เกี่ยวข้องกับอุปกรณ์และช่องทางการสร้าง ระบบจะโฮสต์ชุดการกำหนดค่าในที่เก็บข้อมูล Google Cloud Storage (GCS) ที่เฉพาะเจาะจง หลังจากตรวจสอบสิทธิ์ช่องบิลด์ GCS ด้วยบัญชี Google แล้ว คุณจะเห็นรายการชุดการกำหนดค่าทั้งหมดที่พร้อมใช้งาน

เลือกชุดการกำหนดค่าที่ต้องการเพิ่มลงในโฮสต์สถานีทดสอบ แล้วคลิกนำเข้าที่เลือก

รูปที่ 4 การนำเข้าชุดการกำหนดค่า

รวมการตั้งค่า Wi-Fi

การทดสอบ CTS บางรายการกำหนดให้อุปกรณ์เชื่อมต่อฮอตสปอต Wi-Fi หากต้องการเลือกเครือข่าย Wi-Fi ให้ป้อน SSID ของ Wi-Fi และ PSK ของ Wi-Fi (ไม่บังคับ)

รูปที่ 5 การตั้งค่าฮอตสปอต Wi-Fi

หลังจากทําตามวิซาร์ดการตั้งค่าเสร็จแล้ว หน้าเว็บจะโหลดซ้ำโดยใช้การตั้งค่าใหม่

เชื่อมต่ออุปกรณ์

ต้องเปิดใช้การแก้ไขข้อบกพร่อง USB เพื่อใช้อุปกรณ์ในการทดสอบ วิธีเปิดใช้การแก้ไขข้อบกพร่อง

1. ทำตามวิธีการใน เปิดใช้ตัวเลือกสำหรับนักพัฒนาแอปและ การแก้ไขข้อบกพร่อง

2. หากวางแผนที่จะใช้บิลด์ Android เวอร์ชันทดสอบที่โหลดไว้ล่วงหน้าด้วยคีย์ ADB ที่กำหนดเอง ให้วางไฟล์ .adb_key ที่กำหนดเองไว้ในไดเรกทอรี ~/.android/

   ระบบจะโหลดไฟล์โดยอัตโนมัติและส่งไปยัง ADB เพื่อเปิดใช้การแก้ไขข้อบกพร่องผ่าน USB โดยอัตโนมัติหลังจากแฟลชอุปกรณ์สำหรับอุปกรณ์ที่ใช้บิลด์เหล่านั้น

3. เชื่อมต่ออุปกรณ์กับเครื่องโฮสต์โดยใช้ USB

   อุปกรณ์จะปรากฏในแท็บอุปกรณ์ ATS ของ OmniLab ภายใน 1 นาทีหลังจาก รีเฟรชอินเทอร์เฟซเว็บ นอกจากนี้ คุณยังดูสถานะของอุปกรณ์ได้ใน แท็บนี้

   

   รูปที่ 6 การเชื่อมต่ออุปกรณ์

สถานะต่างๆ ของอุปกรณ์มีดังนี้

• พร้อมใช้งาน - อุปกรณ์เชื่อมต่อแล้วและพร้อมที่จะทำการทดสอบ
• จัดสรร - อุปกรณ์เชื่อมต่ออยู่และกำลังทำการทดสอบ อุปกรณ์แต่ละเครื่องจะเรียกใช้การทดสอบได้ครั้งละ 1 รายการเท่านั้น ดังนั้นอุปกรณ์ต้องทำการทดสอบปัจจุบันให้เสร็จก่อนจึงจะเรียกใช้การทดสอบใหม่ได้

เรียกใช้การทดสอบ

เลือกการทดสอบ

OmniLab ATS มาพร้อมกับการกำหนดค่า CTS ที่รวมไว้ล่วงหน้า หากต้องการเรียกใช้การทดสอบอย่างใดอย่างหนึ่ง เหล่านี้ ให้ไปที่แท็บชุดเครื่องมือทดสอบ แล้วคลิกเรียกใช้การทดสอบสำหรับการทดสอบที่เลือก

รูปที่ 7 เลือกการทดสอบ

หากต้องการแก้ไขหรือเพิ่มการทดสอบใหม่ โปรดดูการเพิ่มการทดสอบ

กำหนดค่าการทดสอบ

แก้ไขพารามิเตอร์ที่จะใช้สำหรับการทดสอบที่เฉพาะเจาะจงนี้ พารามิเตอร์ส่วนใหญ่จะ มีค่าที่กำหนดไว้ล่วงหน้าในการกำหนดค่าการทดสอบที่เลือก

คุณทําขั้นตอนนี้ให้เสร็จสมบูรณ์ได้โดยใช้ค่าเริ่มต้น แต่จะเปลี่ยนพารามิเตอร์ใดก็ได้ เช่น Max Retry และ Command ให้เหมาะกับความต้องการของคุณ

รูปที่ 8 การกำหนดค่าการทดสอบ

พารามิเตอร์การทดสอบมีดังนี้

• ชื่อ - ชื่อชุดการทดสอบที่ต้องการเรียกใช้
• จำนวนการเรียกใช้ - จำนวนครั้งที่ควรเรียกใช้การทดสอบนี้เมื่อ กำหนดเวลาไว้ ระบบจะกำหนดเวลาการทดสอบโดยใช้ สหพันธ์การค้า ซึ่งจะเรียกใช้การทดสอบได้สูงสุด 20 รายการพร้อมกันหากมีขีดความสามารถ
• ลองใหม่สูงสุด - จำนวนครั้งสูงสุดที่จะลองเรียกใช้การทดสอบอีกครั้งหากมี การทดสอบอย่างน้อย 1 รายการล้มเหลว โดยปกติแล้วจะตั้งค่าเป็น 4-6 ครั้งสำหรับการลองใหม่เพื่อให้ CTS ทำงานได้เต็มรูปแบบเพื่อ จัดการการทดสอบที่ไม่เสถียร
• คิวหมดเวลา - หากการทดสอบยังคงอยู่ในสถานะรอคิวนานเกินไป ระบบจะยกเลิกโดยอัตโนมัติ ระบุระยะเวลาที่ต้องรอก่อน ยกเลิกที่นี่ ค่าเริ่มต้นคือ 24 ชั่วโมง

• Command - คำสั่งเพื่อเรียกใช้ชุดทดสอบ คุณสามารถป้อนอาร์กิวเมนต์บรรทัดคำสั่งเพิ่มเติมได้ที่นี่ เช่น เรียกใช้โมดูลที่เฉพาะเจาะจงใน CTS 8.1 ด้วยคำสั่งต่อไปนี้

  cts-suite -m ShortModuleName
  

• คำสั่งลองอีกครั้ง - คำสั่งสำหรับลองชุดทดสอบอีกครั้ง คุณเพิ่ม อาร์กิวเมนต์บรรทัดคำสั่งเพิ่มเติมได้ที่นี่ เช่น หากต้องการลองอีกครั้งเฉพาะโมดูล หนึ่งๆ ใน CTS 8.1 ให้ใช้คำสั่งต่อไปนี้

  cts --retry 0 -m ShortModuleName
  

  อาร์กิวเมนต์การลองใหม่อาจแตกต่างจากอาร์กิวเมนต์ที่ใช้ได้กับคำสั่งเริ่มต้น ดังนั้นโปรดตรวจสอบพารามิเตอร์ที่รองรับในเว็บไซต์อย่างเป็นทางการของชุดการทดสอบที่เลือก

• การทดสอบที่ดำเนินการก่อนหน้า - หากต้องการเรียกใช้การทดสอบที่ดำเนินการก่อนหน้าอีกครั้ง ให้ทำดังนี้

  • ในเครื่อง - หากเริ่มการเรียกใช้ในโฮสต์ปัจจุบัน ให้ป้อนรหัสการเรียกใช้การทดสอบ ที่เห็นเมื่อดูรายละเอียดของการเรียกใช้การทดสอบ

    

    รูปที่ 9 การทดสอบครั้งก่อนในเครื่อง

  • ระยะไกล - หากเริ่มการเรียกใช้ในโฮสต์อื่น ให้อัปโหลดไฟล์ผลการทดสอบโดยเลือกระยะไกล คลิกอัปโหลดไฟล์ผลการทดสอบ แล้วเลือกไฟล์จากที่เก็บข้อมูลในเครื่อง

    

    รูปที่ 10 เรียกใช้การทดสอบก่อนหน้าจากระยะไกล

เลือกอุปกรณ์

คลิกช่องทำเครื่องหมายเพื่อเลือกอุปกรณ์ที่จะจัดสรรไว้สำหรับเรียกใช้ชุดการทดสอบ จำนวน Shard ควรเปลี่ยนโดยอัตโนมัติให้ตรงกับจำนวนอุปกรณ์ที่เลือก

รูปที่ 11 การเลือกอุปกรณ์

หากต้องการเลือกอุปกรณ์ตามแอตทริบิวต์อื่นๆ นอกเหนือจากหมายเลขซีเรียลของอุปกรณ์ คุณสามารถป้อน "ข้อมูลจำเพาะของอุปกรณ์" ด้วยตนเองได้ ตัวอย่างเช่น หากต้องการเลือกอุปกรณ์ 3 เครื่องที่มีชื่อผลิตภัณฑ์เป็น "bramble" ให้ป้อนข้อมูลต่อไปนี้

product:bramble;product:bramble;product:bramble

แอตทริบิวต์ที่รองรับมีดังนี้

• build_id
• device_serial
• device_type
• ชื่อโฮสต์
• ผลิตภัณฑ์
• product_variant
• sim_state

อุปกรณ์ที่เลือกทั้งหมดต้องอยู่ในสถานะพร้อมใช้งานเพื่อเรียกใช้การทดสอบ และอุปกรณ์ทั้งหมดจะเปลี่ยนเป็นสถานะจัดสรรเมื่อเรียกใช้การทดสอบ การทดสอบจะอยู่ในสถานะรอคิวขณะที่รอให้อุปกรณ์พร้อมใช้งาน

เพิ่มการทำงานของอุปกรณ์

การดำเนินการของอุปกรณ์คือสคริปต์ที่เรียกใช้ได้ก่อนการทดสอบแต่ละครั้ง การดำเนินการในอุปกรณ์บางอย่างจะได้รับการกำหนดค่าไว้แล้ว เช่น การแฟลชและการรีบูต หากต้องการ สร้างการดำเนินการของอุปกรณ์ใหม่ โปรดดู สร้างการดำเนินการของอุปกรณ์ใหม่

รูปที่ 12 การดำเนินการของอุปกรณ์

หากต้องการเพิ่มการดำเนินการของอุปกรณ์ในการทดสอบ ให้คลิกเพิ่มการดำเนินการใหม่ เลือกช่องทําเครื่องหมายสําหรับการดำเนินการที่จะเพิ่ม แล้วคลิกเพิ่มการดำเนินการ การดำเนินการกับอุปกรณ์ จะดำเนินการตามลำดับ คุณเรียงลำดับการดำเนินการใหม่ได้โดยการลาก

รูปที่ 13 การจัดลำดับการดำเนินการใหม่

ตั้งค่าทรัพยากรทดสอบ

แหล่งข้อมูลการทดสอบคือไฟล์ที่จำเป็นต่อการเรียกใช้การทดสอบ เช่น การเรียกใช้ CTS ต้องใช้ไฟล์ android-cts*.zip และการแฟลชอุปกรณ์ต้องให้คุณ ระบุอิมเมจบิลด์

URL สำหรับดาวน์โหลดไฟล์ ZIP ของชุดทดสอบควรเป็นลิงก์ Google ไดรฟ์ ที่ให้ไว้กับพาร์ทเนอร์โดยค่าเริ่มต้น คุณเลือกไฟล์อื่นได้โดยคลิกเรียกดู ในหน้าต่างป๊อปอัป คุณสามารถป้อนลิงก์ดาวน์โหลดไฟล์ ใช้ไฟล์จาก ช่องบิลด์ที่ผ่านการตรวจสอบสิทธิ์ หรืออัปโหลดไฟล์เพื่อใช้จากพื้นที่เก็บข้อมูลในเครื่อง

รูปที่ 14 ทดสอบทรัพยากร

ด้านล่างคือหน้าต่างป๊อปอัปสำหรับเลือกแหล่งข้อมูลทดสอบตาม URL ของเว็บ คุณสามารถ ป้อนลิงก์ URL ของการดาวน์โหลด แล้วคลิกปุ่มเลือกเพื่อยืนยัน การเลือก

รูปที่ 15 เครื่องมือเลือกทรัพยากรทดสอบ - URL เว็บ

หากอัปโหลดทรัพยากรไปยัง Google ไดรฟ์, Google Cloud Storage (GCS) หรือ ช่องทางอื่นๆ คุณยังไปยังแท็บของช่องทางนั้นๆ แล้วเลือก ทรัพยากรในแท็บได้ด้วย ตัวอย่างการเลือกแหล่งข้อมูลจาก Google ไดรฟ์มีดังนี้

รูปที่ 16 ทดสอบเครื่องมือเลือกทรัพยากร - Google ไดรฟ์

นอกจากจะเลือกไฟล์ได้แล้ว ระบบยังรองรับอักขระไวลด์การ์ดในช่องชื่อไฟล์ด้วย ดูเอกสารประกอบได้ที่นี่

รูปที่ 17 เครื่องมือเลือกทรัพยากรทดสอบ - รองรับรูปแบบไวลด์การ์ด

นอกจากนี้ คุณยังเลือกไฟล์จากที่เก็บไฟล์ในเครื่องของ OmniLab ATS ได้ด้วย คุณสามารถอัปโหลด ไฟล์ไปยังที่เก็บข้อมูลนี้ หรือ ใช้ไฟล์และไดเรกทอรีในเครื่องโดยตรง

รูปที่ 18 เครื่องมือเลือกทรัพยากรทดสอบ - ที่เก็บไฟล์ในเครื่อง

เพิ่มการกำหนดค่าการเรียกใช้ซ้ำ

คุณสามารถกำหนดเวลาการทดสอบซ้ำให้เริ่มหลังจากที่การทดสอบหลักเสร็จสมบูรณ์และ โหลดผลลัพธ์แล้ว แต่จะใช้อุปกรณ์ การดำเนินการ หรือทรัพยากรที่แตกต่างกันได้

รูปที่ 19 การเพิ่มการกำหนดค่าการรีรัน

เริ่มการทดสอบ

หลังจากป้อนข้อมูลที่จำเป็นสำหรับการทดสอบแล้ว ให้คลิกเริ่มการทดสอบ เรียกใช้ หากข้อมูลทั้งหมดถูกต้อง ระบบจะเริ่มการทดสอบ และคุณจะ เปลี่ยนเส้นทางไปยังหน้าเว็บเพื่อดูรายละเอียดและความคืบหน้าของการทดสอบ

รูปที่ 20 เริ่มการทดสอบ

สร้างแผนการทดสอบ

ระบบจะใช้แผนการทดสอบเพื่อสร้างการทดสอบตามกำหนดการเป็นระยะ เช่น เรียกใช้ CTS 9.0 ทุกวันเวลา 17:00 น. หากต้องการสร้างแผนการทดสอบใหม่ ให้คลิกสร้าง แผนการทดสอบใหม่

รูปที่ 21 การสร้างแผนการทดสอบ

กำหนดค่าแผนการทดสอบ

ป้อนชื่อแผนการทดสอบและป้ายกำกับที่ต้องการเพิ่ม จากนั้นเลือก กำหนดเวลาที่จะใช้

• ด้วยตนเอง - แผนการทดสอบจะสร้างการทดสอบเฉพาะเมื่อผู้ใช้คลิกเรียกใช้แผนการทดสอบในหน้าแสดงรายการแผนการทดสอบ
• เป็นระยะ - แผนการทดสอบจะกำหนดเวลารันการทดสอบโดยอัตโนมัติตาม กำหนดเวลาเป็นระยะที่เลือก เช่น การตั้งเวลาเรียกใช้การทดสอบทุกวันเวลา 17:00 น.
• กำหนดเอง - แผนการทดสอบจะกำหนดเวลารันการทดสอบโดยอัตโนมัติตามนิพจน์ Cron ที่ป้อน ตัวอย่างเช่น หากต้องการตั้งเวลาการทดสอบให้ทำงานทุกวันเวลา 17:00 น. นิพจน์ Cron จะเป็น 0 17 * * *

รูปที่ 22 การกำหนดค่าแผนการทดสอบ

เพิ่มชุดการทดสอบ

เพิ่มชุดการทดสอบที่คุณต้องการให้แผนการทดสอบกำหนดเวลาโดยคลิก + เพิ่ม การกำหนดค่าการเรียกใช้การทดสอบ เลือกชุดทดสอบจากเมนูแบบเลื่อนลงชื่อ แล้วคลิกขั้นตอนถัดไป จากนั้นเลือกอุปกรณ์ที่ต้องการทดสอบ แล้วคลิกเพิ่มการกำหนดค่า คุณสามารถเพิ่มการกำหนดค่าหลายรายการสำหรับแผนการทดสอบแต่ละรายการได้

รูปที่ 23 การกำหนดค่าการทดสอบ

เพิ่มการทำงานของอุปกรณ์

เพิ่มการดำเนินการของอุปกรณ์ที่ต้องการให้ดำเนินการก่อนการทดสอบแต่ละครั้ง ดูรายละเอียดเพิ่มเติมได้ที่การเพิ่มการดำเนินการในอุปกรณ์

รูปที่ 24 การเพิ่มการทำงานของอุปกรณ์

ตั้งค่าทรัพยากรทดสอบ

การเพิ่มทรัพยากรทดสอบลงในแผนการทดสอบจะเหมือนกับการเพิ่มทรัพยากรลงในการทดสอบแต่ละครั้ง ดูรายละเอียดเพิ่มเติมได้ที่การตั้งค่าทรัพยากรทดสอบ

รูปที่ 25 การตั้งค่าทรัพยากรทดสอบ

ดูการทดสอบ

รายการการทดสอบ

ดูรายการการทดสอบที่กำหนดเวลาไว้ในหน้าการทดสอบ คลิกดูเพื่อดูรายละเอียดเพิ่มเติมเกี่ยวกับการทดสอบ

นอกจากนี้ คุณยังกรองรายการได้โดยป้อนสตริงลงในแถบตัวกรองแล้วกดปุ่ม Enter คุณใช้ตัวกรองหลายรายการได้โดยคั่นด้วย คอมมา ตัวกรองจะแสดงผลแถวทั้งหมดที่มีข้อความที่ตรงกันทุกประการ (ไม่มีการจับคู่สตริงย่อย) ในคอลัมน์ใดก็ได้ ยกเว้นสถานะและสร้าง

ตัวกรองที่ว่างเปล่าจะแสดงแถวทั้งหมด ขณะนี้ยังไม่มีวิธีกรองแถวที่มีค่าว่าง

รูปที่ 26 รายการการทดสอบ

รายละเอียดการทดสอบ

คุณดูรายละเอียดการทดสอบได้ที่นี่ เช่น สถานะ บันทึก และ ผลลัพธ์

รูปที่ 27 รายละเอียดการทดสอบ

สถานะการดำเนินการทดสอบ

ความคืบหน้าของการทดสอบจะแสดงในส่วนสถานะ หากมีข้อความที่เกี่ยวข้อง เช่น ความคืบหน้าในการดาวน์โหลด เหตุผลในการยกเลิก หรือข้อความแสดงข้อผิดพลาด ระบบจะแสดงข้อความดังกล่าวที่นี่ด้วย

รูปที่ 28 สถานะการดำเนินการทดสอบ

สถานะการทดสอบมีดังนี้

• รอดำเนินการ - กำลังดาวน์โหลดทรัพยากรที่จำเป็น
• อยู่ในคิว - การทดสอบพร้อมที่จะดำเนินการเมื่อมีอุปกรณ์พร้อมใช้งาน
• กำลังทำงาน - การทดสอบกำลังทำงานบนอุปกรณ์ที่จัดสรร
• เสร็จสมบูรณ์ - การทดสอบเสร็จสมบูรณ์และรายงานผลลัพธ์แล้ว
• ยกเลิกแล้ว - ผู้ใช้ยกเลิกการทดสอบหรือการทดสอบหมดเวลาขณะพยายาม ค้นหาอุปกรณ์ที่พร้อมใช้งาน
• ข้อผิดพลาด - เกิดข้อผิดพลาดที่ทำให้ทดสอบไม่ได้

ยกเลิกการทดสอบ

หากการทดสอบยังไม่เสร็จสมบูรณ์ คุณสามารถยกเลิกได้โดยคลิกยกเลิก แล้วคลิกใช่ในกล่องโต้ตอบการยืนยัน นอกจากนี้ ระบบจะยกเลิกการทดสอบโดยอัตโนมัติหากยังอยู่ในสถานะรอคิวนานกว่าค่าในฟิลด์ queue_timeout_seconds การยกเลิกการทดสอบขณะอยู่ในสถานะกำลังทำงาน อาจใช้เวลา 2-3 นาทีจึงจะมีผล

รูปที่ 29 การยกเลิกการทดสอบ

ผลการดำเนินการทดสอบ

หลังจากเรียกใช้การทดสอบเสร็จแล้ว ระบบจะรวบรวมและแสดงผลลัพธ์ คุณดูรายละเอียดเพิ่มเติมได้โดยคลิกลูกศรของการเรียกใช้แต่ละครั้ง คลิกดูไฟล์เอาต์พุตเพื่อดูอาร์ติแฟกต์การทดสอบที่รวบรวมไว้ เช่น test_result.xml และ test_result_failures.html

รูปที่ 30 ผลการดำเนินการทดสอบ

คุณดูบันทึกของผู้จัดการประชุมและ Tradefed แบบเรียลไทม์ได้ในแท็บบันทึก

รูปที่ 31 แท็บบันทึก

ผลลัพธ์ของแต่ละโมดูลจะอยู่ในแท็บผลการทดสอบ

รูปที่ 32 แท็บผลการตรวจ

คุณสามารถดาวน์โหลดไฟล์ที่ใช้เป็นแหล่งข้อมูลทดสอบได้โดยคลิกเปิดในแท็บแหล่งข้อมูลทดสอบ

รูปที่ 33 แท็บทรัพยากรการทดสอบ

หากต้องการดูรายละเอียดการทดสอบ เช่น create_time ให้ไปที่แท็บการกำหนดค่า

รูปที่ 34 แท็บการกำหนดค่า

ฟีเจอร์ขั้นสูง

จัดการไฟล์การกำหนดค่า

OmniLab ATS ใช้ไฟล์การกำหนดค่าที่เขียนใน YAML เพื่อ โหลดตัวเลือกที่กำหนดไว้ล่วงหน้า เช่น การทดสอบ ช่องทางการบิลด์ และการดำเนินการของอุปกรณ์ ตัวอย่างไฟล์การกำหนดค่ามีดังนี้

// example_file.yaml
tests:
- id : android.cts.9_0.arm
  name: CTS 9.0 (ARM)
  test_resource_defs:
  - name: android-cts.zip
    default_download_url: https://dl.google.com/dl/android/cts/android-cts-9.0_r7-linux_x86-arm.zip
    test_resource_type: TEST_PACKAGE
  command: cts
  env_vars:
  - name: TF_PATH
    value: ${TF_WORK_DIR}/android-cts/tools:${TF_WORK_DIR}/android-cts/testcases
  - name: LD_LIBRARY_PATH
    value: ${TF_WORK_DIR}/android-cts/lib:${TF_WORK_DIR}/android-cts/lib64
  setup_scripts:
  output_file_patterns:
  - android-cts/logs/latest/.*
  - android-cts/results/latest/.*\.html
  - android-cts/results/latest/compatibility_result\..*
  - android-cts/results/latest/logo.png
  - android-cts/results/latest/test_result.xml
  result_file: test_result.xml
  java_properties:
  - name: CTS_ROOT
    value: ${TF_WORK_DIR}
  context_file_dir: android-cts/results/
  context_file_pattern: '[\d_\.]+\.zip'
  retry_command_line: retry --retry 0
  runner_sharding_args: --shard-count ${TF_SHARD_COUNT}

build_channels:
- id: google_drive
  name: Google Drive
  provider_name: Google Drive

device_actions:
- id: flash
  name: Flash
  test_resource_defs:
  - name: bootloader.img
    test_resource_type: DEVICE_IMAGE
  - name: radio.img
    test_resource_type: DEVICE_IMAGE
  - name: img.zip
    test_resource_type: DEVICE_IMAGE
  tradefed_target_preparers:
  - class_name: com.android.tradefed.targetprep.RunHostCommandTargetPreparer
    option_values:
    - name: work-dir
      values:
      - ${TF_WORK_DIR}
    - name: host-setup-command
      values:
      - adb -s $SERIAL reboot-bootloader
      - fastboot -s $SERIAL flash bootloader bootloader.img
      - fastboot -s $SERIAL flash radio radio.img
      - fastboot -s $SERIAL reboot-bootloader
      - fastboot -s $SERIAL -w update img.zip
      - adb -s $SERIAL wait-for-device
    - name: host-cmd-timeout
      values:
      - 10m

เมื่อตั้งค่าอินสแตนซ์ ATS ของ OmniLab คุณจะแชร์การกำหนดค่ากับ ผู้ใช้รายอื่นได้โดยการส่งออกเป็นไฟล์ โดยไปที่หน้าการตั้งค่า แล้วคลิกส่งออกที่ด้านขวาบน

รูปที่ 35 การจัดการไฟล์การกำหนดค่า

หลังจากดาวน์โหลดไฟล์การกำหนดค่าแล้ว ให้แชร์ไฟล์กับผู้ใช้รายอื่น โดยสามารถเพิ่มไฟล์การกำหนดค่าลงในอินสแตนซ์ OmniLab ATS ได้โดยคลิกนำเข้า แล้วเลือกไฟล์การกำหนดค่า

สร้างการดำเนินการในอุปกรณ์ใหม่

การดำเนินการในอุปกรณ์ใช้เพื่อทำให้กระบวนการตั้งค่าอุปกรณ์เป็นแบบอัตโนมัติ การดำเนินการคือ สคริปต์ที่เรียกใช้ในอุปกรณ์แต่ละเครื่องที่ใช้ทดสอบก่อนการทดสอบแต่ละครั้ง รวมถึงก่อนการลองอีกครั้ง หากต้องการดูรายการการดำเนินการของอุปกรณ์ที่พร้อมใช้งาน ให้ไปที่หน้าการตั้งค่า แล้วคลิกแท็บการดำเนินการของอุปกรณ์ การดำเนินการในอุปกรณ์หลายอย่างได้รับการกำหนดค่าไว้แล้ว เช่น การรีบูตและการแฟลช

รูปที่ 36 แท็บการดำเนินการของอุปกรณ์

เพิ่มการทำงานของอุปกรณ์ใหม่

1. คลิกการกระทําของอุปกรณ์ใหม่

   

   รูปที่ 37 ปุ่มการดำเนินการในอุปกรณ์ใหม่

2. ป้อนชื่อและคำอธิบาย

   

   รูปที่ 38 ชื่อการทำงานของอุปกรณ์

3. คลิกเพิ่มผู้เตรียมข้อมูลเป้าหมาย

4. ป้อนชื่อคลาสแบบเต็มของเป้าหมาย Trade Federation Preparer เช่น com.android.tradefed.targetprep.RunHostCommandTargetPreparer

   

   รูปที่ 39 การเพิ่มผู้เตรียมภาษีเป้าหมาย

   ดูรายการตัวเตรียมเป้าหมายที่ใช้ได้ในเอกสารอ้างอิง com.android.tradefed.targetprep

   

   รูปที่ 40 รายชื่อผู้เตรียมภาษีของ Target

5. เพิ่มตัวเลือกที่จะใช้กับเครื่องมือเตรียมเป้าหมาย หากต้องการดูตัวเลือกที่มี ให้ตรวจสอบ targetprep สำหรับซอร์สโค้ดของเครื่องมือเตรียมเป้าหมายแต่ละรายการใน AOSP

   

   รูปที่ 41 ตัวอย่างตัวเลือกการดำเนินการ

6. หากต้องการเพิ่มตัวเลือก ให้คลิกเพิ่มตัวเลือกผู้เตรียมเป้าหมาย แล้วป้อนค่าที่ จำเป็น

   

   รูปที่ 42 ตัวอย่างคำสั่งการดำเนินการ

7. กำหนดทรัพยากรการทดสอบที่จำเป็นต่อการดำเนินการกับอุปกรณ์ เช่น สร้างอิมเมจสำหรับแฟลช หากต้องการเพิ่มคำจำกัดความของทรัพยากร ให้คลิกเพิ่มทรัพยากรทดสอบ แล้วกรอกข้อมูลในช่องที่ต้องกรอก หากทราบตำแหน่งของไฟล์ คุณสามารถระบุ URL ดาวน์โหลดเริ่มต้นได้โดยคลิกเรียกดู หากผู้เตรียมข้อมูลเป้าหมายยอมรับไดเรกทอรีเป็นแหล่งข้อมูลทดสอบ ให้เลือกคลายการบีบอัด จากนั้นระบุไดเรกทอรีปลายทางที่เกี่ยวข้อง ภายใต้ไดเรกทอรีการทำงานชั่วคราวและชื่อไฟล์ที่จะ คลายการบีบอัด หากไม่ได้ระบุชื่อไฟล์ ระบบจะคลายการบีบอัดไฟล์ทั้งหมดจาก ทรัพยากรทดสอบ

   

   รูปที่ 43 แหล่งข้อมูลการทดสอบการดำเนินการ

8. คลิกอัปเดต

   

   รูปที่ 44 การดำเนินการบันทึกการเปลี่ยนแปลง

จัดการการทดสอบ

แก้ไขการทดสอบ

หากต้องการแก้ไขการทดสอบที่บันทึกไว้ ให้ไปที่หน้าการทดสอบ แล้วคลิกแก้ไขในแถวของการทดสอบที่ต้องการแก้ไข หลังจากเปลี่ยนการกำหนดค่าการทดสอบแล้ว ให้คลิกอัปเดต

รูปที่ 45 การแก้ไขการทดสอบ

เพิ่มการทดสอบใหม่

หากต้องการเพิ่มการทดสอบใหม่ ให้ไปที่หน้าการทดสอบ แล้วคลิกสร้างการทดสอบใหม่ ป้อน ข้อมูลที่เหมาะสม แล้วคลิกสร้าง

รูปที่ 46 การสร้างการทดสอบ

รูปที่ 47 การคัดลอกการทดสอบ

ส่งออกการกำหนดค่าโฮสต์

หลังจากกำหนดค่าโฮสต์แล้ว คุณจะส่งออกการกำหนดค่าของโฮสต์ไปยังไฟล์ได้ คุณอัปโหลดไฟล์นี้ไปยังโฮสต์อื่นๆ เพื่อคัดลอกการกำหนดค่าที่บันทึกไว้ได้

หากต้องการส่งออกการกำหนดค่าของโฮสต์ ให้ไปที่หน้าการตั้งค่า แล้วคลิกส่งออก ที่มุมขวาบน

รูปที่ 48 การส่งออกการกำหนดค่าโฮสต์

หากต้องการนำเข้าไฟล์การกำหนดค่าโฮสต์ ให้ไปที่หน้าการตั้งค่า แล้วคลิกนำเข้าที่มุมขวาบน

รูปที่ 49 การนำเข้าการกำหนดค่าโฮสต์

ใช้ไฟล์และไดเรกทอรีในเครื่อง

ตั้งแต่เวอร์ชัน R11 เป็นต้นไป ไฟล์ในไดเรกทอรี $HOME/.ats_storage จะเข้าถึงได้โดยอัตโนมัติใน OmniLab ATS คัดลอกหรือย้ายไฟล์ไปยังไดเรกทอรีนั้น จากนั้นคุณจะเลือกไฟล์จากแท็บไฟล์ในเครื่องได้เมื่อกำหนดเวลาการทดสอบ

cp /path/to/file $HOME/.ats_storage

รูปที่ 50 การเลือกไฟล์จากไดเรกทอรี $HOME/.ats_storage

คุณสามารถติดตั้งไดเรกทอรีเพิ่มเติมลงในที่เก็บไฟล์ในเครื่องได้โดยใช้แฟล็ก --mount_local_path

mtt start --mount_local_path=/path/to/dir1 --mount_local_path=/path/to/dir2:renamed_dir2

รูปที่ 51 ไดเรกทอรีเพิ่มเติมที่เมานต์ในที่เก็บไฟล์ในเครื่อง

เปิดใช้โหมดหลายโฮสต์

โหมดหลายโฮสต์ช่วยให้ผู้ใช้ใช้โฮสต์ตัวควบคุม ATS เดียวเพื่อจัดการอุปกรณ์และการทดสอบในโฮสต์ Worker ของ ATS หลายรายการได้

รูปที่ 52 สถาปัตยกรรมโหมดหลายโฮสต์

1. หากต้องการเริ่มตัวควบคุม ATS ให้ใช้คำสั่งต่อไปนี้

   mtt start --operation_mode=ON_PREMISE
   

2. ตรวจสอบว่าเข้าถึงตัวควบคุมได้ที่ http://${CONTROLLER_HOSTNAME}:8000

3. หากต้องการเริ่ม Worker ให้ใช้คำสั่งต่อไปนี้

   mtt start --control_server_url=http://CONTROLLER_HOSTNAME:8000 --operation_mode=ON_PREMISE
   

หากเครือข่ายไม่อนุญาตให้โฮสต์สื่อสารกัน คุณต้องทำตามวิธีการตั้งค่าขั้นสูงเพิ่มเติมด้านล่าง ใน ATS Worker

1. เชื่อมต่อโฮสต์ทั้ง 2 โดยใช้อุโมงค์ข้อมูล SSH เลือกพอร์ตสำหรับพอร์ตเซิร์ฟเวอร์หลักและพอร์ตเซิร์ฟเวอร์ไฟล์ เช่น 9000 และ 9006

   ssh -L ATS_PORT:localhost:8000 -L FS_PORT:localhost:8006 CONTROLLER_HOSTNAME
   

2. กำหนดค่าและเริ่ม ATS

   DOCKER_GATEWAY_IP_ADDRESS=$(ip -4 addr show dev docker0 | grep -Eo 'inet [.0-9]+/' | grep -Eo '[.0-9]+')
   socat tcp-listen:ATS_PORT,bind="${DOCKER_GATEWAY_IP_ADDRESS}",reuseaddr,fork tcp-connect:127.0.0.1:ATS_PORT &
   socat tcp-listen:FS_PORT,bind="${DOCKER_GATEWAY_IP_ADDRESS}",reuseaddr,fork tcp-connect:127.0.0.1:FS_PORT &
   mtt start --control_server_url=http://${DOCKER_GATEWAY_IP_ADDRESS}:ATS_PORT \
                   --control_file_server_url=http://${DOCKER_GATEWAY_IP_ADDRESS}:FS_PORT \
                   --operation_mode=ON_PREMISE
   

โปรแกรมล้างไฟล์

โปรแกรมล้างไฟล์คืองาน Cron ที่ทำงานทุกชั่วโมงเพื่อล้างไฟล์ตามการกำหนดค่าที่ผู้ใช้กำหนด ATS มีการกำหนดค่าเริ่มต้น 2 แบบเพื่อเก็บผลการทดสอบ ที่รันไว้และลบไฟล์ชั่วคราว คู่มือนี้จะอธิบายวิธีปรับแต่ง นโยบายและการกำหนดค่าเพื่อจัดการไฟล์อย่างมีประสิทธิภาพ

นโยบาย

นโยบายจะกำหนดการดำเนินการที่จะทำกับไฟล์หรือไดเรกทอรี และ เกณฑ์ในการเลือกเป้าหมาย การดำเนินการที่ใช้ได้จะแสดงในตารางต่อไปนี้

เกณฑ์จะอิงตามแอตทริบิวต์ของไฟล์และข้อมูลระบบ เกณฑ์ที่ใช้ได้จะแสดงในตารางต่อไปนี้

รูปที่ 53 เพิ่มนโยบายเครื่องมือล้างไฟล์ใหม่

การกำหนดค่า

การกำหนดค่าจะรวมนโยบายอย่างน้อย 1 รายการกับไดเรกทอรีที่เฉพาะเจาะจง ระบบจะประมวลผลไฟล์และ ไดเรกทอรีภายในไดเรกทอรีที่ระบุตาม นโยบายที่กำหนด ระบบจะใช้นโยบายตามลำดับที่ปรากฏในการกำหนดค่า

ไดเรกทอรีเป้าหมายทั้งหมดต้องอยู่ในไดเรกทอรี /data หาก config ระบุไดเรกทอรีเป้าหมายเป็น logs ระบบจะตีความว่าเป็น /data/logs

รูปที่ 54 แก้ไขการกำหนดค่าโปรแกรมล้างไฟล์

รีเซ็ต

การคลิกรีเซ็ตการตั้งค่าจะเปลี่ยนการกำหนดค่าเครื่องมือล้างไฟล์กลับไปเป็นสถานะเริ่มต้น การดำเนินการนี้จะล้างรายการที่กำหนดเองทั้งหมด

รูปที่ 55 รีเซ็ตการตั้งค่าเครื่องมือล้างไฟล์

การสนับสนุน

รายงานข้อบกพร่อง

การมีส่วนร่วมของคุณใน ATS ของ OmniLab จะช่วยปรับปรุงการพัฒนาเครื่องมือ และเราต้องการความคิดเห็นจากคุณ ดูรายละเอียดเกี่ยวกับรุ่นล่าสุดได้ที่บันทึกประจำรุ่นของ OmniLab ATS หากต้องการรายงานข้อบกพร่องหรือเสนอแนะ ยื่นรายงานข้อบกพร่อง พาร์ทเนอร์ควรรายงานข้อบกพร่องหรือส่งคำแนะนำโดยใช้ช่องทางสำหรับพาร์ทเนอร์