OmniLab Android Test Station

OmniLab ATS เป็นเครื่องมือทดสอบที่นักพัฒนาแอป Android และวิศวกรทดสอบใช้ได้ เพื่อใช้อินเทอร์เฟซผู้ใช้ในการเรียกใช้ชุดโปรแกรมทดสอบ Android มาตรฐาน เช่น ชุดเครื่องมือทดสอบความเข้ากันได้ของ Android (CTS) เครื่องมือนี้ ทำหน้าที่เป็นอินเทอร์เฟซเว็บสำหรับเฟรมเวิร์กการทดสอบต่างๆ เช่น Trade Federation (TF) และ Google Mobly ซึ่งช่วยให้คุณเรียกใช้ CTS และ การทดสอบแบบหลายอุปกรณ์ในชุดอุปกรณ์ทดสอบได้โดยมีการตั้งค่าเพียงเล็กน้อย รวมถึง กำหนดเวลาเพื่อเรียกใช้การทดสอบอย่างต่อเนื่อง

ข้อมูลเบื้องต้นเกี่ยวกับ OmniLab ATS 2.0

OmniLab ATS 2.0 จะย้ายข้อมูลโครงสร้างพื้นฐานการดำเนินการทดสอบพื้นฐานจาก Trade Federation ไปยัง OmniLab การเปลี่ยนแปลงนี้จะช่วยให้ได้แบ็กเอนด์ที่มีประสิทธิภาพและแข็งแกร่งยิ่งขึ้น ในขณะที่ยังคงอินเทอร์เฟซผู้ใช้และเวิร์กโฟลว์ของ OmniLab ATS 1.0 ไว้

ประโยชน์หลักของ OmniLab ATS 2.0

• โครงสร้างพื้นฐานที่ทันสมัย: ใช้ประโยชน์จากแพลตฟอร์ม OmniLab เพื่อปรับปรุง ความเสถียรและประสิทธิภาพ
• การเปลี่ยนผ่านที่ราบรื่น: ไม่มีการเปลี่ยนแปลง UI บนเว็บหรือเวิร์กโฟลว์การทดสอบหลัก
• พร้อมสำหรับอนาคต: สอดคล้องกับโครงสร้างพื้นฐานการทดสอบแบบรวมของ Google ช่วยให้ใช้ฟีเจอร์ใหม่ๆ ได้เร็วขึ้น

OmniLab ATS 2.0 มีฟีเจอร์ใหม่ๆ เช่น การอัปเดตแผนการทดสอบแบบเป็นกลุ่ม การจัดสรรอุปกรณ์ขั้นสูง และอื่นๆ อีกมากมาย ดูข้อมูลอัปเดตได้ที่บันทึกประจำรุ่น

อัปเกรดเป็น OmniLab ATS 2.0:

หากต้องการใช้ OmniLab ATS 2.0 คุณต้องอัปเกรดสถานีเป็นบิลด์ R52 หรือใหม่กว่า ใช้ Flag --force_ats_version 2 เพื่อเปลี่ยนไปใช้ Omnilab ATS 2.0 ใหม่ และใช้ Flag --force_update กับคำสั่ง mtt start เพื่ออัปเกรดเป็นบิลด์ล่าสุด

mtt start --force_ats_version 2 --force_update

ในช่วงระยะเวลาการย้ายข้อมูล เราขอแนะนำให้ใช้แท็ก dogfood เพื่อเข้าถึง บิลด์เสถียรล่าสุดที่มีฟีเจอร์ OmniLab ATS 2.0

mtt start --force_ats_version 2 --tag dogfood --force_update

เราวางแผนที่จะทําให้ OmniLab ATS 2.0 เป็นเวอร์ชันเริ่มต้นในไตรมาสที่ 3 ปี 2026 เราวางแผนที่จะเลิกใช้ OmniLab ATS 1.0 ภายในสิ้นปี 2026

ดูรายละเอียดเพิ่มเติมเกี่ยวกับการอัปเดตที่เฉพาะเจาะจง ความแตกต่างที่ทราบ และคำแนะนำในการอัปเกรดได้ที่คู่มือการอัปเกรด ATS 2.0 ของ OmniLab

ตั้งค่า OmniLab ATS

ส่วนนี้จะอธิบายวิธีติดตั้งและตั้งค่า OmniLab ATS

OmniLab ATS ใช้ซอร์สโค้ดจากตำแหน่งต่อไปนี้

• OmniLab ATS ซอร์สโค้ด
• ซอร์สโค้ดของ TradeFed Cluster

ติดตั้ง OmniLab ATS

ทำตามข้อกำหนดด้านฮาร์ดแวร์และซอฟต์แวร์สำหรับชุดการทดสอบที่คุณเรียกใช้

ดูข้อกำหนดสำหรับ CTS ได้ที่ source.android.com

OmniLab ATS ไม่มีข้อกำหนดด้านฮาร์ดแวร์เพิ่มเติม แต่เราขอแนะนำให้ใช้ข้อกำหนดของโฮสต์ CTS เป็นจุดเริ่มต้น

การติดตั้ง OmniLab ATS ทำได้ 2 วิธีดังนี้

• เรียกใช้โปรแกรมติดตั้ง
• ติดตั้งด้วยตนเอง ซึ่งต้องติดตั้งโปรแกรมและทรัพยากรหลายรายการ

ติดตั้งด้วยโปรแกรมติดตั้ง

โปรแกรมติดตั้งรองรับ Ubuntu 22.04 ขึ้นไป โปรแกรมติดตั้ง จะติดตั้งและกำหนดค่าโปรแกรมและทรัพยากรทั้งหมดที่จำเป็นในการเรียกใช้ OmniLab ATS

วิธีใช้โปรแกรมติดตั้ง

1. เรียกใช้โปรแกรมติดตั้งโดยทำดังนี้

   curl https://storage.googleapis.com/android-mtt.appspot.com/prod/install.sh | bash
   

2. เรียกใช้ mtt version เพื่อตรวจสอบเวอร์ชันของ OmniLab ATS CLI ที่ติดตั้ง

ติดตั้งด้วยตนเอง

ติดตั้ง Docker

1. ทำตามวิธีการติดตั้ง Docker Community Edition (CE) ในเครื่อง Linux

2. ทำตามขั้นตอนหลังการติดตั้งเพื่อจัดการ Docker ในฐานะผู้ใช้ที่ไม่ใช่รูท

3. คุณอาจต้องรีสตาร์ทหน้าต่างเทอร์มินัลหรือออกจากระบบแล้วลงชื่อเข้าใช้อีกครั้ง เพื่อให้การเปลี่ยนแปลงสิทธิ์มีผล

ติดตั้ง Python 3

OmniLab ATS CLI ต้องใช้ Ubuntu 22.04 ขึ้นไป CLI ได้รับการยืนยันกับ Python เวอร์ชัน 3.10 ถึง 3.13

หากต้องการติดตั้ง Python 3 ให้เรียกใช้คำสั่งต่อไปนี้

sudo apt-get update
sudo apt install python3 python3-distutils

หากต้องการใช้ Python 3 เวอร์ชันที่ไม่ได้รวมอยู่ในการกระจายมาตรฐาน ให้เพิ่มที่เก็บสำหรับ Python 3 ก่อนโดยทำอย่างใดอย่างหนึ่งต่อไปนี้

• ใช้คําสั่งนี้

  sudo add-apt-repository ppa:deadsnakes/ppa
  

• สร้างและติดตั้งที่เก็บ จากแหล่งที่มา

หากต้องการติดตั้ง Python 3 เวอร์ชันที่เฉพาะเจาะจง (เช่น 3.10) ให้เรียกใช้คำสั่งต่อไปนี้แทน

sudo apt-get update
sudo apt install python3.10 python3.10-distutils

รับ CLI ของ OmniLab ATS

ดาวน์โหลดแพ็กเกจอินเทอร์เฟซบรรทัดคำสั่ง (CLI) ได้ที่นี่

เริ่ม OmniLab ATS

เริ่ม OmniLab ATS ด้วยคำสั่งต่อไปนี้

mtt start

เมื่อเริ่ม UI เป็นครั้งแรก ระบบอาจใช้เวลาสักครู่จึงจะแสดง CLI จะแสดง URL ของเว็บเพื่อเข้าถึง UI ในเบราว์เซอร์ โดยค่าเริ่มต้น URL ของเว็บคือ localhost:8000 หากจำเป็น คุณสามารถเปลี่ยนพอร์ตเริ่มต้นเมื่อเริ่มต้นด้วย แฟล็ก --port ได้

หากมีเวอร์ชันใหม่พร้อมใช้งาน คุณสามารถอัปเดตเป็นเวอร์ชันปัจจุบันได้ คุณดูรุ่นล่าสุดได้ในบันทึกประจำรุ่น

หากต้องการอัปเดตเป็นเวอร์ชันปัจจุบัน ให้เรียกใช้คำสั่งต่อไปนี้

mtt start --force_update

หากต้องการหยุดแอป ให้เรียกใช้คำสั่งต่อไปนี้

mtt stop

หากต้องการดูรายการคำสั่งอื่นๆ ให้ใช้คำสั่งต่อไปนี้

mtt --help

สำรองและกู้คืนฐานข้อมูล

หากต้องการสำรองข้อมูลฐานข้อมูล OmniLab ATS ให้หยุดแอปและเรียกใช้คำสั่งต่อไปนี้ ซึ่งจะสำรองข้อมูลฐานข้อมูลปัจจุบันลงในไฟล์ TAR ชื่อ mtt-backup.tar ใน ไดเรกทอรีหน้าแรก

docker run --rm --mount source=mtt-data,target=/data -v ~:/out ubuntu bash -c "cd /data && tar cvf /out/mtt-backup.tar ."

หากต้องการกู้คืน ให้เรียกใช้คำสั่งต่อไปนี้ก่อนเริ่มแอป

docker run --rm --mount source=mtt-data,target=/data -v ~:/out ubuntu bash -c "cd /data && tar xvf /out/mtt-backup.tar"

วิซาร์ดการตั้งค่า

หลังจากติดตั้งและเรียกใช้ OmniLab ATS เป็นครั้งแรก ตัวช่วยสร้างการตั้งค่าจะ แนะนำขั้นตอนต่างๆ เพื่อช่วยคุณปรับแต่งเครื่องมือให้เหมาะกับสภาพแวดล้อมของคุณ คุณกำหนดค่าการเปลี่ยนแปลงที่ทำที่นี่ใหม่ได้ในภายหลังผ่านหน้าการตั้งค่า

กู้คืนข้อมูลสำรองการกำหนดค่า

หากคุณมีไฟล์การกำหนดค่าที่สำรองข้อมูลจากโฮสต์ OmniLab ATS อื่น คุณสามารถอัปโหลดไฟล์เพื่อคัดลอกการกำหนดค่าที่แก้ไขจากโฮสต์นั้นได้โดยคลิกปุ่มอัปโหลดไฟล์

รูปที่ 1 การกู้คืนข้อมูลสำรองของการกำหนดค่า

ตั้งค่าบัญชีบริการเริ่มต้น

คุณสามารถตั้งค่าบัญชีบริการ ที่ OmniLab ATS ใช้โดยค่าเริ่มต้นเมื่อเข้าถึงทรัพยากรของคุณ (เช่น Google Cloud Storage, Google ไดรฟ์) หากต้องการตรวจสอบสิทธิ์บัญชีบริการ ให้คลิกอัปโหลดคีย์บัญชีบริการ แล้วเลือกไฟล์คีย์ JSON ของบัญชีบริการ

รูปที่ 2 การตั้งค่าบัญชีบริการ

เมื่อตรวจสอบสิทธิ์บัญชีบริการเรียบร้อยแล้ว อีเมลของบัญชี จะปรากฏที่มุมขวาบนของหน้า หากต้องการเปลี่ยนบัญชีบริการ ให้คลิกชื่อบัญชี นำบัญชีเริ่มต้นปัจจุบันออก แล้วอัปโหลดคีย์บัญชีบริการใหม่

รูปที่ 3 การเปลี่ยนบัญชีบริการ

นำเข้าชุดการกำหนดค่า

ชุดการกำหนดค่าคือชุดการกำหนดค่าสำหรับการเรียกใช้ชุดทดสอบ ซึ่งรวมถึงการดำเนินการในอุปกรณ์ที่เกี่ยวข้องและช่องทางการสร้าง ระบบจะโฮสต์ชุดการกำหนดค่าไว้ใน Bucket ของ Google Cloud Storage (GCS) ที่เฉพาะเจาะจง หลังจากตรวจสอบสิทธิ์ช่องบิลด์ GCS ด้วยบัญชี Google แล้ว คุณจะเห็นรายการชุดการกำหนดค่าทั้งหมดที่พร้อมใช้งาน

เลือกชุดการกำหนดค่าที่ต้องการเพิ่มลงในโฮสต์สถานีทดสอบ แล้วคลิกนำเข้าที่เลือก

รูปที่ 4 การนำเข้าชุดการกำหนดค่า

รวมการตั้งค่า Wi-Fi

การทดสอบ CTS บางรายการกำหนดให้อุปกรณ์เชื่อมต่อฮอตสปอต Wi-Fi หากต้องการเลือกเครือข่าย Wi-Fi ให้ป้อน SSID ของ Wi-Fi และ PSK ของ Wi-Fi (ไม่บังคับ)

รูปที่ 5 การตั้งค่าฮอตสปอต Wi-Fi

หลังจากทําตามวิซาร์ดการตั้งค่าเสร็จแล้ว หน้าเว็บจะโหลดซ้ำโดยใช้การตั้งค่าใหม่

เชื่อมต่ออุปกรณ์

ต้องเปิดใช้การแก้ไขข้อบกพร่อง USB เพื่อใช้อุปกรณ์ในการทดสอบ วิธีเปิดใช้การแก้ไขข้อบกพร่อง

1. ทำตามวิธีการใน เปิดใช้ตัวเลือกสำหรับนักพัฒนาแอปและการ แก้ไขข้อบกพร่อง

2. หากวางแผนที่จะใช้บิลด์ Android เวอร์ชันทดสอบที่โหลดไว้ล่วงหน้าด้วยคีย์ ADB ที่กำหนดเอง ให้วางไฟล์ .adb_key ที่กำหนดเองไว้ในไดเรกทอรี ~/.android/

   ระบบจะโหลดไฟล์โดยอัตโนมัติและส่งไปยัง ADB เพื่อเปิดใช้การแก้ไขข้อบกพร่องผ่าน USB โดยอัตโนมัติหลังจากแฟลชอุปกรณ์สำหรับอุปกรณ์ที่ใช้บิลด์เหล่านั้น

3. เชื่อมต่ออุปกรณ์กับเครื่องโฮสต์โดยใช้ USB

   อุปกรณ์จะปรากฏในแท็บอุปกรณ์ ATS ของ OmniLab ภายใน 1 นาทีหลังจาก รีเฟรชอินเทอร์เฟซเว็บ นอกจากนี้ คุณยังดูสถานะของอุปกรณ์ได้ใน แท็บนี้

   

   รูปที่ 6 การเชื่อมต่ออุปกรณ์

สถานะต่างๆ ของอุปกรณ์มีดังนี้

• พร้อมใช้งาน - อุปกรณ์เชื่อมต่ออยู่และพร้อมที่จะทำการทดสอบ
• จัดสรรแล้ว - อุปกรณ์เชื่อมต่ออยู่และกำลังทำการทดสอบ อุปกรณ์แต่ละเครื่องจะเรียกใช้การทดสอบได้ครั้งละ 1 รายการเท่านั้น ดังนั้นอุปกรณ์ต้องทำการทดสอบปัจจุบันให้เสร็จก่อนจึงจะเรียกใช้การทดสอบใหม่ได้

ทำการทดสอบ

เลือกการทดสอบ

ATS ของ OmniLab มาพร้อมชุดการกำหนดค่า CTS ที่รวมไว้ล่วงหน้า หากต้องการเรียกใช้การทดสอบอย่างใดอย่างหนึ่ง เหล่านี้ ให้ไปที่แท็บชุดเครื่องมือทดสอบ แล้วคลิกเรียกใช้การทดสอบสำหรับการทดสอบที่เลือก

รูปที่ 7 เลือกการทดสอบ

หากต้องการแก้ไขหรือเพิ่มการทดสอบใหม่ โปรดดูการเพิ่มการทดสอบ

กำหนดค่าการทดสอบ

แก้ไขพารามิเตอร์ที่จะใช้สำหรับการทดสอบนี้ พารามิเตอร์ส่วนใหญ่จะ มีค่าที่กำหนดไว้ล่วงหน้าในการกำหนดค่าการทดสอบที่เลือก

คุณทําขั้นตอนนี้ให้เสร็จสมบูรณ์ได้โดยใช้ค่าเริ่มต้น แต่คุณสามารถเปลี่ยนพารามิเตอร์ใดก็ได้ เช่น Max Retry และ Command ให้เหมาะกับความต้องการของคุณ

รูปที่ 8 การกำหนดค่าการทดสอบ

พารามิเตอร์การทดสอบมีดังนี้

• ชื่อ - ชื่อชุดโปรแกรมทดสอบที่ต้องการเรียกใช้
• จำนวนการเรียกใช้ - จำนวนครั้งที่ควรเรียกใช้การทดสอบนี้เมื่อ กำหนดเวลา ระบบจะกำหนดเวลาการทดสอบโดยใช้สหพันธ์การค้า ซึ่งจะเรียกใช้การทดสอบได้สูงสุด 20 รายการพร้อมกันหากมีพื้นที่ว่าง
• ลองใหม่สูงสุด - จำนวนครั้งสูงสุดที่จะลองเรียกใช้การทดสอบอีกครั้งหากการทดสอบอย่างน้อย 1 รายการล้มเหลว โดยปกติแล้วจะตั้งค่าเป็น 4-6 ครั้งสำหรับการลองใหม่เพื่อให้ CTS ทำงานได้อย่างเต็มที่ เพื่อจัดการกับการทดสอบที่ไม่เสถียร
• คิวหมดเวลา - หากการทดสอบยังคงอยู่ในสถานะรอคิวนานเกินไป ระบบจะยกเลิกโดยอัตโนมัติ ระบุระยะเวลาที่ต้องรอก่อน ยกเลิกที่นี่ ค่าเริ่มต้นคือ 24 ชั่วโมง

• Command - คำสั่งเพื่อเรียกใช้ชุดโปรแกรมทดสอบ คุณสามารถป้อนอาร์กิวเมนต์บรรทัดคำสั่งเพิ่มเติมได้ที่นี่ เช่น เรียกใช้โมดูลที่เฉพาะเจาะจงใน CTS 8.1 ด้วยคำสั่งต่อไปนี้

  cts-suite -m ShortModuleName
  

• คำสั่งลองอีกครั้ง - คำสั่งสำหรับลองชุดโปรแกรมทดสอบอีกครั้ง คุณเพิ่ม อาร์กิวเมนต์บรรทัดคำสั่งเพิ่มเติมได้ที่นี่ เช่น หากต้องการลองอีกครั้งเฉพาะโมดูลใดโมดูลหนึ่งใน CTS 8.1 ให้ใช้คำสั่งต่อไปนี้

  cts --retry 0 -m ShortModuleName
  

  อาร์กิวเมนต์การลองใหม่อาจแตกต่างจากอาร์กิวเมนต์ที่ใช้ได้กับคำสั่งเริ่มต้น ดังนั้นโปรดตรวจสอบพารามิเตอร์ที่รองรับในเว็บไซต์อย่างเป็นทางการของชุดการทดสอบที่เลือก

• การดำเนินการทดสอบก่อนหน้า - หากต้องการเรียกใช้การดำเนินการทดสอบก่อนหน้าอีกครั้ง ให้ทำดังนี้

  • Local - หากเริ่มการทดสอบในโฮสต์ปัจจุบัน ให้ป้อนรหัสการทดสอบ ที่เห็นเมื่อดูรายละเอียดของการทดสอบ

    

    รูปที่ 9 การทดสอบครั้งก่อนในเครื่อง

  • ระยะไกล - หากเริ่มการเรียกใช้ในโฮสต์อื่น ให้อัปโหลดไฟล์ผลการทดสอบโดยเลือกระยะไกล คลิกอัปโหลดไฟล์ผลการทดสอบ แล้วเลือกไฟล์จากที่เก็บข้อมูลในเครื่อง

    

    รูปที่ 10 เรียกใช้การทดสอบก่อนหน้าจากระยะไกล

อุปกรณ์บางรุ่น

คลิกช่องทําเครื่องหมายเพื่อเลือกอุปกรณ์ที่จะจัดสรรสําหรับการเรียกใช้ชุดการทดสอบ จำนวน Shard ควรเปลี่ยนโดยอัตโนมัติให้ตรงกับจำนวนอุปกรณ์ที่เลือก

รูปที่ 11 การเลือกอุปกรณ์

หากต้องการเลือกอุปกรณ์ตามแอตทริบิวต์อื่นๆ นอกเหนือจากหมายเลขอุปกรณ์ คุณสามารถป้อน "ข้อมูลจำเพาะของอุปกรณ์" ด้วยตนเองได้ ตัวอย่างเช่น หากต้องการเลือกอุปกรณ์ 3 เครื่องที่มีชื่อผลิตภัณฑ์เป็น "bramble" ให้ป้อนข้อมูลต่อไปนี้

product:bramble;product:bramble;product:bramble

แอตทริบิวต์ที่รองรับมีดังนี้

• build_id
• device_serial
• device_type
• ชื่อโฮสต์
• ผลิตภัณฑ์
• product_variant
• sim_state

อุปกรณ์ที่เลือกทั้งหมดต้องอยู่ในสถานะพร้อมใช้งานจึงจะเรียกใช้การทดสอบได้ และอุปกรณ์ทั้งหมดจะเปลี่ยนเป็นสถานะจัดสรรเมื่อเรียกใช้การทดสอบ การทดสอบจะอยู่ในสถานะอยู่ในคิวขณะที่รอให้อุปกรณ์พร้อมใช้งาน

เพิ่มการทำงานของอุปกรณ์

การดำเนินการของอุปกรณ์คือสคริปต์ที่สามารถดำเนินการก่อนการทดสอบแต่ละครั้ง การดำเนินการในอุปกรณ์บางอย่างจะได้รับการกำหนดค่าไว้แล้ว เช่น การแฟลชและการรีบูต หากต้องการ สร้างการดำเนินการของอุปกรณ์ใหม่ โปรดดู สร้างการดำเนินการของอุปกรณ์ใหม่

รูปที่ 12 การดำเนินการของอุปกรณ์

หากต้องการเพิ่มการดำเนินการของอุปกรณ์ในการทดสอบ ให้คลิกเพิ่มการดำเนินการใหม่ เลือกช่องทำเครื่องหมายสําหรับการดำเนินการที่จะเพิ่ม แล้วคลิกเพิ่มการดำเนินการ การดำเนินการกับอุปกรณ์ จะดำเนินการตามลำดับ คุณจัดลำดับการดำเนินการใหม่ได้โดยการลาก

รูปที่ 13 การจัดลำดับการดำเนินการใหม่

ตั้งค่าทรัพยากรทดสอบ

แหล่งข้อมูลการทดสอบคือไฟล์ที่จำเป็นต่อการเรียกใช้การทดสอบ เช่น การเรียกใช้ CTS ต้องใช้ไฟล์ android-cts*.zip และการแฟลชอุปกรณ์ต้องให้คุณ ระบุอิมเมจบิลด์

URL สำหรับดาวน์โหลดไฟล์ ZIP ของชุดโปรแกรมทดสอบควรเป็นลิงก์ Google ไดรฟ์ที่ให้ไว้กับพาร์ทเนอร์โดยค่าเริ่มต้น คุณเลือกไฟล์อื่นได้โดยคลิกเรียกดู ในหน้าต่างป๊อปอัป คุณสามารถป้อนลิงก์ดาวน์โหลดไฟล์ ใช้ไฟล์จาก ช่องการสร้างที่ผ่านการตรวจสอบสิทธิ์ หรืออัปโหลดไฟล์เพื่อใช้จากพื้นที่เก็บข้อมูลในเครื่อง

รูปที่ 14 ทดสอบทรัพยากร

ด้านล่างคือหน้าต่างป๊อปอัปสำหรับเลือกแหล่งข้อมูลทดสอบตาม URL ของเว็บ คุณสามารถ ป้อนลิงก์ URL ของการดาวน์โหลด แล้วคลิกปุ่มเลือกเพื่อยืนยัน การเลือก

รูปที่ 15 เครื่องมือเลือกทรัพยากรทดสอบ - URL เว็บ

หากอัปโหลดแหล่งข้อมูลไปยัง Google Drive, Google Cloud Storage (GCS) หรือ ช่องทางอื่นๆ คุณยังไปยังแท็บของช่องทางนั้นๆ แล้วเลือก แหล่งข้อมูลในแท็บได้ด้วย ตัวอย่างการเลือกทรัพยากรจาก Google ไดรฟ์มีดังนี้

รูปที่ 16 ทดสอบเครื่องมือเลือกทรัพยากร - Google ไดรฟ์

นอกจากจะเลือกไฟล์ได้แล้ว ระบบยังรองรับอักขระไวลด์การ์ดในช่องชื่อไฟล์ด้วย ดูเอกสารประกอบได้ที่นี่

รูปที่ 17 เครื่องมือเลือกทรัพยากรทดสอบ - รองรับรูปแบบไวลด์การ์ด

นอกจากนี้ คุณยังเลือกไฟล์จากที่เก็บไฟล์ในเครื่องของ OmniLab ATS ได้ด้วย คุณสามารถอัปโหลด ไฟล์ไปยังที่เก็บข้อมูลนี้ หรือ ใช้ไฟล์และไดเรกทอรีในเครื่องโดยตรง

รูปที่ 18 ทดสอบเครื่องมือเลือกทรัพยากร - ที่เก็บไฟล์ในเครื่อง

เพิ่มการกำหนดค่าการเรียกใช้ซ้ำ

คุณสามารถกำหนดเวลาการทดสอบซ้ำให้เริ่มหลังจากที่การทดสอบหลักเสร็จสมบูรณ์และ โหลดผลลัพธ์แล้ว แต่จะใช้อุปกรณ์ การดำเนินการ หรือทรัพยากรที่แตกต่างกันได้

รูปที่ 19 การเพิ่มการกำหนดค่าการรีรัน

เริ่มการทดสอบ

หลังจากป้อนข้อมูลที่จำเป็นสำหรับการทดสอบแล้ว ให้คลิกเริ่มการทดสอบ เรียกใช้ หากข้อมูลทั้งหมดถูกต้อง ระบบจะเริ่มการทดสอบ และคุณจะ เปลี่ยนเส้นทางไปยังหน้าเว็บเพื่อดูรายละเอียดและความคืบหน้าของการทดสอบ

รูปที่ 20 เริ่มการทดสอบ

สร้างแผนการทดสอบ

ระบบจะใช้แผนการทดสอบเพื่อสร้างการทดสอบตามกำหนดการเป็นระยะ เช่น เรียกใช้ CTS 9.0 ทุกวันเวลา 17:00 น. หากต้องการสร้างแผนการทดสอบใหม่ ให้คลิกสร้าง แผนการทดสอบใหม่

รูปที่ 21 การสร้างแผนการทดสอบ

กำหนดค่าแผนการทดสอบ

ป้อนชื่อแผนการทดสอบและป้ายกำกับที่ต้องการเพิ่ม จากนั้นเลือก กำหนดเวลาที่จะใช้

• ด้วยตนเอง - แผนการทดสอบจะสร้างการทดสอบเมื่อผู้ใช้คลิกเรียกใช้แผนการทดสอบในหน้าแสดงรายการแผนการทดสอบเท่านั้น
• เป็นระยะ - แผนการทดสอบจะกำหนดเวลารันการทดสอบโดยอัตโนมัติตาม กำหนดเวลาเป็นระยะที่เลือก เช่น การตั้งเวลาเรียกใช้การทดสอบทุกวันเวลา 17:00 น.
• กำหนดเอง - แผนการทดสอบจะกำหนดเวลาการทดสอบโดยอัตโนมัติตามนิพจน์ Cron ที่ป้อน ตัวอย่างเช่น หากต้องการตั้งเวลาการทดสอบให้ทำงานทุกวันเวลา 17:00 น. นิพจน์ Cron จะเป็น 0 17 * * *

รูปที่ 22 การกำหนดค่าแผนการทดสอบ

เพิ่มชุดการทดสอบ

เพิ่มชุดการทดสอบที่คุณต้องการให้แผนการทดสอบกำหนดเวลาโดยคลิก + เพิ่ม การกำหนดค่าการเรียกใช้การทดสอบ เลือกชุดโปรแกรมทดสอบจากเมนูแบบเลื่อนลงชื่อ แล้วคลิกขั้นตอนถัดไป จากนั้นเลือกอุปกรณ์ที่ต้องการทดสอบ แล้วคลิกเพิ่มการกำหนดค่า คุณเพิ่มการกำหนดค่าได้หลายรายการสำหรับแต่ละแผนการทดสอบ

รูปที่ 23 การกำหนดค่าการทดสอบ

เพิ่มการทำงานของอุปกรณ์

เพิ่มการดำเนินการของอุปกรณ์ที่ต้องการให้ดำเนินการก่อนการทดสอบแต่ละครั้ง ดูรายละเอียดเพิ่มเติมได้ที่การเพิ่มการดำเนินการในอุปกรณ์

รูปที่ 24 การเพิ่มการทำงานของอุปกรณ์

ตั้งค่าทรัพยากรทดสอบ

การเพิ่มทรัพยากรทดสอบลงในแผนการทดสอบจะเหมือนกับการเพิ่มทรัพยากรลงในการทดสอบแต่ละครั้ง ดูรายละเอียดเพิ่มเติมได้ที่การตั้งค่าทรัพยากรทดสอบ

รูปที่ 25 การตั้งค่าทรัพยากรทดสอบ

ดูการทดสอบ

รายการการทดสอบ

ดูรายการการทดสอบที่กำหนดเวลาไว้ในหน้าการทดสอบ คลิกดูเพื่อดูรายละเอียดเพิ่มเติมเกี่ยวกับการทดสอบการเรียกใช้

นอกจากนี้ คุณยังกรองรายการได้โดยป้อนสตริงลงในแถบตัวกรอง แล้วกดปุ่ม Enter คุณใช้ตัวกรองหลายรายการได้โดยคั่นด้วย คอมมา ตัวกรองจะแสดงผลแถวทั้งหมดที่มีข้อความที่ตรงกันทุกประการ (ไม่มีการจับคู่สตริงย่อย) ในคอลัมน์ใดก็ได้ ยกเว้นสถานะและสร้าง

ตัวกรองที่ว่างเปล่าจะแสดงแถวทั้งหมด ขณะนี้ยังไม่มีวิธีกรองแถวที่มีค่าว่าง

รูปที่ 26 รายการการทดสอบ

รายละเอียดการทดสอบการเรียกใช้

คุณดูรายละเอียดการทดสอบได้ที่นี่ เช่น สถานะ บันทึก และ ผลลัพธ์

รูปที่ 27 รายละเอียดการทดสอบ

สถานะการทดสอบ

ความคืบหน้าของการทดสอบจะแสดงในส่วนสถานะ หากมีข้อความที่เกี่ยวข้อง เช่น ความคืบหน้าในการดาวน์โหลด เหตุผลการยกเลิก หรือข้อความแสดงข้อผิดพลาด ระบบจะแสดงข้อความดังกล่าวที่นี่ด้วย

รูปที่ 28 สถานะการทดสอบการเรียกใช้

สถานะการทดสอบมีดังนี้

• รอดำเนินการ - กำลังดาวน์โหลดแหล่งข้อมูลที่จำเป็น
• อยู่ในคิว - การทดสอบพร้อมที่จะดำเนินการเมื่อมีอุปกรณ์พร้อมใช้งาน
• กำลังทำงาน - การทดสอบกำลังทำงานบนอุปกรณ์ที่จัดสรร
• เสร็จสมบูรณ์ - การทดสอบเสร็จสมบูรณ์และรายงานผลลัพธ์แล้ว
• ยกเลิกแล้ว - ผู้ใช้ยกเลิกการทดสอบหรือการทดสอบหมดเวลาขณะพยายาม ค้นหาอุปกรณ์ที่พร้อมใช้งาน
• ข้อผิดพลาด - เกิดข้อผิดพลาดที่ทำให้ทดสอบไม่ได้

ยกเลิกการทดสอบ

หากการทดสอบยังไม่เสร็จสมบูรณ์ คุณสามารถยกเลิกได้โดยคลิกยกเลิก แล้วคลิกใช่ในกล่องโต้ตอบการยืนยัน นอกจากนี้ ระบบจะยกเลิกการทดสอบโดยอัตโนมัติหากยังอยู่ในสถานะรอคิวนานกว่าค่าในฟิลด์ queue_timeout_seconds การยกเลิกการทดสอบขณะอยู่ในสถานะกำลังทำงาน อาจใช้เวลา 2-3 นาทีจึงจะมีผล

รูปที่ 29 การยกเลิกการทดสอบ

ผลการดำเนินการทดสอบ

หลังจากที่การทดสอบเสร็จสิ้นแล้ว ระบบจะรวบรวมและแสดงผลลัพธ์ คุณดูรายละเอียดเพิ่มเติมได้โดยคลิกลูกศรของการเรียกใช้แต่ละครั้ง คลิกดูไฟล์เอาต์พุตเพื่อดูอาร์ติแฟกต์การทดสอบที่รวบรวมไว้ เช่น test_result.xml และ test_result_failures.html

รูปที่ 30 ผลการดำเนินการทดสอบ

คุณดูบันทึกของผู้จัดการประชุมและ Tradefed แบบเรียลไทม์ได้ในแท็บบันทึก

รูปที่ 31 แท็บบันทึก

ผลลัพธ์ของแต่ละโมดูลจะอยู่ในแท็บผลการทดสอบ

รูปที่ 32 แท็บผลการทดสอบ

คุณสามารถดาวน์โหลดไฟล์ที่ใช้เป็นแหล่งข้อมูลทดสอบได้โดยคลิกเปิดในแท็บแหล่งข้อมูลทดสอบ

รูปที่ 33 แท็บแหล่งข้อมูลการทดสอบ

หากต้องการดูรายละเอียดการทดสอบ เช่น create_time ให้ไปที่แท็บการกำหนดค่า

รูปที่ 34 แท็บการกำหนดค่า

ฟีเจอร์ขั้นสูง

จัดการไฟล์การกำหนดค่า

ATS ของ OmniLab ใช้ไฟล์การกำหนดค่าที่เขียนใน YAML เพื่อ โหลดตัวเลือกที่กำหนดไว้ล่วงหน้า เช่น การทดสอบ ช่องทางบิลด์ และการดำเนินการของอุปกรณ์ ตัวอย่างไฟล์การกำหนดค่ามีดังนี้

// example_file.yaml
tests:
- id : android.cts.9_0.arm
  name: CTS 9.0 (ARM)
  test_resource_defs:
  - name: android-cts.zip
    default_download_url: https://dl.google.com/dl/android/cts/android-cts-9.0_r7-linux_x86-arm.zip
    test_resource_type: TEST_PACKAGE
  command: cts
  env_vars:
  - name: TF_PATH
    value: ${TF_WORK_DIR}/android-cts/tools:${TF_WORK_DIR}/android-cts/testcases
  - name: LD_LIBRARY_PATH
    value: ${TF_WORK_DIR}/android-cts/lib:${TF_WORK_DIR}/android-cts/lib64
  setup_scripts:
  output_file_patterns:
  - android-cts/logs/latest/.*
  - android-cts/results/latest/.*\.html
  - android-cts/results/latest/compatibility_result\..*
  - android-cts/results/latest/logo.png
  - android-cts/results/latest/test_result.xml
  result_file: test_result.xml
  java_properties:
  - name: CTS_ROOT
    value: ${TF_WORK_DIR}
  context_file_dir: android-cts/results/
  context_file_pattern: '[\d_\.]+\.zip'
  retry_command_line: retry --retry 0
  runner_sharding_args: --shard-count ${TF_SHARD_COUNT}

build_channels:
- id: google_drive
  name: Google Drive
  provider_name: Google Drive

device_actions:
- id: flash
  name: Flash
  test_resource_defs:
  - name: bootloader.img
    test_resource_type: DEVICE_IMAGE
  - name: radio.img
    test_resource_type: DEVICE_IMAGE
  - name: img.zip
    test_resource_type: DEVICE_IMAGE
  tradefed_target_preparers:
  - class_name: com.android.tradefed.targetprep.RunHostCommandTargetPreparer
    option_values:
    - name: work-dir
      values:
      - ${TF_WORK_DIR}
    - name: host-setup-command
      values:
      - adb -s $SERIAL reboot-bootloader
      - fastboot -s $SERIAL flash bootloader bootloader.img
      - fastboot -s $SERIAL flash radio radio.img
      - fastboot -s $SERIAL reboot-bootloader
      - fastboot -s $SERIAL -w update img.zip
      - adb -s $SERIAL wait-for-device
    - name: host-cmd-timeout
      values:
      - 10m

เมื่อตั้งค่าอินสแตนซ์ ATS ของ OmniLab คุณจะแชร์การกำหนดค่ากับ ผู้ใช้รายอื่นได้โดยการส่งออกเป็นไฟล์ โดยไปที่หน้าการตั้งค่าแล้วคลิกส่งออกที่ด้านขวาบน

รูปที่ 35 การจัดการไฟล์การกำหนดค่า

หลังจากดาวน์โหลดไฟล์การกำหนดค่าแล้ว ให้แชร์ไฟล์กับผู้ใช้รายอื่น โดยสามารถเพิ่มไฟล์การกำหนดค่าลงในอินสแตนซ์ ATS ของ OmniLab ได้โดยคลิกนำเข้า แล้วเลือกไฟล์การกำหนดค่า

สร้างการดำเนินการของอุปกรณ์ใหม่

การดำเนินการในอุปกรณ์ใช้เพื่อทำให้กระบวนการตั้งค่าอุปกรณ์เป็นแบบอัตโนมัติ การดำเนินการคือสคริปต์ที่เรียกใช้ในอุปกรณ์แต่ละเครื่องที่ใช้ทดสอบก่อนการทดสอบแต่ละครั้ง รวมถึงก่อนการลองอีกครั้ง หากต้องการดูรายการการดำเนินการของอุปกรณ์ที่พร้อมใช้งาน ให้ไปที่หน้าการตั้งค่า แล้วคลิกแท็บการดำเนินการของอุปกรณ์ การดำเนินการในอุปกรณ์หลายอย่างได้รับการกำหนดค่าไว้แล้ว เช่น การรีบูตและการแฟลช

รูปที่ 36 แท็บการทำงานของอุปกรณ์

เพิ่มการทำงานของอุปกรณ์ใหม่

1. คลิกการกระทําในอุปกรณ์ใหม่

   

   รูปที่ 37 ปุ่มดำเนินการของอุปกรณ์ใหม่

2. ใส่ชื่อและคำอธิบาย

   

   รูปที่ 38 ชื่อการทำงานของอุปกรณ์

3. คลิกเพิ่มผู้เตรียมเป้าหมาย

4. ป้อนชื่อคลาสแบบเต็มของ Trade Federation Target Preparer เช่น com.android.tradefed.targetprep.RunHostCommandTargetPreparer

   

   รูปที่ 39 การเพิ่มผู้เตรียมข้อมูลเป้าหมาย

   ดูรายการตัวเตรียมเป้าหมายที่ใช้ได้ในเอกสารอ้างอิง com.android.tradefed.targetprep

   

   รูปที่ 40 รายชื่อผู้เตรียมภาษีของ Target

5. เพิ่มตัวเลือกที่จะใช้กับเครื่องมือเตรียมข้อมูลเป้าหมาย หากต้องการดูตัวเลือกที่มี ให้ตรวจสอบ targetprep สำหรับซอร์สโค้ดของเครื่องมือเตรียมเป้าหมายแต่ละรายการใน AOSP

   

   รูปที่ 41 ตัวอย่างตัวเลือกการดำเนินการ

6. หากต้องการเพิ่มตัวเลือก ให้คลิกเพิ่มตัวเลือกผู้เตรียมเป้าหมาย แล้วป้อนค่าที่ จำเป็น

   

   รูปที่ 42 ตัวอย่างคำสั่งการดำเนินการ

7. กำหนดทรัพยากรการทดสอบที่จำเป็นต่อการดำเนินการกับอุปกรณ์ เช่น สร้างอิมเมจสำหรับแฟลช หากต้องการเพิ่มคำจำกัดความของทรัพยากร ให้คลิกเพิ่มทรัพยากรทดสอบ แล้วกรอกข้อมูลในช่องที่ต้องกรอก หากทราบตำแหน่งของไฟล์ คุณสามารถระบุ URL ดาวน์โหลดเริ่มต้นได้โดยคลิกเรียกดู หากผู้เตรียมข้อมูลเป้าหมายยอมรับไดเรกทอรีเป็นแหล่งข้อมูลทดสอบ ให้เลือกคลายการบีบอัด จากนั้นระบุไดเรกทอรีปลายทางที่สัมพันธ์กัน ภายใต้ไดเรกทอรีการทำงานชั่วคราวและชื่อไฟล์ที่จะ คลายการบีบอัด หากไม่ได้ระบุชื่อไฟล์ ระบบจะคลายการบีบอัดไฟล์ทั้งหมดจากทรัพยากรทดสอบ

   

   รูปที่ 43 แหล่งข้อมูลการทดสอบการดำเนินการ

8. คลิกอัปเดต

   

   รูปที่ 44 การดำเนินการบันทึกการเปลี่ยนแปลง

จัดการการทดสอบ

แก้ไขการทดสอบ

หากต้องการแก้ไขการทดสอบที่บันทึกไว้ ให้ไปที่หน้าการทดสอบ แล้วคลิกแก้ไขในแถวของการทดสอบที่ต้องการแก้ไข หลังจากเปลี่ยนการกำหนดค่าการทดสอบแล้ว ให้คลิกอัปเดต

รูปที่ 45 การแก้ไขการทดสอบ

เพิ่มการทดสอบใหม่

หากต้องการเพิ่มการทดสอบใหม่ ให้ไปที่หน้าการทดสอบ แล้วคลิกสร้างการทดสอบใหม่ ป้อน ข้อมูลที่เหมาะสม แล้วคลิกสร้าง

รูปที่ 46 การสร้างการทดสอบ

รูปที่ 47 การคัดลอกการทดสอบ

ส่งออกการกำหนดค่าโฮสต์

หลังจากกำหนดค่าโฮสต์แล้ว คุณจะส่งออกการกำหนดค่าของโฮสต์ไปยังไฟล์ได้ คุณอัปโหลดไฟล์นี้ไปยังโฮสต์อื่นๆ เพื่อคัดลอกการกำหนดค่าที่บันทึกไว้ได้

หากต้องการส่งออกการกำหนดค่าของโฮสต์ ให้ไปที่หน้าการตั้งค่า แล้วคลิกส่งออก ที่มุมขวาบน

รูปที่ 48 การส่งออกการกำหนดค่าโฮสต์

หากต้องการนำเข้าไฟล์การกำหนดค่าโฮสต์ ให้ไปที่หน้าการตั้งค่า แล้วคลิกนำเข้าที่มุมขวาบน

รูปที่ 49 การนำเข้าการกำหนดค่าโฮสต์

ใช้ไฟล์และไดเรกทอรีในเครื่อง

ตั้งแต่เวอร์ชัน R11 เป็นต้นไป ไฟล์ในไดเรกทอรี $HOME/.ats_storage จะเข้าถึงได้โดยอัตโนมัติใน ATS ของ OmniLab คัดลอกหรือย้ายไฟล์ไปยังไดเรกทอรีนั้น จากนั้นคุณจะเลือกไฟล์จากแท็บไฟล์ในเครื่องได้เมื่อกำหนดเวลาการทดสอบ

cp /path/to/file $HOME/.ats_storage

รูปที่ 50 การเลือกไฟล์จากไดเรกทอรี $HOME/.ats_storage

คุณสามารถติดตั้งไดเรกทอรีเพิ่มเติมลงในที่เก็บไฟล์ในเครื่องได้โดยใช้แฟล็ก --mount_local_path

mtt start --mount_local_path=/path/to/dir1 --mount_local_path=/path/to/dir2:renamed_dir2

รูปที่ 51 ไดเรกทอรีเพิ่มเติมที่เมานต์ในที่เก็บไฟล์ในเครื่อง

เปิดใช้โหมดหลายโฮสต์

โหมดหลายโฮสต์ช่วยให้ผู้ใช้ใช้โฮสต์ตัวควบคุม ATS เดียวเพื่อจัดการอุปกรณ์และการทดสอบในโฮสต์ Worker ของ ATS หลายรายการได้

รูปที่ 52 สถาปัตยกรรมโหมดหลายโฮสต์

1. หากต้องการเริ่มตัวควบคุม ATS ให้ใช้คำสั่งต่อไปนี้

   mtt start --operation_mode=ON_PREMISE
   

2. ตรวจสอบว่าเข้าถึงตัวควบคุมได้ที่ http://${CONTROLLER_HOSTNAME}:8000

3. หากต้องการเริ่มใช้งาน Worker ให้ใช้คำสั่งต่อไปนี้

   mtt start --control_server_url=http://CONTROLLER_HOSTNAME:8000 --operation_mode=ON_PREMISE
   

หากเครือข่ายไม่อนุญาตให้โฮสต์สื่อสารกัน คุณต้องทำตามวิธีการตั้งค่าขั้นสูงเพิ่มเติมด้านล่าง ใน ATS Worker

1. เชื่อมต่อโฮสต์ทั้ง 2 โดยใช้อุโมงค์ข้อมูล SSH เลือกพอร์ตสำหรับพอร์ตเซิร์ฟเวอร์หลักและเซิร์ฟเวอร์ไฟล์ เช่น 9000 และ 9006

   ssh -L ATS_PORT:localhost:8000 -L FS_PORT:localhost:8006 CONTROLLER_HOSTNAME
   

2. กำหนดค่าและเริ่ม ATS

   DOCKER_GATEWAY_IP_ADDRESS=$(ip -4 addr show dev docker0 | grep -Eo 'inet [.0-9]+/' | grep -Eo '[.0-9]+')
   socat tcp-listen:ATS_PORT,bind="${DOCKER_GATEWAY_IP_ADDRESS}",reuseaddr,fork tcp-connect:127.0.0.1:ATS_PORT &
   socat tcp-listen:FS_PORT,bind="${DOCKER_GATEWAY_IP_ADDRESS}",reuseaddr,fork tcp-connect:127.0.0.1:FS_PORT &
   mtt start --control_server_url=http://${DOCKER_GATEWAY_IP_ADDRESS}:ATS_PORT \
                   --control_file_server_url=http://${DOCKER_GATEWAY_IP_ADDRESS}:FS_PORT \
                   --operation_mode=ON_PREMISE
   

โปรแกรมล้างไฟล์

โปรแกรมล้างไฟล์คืองาน Cron ที่ทำงานทุกชั่วโมงเพื่อล้างไฟล์ตามการกำหนดค่าที่ผู้ใช้กำหนด ATS มีการกำหนดค่าเริ่มต้น 2 แบบเพื่อเก็บผลการทดสอบ ที่รันไว้และลบไฟล์ชั่วคราว คู่มือนี้อธิบายวิธีปรับแต่ง นโยบายและการกำหนดค่าเพื่อจัดการไฟล์อย่างมีประสิทธิภาพ

นโยบาย

นโยบายจะกำหนดการดำเนินการที่จะทำกับไฟล์หรือไดเรกทอรี และเกณฑ์ในการเลือกเป้าหมาย การดำเนินการที่ใช้ได้จะแสดงในตารางต่อไปนี้

เกณฑ์จะอิงตามแอตทริบิวต์ของไฟล์และข้อมูลระบบ เกณฑ์ที่ใช้ได้จะแสดงในตารางต่อไปนี้

รูปที่ 53 เพิ่มนโยบายเครื่องมือล้างไฟล์ใหม่

การกำหนดค่า

การกำหนดค่าจะรวมนโยบายอย่างน้อย 1 รายการกับไดเรกทอรีที่เฉพาะเจาะจง ระบบจะประมวลผลไฟล์และ ไดเรกทอรีภายในไดเรกทอรีที่ระบุตาม นโยบายที่กำหนด ระบบจะใช้นโยบายตามลำดับที่ปรากฏในการกำหนดค่า

ไดเรกทอรีเป้าหมายทั้งหมดต้องอยู่ในไดเรกทอรี /data หาก config ระบุไดเรกทอรีเป้าหมายเป็น logs ระบบจะตีความว่าเป็น /data/logs

รูปที่ 54 แก้ไขการกำหนดค่าเครื่องมือล้างไฟล์

รีเซ็ต

การคลิกรีเซ็ตการตั้งค่าจะเปลี่ยนการกำหนดค่าเครื่องมือล้างไฟล์กลับไปเป็นสถานะเริ่มต้น การดำเนินการนี้จะล้างรายการที่กำหนดเองทั้งหมด

รูปที่ 55 รีเซ็ตการตั้งค่าเครื่องมือล้างไฟล์

การสนับสนุน

รายงานข้อบกพร่อง

การมีส่วนร่วมของคุณใน OmniLab ATS จะช่วยปรับปรุงการพัฒนาเครื่องมือ และ เราต้องการความคิดเห็นจากคุณ ดูรายละเอียดเกี่ยวกับรุ่นล่าสุดได้ที่บันทึกประจำรุ่นของ OmniLab ATS หากต้องการรายงานข้อบกพร่องหรือเสนอแนะ ยื่นรายงานข้อบกพร่อง พาร์ทเนอร์ควรรายงานข้อบกพร่องหรือส่งคำแนะนำโดยใช้ช่องทางสำหรับพาร์ทเนอร์