หน้านี้อธิบายแนวทางปฏิบัติแนะนำในการติดตั้งใช้งานไดรเวอร์ Neural Networks API (NNAPI) เพื่อให้นักพัฒนาแอปนำ NNAPI ไปใช้ในวงกว้าง
รักษาระยะเวลาการเริ่มต้นให้สั้น
หากไดรเวอร์แปลงน้ำหนักของโมเดลเมื่อใช้งานครั้งแรก ให้ตรวจสอบว่าไดรเวอร์รองรับการแคชการคอมไพล์ ซึ่งจะช่วยลดเวลาที่ใช้ในการคอมไพล์เมื่อแอปเริ่มต้น ซึ่งมีความสำคัญเนื่องจากแอปอาจหลีกเลี่ยงการใช้การเร่งด้วยฮาร์ดแวร์ หากเวลาเริ่มต้นนานเกินไป เช่น แอปบางแอปมีน้ำหนักมากกว่า 100 MB และการแปลงน้ำหนักเหล่านี้ทุกครั้งที่แอปเปิดตัวจะสิ้นเปลือง
ลดเวลาในการตอบสนองขั้นต่ำ
หากต้องการให้โมเดลใช้การเร่งด้วยฮาร์ดแวร์ คุณควรลด เวลาในการตอบสนองขั้นต่ำในไดรเวอร์ แอปจำนวนมากใช้โมเดลขนาดเล็กที่ดำเนินการ หลายครั้ง และหากเวลาในการตอบสนองขั้นต่ำในการดำเนินการกับภาระงานสูงเกินไป เช่น 2-3 มิลลิวินาที โมเดลอาจเรียกใช้ภาระงานใน CPU ซึ่งใช้เวลาเพียง 1-2 มิลลิวินาทีแทนที่จะ ใช้การเร่งด้วยฮาร์ดแวร์ ระวังการซิงโครไนซ์เธรดที่มีค่าใช้จ่ายสูง
ใช้กลุ่ม NN HAL SchedTune
ตั้งแต่ Android 11 ขึ้นไป AOSP จะมี
NN HAL
SchedTune
กลุ่มเฉพาะที่อนุญาตให้กระบวนการ NN HAL ระหว่างกระบวนการใช้คอร์ขนาดใหญ่ได้ ซึ่งคล้ายกับการใช้งานในกระบวนการเดียวกันภายใน
top-app cgroup ที่กำหนดไว้ล่วงหน้า การใช้กลุ่ม SchedTune นี้จะช่วยลดค่าใช้จ่ายของไดรเวอร์ โดยเฉพาะอย่างยิ่งสำหรับโมเดลขนาดเล็ก
หากต้องการใช้กลุ่ม SchedTune ให้เพิ่มบรรทัดต่อไปนี้ลงในไฟล์ init.rc ของ
กระบวนการ NN HAL
writepid /dev/stune/nnapi-hal/tasks