ตั้งแต่ Android 10 เป็นต้นไป Neural Networks API (NNAPI) จะมีฟังก์ชันที่รองรับการแคชรายการต่างๆ ของการคอมไพล์ ซึ่งจะช่วยลดเวลาที่ใช้ในการคอมไพล์เมื่อแอปเริ่มทำงาน การใช้ฟังก์ชันการแคชนี้ทำให้ไดรเวอร์ไม่จําเป็นต้องจัดการหรือล้างไฟล์ที่แคชไว้ ฟีเจอร์นี้เป็นฟีเจอร์เสริมที่ติดตั้งใช้งานร่วมกับ NN HAL 1.2 ได้ ดูข้อมูลเพิ่มเติมเกี่ยวกับฟังก์ชันนี้ได้ที่
ANeuralNetworksCompilation_setCaching
นอกจากนี้ โปรแกรมควบคุมยังใช้การแคชการคอมไพล์แยกจาก NNAPI ได้ด้วย การดำเนินการนี้ใช้ได้ไม่ว่าจะใช้ฟีเจอร์การแคช NNAPI NDK และ HAL หรือไม่ก็ตาม AOSP มีไลบรารียูทิลิตีระดับต่ำ (เครื่องมือแคช) ดูข้อมูลเพิ่มเติมได้ที่การใช้เครื่องมือแคช
ภาพรวมของเวิร์กโฟลว์
ส่วนนี้จะอธิบายเวิร์กโฟลว์ทั่วไปที่มีการใช้ฟีเจอร์การแคชการคอมไพล์
ข้อมูลแคชที่ระบุและการพบข้อมูลในแคช
- แอปจะส่งไดเรกทอรีแคชและการตรวจสอบผลรวมที่ไม่ซ้ำกันสำหรับโมเดล
- รันไทม์ NNAPI จะค้นหาไฟล์แคชตามการตรวจสอบผลรวม ค่ากำหนดการเรียกใช้ และผลลัพธ์การแบ่งพาร์ติชัน แล้วค้นหาไฟล์
- NNAPI จะเปิดไฟล์แคชและส่งแฮนเดิลไปยังไดรเวอร์ด้วย
prepareModelFromCache - ไดร์เวอร์จะเตรียมโมเดลจากไฟล์แคชโดยตรงและแสดงโมเดลที่เตรียมไว้
ข้อมูลแคชที่ระบุและแคชไม่ตรง
- แอปจะส่งการตรวจสอบผลรวมที่ไม่ซ้ำกันสำหรับโมเดลและไดเรกทอรีแคช
- รันไทม์ NNAPI จะค้นหาไฟล์แคชตามการตรวจสอบผลรวม ค่ากำหนดการเรียกใช้ และผลลัพธ์การแบ่งพาร์ติชัน แต่ไม่พบไฟล์แคช
- NNAPI จะสร้างไฟล์แคชเปล่าตามการตรวจสอบผลรวม ค่ากำหนดการเรียกใช้ และการแบ่งพาร์ติชัน เปิดไฟล์แคช และส่งตัวแฮนเดิลและโมเดลไปยังไดรเวอร์ด้วย
prepareModel_1_2 - โปรแกรมควบคุมจะคอมไพล์โมเดล เขียนข้อมูลการแคชลงในไฟล์แคช และแสดงโมเดลที่เตรียมไว้
ไม่ได้ระบุข้อมูลแคช
- แอปเรียกใช้การคอมไพล์โดยไม่ระบุข้อมูลการแคช
- แอปไม่ได้ส่งข้อมูลใดๆ ที่เกี่ยวข้องกับการแคช
- รันไทม์ NNAPI จะส่งโมเดลไปยังไดรเวอร์ด้วย
prepareModel_1_2 - โปรแกรมควบคุมจะคอมไพล์โมเดลและแสดงโมเดลที่เตรียมไว้
ข้อมูลแคช
ข้อมูลการแคชที่ระบุให้กับไดรเวอร์ประกอบด้วยโทเค็นและตัวแฮนเดิลไฟล์แคช
โทเค็น
โทเค็นคือโทเค็นการแคชที่มีความยาว Constant::BYTE_SIZE_OF_CACHE_TOKEN ซึ่งระบุโมเดลที่เตรียมไว้ ระบบจะระบุโทเค็นเดียวกันเมื่อบันทึกไฟล์แคชด้วย prepareModel_1_2 และดึงข้อมูลโมเดลที่เตรียมไว้ด้วย prepareModelFromCache ลูกค้าของไดรเวอร์ควรเลือกโทเค็นที่มีอัตราการชนต่ำ ไดรเวอร์ตรวจไม่พบการชนกันของโทเค็น การชนกันส่งผลให้การดําเนินการไม่สําเร็จ หรือการดําเนินการที่สําเร็จแต่ให้ค่าเอาต์พุตที่ไม่ถูกต้อง
แฮนเดิลไฟล์แคช (ไฟล์แคช 2 ประเภท)
ไฟล์แคช 2 ประเภท ได้แก่ แคชข้อมูลและแคชโมเดล
- แคชข้อมูล: ใช้สำหรับแคชข้อมูลที่มีค่าคงที่ ซึ่งรวมถึงบัฟเฟอร์เทนเซอร์ที่ประมวลผลล่วงหน้าและเปลี่ยนรูปแบบแล้ว การแก้ไขแคชข้อมูลไม่ควรส่งผลเสียมากกว่าการสร้างค่าเอาต์พุตที่ไม่ถูกต้องในเวลาที่ดำเนินการ
- แคชโมเดล: ใช้สำหรับแคชข้อมูลที่ละเอียดอ่อนด้านความปลอดภัย เช่น โค้ดเครื่องที่คอมไพล์แล้วซึ่งสามารถเรียกใช้ได้ในรูปแบบไบนารีของอุปกรณ์ การแก้ไขแคชโมเดลอาจส่งผลต่อลักษณะการทํางานของไดรเวอร์ และไคลเอ็นต์ที่เป็นอันตรายอาจใช้ประโยชน์จากสิ่งนี้เพื่อดําเนินการนอกเหนือจากสิทธิ์ที่ได้รับ ดังนั้นไดรเวอร์ต้องตรวจสอบว่าแคชโมเดลเสียหายหรือไม่ก่อนที่จะเตรียมโมเดลจากแคช โปรดดูข้อมูลเพิ่มเติมที่ความปลอดภัย
โปรแกรมควบคุมต้องตัดสินใจว่าจะกระจายข้อมูลแคชระหว่างไฟล์แคช 2 ประเภทอย่างไร และรายงานจํานวนไฟล์แคชที่จําเป็นสําหรับแต่ละประเภทด้วย getNumberOfCacheFilesNeeded
รันไทม์ NNAPI จะเปิดตัวแฮนเดิลไฟล์แคชที่มีสิทธิ์ทั้งอ่านและเขียนเสมอ
ความปลอดภัย
ในแคชการคอมไพล์ แคชโมเดลอาจมีข้อมูลที่ละเอียดอ่อนด้านความปลอดภัย เช่น โค้ดเครื่องที่คอมไพล์แล้วซึ่งสามารถเรียกใช้ได้ในรูปแบบไบนารีของอุปกรณ์ หากไม่ได้รับการปกป้องอย่างเหมาะสม การแก้ไขแคชโมเดลอาจส่งผลต่อลักษณะการทํางานของไดรเวอร์ เนื่องจากเนื้อหาแคชจะจัดเก็บไว้ในไดเรกทอรีแอป ลูกค้าจึงแก้ไขไฟล์แคชได้ ไคลเอ็นต์ที่มีข้อบกพร่องอาจทำให้แคชเสียหายโดยไม่ตั้งใจ และไคลเอ็นต์ที่เป็นอันตรายอาจจงใจใช้แคชนี้เพื่อเรียกใช้โค้ดที่ยังไม่ได้ตรวจสอบในอุปกรณ์ ปัญหานี้อาจเป็นปัญหาด้านความปลอดภัย ทั้งนี้ขึ้นอยู่กับลักษณะของอุปกรณ์ ดังนั้น โปรแกรมควบคุมจึงต้องตรวจจับการทํางานผิดพลาดที่อาจเกิดขึ้นกับแคชโมเดลได้ก่อนที่จะเตรียมโมเดลจากแคช
วิธีหนึ่งในการทำเช่นนี้คือให้ไดรเวอร์ดูแลแผนที่จากโทเค็นไปยังแฮชการเข้ารหัสของแคชโมเดล โปรแกรมควบคุมสามารถจัดเก็บโทเค็นและแฮชของแคชโมเดลเมื่อบันทึกการคอมไพล์ลงในแคช โปรแกรมควบคุมจะตรวจสอบแฮชใหม่ของแคชโมเดลด้วยคู่โทเค็นและแฮชที่บันทึกไว้เมื่อดึงข้อมูลการคอมไพล์จากแคช การแมปนี้ควรคงอยู่เมื่อรีบูตระบบ โปรแกรมควบคุมสามารถใช้บริการคีย์สโตร์ Android, ไลบรารียูทิลิตีใน framework/ml/nn/driver/cache หรือกลไกอื่นๆ ที่เหมาะสมเพื่อติดตั้งใช้งานเครื่องมือจัดการการแมป เมื่ออัปเดตไดรเวอร์แล้ว คุณควรรีเซ็ตเครื่องมือจัดการการแมปนี้เพื่อป้องกันการเตรียมไฟล์แคชจากเวอร์ชันก่อนหน้า
เพื่อป้องกันการโจมตีแบบ "เวลาตรวจสอบถึงเวลาใช้งาน" (TOCTOU) โปรแกรมควบคุมต้องคํานวณแฮชที่บันทึกไว้ก่อนที่จะบันทึกลงในไฟล์ และคํานวณแฮชใหม่หลังจากคัดลอกเนื้อหาไฟล์ไปยังบัฟเฟอร์ภายใน
โค้ดตัวอย่างนี้แสดงวิธีใช้ตรรกะนี้
bool saveToCache(const sp<V1_2::IPreparedModel> preparedModel,
const hidl_vec<hidl_handle>& modelFds, const hidl_vec<hidl_handle>& dataFds,
const HidlToken& token) {
// Serialize the prepared model to internal buffers.
auto buffers = serialize(preparedModel);
// This implementation detail is important: the cache hash must be computed from internal
// buffers instead of cache files to prevent time-of-check to time-of-use (TOCTOU) attacks.
auto hash = computeHash(buffers);
// Store the {token, hash} pair to a mapping manager that is persistent across reboots.
CacheManager::get()->store(token, hash);
// Write the cache contents from internal buffers to cache files.
return writeToFds(buffers, modelFds, dataFds);
}
sp<V1_2::IPreparedModel> prepareFromCache(const hidl_vec<hidl_handle>& modelFds,
const hidl_vec<hidl_handle>& dataFds,
const HidlToken& token) {
// Copy the cache contents from cache files to internal buffers.
auto buffers = readFromFds(modelFds, dataFds);
// This implementation detail is important: the cache hash must be computed from internal
// buffers instead of cache files to prevent time-of-check to time-of-use (TOCTOU) attacks.
auto hash = computeHash(buffers);
// Validate the {token, hash} pair by a mapping manager that is persistent across reboots.
if (CacheManager::get()->validate(token, hash)) {
// Retrieve the prepared model from internal buffers.
return deserialize<V1_2::IPreparedModel>(buffers);
} else {
return nullptr;
}
}
Use Case ขั้นสูง
ในบางกรณีการใช้งานขั้นสูง โปรแกรมควบคุมจำเป็นต้องเข้าถึงเนื้อหาแคช (อ่านหรือเขียน) หลังจากการเรียกใช้การคอมไพล์ ตัวอย่าง Use Case มีดังนี้
- การคอมไพล์แบบทันท่วงที: การคอมไพล์จะล่าช้าจนกว่าจะถึงเวลาเรียกใช้ครั้งแรก
- การคอมไพล์แบบหลายระยะ: ระบบจะทำการคอมไพล์แบบรวดเร็วในขั้นต้น และทำการคอมไพล์แบบเพิ่มประสิทธิภาพ (ไม่บังคับ) ในภายหลัง ทั้งนี้ขึ้นอยู่กับความถี่ในการใช้งาน
หากต้องการเข้าถึงเนื้อหาแคช (อ่านหรือเขียน) หลังจากการเรียกใช้การคอมไพล์ ให้ตรวจสอบว่าไดรเวอร์มีลักษณะดังนี้
- ทำซ้ำตัวแฮนเดิลไฟล์ระหว่างการเรียกใช้
prepareModel_1_2หรือprepareModelFromCacheและอ่าน/อัปเดตเนื้อหาแคชในภายหลัง - ใช้ตรรกะการล็อกไฟล์นอกการเรียกใช้การคอมไพล์ตามปกติเพื่อไม่ให้การเขียนเกิดขึ้นพร้อมกันกับการอ่านหรือการเขียนอื่น
ใช้เครื่องมือแคช
นอกจากอินเทอร์เฟซการแคชการคอมไพล์ NN HAL 1.2 แล้ว คุณยังดูไลบรารียูทิลิตีการแคชได้ในไดเรกทอรี frameworks/ml/nn/driver/cache ไดเรกทอรีย่อย nnCache มีโค้ดพื้นที่เก็บข้อมูลถาวรสำหรับไดรเวอร์เพื่อใช้แคชการคอมไพล์โดยไม่ต้องใช้ฟีเจอร์การแคช NNAPI คุณใช้การแคชการคอมไพล์รูปแบบนี้กับ NN HAL เวอร์ชันใดก็ได้ หากโปรแกรมควบคุมเลือกใช้การแคชที่ไม่ได้เชื่อมต่อกับอินเทอร์เฟซ HAL โปรแกรมควบคุมจะต้องรับผิดชอบในการลบรายการที่แคชไว้ออกเมื่อไม่จำเป็นแล้ว