Bu sayfada, Neural Networks API (NNAPI) sürücüsünün nasıl uygulanacağına dair genel bakış sunulmaktadır. Daha ayrıntılı bilgi için hardware/interfaces/neuralnetworks
içindeki HAL tanımı dosyalarında bulunan belgelere bakın.
Örnek bir sürücü uygulaması frameworks/ml/nn/driver/sample
konumundadır.
Neural Networks API hakkında daha fazla bilgi için Neural Networks API'ye bakın.
Sinir Ağları HAL'si
Sinir Ağları (NN) HAL'si, bir üründe (ör. telefon veya tablet) bulunan grafik işleme birimleri (GPU'lar) ve dijital sinyal işlemciler (DSP'ler) gibi çeşitli cihazların soyutlanmasını tanımlar. Bu cihazların sürücüleri, NN HAL'ye uygun olmalıdır. Arayüz, hardware/interfaces/neuralnetworks
içindeki HAL tanımlama dosyalarında belirtilmiştir.
Çerçeve ile sürücü arasındaki arayüzün genel akışı Şekil 1'de gösterilmiştir.
Şekil 1. Sinir Ağları akışı
Başlatma
Başlatma sırasında çerçeve, IDevice::getCapabilities_1_3
kullanarak sürücüyü özelliklerini sorgular.
@1.3::Capabilities
yapısı, tüm veri türlerini içerir ve bir vektör kullanarak serbest olmayan performansı temsil eder.
Çerçeve, hesaplamaların mevcut cihazlara nasıl ayrılacağını belirlemek için her bir sürücünün bir işlemi ne kadar hızlı ve enerji verimli bir şekilde gerçekleştirebileceğini anlamaya yönelik özelliklerden yararlanır. Sürücü, bu bilgileri sağlamak için referans iş yüklerinin yürütülmesine dayalı standart performans sayıları sağlamalıdır.
Sürücünün IDevice::getCapabilities_1_3
yanıt olarak döndürdüğü değerleri belirlemek için NNAPI karşılaştırma uygulamasını kullanarak ilgili veri türlerinin performansını ölçün. 32 bit kayan nokta değerlerinin performansını ölçmek için MobileNet v1, v2, asr_float
ve tts_float
modelleri önerilir. 8 bitlik nicelenmiş değerler için de MobileNet v1 ve v2 nicelenmiş modelleri önerilir. Daha fazla bilgi için Android Makine Öğrenimi Test Paketi'ne bakın.
Android 9 ve önceki sürümlerde Capabilities
yapısı, yalnızca kayan nokta ve nicel tensörler için sürücü performansı bilgilerini içerir, skaler veri türlerini içermez.
Başlatma işleminin bir parçası olarak çerçeve IDevice::getType
, IDevice::getVersionString
, IDevice:getSupportedExtensions
ve IDevice::getNumberOfCacheFilesNeeded
kullanarak daha fazla bilgi sorgulayabilir.
Çerçeve, ürün yeniden başlatmaları arasında bu bölümde açıklanan tüm sorguların belirli bir sürücü için her zaman aynı değerleri raporlamasını bekler. Aksi takdirde, bu sürücüyü kullanan bir uygulamanın performansı düşebilir veya hatalı davranış ortaya çıkabilir.
Derleme
Çerçeve, bir uygulamadan istek aldığında hangi cihazların kullanılacağını belirler. Android 10'da uygulamalar, çerçevenin seçeceği cihazları keşfedip belirtebilir. Daha fazla bilgi için Cihaz Bulma ve Atama bölümüne bakın.
Model derleme zamanında çerçeve, IDevice::getSupportedOperations_1_3
yöntemini çağırarak modeli her aday sürücüye gönderir.
Her sürücü, modelin hangi işlemlerinin desteklendiğini gösteren bir boole dizisi döndürür. Sürücü, çeşitli nedenlerden dolayı belirli bir işlemi
destekleyemediğini belirleyebilir. Örnek:
- Sürücü, veri türünü desteklemiyor.
- Sürücü yalnızca belirli giriş parametrelerine sahip işlemleri destekler. Örneğin, bir sürücü 3x3 ve 5x5'i destekleyebilir, ancak 7x7 konvolüsyon işlemlerini destekleyemez.
- Sürücünün, büyük grafikleri veya girişleri işlemesini engelleyen bellek kısıtlamaları vardır.
Derleme sırasında, modelin OperandLifeTime
bölümünde açıklandığı üzere giriş, çıkış ve dahili işlem görenlerin boyutları veya sıralaması bilinmeyen olabilir. Daha fazla bilgi için Çıktı şekli bölümüne bakın.
Çerçeve, seçilen her sürücüye IDevice::prepareModel_1_3
çağrısı yaparak modelin bir alt kümesini yürütmeye hazırlanması talimatını verir.
Daha sonra her sürücü kendi alt kümesini derler. Örneğin, bir sürücü kod oluşturabilir veya ağırlıkların yeniden sıralanmış bir kopyasını oluşturabilir. Modelin derlenmesi ile isteklerin yürütülmesi arasında önemli bir süre olabileceğinden, büyük cihaz belleği parçaları gibi kaynaklar derleme sırasında atanmamalıdır.
Başarılı olduğunda, sürücü bir @1.3::IPreparedModel
tutma yeri
döndürür. Sürücü, modelin alt kümesini hazırlarken bir hata kodu döndürürse çerçeve, modelin tamamını CPU üzerinde çalıştırır.
Sürücü, uygulama başlatıldığında derleme için kullanılan süreyi kısaltmak için derleme yapılarını önbelleğe alabilir. Daha fazla bilgi için Derleme Önbelleğe Alma bölümüne bakın.
Uygulama
Bir uygulama, çerçeveden bir isteği yürütmesini istediğinde çerçeve, hazır bir modelde eşzamanlı yürütme gerçekleştirmek için varsayılan olarak IPreparedModel::executeSynchronously_1_3
HAL yöntemini çağırır.
Bir istek ayrıca execute_1_3
yöntemi ve executeFenced
yöntemi (bkz. Fencereli yürütme) kullanılarak eşzamansız olarak yürütülebilir veya seri çekim yürütme ile yürütülebilir.
Kontrol, uygulama sürecine yalnızca yürütme tamamlandıktan sonra geri döndüğünden, eşzamanlı yürütme çağrıları eşzamansız çağrılara kıyasla performansı iyileştirir ve iş parçacığı ek yükünü azaltır. Yani sürücü, uygulama işlemine bir yürütmenin tamamlandığını bildirmek için ayrı bir mekanizmaya ihtiyaç duymaz.
Eşzamansız execute_1_3
yönteminde, kontrol yürütme başladıktan sonra uygulama işlemine geri döner ve sürücü, yürütme tamamlandığında @1.3::IExecutionCallback
kullanarak çerçeveyi bilgilendirmelidir.
Yürütme yöntemine iletilen Request
parametresi, yürütme için kullanılan giriş ve çıkış işlenenlerini listeler. İşlem gören verileri depolayan bellek, en yavaş öğenin yinelendiği ilk boyut olmak üzere satır-ana sıralamayı kullanmalı ve hiçbir satırın sonunda dolgu içermemelidir. İşlem gören türleri hakkında daha fazla bilgi için İşlenenler bölümüne bakın.
NN HAL 1.2 veya üzeri sürücüler için bir istek tamamlandığında hata durumu, çıktı şekli ve zamanlama bilgileri çerçeveye döndürülür. Yürütme sırasında modelin çıktısı veya dahili işlenenleri bir veya daha fazla bilinmeyen boyuta ya da bilinmeyen bir sıralamaya sahip olabilir. En az bir çıkış işleneninin boyutu veya sıralaması bilinmeyen olduğunda, sürücü dinamik olarak boyutlandırılmış çıkış bilgileri döndürmelidir.
NN HAL 1.1 veya daha düşük sürümlere sahip sürücüler için, yalnızca bir istek tamamlandığında hata durumu döndürülür. Yürütmenin başarıyla tamamlanması için giriş ve çıkış işlenenlerinin boyutları tam olarak belirtilmelidir. Dahili işlenenlerin bir veya daha fazla bilinmeyen boyutu olabilir, ancak bunların sıralaması belirtilmelidir.
Birden fazla sürücüye yayılan kullanıcı istekleri için çerçeve, ara belleği ayırmaktan ve çağrıları her bir sürücüye sıralamaktan sorumludur.
Aynı @1.3::IPreparedModel
üzerinde paralel olarak birden fazla istek başlatılabilir.
Sürücü, istekleri paralel olarak yürütebilir veya yürütmeleri serileştirebilir.
Çerçeve, sürücüden birden fazla hazır model tutmasını isteyebilir. Örneğin, m1
modelini hazırlayın, m2
öğesini hazırlayın, m1
tarihinde r1
isteğini yürütün, m2
tarihinde r2
yöntemini yürütün, m1
üzerinde r3
yürütün, m2
üzerinde r4
yürütmeyi, m1
sürümünü yayınlayın (Temizlik bölümünde açıklanmıştır) ve m2
sürümünü yayınlayın.
Kötü kullanıcı deneyimine neden olabilecek yavaş bir ilk yürütme (örneğin, ilk kare takılması) önlemek için sürücü, çoğu başlatma işlemini derleme aşamasında gerçekleştirmelidir. İlk çalıştırma sırasında başlatma işlemi, erken başlatıldığında sistem sağlığını olumsuz etkileyen işlemlerle (ör. büyük geçici arabelleklerin ayrılması veya cihazın saat hızının artırılması) sınırlı olmalıdır. Yalnızca sınırlı sayıda eşzamanlı model hazırlayabilen sürücülerin ilk kullanıma hazırlama işlemini ilk çalıştırma sırasında yapması gerekebilir.
Android 10 veya sonraki sürümlerde, aynı hazırlanan modelle birden fazla yürütme işleminin hızlı bir şekilde arka arkaya yürütüldüğü durumlarda istemci, uygulama ile sürücü işlemleri arasında iletişim kurmak için bir yürütme seri işlem nesnesi kullanmayı tercih edebilir. Daha fazla bilgi için Seri Yürütme İşlemleri ve Hızlı Mesaj Sıraları sayfasına göz atın.
Hızlı bir şekilde arka arkaya birden fazla yürütmenin performansını artırmak için sürücü, geçici arabellekleri tutabilir veya saat hızlarını artırabilir. Belirli bir süre sonunda yeni istek oluşturulmazsa kaynakları serbest bırakmak için bir güvenlik zamanlayıcısı iş parçacığı oluşturmanız önerilir.
Çıktı şekli
Bir veya daha fazla çıkış işleneninin tüm boyutların belirtilmediği istekler için sürücü, yürütme işleminden sonra her çıkış işleneninin boyut bilgilerini içeren çıkış şekillerinin bir listesini sağlamalıdır. Boyutlar hakkında daha fazla bilgi için OutputShape
konusuna bakın.
Yürütme işlemi, çıktı arabelleğinin küçük olması nedeniyle başarısız olursa sürücü, çıkış şekilleri listesinde hangi çıkış işlenenlerinin tampon boyutunun yetersiz olduğunu belirtmeli ve bilinmeyen boyutlar için sıfır kullanarak mümkün olduğunca çok boyut bilgisi rapor etmelidir.
Zamanlama
Android 10'da, derleme işlemi sırasında kullanılacak tek bir cihaz belirtilmişse uygulamalar yürütme süresini sorabilir. Ayrıntılar için MeasureTiming
ile Cihaz Keşfi ve Atama bölümünü inceleyin.
Bu durumda, NN HAL 1.2 sürücüsü bir istek yürütürken yürütme süresini ölçmeli veya UINT64_MAX
(sürenin kullanılamadığını belirtmek için) rapor etmelidir. Sürücü, yürütme süresinin ölçülmesinden kaynaklanan performans cezalarını en aza indirmelidir.
Sürücü, Timing
yapısında mikrosaniye cinsinden aşağıdaki süreleri bildirir:
- Cihazda yürütme süresi: Ana makine işlemcisinde çalışan sürücüdeki yürütme süresini içermez.
- Sürücüdeki yürütme süresi: Cihazdaki yürütme süresini içerir.
Bu süreler, yürütmenin askıya alındığı zamanı içermelidir (örneğin, yürütmenin başka görevler tarafından geçici olarak durdurulduğu veya bir kaynağın kullanılabilir olmasını beklerken).
Sürücüden yürütme süresini ölçmesi istenmediğinde veya yürütme hatası olduğunda sürücü, süreleri UINT64_MAX
olarak bildirmelidir. Sürücüden yürütme süresini ölçmesi istense bile, bunun yerine cihazda, sürücüde geçirilen süre veya her ikisi için UINT64_MAX
değerini raporlayabilir. Sürücü, her iki süreyi de UINT64_MAX
dışında bir değer olarak bildirdiğinde, sürücüdeki yürütme süresi cihazdaki süreye eşit veya bundan fazla olmalıdır.
Özel yürütme
Android 11'de NNAPI, yürütmelerin sync_fence
tutma yeri listesini beklemesine ve isteğe bağlı olarak yürütme tamamlandığında sinyal verilen bir sync_fence
nesnesi döndürmesine olanak tanır. Bu da küçük sıralı modeller ve akış kullanım alanları için ek yükü azaltır. Özel yürütme, sync_fence
sinyalini oluşturabilen veya bekleyebilecek diğer bileşenlerle daha verimli bir birlikte çalışabilirlik sağlar. sync_fence
hakkında daha fazla bilgi için Senkronizasyon çerçevesi bölümüne bakın.
Özel çerçeveli yürütmede çerçeve, IPreparedModel::executeFenced
yöntemini çağırarak hazır bir model üzerinde, beklenmesi gereken senkronizasyon çitleri vektörüne sahip, bağımsız, eşzamansız bir yürütme işlemi başlatmak için kullanılır. Eşzamansız görev, çağrı geri gelmeden önce tamamlanırsa sync_fence
için boş bir herkese açık kullanıcı adı döndürülebilir. Çerçevenin hata durumu ve süre bilgilerini sorgulamasına olanak tanımak için bir IFencedExecutionCallback
nesnesi de döndürülmelidir.
Bir yürütme tamamlandıktan sonra yürütme süresini ölçen aşağıdaki iki zamanlama değeri IFencedExecutionCallback::getExecutionInfo
üzerinden sorgulanabilir.
timingLaunched
:executeFenced
, döndürülensyncFence
öğesini işaretlediğindeexecuteFenced
çağrıldığı andan itibaren geçen süre.timingFenced
:executeFenced
, döndürülensyncFence
öğesini bildirdiğinde, yürütmenin beklediği tüm senkronizasyon engellerinin işaretlendiği süre.
Akışı kontrol etme
NNAPI, Android 11 veya sonraki sürümleri çalıştıran cihazlar için IF
ve WHILE
adlı iki kontrol akışı işlemi içerir. Bu işlemler, diğer modelleri bağımsız değişken olarak alıp koşullu olarak (IF
) veya tekrar tekrar (WHILE
) yürütür. Bunun nasıl uygulanacağı hakkında daha fazla bilgi için Kontrol akışı bölümüne bakın.
Hizmet kalitesi
Android 11'de NNAPI, uygulamaların modellerinin göreli önceliklerini, modelin hazırlanmaları için beklenen maksimum süreyi ve yürütmenin tamamlanması için beklenen maksimum süreyi belirtmesine olanak tanıyarak iyileştirilmiş hizmet kalitesi (QoS) içerir. Daha fazla bilgi için Hizmet Kalitesi bölümüne bakın.
Temizle
Bir uygulama, hazırlanan bir modeli kullanarak tamamladığında çerçeve, çerçevenin @1.3::IPreparedModel
nesnesine referansını serbest bırakır. IPreparedModel
nesnesine artık başvuruda bulunulmadığında bu nesne, nesneyi oluşturan sürücü hizmetinde otomatik olarak kaldırılır. Modele özgü kaynaklar, şu anda sürücünün yıkıcıyı uygularken geri çekilebilir. Sürücü hizmeti, IPreparedModel
nesnesinin artık istemciye ihtiyaç duymadığında otomatik olarak kaldırılmasını istiyorsa IPreparedeModel
nesnesi IPreparedModelCallback::notify_1_3
aracılığıyla döndürüldükten sonra IPreparedModel
nesnesine herhangi bir referans tutmamalıdır.
CPU kullanımı
Sürücülerin hesaplamaları ayarlamak için CPU'yu kullanması beklenir. Sürücüler, grafik hesaplamaları yapmak için CPU'yu kullanmamalıdır. Çünkü bu, çerçevenin işleri doğru şekilde paylaştırmasını engeller. Sürücü, işleyemediği bölümleri çerçeveye bildirmeli ve gerisini çerçeveye bırakmalıdır.
Çerçeve, satıcı tarafından tanımlanan işlemler hariç tüm NNAPI işlemleri için CPU uygulaması sağlar. Daha fazla bilgi için Tedarikçi Firma Uzantıları bölümüne bakın.
Android 10'da (API düzeyi 29) sunulan işlemler, yalnızca CTS ve VTS testlerinin doğru olduğunu onaylamak için bir referans CPU uygulaması içerir. NNAPI CPU uygulaması yerine, mobil makine öğrenimi çerçevelerindeki optimize edilmiş uygulamalar tercih edilir.
Yardımcı işlevler
NNAPI kod tabanı, sürücü hizmetleri tarafından kullanılabilecek yardımcı program işlevleri içerir.
frameworks/ml/nn/common/include/Utils.h
dosyası, günlük kaydı ve farklı NN HAL sürümleri arasında dönüştürme işlemleri için kullanılanlar gibi çeşitli yardımcı program işlevlerini içerir.
VLogging:
VLOG
, AndroidLOG
çevresinde bir sarmalayıcı makrosudur ve mesajı yalnızcadebug.nn.vlog
özelliğinde uygun etiket ayarlanmışsa günlüğe kaydeder.initVLogMask()
,VLOG
çağrılarından önce çağrılmalıdır.VLOG_IS_ON
makrosu,VLOG
öğesinin etkin olup olmadığını kontrol etmek için kullanılabilir. Böylece, gerekli olmayan karmaşık günlük kaydı kodunun atlanması sağlanır. Özelliğin değeri şunlardan biri olmalıdır:- Hiçbir günlük kaydı yapılmayacağını belirten boş bir dize.
- Tüm günlük kayıtlarının gerçekleştirileceğini belirten
1
veyaall
jetonu. - Boşluk, virgül veya iki nokta ile ayrılmış ve hangi günlük kaydının yapılacağını belirten bir etiket listesi. Etiketler
compilation
,cpuexe
,driver
,execution
,manager
vemodel
şeklindedir.
compliantWithV1_*
: Bir NN HAL nesnesi bilgi kaybetmeden aynı türdeki farklı bir HAL sürümüne dönüştürülebiliyorsatrue
değerini döndürür. Örneğin,V1_2::Model
üzerindecompliantWithV1_0
çağrısı, model NN HAL 1.1 veya NN HAL 1.2'de sunulan işlem türlerini içeriyorsafalse
değerini döndürür.convertToV1_*
: Bir NN HAL nesnesini bir sürümden diğerine dönüştürür. Dönüşüm bilgi kaybına neden olursa (yani türün yeni sürümü değeri tam olarak gösteremiyorsa) bir uyarı kaydedilir.Özellikler:
nonExtensionOperandPerformance
veupdate
işlevleri,Capabilities::operandPerformance
alanının oluşturulmasına yardımcı olmak için kullanılabilir.Şu türdeki özellikleri sorgulama:
isExtensionOperandType
,isExtensionOperationType
,nonExtensionSizeOfData
,nonExtensionOperandSizeOfData
,nonExtensionOperandTypeIsScalar
,tensorHasUnspecifiedDimensions
.
frameworks/ml/nn/common/include/ValidateHal.h
dosyası, bir NN HAL nesnesinin HAL sürümünün spesifikasyonuna göre geçerli olduğunu doğrulamak için yardımcı program işlevleri içerir.
validate*
: NN HAL nesnesi, HAL sürümünün spesifikasyonuna göre geçerliysetrue
değerini döndürür. OEM türleri ve uzantı türleri doğrulanmaz. Örneğin, model var olmayan bir işlem gören dizine başvuruda bulunan veya o HAL sürümünde desteklenmeyen bir işlem içeriyorsavalidateModel
false
değerini döndürür.
frameworks/ml/nn/common/include/Tracing.h
dosyası, Nöral Ağları koduna sistrasyon bilgisi eklemeyi basitleştirmek için makrolar içerir.
Örnek için örnek sürücüdeki NNTRACE_*
makro çağrılarına bakın.
frameworks/ml/nn/common/include/GraphDump.h
dosyası, hata ayıklama amacıyla Model
içeriğinin dökümünü grafik şeklinde veren bir yardımcı program işlevi içerir.
graphDump
: Modelin bir gösterimini Graphviz (.dot
) biçiminde belirtilen akışa (sağlanmışsa) veya logcat'e (akış sağlanmamışsa) yazar.
Doğrulama
NNAPI uygulamanızı test etmek için Android çerçevesine dahil olan VTS ve CTS testlerini kullanın. VTS, sürücülerinizi doğrudan (çerçeve kullanmadan) çalıştırırken CTS, sürücülerinizi çerçeve üzerinden dolaylı olarak uygular. Bu araçlar tüm API yöntemlerini test edip sürücüler tarafından desteklenen tüm işlemlerin doğru şekilde çalıştığını ve hassasiyet gereksinimlerini karşılayan sonuçlar sağladığını doğrular.
NNAPI için CTS ve VTS'deki hassasiyet gereksinimleri aşağıdaki gibidir:
Kayan nokta: abs(beklenen - gerçek) <= atol + rtol * abs(beklenen); burada:
- fp32 için atol = 1e-5f, rtol = 5.0f * 1.1920928955078125e-7
- fp16 için atol = rtol = 5.0f * 0.0009765625f
Nicel: tek tek (üç kapalı
mobilenet_quantized
hariç)Boole: tam eşleme
CTS'nin NNAPI'yi test etmenin bir yolu, her bir sürücünün yürütme sonuçlarını NNAPI referans uygulamasıyla test edip karşılaştırmak için kullanılan sabit sahte rastgele grafikler oluşturmaktır. NN HAL 1.2 veya sonraki sürümleri olan sürücüler için, sonuçlar kesinlik ölçütlerini karşılamıyorsa CTS, hata bildirir ve başarısız olan model için hata ayıklama amacıyla /data/local/tmp
altına bir spesifikasyon dosyası atar.
Hassasiyet ölçütleri hakkında daha fazla bilgi için TestRandomGraph.cpp
ve TestHarness.h
bölümlerine bakın.
Fuzz testi
Fuz testinin amacı, beklenmedik girişler gibi faktörler nedeniyle test edilen kodda kilitlenmeleri, onaylamaları, bellek ihlallerini veya genel ve tanımlanmamış davranışları bulmaktır. Android, NNAPI fuzz testi için libFuzzer'a dayalı testleri kullanır. Bu testler, yeni rastgele girişler oluşturmak için önceki test durumlarının çizgi kapsamını kullandığından fuzzing açısından verimlidir. Örneğin, libFuzzer yeni kod satırlarında çalıştırılan test durumlarını tercih eder. Böylece, testlerin sorunlu kodu bulmak için gereken süreyi önemli ölçüde kısaltır.
Sürücü uygulamanızı doğrulamak üzere fuzz testi yapmak için AOSP'de bulunan libneuralnetworks_driver_fuzzer
test yardımcı programındaki frameworks/ml/nn/runtime/test/android_fuzzing/DriverFuzzTest.cpp
kodunu sürücü kodunuzu içerecek şekilde değiştirin. NNAPI fuzz testi hakkında daha fazla bilgi için bkz. frameworks/ml/nn/runtime/test/android_fuzzing/README.md
.
Güvenlik
Uygulama işlemleri doğrudan sürücünün işlemiyle iletişim kurduğu için sürücülerin aldıkları çağrıların bağımsız değişkenlerini doğrulaması gerekir. Bu doğrulama, VTS tarafından doğrulanır. Doğrulama kodu frameworks/ml/nn/common/include/ValidateHal.h
dilindedir.
Sürücüler, aynı cihazı kullanırken uygulamaların diğer uygulamalara müdahale etmemesini de sağlamalıdır.
Android Makine Öğrenimi Test Paketi
Android Machine Learning Test Suite (MLTS), tedarikçi cihazlarda gerçek modellerin doğruluğunu doğrulamak için CTS ve VTS'ye dahil edilen bir NNAPI karşılaştırmasıdır. Karşılaştırma, gecikme ve doğruluğu değerlendirir ve aynı model ve veri kümeleri için CPU üzerinde çalışan TF Lite'ı kullanarak sürücülerin sonuçlarını sonuçlarla karşılaştırır. Bu, sürücünün doğruluğunun CPU referans uygulamasından daha düşük olmamasını sağlar.
Android platformu geliştiricileri, sürücülerin gecikmesini ve doğruluğunu değerlendirmek için de MLTS'yi kullanır.
NNAPI karşılaştırması, AOSP'deki iki projede bulunabilir:
platform/test/mlts/benchmark
(karşılaştırma uygulaması)platform/test/mlts/models
(modeller ve veri kümeleri)
Modeller ve veri kümeleri
NNAPI karşılaştırması aşağıdaki modelleri ve veri kümelerini kullanır.
- Farklı boyutlarda ölçülmüş MobileNetV1 float ve u8, Open Images Dataset v4'ün küçük bir alt grubunda (1.500 görüntü) çalıştırılır.
- Farklı boyutlarda ölçülmüş MobileNetV2 float ve u8, Open Images Dataset v4'ün küçük bir alt kümesinde (1.500 görüntü) çalıştırılır.
- Metin okuma için uzun süreli kısa süreli bellek (LSTM) tabanlı akustik model, CMU Arctic grubunun küçük bir alt kümesi üzerinde çalışır.
- Otomatik konuşma tanıma için LSTM tabanlı akustik model, LibriSpeech veri kümesinin küçük bir alt kümesinde çalışır.
Daha fazla bilgi için platform/test/mlts/models
sayfasını inceleyin.
Stres testi
Android Makine Öğrenimi Test Paketi, yoğun kullanım koşullarında veya istemci davranışının köşe durumlarında sürücülerin direncini doğrulamak için bir dizi kilitlenme testi içerir.
Tüm kilitlenme testleri aşağıdaki özellikleri sağlar:
- Askıya alma algılama: NNAPI istemcisi test sırasında kilitlenirse test,
HANG
hata nedeni ile başarısız olur ve test paketi bir sonraki teste geçer. - NNAPI istemci kilitlenmesi algılama: Testler istemci kilitlenmelerinden kurtulur ve
CRASH
hata nedeniyle başarısız olur. - Sürücü kazası algılama: Testler, NNAPI çağrısında hataya neden olan sürücü kazasını algılayabilir. Sürücü işlemlerinde, NNAPI hatasına neden olmayan ve testin başarısız olmasına yol açmayan kilitlenmeler olabileceğini unutmayın. Bu tür hataları gidermek için sistem günlüğündeki
tail
komutunu sürücüyle ilgili hatalar veya kilitlenmeler için çalıştırmanız önerilir. - Mevcut tüm hızlandırıcıların hedeflenmesi: Testler, mevcut tüm sürücülere karşı çalıştırılır.
Tüm kilitlenme testlerinin aşağıdaki dört olası sonucu vardır:
SUCCESS
: Yürütme, hata olmadan tamamlandı.FAILURE
: Yürütme başarısız oldu. Genellikle model test edilirken sürücünün modeli derleyemediğini veya yürütemediğini gösteren bir hatadan kaynaklanır.HANG
: Test işlemi yanıt vermemeye başladı.CRASH
: Test işlemi kilitlendi.
Stres testi hakkında daha fazla bilgi ve kilitlenme testlerinin tam listesi için platform/test/mlts/benchmark/README.txt
sayfasını inceleyin.
MLTS'yi kullan
MLTS'yi kullanmak için:
- İş istasyonunuza bir hedef cihaz bağlayın ve adb üzerinden erişilebildiğinden emin olun.
Birden fazla cihaz bağlıysa hedef cihaz
ANDROID_SERIAL
ortam değişkenini dışa aktarın. cd
öğesini Android'in üst düzey kaynak dizinine ekleyin.source build/envsetup.sh lunch aosp_arm-userdebug # Or aosp_arm64-userdebug if available. ./test/mlts/benchmark/build_and_run_benchmark.sh
Karşılaştırma çalıştırmasının sonunda, sonuçlar bir HTML sayfası olarak sunulur ve
xdg-open
bölümüne aktarılır.
Daha fazla bilgi için platform/test/mlts/benchmark/README.txt
sayfasını inceleyin.
Neural Networks HAL sürümleri
Bu bölümde, Android ve Nöral Ağlar HAL sürümlerinde yapılan değişiklikler açıklanmaktadır.
Android 11
Android 11, aşağıdaki önemli değişiklikleri içeren NN HAL 1.3'ü kullanıma sundu.
- NNAPI'de imzalı 8 bit ölçüm desteği.
TENSOR_QUANT8_ASYMM_SIGNED
işlenen türünü ekler. İmzasız miktarlandırma içeren işlemleri destekleyen NN HAL 1.3'e sahip sürücüler, bu işlemlerin imzalı varyantlarını da desteklemelidir. Miktarları ölçülen çoğu işlemin imzalı ve imzasız sürümlerini çalıştırırken sürücüler, 128 dereceye kadar aynı sonuçları vermelidir. Bu şartın beş istisnası vardır:CAST
,HASHTABLE_LOOKUP
,LSH_PROJECTION
,PAD_V2
veQUANTIZED_16BIT_LSTM
.QUANTIZED_16BIT_LSTM
işlemi imzalı işlem görenleri desteklemez. Diğer dört işlem de imzalı miktar hesaplamayı destekler ancak sonuçların aynı olması gerekmez. - Çerçevenin, hazır bir model üzerinde özel, eşzamansız bir yürütme başlatmak için
IPreparedModel::executeFenced
yöntemini çağırdığı ve beklenmesi gereken senkronizasyon çitleri vektörü içeren özel yürütmeler için destek. Daha fazla bilgi için Özel yürütme bölümüne bakın. - Kontrol akışı desteği. Diğer modelleri bağımsız değişken olarak alıp koşullu olarak (
IF
) veya tekrarlı olarak (WHILE
) yürütenIF
veWHILE
işlemlerini ekler. Daha fazla bilgi için Kontrol akışı bölümüne bakın. - Uygulamalar, modellerinin göreceli önceliklerini, modelin hazırlanması için beklenen maksimum süreyi ve yürütme işleminin tamamlanması için beklenen maksimum süreyi gösterebildiği için hizmet kalitesi (QoS) iyileştirildi. Daha fazla bilgi için Hizmet Kalitesi bölümüne bakın.
- Sürücü tarafından yönetilen arabellekler için ayırıcı arayüzler sağlayan bellek alanları desteği. Bu, yürütmeler genelinde cihaz yerel belleklerinin aktarılmasına olanak tanıyarak aynı sürücüdeki art arda yürütmeler arasında gereksiz veri kopyalama ve dönüşüm işlemlerini önler. Daha fazla bilgi için Bellek alanları bölümüne bakın.
Android 10
Android 10, aşağıdaki önemli değişiklikleri içeren NN HAL 1.2'yi kullanıma sundu.
Capabilities
yapısı, skaler veri türleri dahil tüm veri türlerini içerir ve adlandırılmış alanlar yerine vektör kullanarak esnek olmayan performansı temsil eder.getVersionString
vegetType
yöntemleri, çerçevenin cihaz türü (DeviceType
) ve sürüm bilgilerini almasına olanak tanır. Cihaz Keşfi ve Atama bölümünü inceleyin.executeSynchronously
yöntemi, eşzamanlı olarak bir yürütme gerçekleştirmek için varsayılan olarak çağrılır.execute_1_2
yöntemi, çerçeveye yürütmeyi eşzamansız olarak gerçekleştirmesini bildirir. Yürütme bölümünü inceleyin.executeSynchronously
,execute_1_2
ve seri işlem yürütme içinMeasureTiming
parametresi, sürücünün yürütme süresini ölçüp ölçmeyeceğini belirtir. SonuçlarTiming
yapısında raporlanır. Zamanlama bölümünü inceleyin.- Bir veya daha fazla çıkış işleneninin boyutu veya sıralaması bilinmeyen yürütme işlemleri için destek. Çıktı şekli başlıklı makaleyi inceleyin.
- Tedarikçi firma tarafından tanımlanan işlemler ve veri türlerinden oluşan koleksiyonlar olan tedarikçi firma uzantıları için destek. Sürücü, desteklenen uzantıları
IDevice::getSupportedExtensions
yöntemini kullanarak bildirir. Tedarikçi Firma Uzantıları sayfasını inceleyin. - Seri işlem nesnesinin, uygulama ve sürücü işlemleri arasında iletişim kurarak gecikmeyi azaltmak için hızlı mesaj sıraları (FMQ'lar) kullanarak bir dizi seri işlem yürütmeyi kontrol etme becerisi. Seri Yürütme İşlemleri ve Hızlı Mesaj Sıraları bölümüne göz atın.
- Sürücünün verileri kopyalamadan yürütme işlemleri gerçekleştirebilmesi için ADonanımBuffer desteği sunulur. ADonanımBuffer konusuna bakın.
- Uygulama başlatıldığında derleme için kullanılan süreyi azaltmak için derleme yapılarının önbelleğe alınmasıyla ilgili iyileştirilmiş destek. Derleme Önbelleğe Alma bölümünü inceleyin.
Android 10'da aşağıdaki işlenen türleri ve işlemleri sunulmaktadır.
-
ANEURALNETWORKS_BOOL
ANEURALNETWORKS_FLOAT16
ANEURALNETWORKS_TENSOR_BOOL8
ANEURALNETWORKS_TENSOR_FLOAT16
ANEURALNETWORKS_TENSOR_QUANT16_ASYMM
ANEURALNETWORKS_TENSOR_QUANT16_SYMM
ANEURALNETWORKS_TENSOR_QUANT8_SYMM
ANEURALNETWORKS_TENSOR_QUANT8_SYMM_PER_CHANNEL
-
ANEURALNETWORKS_ABS
ANEURALNETWORKS_ARGMAX
ANEURALNETWORKS_ARGMIN
ANEURALNETWORKS_AXIS_ALIGNED_BBOX_TRANSFORM
ANEURALNETWORKS_BIDIRECTIONAL_SEQUENCE_LSTM
ANEURALNETWORKS_BIDIRECTIONAL_SEQUENCE_RNN
ANEURALNETWORKS_BOX_WITH_NMS_LIMIT
ANEURALNETWORKS_CAST
ANEURALNETWORKS_CHANNEL_SHUFFLE
ANEURALNETWORKS_DETECTION_POSTPROCESSING
ANEURALNETWORKS_EQUAL
ANEURALNETWORKS_EXP
ANEURALNETWORKS_EXPAND_DIMS
ANEURALNETWORKS_GATHER
ANEURALNETWORKS_GENERATE_PROPOSALS
ANEURALNETWORKS_GREATER
ANEURALNETWORKS_GREATER_EQUAL
ANEURALNETWORKS_GROUPED_CONV_2D
ANEURALNETWORKS_HEATMAP_MAX_KEYPOINT
ANEURALNETWORKS_INSTANCE_NORMALIZATION
ANEURALNETWORKS_LESS
ANEURALNETWORKS_LESS_EQUAL
ANEURALNETWORKS_LOG
ANEURALNETWORKS_LOGICAL_AND
ANEURALNETWORKS_LOGICAL_NOT
ANEURALNETWORKS_LOGICAL_OR
ANEURALNETWORKS_LOG_SOFTMAX
ANEURALNETWORKS_MAXIMUM
ANEURALNETWORKS_MINIMUM
ANEURALNETWORKS_NEG
ANEURALNETWORKS_NOT_EQUAL
ANEURALNETWORKS_PAD_V2
ANEURALNETWORKS_POW
ANEURALNETWORKS_PRELU
ANEURALNETWORKS_QUANTIZE
ANEURALNETWORKS_QUANTIZED_16BIT_LSTM
ANEURALNETWORKS_RANDOM_MULTINOMIAL
ANEURALNETWORKS_REDUCE_ALL
ANEURALNETWORKS_REDUCE_ANY
ANEURALNETWORKS_REDUCE_MAX
ANEURALNETWORKS_REDUCE_MIN
ANEURALNETWORKS_REDUCE_PROD
ANEURALNETWORKS_REDUCE_SUM
ANEURALNETWORKS_RESIZE_NEAREST_NEIGHBOR
ANEURALNETWORKS_ROI_ALIGN
ANEURALNETWORKS_ROI_POOLING
ANEURALNETWORKS_RSQRT
ANEURALNETWORKS_SELECT
ANEURALNETWORKS_SIN
ANEURALNETWORKS_SLICE
ANEURALNETWORKS_SPLIT
ANEURALNETWORKS_SQRT
ANEURALNETWORKS_TILE
ANEURALNETWORKS_TOPK_V2
ANEURALNETWORKS_TRANSPOSE_CONV_2D
ANEURALNETWORKS_UNIDIRECTIONAL_SEQUENCE_LSTM
ANEURALNETWORKS_UNIDIRECTIONAL_SEQUENCE_RNN
Android 10, mevcut işlemlerin çoğunda güncellemeler sunar. Güncellemeler genellikle aşağıdakilerle ilgilidir:
- NCHW bellek düzeni desteği
- Softmax ve normalleştirme işlemlerinde sıralaması 4'ten farklı olan tensörler için destek
- Uzatılmış kıvrımlar için destek
ANEURALNETWORKS_CONCATENATION
bölgesinde karışık miktarlı girişler için destek
Aşağıdaki listede, Android 10'da değiştirilen işlemler gösterilmektedir. Değişikliklerin tüm ayrıntıları için NNAPI referans belgelerindeki OperationCode'a bakın.
ANEURALNETWORKS_ADD
ANEURALNETWORKS_AVERAGE_POOL_2D
ANEURALNETWORKS_BATCH_TO_SPACE_ND
ANEURALNETWORKS_CONCATENATION
ANEURALNETWORKS_CONV_2D
ANEURALNETWORKS_DEPTHWISE_CONV_2D
ANEURALNETWORKS_DEPTH_TO_SPACE
ANEURALNETWORKS_DEQUANTIZE
ANEURALNETWORKS_DIV
ANEURALNETWORKS_FLOOR
ANEURALNETWORKS_FULLY_CONNECTED
ANEURALNETWORKS_L2_NORMALIZATION
ANEURALNETWORKS_L2_POOL_2D
ANEURALNETWORKS_LOCAL_RESPONSE_NORMALIZATION
ANEURALNETWORKS_LOGISTIC
ANEURALNETWORKS_LSH_PROJECTION
ANEURALNETWORKS_LSTM
ANEURALNETWORKS_MAX_POOL_2D
ANEURALNETWORKS_MEAN
ANEURALNETWORKS_MUL
ANEURALNETWORKS_PAD
ANEURALNETWORKS_RELU
ANEURALNETWORKS_RELU1
ANEURALNETWORKS_RELU6
ANEURALNETWORKS_RESHAPE
ANEURALNETWORKS_RESIZE_BILINEAR
ANEURALNETWORKS_RNN
ANEURALNETWORKS_ROI_ALIGN
ANEURALNETWORKS_SOFTMAX
ANEURALNETWORKS_SPACE_TO_BATCH_ND
ANEURALNETWORKS_SPACE_TO_DEPTH
ANEURALNETWORKS_SQUEEZE
ANEURALNETWORKS_STRIDED_SLICE
ANEURALNETWORKS_SUB
ANEURALNETWORKS_SVDF
ANEURALNETWORKS_TANH
ANEURALNETWORKS_TRANSPOSE
Android 9
NN HAL 1.1, Android 9'da kullanıma sunulmuştur ve aşağıdaki önemli değişiklikleri içerir.
IDevice::prepareModel_1_1
, birExecutionPreference
parametresi içerir. Sürücü, uygulamanın pil tasarrufu yapmayı tercih ettiğini veya arka arkaya kısa çağrılarda modeli çalıştıracağını bilerek hazırlığı ayarlamak için bunu kullanabilir.- Dokuz yeni işlem eklendi:
BATCH_TO_SPACE_ND
,DIV
,MEAN
,PAD
,SPACE_TO_BATCH_ND
,SQUEEZE
,STRIDED_SLICE
,SUB
,TRANSPOSE
. - Bir uygulama,
Model.relaxComputationFloat32toFloat16
değerinitrue
olarak ayarlayarak 32 bit kayan hesaplamaların 16 bit kayan aralık ve/veya hassasiyet kullanılarak çalıştırılabileceğini belirtebilir.Capabilities
yapısındarelaxedFloat32toFloat16Performance
ek alanı bulunur. Böylece sürücü, esnek performansını çerçeveye bildirebilir.
Android 8.1
İlk Nöral Ağ HAL'si (1.0) Android 8.1'de kullanıma sunulmuştur. Daha fazla bilgi için /neuralnetworks/1.0/
sayfasını inceleyin.