Teste de performance

O Android 8.0 inclui testes de desempenho de binder e hwbinder para taxa de transferência e latência. Embora existam muitos cenários para detectar problemas de desempenho perceptíveis, a execução de tais cenários pode ser demorada e os resultados geralmente ficam indisponíveis até que o sistema seja integrado. O uso dos testes de desempenho fornecidos facilita o teste durante o desenvolvimento, detecta problemas sérios antecipadamente e melhora a experiência do usuário.

Os testes de desempenho incluem as quatro categorias a seguir:

• taxa de transferência do fichário (disponível em system/libhwbinder/vts/performance/Benchmark_binder.cpp )
• latência do fichário (disponível em frameworks/native/libs/binder/tests/schd-dbg.cpp )
• taxa de transferência do hwbinder (disponível em system/libhwbinder/vts/performance/Benchmark.cpp )
• latência do hwbinder (disponível em system/libhwbinder/vts/performance/Latency.cpp )

Sobre fichário e hwbinder

Binder e hwbinder são infraestruturas de comunicação entre processos (IPC) Android que compartilham o mesmo driver Linux, mas têm as seguintes diferenças qualitativas:

Processos Binder e Hwbinder

Um visualizador do systrace exibe as transações da seguinte forma:

No exemplo acima:

• Os quatro (4) processos schd-dbg são processos clientes.
• Os quatro (4) processos do binder são processos do servidor (o nome começa com Binder e termina com um número de sequência).
• Um processo cliente está sempre emparelhado com um processo servidor, que é dedicado ao seu cliente.
• Todos os pares de processos cliente-servidor são agendados de forma independente pelo kernel simultaneamente.

Na CPU 1, o kernel do SO executa o cliente para emitir a solicitação. Em seguida, ele usa a mesma CPU sempre que possível para ativar um processo do servidor, manipular a solicitação e retornar o contexto após a conclusão da solicitação.

Taxa de transferência vs. latência

Em uma transação perfeita, onde os processos cliente e servidor alternam perfeitamente, os testes de rendimento e latência não produzem mensagens substancialmente diferentes. No entanto, quando o kernel do sistema operacional está tratando uma solicitação de interrupção (IRQ) do hardware, aguardando bloqueios ou simplesmente optando por não tratar uma mensagem imediatamente, uma bolha de latência pode se formar.

O teste de rendimento gera um grande número de transações com diferentes tamanhos de carga útil, fornecendo uma boa estimativa para o tempo regular da transação (na melhor das hipóteses) e o rendimento máximo que o fichário pode atingir.

Em contraste, o teste de latência não executa nenhuma ação na carga útil para minimizar o tempo normal da transação. Podemos usar o tempo de transação para estimar a sobrecarga do fichário, fazer estatísticas para o pior caso e calcular a proporção de transações cuja latência atende a um prazo especificado.

Lidar com inversões de prioridade

Uma inversão de prioridade ocorre quando um thread com prioridade mais alta está aguardando logicamente por um thread com prioridade mais baixa. Aplicações em tempo real (RT) têm um problema de inversão de prioridade:

Ao usar o agendamento do Linux Completely Fair Scheduler (CFS), um thread sempre tem a chance de ser executado mesmo quando outros threads têm uma prioridade mais alta. Como resultado, aplicações com escalonamento CFS tratam a inversão de prioridade como um comportamento esperado e não como um problema. Entretanto, nos casos em que o framework Android precisa de escalonamento de RT para garantir o privilégio de threads de alta prioridade, a inversão de prioridade deve ser resolvida.

Exemplo de inversão de prioridade durante uma transação do binder (o thread RT é logicamente bloqueado por outros threads CFS ao aguardar o serviço de um thread do binder):

Para evitar bloqueios, você pode usar a herança de prioridade para escalar temporariamente o encadeamento Binder para um encadeamento RT quando ele atender uma solicitação de um cliente RT. Lembre-se de que o agendamento do RT tem recursos limitados e deve ser usado com cautela. Em um sistema com n CPUs, o número máximo de threads RT atuais também é n ; threads RT adicionais podem precisar esperar (e, portanto, perder seus prazos) se todas as CPUs forem ocupadas por outros threads RT.

Para resolver todas as possíveis inversões de prioridade, você poderia usar herança de prioridade tanto para o binder quanto para o hwbinder. No entanto, como o binder é amplamente utilizado em todo o sistema, permitir a herança de prioridade para transações do binder pode enviar spam ao sistema com mais threads RT do que ele pode atender.

Execute testes de rendimento

O teste de rendimento é executado em relação ao rendimento da transação binder/hwbinder. Num sistema que não está sobrecarregado, as bolhas de latência são raras e o seu impacto pode ser eliminado desde que o número de iterações seja suficientemente elevado.

• O teste de rendimento do fichário está em system/libhwbinder/vts/performance/Benchmark_binder.cpp .
• O teste de rendimento do hwbinder está em system/libhwbinder/vts/performance/Benchmark.cpp .

Resultado dos testes

Exemplo de resultados de teste de rendimento para transações usando diferentes tamanhos de carga útil:

Benchmark                      Time          CPU           Iterations
---------------------------------------------------------------------
BM_sendVec_binderize/4         70302 ns      32820 ns      21054
BM_sendVec_binderize/8         69974 ns      32700 ns      21296
BM_sendVec_binderize/16        70079 ns      32750 ns      21365
BM_sendVec_binderize/32        69907 ns      32686 ns      21310
BM_sendVec_binderize/64        70338 ns      32810 ns      21398
BM_sendVec_binderize/128       70012 ns      32768 ns      21377
BM_sendVec_binderize/256       69836 ns      32740 ns      21329
BM_sendVec_binderize/512       69986 ns      32830 ns      21296
BM_sendVec_binderize/1024      69714 ns      32757 ns      21319
BM_sendVec_binderize/2k        75002 ns      34520 ns      20305
BM_sendVec_binderize/4k        81955 ns      39116 ns      17895
BM_sendVec_binderize/8k        95316 ns      45710 ns      15350
BM_sendVec_binderize/16k      112751 ns      54417 ns      12679
BM_sendVec_binderize/32k      146642 ns      71339 ns       9901
BM_sendVec_binderize/64k      214796 ns     104665 ns       6495

• O tempo indica o atraso de ida e volta medido em tempo real.
• CPU indica o tempo acumulado quando as CPUs estão agendadas para o teste.
• Iterações indica o número de vezes que a função de teste foi executada.

Por exemplo, para uma carga útil de 8 bytes:

BM_sendVec_binderize/8         69974 ns      32700 ns      21296

… o rendimento máximo que o fichário pode atingir é calculado como:

Taxa de transferência MÁXIMA com carga útil de 8 bytes = (8 * 21296)/69974 ~= 2,423 b/ns ~= 2,268 Gb/s

Opções de teste

Para obter resultados em .json, execute o teste com o argumento --benchmark_format=json :

libhwbinder_benchmark --benchmark_format=json
{
  "context": {
    "date": "2017-05-17 08:32:47",
    "num_cpus": 4,
    "mhz_per_cpu": 19,
    "cpu_scaling_enabled": true,
    "library_build_type": "release"
  },
  "benchmarks": [
    {
      "name": "BM_sendVec_binderize/4",
      "iterations": 32342,
      "real_time": 47809,
      "cpu_time": 21906,
      "time_unit": "ns"
    },
   ….
}

Execute testes de latência

O teste de latência mede o tempo que leva para o cliente começar a inicializar a transação, mudar para o processo do servidor para tratamento e receber o resultado. O teste também procura comportamentos ruins conhecidos do agendador que podem impactar negativamente a latência da transação, como um agendador que não suporta herança de prioridade ou honra o sinalizador de sincronização.

• O teste de latência do fichário está em frameworks/native/libs/binder/tests/schd-dbg.cpp .
• O teste de latência do hwbinder está em system/libhwbinder/vts/performance/Latency.cpp .

Resultado dos testes

Os resultados (em .json) mostram estatísticas de latência média/melhor/pior e o número de prazos perdidos.

Opções de teste

Os testes de latência têm as seguintes opções:

As seções a seguir detalham cada opção, descrevem o uso e fornecem exemplos de resultados.

Especifique iterações

Exemplo com um grande número de iterações e saída detalhada desabilitada:

libhwbinder_latency -i 5000 -pair 3
{
"cfg":{"pair":3,"iterations":5000,"deadline_us":2500},
"P0":{"SYNC":"GOOD","S":9352,"I":10000,"R":0.9352,
  "other_ms":{ "avg":0.2 , "wst":2.8 , "bst":0.053, "miss":2, "meetR":0.9996},
  "fifo_ms": { "avg":0.16, "wst":1.5 , "bst":0.067, "miss":0, "meetR":1}
},
"P1":{"SYNC":"GOOD","S":9334,"I":10000,"R":0.9334,
  "other_ms":{ "avg":0.19, "wst":2.9 , "bst":0.055, "miss":2, "meetR":0.9996},
  "fifo_ms": { "avg":0.16, "wst":3.1 , "bst":0.066, "miss":1, "meetR":0.9998}
},
"P2":{"SYNC":"GOOD","S":9369,"I":10000,"R":0.9369,
  "other_ms":{ "avg":0.19, "wst":4.8 , "bst":0.055, "miss":6, "meetR":0.9988},
  "fifo_ms": { "avg":0.15, "wst":1.8 , "bst":0.067, "miss":0, "meetR":1}
},
"inheritance": "PASS"
}

Esses resultados de teste mostram o seguinte:

"pair":3

Cria um par de cliente e servidor.

"iterations": 5000

Inclui 5.000 iterações.

"deadline_us":2500

O prazo é 2500us (2,5ms); espera-se que a maioria das transações atinja esse valor.

"I": 10000

Uma única iteração de teste inclui duas (2) transações:

• Uma transação por prioridade normal ( CFS other )
• Uma transação por prioridade em tempo real ( RT-fifo )

5.000 iterações equivalem a um total de 10.000 transações.

"S": 9352

9352 das transações são sincronizadas na mesma CPU.

"R": 0.9352

Indica a proporção na qual o cliente e o servidor são sincronizados na mesma CPU.

"other_ms":{ "avg":0.2 , "wst":2.8 , "bst":0.053, "miss":2, "meetR":0.9996}

A média ( avg ), o pior ( wst ) e o melhor ( bst ) caso para todas as transações emitidas por um chamador de prioridade normal. Duas transações miss o prazo, fazendo com que o índice de encontro ( meetR ) seja 0,9996.

"fifo_ms": { "avg":0.16, "wst":1.5 , "bst":0.067, "miss":0, "meetR":1}

Semelhante a other_ms , mas para transações emitidas por cliente com prioridade rt_fifo . É provável (mas não obrigatório) que fifo_ms tenha um resultado melhor que other_ms , com valores avg e wst mais baixos e um meetR mais alto (a diferença pode ser ainda mais significativa com carga em segundo plano).

Observação: a carga em segundo plano pode afetar o resultado da taxa de transferência e a tupla other_ms no teste de latência. Somente o fifo_ms pode mostrar resultados semelhantes, desde que a carga em segundo plano tenha uma prioridade mais baixa que RT-fifo .

Especifique valores de pares

Cada processo cliente é emparelhado com um processo servidor dedicado ao cliente, e cada par pode ser escalonado independentemente para qualquer CPU. Entretanto, a migração da CPU não deve acontecer durante uma transação, desde que o sinalizador SYNC seja honor .

Certifique-se de que o sistema não esteja sobrecarregado! Embora seja esperada alta latência em um sistema sobrecarregado, os resultados dos testes para um sistema sobrecarregado não fornecem informações úteis. Para testar um sistema com pressão mais alta, use -pair #cpu-1 (ou -pair #cpu com cuidado). Testar usando -pair n with n > #cpu sobrecarrega o sistema e gera informações inúteis.

Especifique valores de prazo

Após extensos testes de cenários de usuário (executando o teste de latência em um produto qualificado), determinamos que 2,5 ms é o prazo a ser cumprido. Para novas aplicações com requisitos maiores (como 1000 fotos/segundo), esse valor de prazo será alterado.

Especifique a saída detalhada

Usar a opção -v exibe uma saída detalhada. Exemplo:

libhwbinder_latency -i 1 -v

--------------------------------------------------
service      pid: 8674 tid: 8674 cpu: 1
SCHED_OTHER 0
--------------------------------------------------
main         pid: 8673 tid: 8673 cpu: 1

--------------------------------------------------
client       pid: 8677 tid: 8677 cpu: 0
SCHED_OTHER 0

--------------------------------------------------
fifo-caller  pid: 8677 tid: 8678 cpu: 0
SCHED_FIFO  99

--------------------------------------------------
hwbinder     pid: 8674 tid: 8676 cpu: 0
???         99
--------------------------------------------------
other-caller pid: 8677 tid: 8677 cpu: 0
SCHED_OTHER 0

--------------------------------------------------
hwbinder     pid: 8674 tid: 8676 cpu: 0
SCHED_OTHER 0

• O thread de serviço é criado com prioridade SCHED_OTHER e executado em CPU:1 com pid 8674 .
• A primeira transação é então iniciada por um fifo-caller . Para atender esta transação, o hwbinder atualiza a prioridade do servidor ( pid: 8674 tid: 8676 ) para 99 e também a marca com uma classe de agendamento transitória (impressa como ??? ). O agendador então coloca o processo do servidor em CPU:0 para ser executado e sincroniza-o com a mesma CPU de seu cliente.
• O segundo chamador de transação tem prioridade SCHED_OTHER . O servidor faz downgrade e atende o chamador com prioridade SCHED_OTHER .

Usar rastreamento para depuração

Você pode especificar a opção -trace para depurar problemas de latência. Quando usado, o teste de latência interrompe a gravação do tracelog no momento em que uma latência ruim é detectada. Exemplo:

atrace --async_start -b 8000 -c sched idle workq binder_driver sync freq
libhwbinder_latency -deadline_us 50000 -trace -i 50000 -pair 3
deadline triggered: halt ∓ stop trace
log:/sys/kernel/debug/tracing/trace

Os seguintes componentes podem afetar a latência:

• Modo de compilação do Android . O modo Eng geralmente é mais lento que o modo userdebug.
• Estrutura . Como o serviço de estrutura usa ioctl para configurar o fichário?
• Driver do fichário . O driver suporta bloqueio refinado? Ele contém todos os patches de melhoria de desempenho?
• Versão do kernel . Quanto melhor a capacidade de tempo real do kernel, melhores serão os resultados.
• Configuração do kernel . A configuração do kernel contém configurações DEBUG como DEBUG_PREEMPT e DEBUG_SPIN_LOCK ?
• Agendador de kernel . O kernel possui um agendador Energy-Aware (EAS) ou um agendador Heterogeneous Multi-Processing (HMP)? Algum driver de kernel ( driver cpu-freq , driver cpu-idle , cpu-hotplug , etc.) afeta o agendador?