Как диагностировать сбои в работе нативных приложений

В разделах ниже описаны распространенные типы сбоев на уровне ОС, приведен пример анализа аварийного дампа и рассказано о файлах tombstone. Для каждого типа сбоя приведен пример выходных данных debuggerd с выделенными ключевыми доказательствами, которые помогут вам определить, какой именно сбой произошел.

Отменить

Прерывания интересны тем, что они выполняются намеренно. Существует множество способов прерывания (включая вызов abort(3), сбой assert(3), использование одного из типов фатального ведения журнала, характерных для Android), но все они включают вызов abort. Вызов abort отправляет вызывающему потоку сигнал SIGABRT, поэтому в выходных данных debuggerd нужно искать фрейм с сообщением "abort" в libc.so и сигнал SIGABRT.

В нем может быть строка "abort message" (сообщение об отмене). Также следует посмотреть в выходных данных logcat, что этот поток зарегистрировал до того, как намеренно завершил работу, поскольку, в отличие от assert(3) или высокоуровневых средств регистрации фатальных ошибок, abort(3) не принимает сообщения.

В текущих версиях Android системный вызов tgkill(2) встроен, поэтому их стеки проще всего читать, а вызов abort(3) находится в самом верху:

pid: 4637, tid: 4637, name: crasher  >>> crasher <<<
signal 6 (SIGABRT), code -6 (SI_TKILL), fault addr --------
Abort message: 'some_file.c:123: some_function: assertion "false" failed'
    r0  00000000  r1  0000121d  r2  00000006  r3  00000008
    r4  0000121d  r5  0000121d  r6  ffb44a1c  r7  0000010c
    r8  00000000  r9  00000000  r10 00000000  r11 00000000
    ip  ffb44c20  sp  ffb44a08  lr  eace2b0b  pc  eace2b16
backtrace:
    #00 pc 0001cb16  /system/lib/libc.so (abort+57)
    #01 pc 0001cd8f  /system/lib/libc.so (__assert2+22)
    #02 pc 00001531  /system/bin/crasher (do_action+764)
    #03 pc 00002301  /system/bin/crasher (main+68)
    #04 pc 0008a809  /system/lib/libc.so (__libc_init+48)
    #05 pc 00001097  /system/bin/crasher (_start_main+38)

В более ранних версиях Android путь между исходным вызовом прерывания (кадр 4) и фактической отправкой сигнала (кадр 0) был более сложным. Это было особенно заметно на 32-битных ARM, где к последовательности raise/pthread_kill/tgkill, используемой на других платформах, добавлялся кадр __libc_android_abort (здесь это кадр 3):

pid: 1656, tid: 1656, name: crasher  >>> crasher <<<
signal 6 (SIGABRT), code -6 (SI_TKILL), fault addr --------
Abort message: 'some_file.c:123: some_function: assertion "false" failed'
    r0 00000000  r1 00000678  r2 00000006  r3 f70b6dc8
    r4 f70b6dd0  r5 f70b6d80  r6 00000002  r7 0000010c
    r8 ffffffed  r9 00000000  sl 00000000  fp ff96ae1c
    ip 00000006  sp ff96ad18  lr f700ced5  pc f700dc98  cpsr 400b0010
backtrace:
    #00 pc 00042c98  /system/lib/libc.so (tgkill+12)
    #01 pc 00041ed1  /system/lib/libc.so (pthread_kill+32)
    #02 pc 0001bb87  /system/lib/libc.so (raise+10)
    #03 pc 00018cad  /system/lib/libc.so (__libc_android_abort+34)
    #04 pc 000168e8  /system/lib/libc.so (abort+4)
    #05 pc 0001a78f  /system/lib/libc.so (__libc_fatal+16)
    #06 pc 00018d35  /system/lib/libc.so (__assert2+20)
    #07 pc 00000f21  /system/xbin/crasher
    #08 pc 00016795  /system/lib/libc.so (__libc_init+44)
    #09 pc 00000abc  /system/xbin/crasher

Вы можете воспроизвести экземпляр этого типа сбоя, используя crasher abort.

Чистое разыменование нулевого указателя

Это классический сбой на уровне ОС. Хотя он является частным случаем следующего типа сбоя, его стоит упомянуть отдельно, поскольку он обычно требует наименьшего внимания.

В приведенном ниже примере, хотя функция, вызвавшая сбой, находится в libc.so, поскольку строковые функции работают только с указателями, которые им передаются, можно сделать вывод, что strlen(3) была вызвана с нулевым указателем. Поэтому информация о сбое должна быть отправлена автору вызывающего кода. В данном случае это кадр #01.

pid: 25326, tid: 25326, name: crasher  >>> crasher <<<
signal 11 (SIGSEGV), code 1 (SEGV_MAPERR), fault addr 0x0
    r0 00000000  r1 00000000  r2 00004c00  r3 00000000
    r4 ab088071  r5 fff92b34  r6 00000002  r7 fff92b40
    r8 00000000  r9 00000000  sl 00000000  fp fff92b2c
    ip ab08cfc4  sp fff92a08  lr ab087a93  pc efb78988  cpsr 600d0030

backtrace:
    #00 pc 00019988  /system/lib/libc.so (strlen+71)
    #01 pc 00001a8f  /system/xbin/crasher (strlen_null+22)
    #02 pc 000017cd  /system/xbin/crasher (do_action+948)
    #03 pc 000020d5  /system/xbin/crasher (main+100)
    #04 pc 000177a1  /system/lib/libc.so (__libc_init+48)
    #05 pc 000010e4  /system/xbin/crasher (_start+96)

Вы можете воспроизвести экземпляр этого типа сбоя, используя crasher strlen-NULL.

Разыменование нулевого указателя по низкому адресу

Во многих случаях адрес ошибки будет не нулевым, а каким-то другим небольшим числом. В частности, очень распространены двух- или трехзначные адреса, тогда как шестизначный адрес почти наверняка не является разыменованием нулевого указателя – для этого потребуется смещение в 1 МиБ. Обычно это происходит, когда код разыменовывает нулевой указатель, как если бы он был действительной структурой. Часто используемые функции: fprintf(3) (или любая другая функция, принимающая FILE*) и readdir(3), поскольку код часто не проверяет, успешно ли выполнен вызов fopen(3) или opendir(3).

Пример использования свойства readdir:

pid: 25405, tid: 25405, name: crasher  >>> crasher <<<
signal 11 (SIGSEGV), code 1 (SEGV_MAPERR), fault addr 0xc
    r0 0000000c  r1 00000000  r2 00000000  r3 3d5f0000
    r4 00000000  r5 0000000c  r6 00000002  r7 ff8618f0
    r8 00000000  r9 00000000  sl 00000000  fp ff8618dc
    ip edaa6834  sp ff8617a8  lr eda34a1f  pc eda618f6  cpsr 600d0030

backtrace:
    #00 pc 000478f6  /system/lib/libc.so (pthread_mutex_lock+1)
    #01 pc 0001aa1b  /system/lib/libc.so (readdir+10)
    #02 pc 00001b35  /system/xbin/crasher (readdir_null+20)
    #03 pc 00001815  /system/xbin/crasher (do_action+976)
    #04 pc 000021e5  /system/xbin/crasher (main+100)
    #05 pc 000177a1  /system/lib/libc.so (__libc_init+48)
    #06 pc 00001110  /system/xbin/crasher (_start+96)

Прямая причина сбоя заключается в том, что pthread_mutex_lock(3) попытался получить доступ к адресу 0xc (кадр 0). Но сначала функция pthread_mutex_lock разыменовывает элемент state объекта pthread_mutex_t*, который ей был передан. Если вы посмотрите на источник, то увидите, что элемент находится в структуре со смещением 0, а значит, pthread_mutex_lock получил недопустимый указатель 0xc. Из фрейма 1 видно, что указатель был передан объектом readdir, который извлекает поле mutex_ из объекта DIR*. Исходя из этой структуры, можно увидеть, что mutex_ находится на смещении sizeof(int) + sizeof(size_t) + sizeof(dirent*) в struct DIR, что на 32-битном устройстве составляет 4 + 4 + 4 = 12 = 0xc. Таким образом, вы нашли ошибку: вызывающая функция передала в readdir нулевой указатель. На этом этапе вы можете вставить стек в инструмент стека, чтобы узнать, где в logcat произошла ошибка.

  struct DIR {
    int fd_;
    size_t available_bytes_;
    dirent* next_;
    pthread_mutex_t mutex_;
    dirent buff_[15];
    long current_pos_;
  };

В большинстве случаев этот анализ можно пропустить. Если адрес ошибки достаточно низкий, обычно можно пропустить все фреймы libc.so в стеке и напрямую обвинить вызывающий код. Но не всегда, и вот как вы бы представили убедительные аргументы.

Воспроизвести такие сбои можно с помощью crasher fprintf-NULL или crasher readdir-NULL.

Сбой FORTIFY

Сбой FORTIFY – это особый случай прерывания, который происходит, когда библиотека C обнаруживает проблему, которая может привести к уязвимости в системе безопасности. Многие функции библиотеки C укреплены. Они принимают дополнительный аргумент, который сообщает им, насколько велик буфер на самом деле, и проверяют во время выполнения, действительно ли подходит операция, которую вы пытаетесь выполнить. Вот пример, в котором код пытается read(fd, buf, 32) в буфер, размер которого составляет всего 10 байт.

pid: 25579, tid: 25579, name: crasher  >>> crasher <<<
signal 6 (SIGABRT), code -6 (SI_TKILL), fault addr --------
Abort message: 'FORTIFY: read: prevented 32-byte write into 10-byte buffer'
    r0 00000000  r1 000063eb  r2 00000006  r3 00000008
    r4 ff96f350  r5 000063eb  r6 000063eb  r7 0000010c
    r8 00000000  r9 00000000  sl 00000000  fp ff96f49c
    ip 00000000  sp ff96f340  lr ee83ece3  pc ee86ef0c  cpsr 000d0010

backtrace:
    #00 pc 00049f0c  /system/lib/libc.so (tgkill+12)
    #01 pc 00019cdf  /system/lib/libc.so (abort+50)
    #02 pc 0001e197  /system/lib/libc.so (__fortify_fatal+30)
    #03 pc 0001baf9  /system/lib/libc.so (__read_chk+48)
    #04 pc 0000165b  /system/xbin/crasher (do_action+534)
    #05 pc 000021e5  /system/xbin/crasher (main+100)
    #06 pc 000177a1  /system/lib/libc.so (__libc_init+48)
    #07 pc 00001110  /system/xbin/crasher (_start+96)

Вы можете воспроизвести сбой этого типа, используя crasher fortify.

Обнаружено повреждение стека, вызванное параметром -fstack-protector

Параметр компилятора -fstack-protector вставляет проверки в функции с буферами в стеке, чтобы защитить от переполнения буфера. Этот параметр по умолчанию включен для кода платформы, но не для приложений. Если этот параметр включен, компилятор добавляет в пролог функции инструкции, которые записывают случайное значение сразу после последней локальной переменной в стеке, а в эпилог функции – инструкции, которые считывают это значение и проверяют, не изменилось ли оно. Если это значение изменилось, оно было перезаписано из-за переполнения буфера, поэтому эпилог вызывает __stack_chk_fail, чтобы зарегистрировать сообщение и прервать выполнение.

pid: 26717, tid: 26717, name: crasher  >>> crasher <<<
signal 6 (SIGABRT), code -6 (SI_TKILL), fault addr --------
Abort message: 'stack corruption detected'
    r0 00000000  r1 0000685d  r2 00000006  r3 00000008
    r4 ffd516d8  r5 0000685d  r6 0000685d  r7 0000010c
    r8 00000000  r9 00000000  sl 00000000  fp ffd518bc
    ip 00000000  sp ffd516c8  lr ee63ece3  pc ee66ef0c  cpsr 000e0010

backtrace:
    #00 pc 00049f0c  /system/lib/libc.so (tgkill+12)
    #01 pc 00019cdf  /system/lib/libc.so (abort+50)
    #02 pc 0001e07d  /system/lib/libc.so (__libc_fatal+24)
    #03 pc 0004863f  /system/lib/libc.so (__stack_chk_fail+6)
    #04 pc 000013ed  /system/xbin/crasher (smash_stack+76)
    #05 pc 00001591  /system/xbin/crasher (do_action+280)
    #06 pc 00002219  /system/xbin/crasher (main+100)
    #07 pc 000177a1  /system/lib/libc.so (__libc_init+48)
    #08 pc 00001144  /system/xbin/crasher (_start+96)

Отличить этот тип сбоя от других можно по наличию __stack_chk_fail в обратной трассировке и по определенному сообщению о сбое.

Вы можете воспроизвести экземпляр этого типа сбоя, используя crasher smash-stack.

Seccomp SIGSYS из-за запрещенного системного вызова

Система seccomp (в частности, seccomp-bpf) ограничивает доступ к системным вызовам. Дополнительную информацию о seccomp для разработчиков платформы можно найти в записи блога Фильтр Seccomp в Android O. Поток, вызывающий запрещенный системный вызов, получит сигнал SIGSYS с кодом SYS_SECCOMP. Номер системного вызова будет указан в строке причины вместе с архитектурой. Важно отметить, что номера системных вызовов различаются в зависимости от архитектуры. Например, системный вызов readlinkat(2) имеет номер 305 на x86 и 267 на x86-64. Номер вызова снова отличается в версиях для ARM и ARM64. Поскольку номера системных вызовов различаются в зависимости от архитектуры, обычно проще использовать трассировку стека, чтобы узнать, какой системный вызов был запрещен, чем искать номер системного вызова в заголовках.

pid: 11046, tid: 11046, name: crasher  >>> crasher <<<
signal 31 (SIGSYS), code 1 (SYS_SECCOMP), fault addr --------
Cause: seccomp prevented call to disallowed arm system call 99999
    r0 cfda0444  r1 00000014  r2 40000000  r3 00000000
    r4 00000000  r5 00000000  r6 00000000  r7 0001869f
    r8 00000000  r9 00000000  sl 00000000  fp fffefa58
    ip fffef898  sp fffef888  lr 00401997  pc f74f3658  cpsr 600f0010

backtrace:
    #00 pc 00019658  /system/lib/libc.so (syscall+32)
    #01 pc 00001993  /system/bin/crasher (do_action+1474)
    #02 pc 00002699  /system/bin/crasher (main+68)
    #03 pc 0007c60d  /system/lib/libc.so (__libc_init+48)
    #04 pc 000011b0  /system/bin/crasher (_start_main+72)

Запрещенные системные вызовы можно отличить от других сбоев по наличию SYS_SECCOMP в строке сигнала и описанию в строке причины.

Вы можете воспроизвести экземпляр этого типа сбоя, используя crasher seccomp.

Нарушение в памяти, предназначенной только для выполнения (только Android 10)

Только для архитектуры arm64 в Android 10 исполняемые сегменты двоичных файлов и библиотек были сопоставлены с памятью, доступной только для выполнения (не для чтения), в качестве метода защиты от атак с повторным использованием кода. Эта мера защиты плохо взаимодействовала с другими мерами и была позже удалена.

Если код будет нечитаемым, то при попытке прочитать сегменты памяти, помеченные как "только для выполнения", будет возникать ошибка SIGSEGV с кодом SEGV_ACCERR. Это может произойти из-за ошибки, уязвимости, смешения данных с кодом (например, пула литералов) или намеренного исследования памяти.

Компилятор предполагает, что код и данные не смешиваются, но проблемы могут возникнуть из-за написанной вручную сборки. Во многих случаях это можно исправить, просто переместив константы в раздел .data. Если вам необходимо выполнить интроспекцию кода в исполняемых разделах, сначала вызовите mprotect(2), чтобы сделать код доступным для чтения, а затем снова вызовите эту функцию, чтобы сделать код недоступным после завершения операции.

pid: 2938, tid: 2940, name: crasher64  >>> crasher64 <<<
signal 11 (SIGSEGV), code 2 (SEGV_ACCERR), fault addr 0x5f2ced24a8
Cause: execute-only (no-read) memory access error; likely due to data in .text.
    x0  0000000000000000  x1  0000005f2cecf21f  x2  0000000000000078  x3  0000000000000053
    x4  0000000000000074  x5  8000000000000000  x6  ff71646772607162  x7  00000020dcf0d16c
    x8  0000005f2ced24a8  x9  000000781251c55e  x10 0000000000000000  x11 0000000000000000
    x12 0000000000000014  x13 ffffffffffffffff  x14 0000000000000002  x15 ffffffffffffffff
    x16 0000005f2ced52f0  x17 00000078125c0ed8  x18 0000007810e8e000  x19 00000078119fbd50
    x20 00000078125d6020  x21 00000078119fbd50  x22 00000b7a00000b7a  x23 00000078119fbdd8
    x24 00000078119fbd50  x25 00000078119fbd50  x26 00000078119fc018  x27 00000078128ea020
    x28 00000078119fc020  x29 00000078119fbcb0
    sp  00000078119fba40  lr  0000005f2ced1b94  pc  0000005f2ced1ba4

backtrace:
      #00 pc 0000000000003ba4  /system/bin/crasher64 (do_action+2348)
      #01 pc 0000000000003234  /system/bin/crasher64 (thread_callback+44)
      #02 pc 00000000000e2044  /apex/com.android.runtime/lib64/bionic/libc.so (__pthread_start(void*)+36)
      #03 pc 0000000000083de0  /apex/com.android.runtime/lib64/bionic/libc.so (__start_thread+64)

Нарушения, связанные с памятью, доступной только для выполнения, можно отличить от других сбоев по строке причины.

Вы можете воспроизвести сбой этого типа с помощью crasher xom.

Ошибка, обнаруженная fdsan

Санитайзер дескрипторов файлов fdsan в Android помогает выявлять распространенные ошибки с дескрипторами файлов, такие как использование после закрытия и двойное закрытие. Подробную информацию об отладке (и предотвращении) ошибок этого класса можно найти в документации по fdsan.

pid: 32315, tid: 32315, name: crasher64  >>> crasher64 <<<
signal 35 (), code -1 (SI_QUEUE), fault addr --------
Abort message: 'attempted to close file descriptor 3, expected to be unowned, actually owned by FILE* 0x7d8e413018'
    x0  0000000000000000  x1  0000000000007e3b  x2  0000000000000023  x3  0000007fe7300bb0
    x4  3033313465386437  x5  3033313465386437  x6  3033313465386437  x7  3831303331346538
    x8  00000000000000f0  x9  0000000000000000  x10 0000000000000059  x11 0000000000000034
    x12 0000007d8ebc3a49  x13 0000007fe730077a  x14 0000007fe730077a  x15 0000000000000000
    x16 0000007d8ec9a7b8  x17 0000007d8ec779f0  x18 0000007d8f29c000  x19 0000000000007e3b
    x20 0000000000007e3b  x21 0000007d8f023020  x22 0000007d8f3b58dc  x23 0000000000000001
    x24 0000007fe73009a0  x25 0000007fe73008e0  x26 0000007fe7300ca0  x27 0000000000000000
    x28 0000000000000000  x29 0000007fe7300c90
    sp  0000007fe7300860  lr  0000007d8ec2f22c  pc  0000007d8ec2f250

backtrace:
      #00 pc 0000000000088250  /bionic/lib64/libc.so (fdsan_error(char const*, ...)+384)
      #01 pc 0000000000088060  /bionic/lib64/libc.so (android_fdsan_close_with_tag+632)
      #02 pc 00000000000887e8  /bionic/lib64/libc.so (close+16)
      #03 pc 000000000000379c  /system/bin/crasher64 (do_action+1316)
      #04 pc 00000000000049c8  /system/bin/crasher64 (main+96)
      #05 pc 000000000008021c  /bionic/lib64/libc.so (_start_main)

Отличить этот тип прерывания от других можно по наличию fdsan_error в трассировке стека и по сообщению о прерывании.

Воспроизвести сбой такого типа можно с помощью crasher fdsan_file или crasher fdsan_dir.

Как анализировать дампы памяти при сбоях

Если у вас нет конкретного сбоя, который вы исследуете прямо сейчас, исходный код платформы включает инструмент для тестирования debuggerd под названием crasher. Если вы mm в system/core/debuggerd/, то получите и crasher, и crasher64 (последний позволяет тестировать сбои 64-битных приложений). Crasher может аварийно завершать работу множеством интересных способов в зависимости от аргументов командной строки, которые вы указываете. Чтобы узнать, какие варианты поддерживаются в данный момент, используйте метод crasher --help.

Чтобы понять, из каких частей состоит дамп памяти, рассмотрим следующий пример:

*** *** *** *** *** *** *** *** *** *** *** *** *** *** *** ***
Build fingerprint: 'Android/aosp_flounder/flounder:5.1.51/AOSP/enh08201009:eng/test-keys'
Revision: '0'
ABI: 'arm'
pid: 1656, tid: 1656, name: crasher  >>> crasher <<<
signal 6 (SIGABRT), code -6 (SI_TKILL), fault addr --------
Abort message: 'some_file.c:123: some_function: assertion "false" failed'
    r0 00000000  r1 00000678  r2 00000006  r3 f70b6dc8
    r4 f70b6dd0  r5 f70b6d80  r6 00000002  r7 0000010c
    r8 ffffffed  r9 00000000  sl 00000000  fp ff96ae1c
    ip 00000006  sp ff96ad18  lr f700ced5  pc f700dc98  cpsr 400b0010
backtrace:
    #00 pc 00042c98  /system/lib/libc.so (tgkill+12)
    #01 pc 00041ed1  /system/lib/libc.so (pthread_kill+32)
    #02 pc 0001bb87  /system/lib/libc.so (raise+10)
    #03 pc 00018cad  /system/lib/libc.so (__libc_android_abort+34)
    #04 pc 000168e8  /system/lib/libc.so (abort+4)
    #05 pc 0001a78f  /system/lib/libc.so (__libc_fatal+16)
    #06 pc 00018d35  /system/lib/libc.so (__assert2+20)
    #07 pc 00000f21  /system/xbin/crasher
    #08 pc 00016795  /system/lib/libc.so (__libc_init+44)
    #09 pc 00000abc  /system/xbin/crasher
Tombstone written to: /data/tombstones/tombstone_06
*** *** *** *** *** *** *** *** *** *** *** *** *** *** *** ***

Строка звездочек с пробелами полезна, если вы ищете в журнале сбои, связанные с собственным кодом. Строка "*** ***" редко встречается в журналах, за исключением начала сбоя на уровне ОС.

Build fingerprint:
'Android/aosp_flounder/flounder:5.1.51/AOSP/enh08201009:eng/test-keys'

Отпечаток позволяет точно определить, в какой сборке произошел сбой. Это то же самое, что и системное свойство ro.build.fingerprint.

Revision: '0'

Ревизия относится к оборудованию, а не к программному обеспечению. Обычно этот параметр не используется, но он может быть полезен, чтобы автоматически игнорировать ошибки, вызванные неисправным оборудованием. Это то же самое, что и системное свойство ro.revision.

ABI: 'arm'

ABI может быть arm, arm64, x86 или x86-64. Это в основном полезно для stack скрипта, упомянутого выше, чтобы он знал, какую цепочку инструментов использовать.

pid: 1656, tid: 1656, name: crasher >>> crasher <<<

Эта строка указывает на конкретный поток в процессе, который дал сбой. В этом случае это основной поток процесса, поэтому идентификаторы процесса и потока совпадают. Первое название – это название потока, а название, окруженное символами >>> и <<<, – это название процесса. Для приложения название процесса обычно представляет собой полное название пакета (например, com.facebook.katana), которое полезно при отправке сообщений об ошибках или поиске приложения в Google Play. Идентификаторы pid и tid также могут быть полезны для поиска строк журнала, предшествующих сбою.

signal 6 (SIGABRT), code -6 (SI_TKILL), fault addr --------

Эта строка сообщает, какой сигнал (SIGABRT) был получен и как именно (SI_TKILL). Сигналы, о которых сообщает debuggerd: SIGABRT, SIGBUS, SIGFPE, SIGILL, SIGSEGV и SIGTRAP. Коды для разных сигналов различаются.

Abort message: 'some_file.c:123: some_function: assertion "false" failed'

Не все сбои сопровождаются сообщением об отмене, но все отмены – да. Она автоматически собирается из последней строки выходных данных fatal logcat для этого pid/tid и в случае преднамеренного прерывания, скорее всего, объясняет, почему программа завершила работу.

r0 00000000 r1 00000678 r2 00000006 r3 f70b6dc8
r4 f70b6dd0 r5 f70b6d80 r6 00000002 r7 0000010c
r8 ffffffed r9 00000000 sl 00000000 fp ff96ae1c
ip 00000006 sp ff96ad18 lr f700ced5 pc f700dc98 cpsr 400b0010

Дамп регистров содержит содержимое регистров ЦП на момент получения сигнала. (Этот раздел сильно различается в разных ABI.) Полезность этих данных зависит от характера сбоя.

backtrace:
    #00 pc 00042c98 /system/lib/libc.so (tgkill+12)
    #01 pc 00041ed1 /system/lib/libc.so (pthread_kill+32)
    #02 pc 0001bb87 /system/lib/libc.so (raise+10)
    #03 pc 00018cad /system/lib/libc.so (__libc_android_abort+34)
    #04 pc 000168e8 /system/lib/libc.so (abort+4)
    #05 pc 0001a78f /system/lib/libc.so (__libc_fatal+16)
    #06 pc 00018d35 /system/lib/libc.so (__assert2+20)
    #07 pc 00000f21 /system/xbin/crasher
    #08 pc 00016795 /system/lib/libc.so (__libc_init+44)
    #09 pc 00000abc /system/xbin/crasher

Трассировка стека показывает, в каком месте кода произошел сбой. В первом столбце указан номер фрейма (в соответствии со стилем gdb, где самый глубокий фрейм имеет номер 0). Значения PC указываются относительно местоположения общей библиотеки, а не абсолютных адресов. В следующем столбце указано название сопоставленного региона (обычно это общая библиотека или исполняемый файл, но может быть и что-то другое, например код, скомпилированный JIT). Наконец, если доступны символы, показывается символ, соответствующий значению PC, и смещение в байтах. Вы можете использовать его вместе с objdump(1), чтобы найти соответствующую инструкцию ассемблера.

Чтение маркеров удаления данных

Tombstone written to: /data/tombstones/tombstone_06

Это значит, что debuggerd добавил дополнительную информацию. debuggerd будет хранить до 10 надгробий, циклически перебирая числа от 00 до 09 и при необходимости перезаписывая существующие надгробия.

В нем содержится та же информация, что и в дампе памяти, а также некоторые дополнительные сведения. Например, в него входят трассировки стека для всех потоков (а не только того, в котором произошел сбой), регистры с плавающей запятой, необработанные дампы стека и дампы памяти вокруг адресов в регистрах. Кроме того, в нем содержится полная карта памяти (как в /proc/pid/maps). Ниже приведен пример с аннотациями, в котором показан сбой 32-битного процесса ARM.

memory map: (fault address prefixed with --->)
--->ab15f000-ab162fff r-x 0 4000 /system/xbin/crasher (BuildId:
b9527db01b5cf8f5402f899f64b9b121)

Здесь нужно учитывать два момента. Во-первых, эта строка начинается с "--->". Во-вторых, карты наиболее полезны, когда сбой не связан с разыменованием нулевого указателя. Если адрес сбоя небольшой, то, скорее всего, это вариант разыменования нулевого указателя. В противном случае посмотрите на карты вокруг адреса ошибки. Это может помочь вам понять, что произошло. Вот некоторые проблемы, которые можно обнаружить, изучив карты:

  • Чтение/запись за пределами блока памяти.
  • Чтение/запись до начала блока памяти.
  • Попытки выполнить не код.
  • Выход за пределы стека.
  • Попытки записи в код (как в примере выше).

Во-вторых, обратите внимание, что в исполняемых файлах и файлах общих библиотек в Android 6.0 и более поздних версий будет показываться BuildId (если он есть), поэтому вы сможете точно определить, какая версия вашего кода вызвала сбой. В двоичные файлы платформы по умолчанию включается BuildId, начиная с Android 6.0. NDK r12 и более поздние версии также автоматически передают -Wl,--build-id компоновщику.

ab163000-ab163fff r--      3000      1000  /system/xbin/crasher
ab164000-ab164fff rw-         0      1000
f6c80000-f6d7ffff rw-         0    100000  [anon:libc_malloc]

В Android куча не обязательно представляет собой один регион. Области кучи будут помечены значком [anon:libc_malloc].

f6d82000-f6da1fff r--         0     20000  /dev/__properties__/u:object_r:logd_prop:s0
f6da2000-f6dc1fff r--         0     20000  /dev/__properties__/u:object_r:default_prop:s0
f6dc2000-f6de1fff r--         0     20000  /dev/__properties__/u:object_r:logd_prop:s0
f6de2000-f6de5fff r-x         0      4000  /system/lib/libnetd_client.so (BuildId: 08020aa06ed48cf9f6971861abf06c9d)
f6de6000-f6de6fff r--      3000      1000  /system/lib/libnetd_client.so
f6de7000-f6de7fff rw-      4000      1000  /system/lib/libnetd_client.so
f6dec000-f6e74fff r-x         0     89000  /system/lib/libc++.so (BuildId: 8f1f2be4b37d7067d366543fafececa2) (load base 0x2000)
f6e75000-f6e75fff ---         0      1000
f6e76000-f6e79fff r--     89000      4000  /system/lib/libc++.so
f6e7a000-f6e7afff rw-     8d000      1000  /system/lib/libc++.so
f6e7b000-f6e7bfff rw-         0      1000  [anon:.bss]
f6e7c000-f6efdfff r-x         0     82000  /system/lib/libc.so (BuildId: d189b369d1aafe11feb7014d411bb9c3)
f6efe000-f6f01fff r--     81000      4000  /system/lib/libc.so
f6f02000-f6f03fff rw-     85000      2000  /system/lib/libc.so
f6f04000-f6f04fff rw-         0      1000  [anon:.bss]
f6f05000-f6f05fff r--         0      1000  [anon:.bss]
f6f06000-f6f0bfff rw-         0      6000  [anon:.bss]
f6f0c000-f6f21fff r-x         0     16000  /system/lib/libcutils.so (BuildId: d6d68a419dadd645ca852cd339f89741)
f6f22000-f6f22fff r--     15000      1000  /system/lib/libcutils.so
f6f23000-f6f23fff rw-     16000      1000  /system/lib/libcutils.so
f6f24000-f6f31fff r-x         0      e000  /system/lib/liblog.so (BuildId: e4d30918d1b1028a1ba23d2ab72536fc)
f6f32000-f6f32fff r--      d000      1000  /system/lib/liblog.so
f6f33000-f6f33fff rw-      e000      1000  /system/lib/liblog.so

Как правило, в общей библиотеке три записи расположены рядом. Один из них доступен для чтения и выполнения (код), второй – только для чтения (данные, доступные только для чтения), а третий – для чтения и записи (изменяемые данные). В первом столбце показаны диапазоны адресов для сопоставления, во втором – разрешения (в обычном стиле Unix ls(1)), в третьем – смещение в файле (в шестнадцатеричном формате), в четвертом – размер региона (в шестнадцатеричном формате), а в пятом – файл (или другое название региона).

f6f34000-f6f53fff r-x         0     20000  /system/lib/libm.so (BuildId: 76ba45dcd9247e60227200976a02c69b)
f6f54000-f6f54fff ---         0      1000
f6f55000-f6f55fff r--     20000      1000  /system/lib/libm.so
f6f56000-f6f56fff rw-     21000      1000  /system/lib/libm.so
f6f58000-f6f58fff rw-         0      1000
f6f59000-f6f78fff r--         0     20000  /dev/__properties__/u:object_r:default_prop:s0
f6f79000-f6f98fff r--         0     20000  /dev/__properties__/properties_serial
f6f99000-f6f99fff rw-         0      1000  [anon:linker_alloc_vector]
f6f9a000-f6f9afff r--         0      1000  [anon:atexit handlers]
f6f9b000-f6fbafff r--         0     20000  /dev/__properties__/properties_serial
f6fbb000-f6fbbfff rw-         0      1000  [anon:linker_alloc_vector]
f6fbc000-f6fbcfff rw-         0      1000  [anon:linker_alloc_small_objects]
f6fbd000-f6fbdfff rw-         0      1000  [anon:linker_alloc_vector]
f6fbe000-f6fbffff rw-         0      2000  [anon:linker_alloc]
f6fc0000-f6fc0fff r--         0      1000  [anon:linker_alloc]
f6fc1000-f6fc1fff rw-         0      1000  [anon:linker_alloc_lob]
f6fc2000-f6fc2fff r--         0      1000  [anon:linker_alloc]
f6fc3000-f6fc3fff rw-         0      1000  [anon:linker_alloc_vector]
f6fc4000-f6fc4fff rw-         0      1000  [anon:linker_alloc_small_objects]
f6fc5000-f6fc5fff rw-         0      1000  [anon:linker_alloc_vector]
f6fc6000-f6fc6fff rw-         0      1000  [anon:linker_alloc_small_objects]
f6fc7000-f6fc7fff rw-         0      1000  [anon:arc4random _rsx structure]
f6fc8000-f6fc8fff rw-         0      1000  [anon:arc4random _rs structure]
f6fc9000-f6fc9fff r--         0      1000  [anon:atexit handlers]
f6fca000-f6fcafff ---         0      1000  [anon:thread signal stack guard page]

Начиная с Android 5.0 библиотека C присваивает названия большинству анонимных сопоставленных регионов, поэтому неопознанных регионов становится меньше.

f6fcb000-f6fccfff rw- 0 2000 [stack:5081]

Регионы с названием [stack:tid] – это стеки для указанных потоков.

f6fcd000-f702afff r-x         0     5e000  /system/bin/linker (BuildId: 84f1316198deee0591c8ac7f158f28b7)
f702b000-f702cfff r--     5d000      2000  /system/bin/linker
f702d000-f702dfff rw-     5f000      1000  /system/bin/linker
f702e000-f702ffff rw-         0      2000
f7030000-f7030fff r--         0      1000
f7031000-f7032fff rw-         0      2000
ffcd7000-ffcf7fff rw-         0     21000
ffff0000-ffff0fff r-x         0      1000  [vectors]

В зависимости от архитектуры вы увидите [vector] или [vdso]. В архитектуре ARM используется [vector], а во всех остальных – [vdso].