С 2026 года, чтобы обеспечить стабильность платформы для экосистемы, мы будем публиковать исходный код в AOSP во втором и четвертом кварталах. Это соответствует нашей модели разработки trunk stable. Для создания и внесения вклада в AOSP используйте android-latest-release. В ветке манифеста android-latest-release всегда будет указана последняя версия, загруженная в AOSP. Подробнее об изменениях в AOSP…

Чтобы переводить контент на ваш предпочитаемый язык, Google использует технологии на основе искусственного интеллекта. Переводы от ИИ могут содержать ошибки.

Как использовать ftrace

ftrace – это инструмент отладки, который позволяет понять, что происходит внутри ядра Linux. В следующих разделах подробно описаны основные функции ftrace, использование ftrace с atrace (для сбора событий ядра) и динамический ftrace.

Подробную информацию о расширенных функциях ftrace, недоступных в systrace, можно найти в документации по ftrace на сайте <kernel tree>/Documentation/trace/ftrace.txt.

Как записывать события ядра с помощью atrace

Утилита atrace (frameworks/native/cmds/atrace) использует ftrace для сбора событий ядра. В свою очередь, systrace.py (или run_systrace.py в более поздних версиях Catapult) использует adb для запуска atrace на устройстве. atrace выполняет следующие действия:

Настраивает трассировку в режиме пользователя, задавая свойство (debug.atrace.tags.enableflags).
Включает нужные функции ftrace, записывая данные в соответствующие узлы sysfs. Однако, поскольку ftrace поддерживает больше функций, вы можете самостоятельно задать некоторые узлы sysfs, а затем использовать atrace.

За исключением трассировки во время загрузки, для установки подходящего значения свойства следует использовать atrace. Это битовая маска, и определить правильные значения можно только посмотрев соответствующий заголовок (который может меняться в разных версиях Android).

Включить события ftrace

Узлы sysfs ftrace находятся в /sys/kernel/tracing, а события трассировки разделены на категории в /sys/kernel/tracing/events.

Чтобы включить события по категориям, используйте:

echo 1 > /sys/kernel/tracing/events/irq/enable

Чтобы включить события на уровне отдельных событий, используйте:

echo 1 > /sys/kernel/tracing/events/sched/sched_wakeup/enable

Если дополнительные события были включены путем записи в узлы sysfs, они не будут сброшены с помощью atrace. При настройке устройств Qualcomm часто включают точки трассировки kgsl (графический процессор) и mdss (конвейер дисплея), а затем используют atrace или systrace:

adb shell "echo 1 > /sys/kernel/tracing/events/mdss/enable"
adb shell "echo 1 > /sys/kernel/tracing/events/kgsl/enable"
./systrace.py sched freq idle am wm gfx view binder_driver irq workq ss sync -t 10 -b 96000 -o full_trace.html

Вы также можете использовать ftrace без atrace или systrace, что полезно, когда вам нужны трассировки только ядра (или если вы потратили время на то, чтобы вручную написать свойство трассировки в пользовательском режиме). Чтобы запустить только ftrace:

Установите размер буфера, достаточный для трассировки:
```
echo 96000 > /sys/kernel/tracing/buffer_size_kb
```

Включить трассировку:

echo 1 > /sys/kernel/tracing/tracing_on

Запустите тест, а затем отключите трассировку:
```
echo 0 > /sys/kernel/tracing/tracing_on
```

Чтобы сохранить трассировку:

cat /sys/kernel/tracing/trace > /data/local/tmp/trace_output

trace_output – трассировка в текстовом формате. Чтобы визуализировать его с помощью Catapult, получите хранилище Catapult с GitHub и запустите trace2html:

catapult/tracing/bin/trace2html ~/path/to/trace_file

По умолчанию в том же каталоге создается файл trace_file.html.

Сопоставление событий

Часто бывает полезно одновременно просматривать визуализацию Catapult и журнал ftrace. Например, некоторые события ftrace (особенно специфичные для поставщика) не визуализируются Catapult. Однако временные метки Catapult относительны: они отсчитываются от первого события в трассировке или от определенной временной метки, полученной с помощью atrace. Временные метки ftrace основаны на определенном абсолютном источнике времени в ядре Linux.

Чтобы найти событие ftrace по событию Catapult, выполните следующие действия:

Откройте необработанный журнал ftrace. В последних версиях systrace трассировки по умолчанию сжимаются:
- Если вы записали systrace с помощью --no-compress, то эта информация будет в HTML-файле в разделе, начинающемся с BEGIN TRACE.
- Если нет, запустите html2trace из дерева Catapult (tracing/bin/html2trace), чтобы распаковать трассировку.
Найдите относительную временную метку в визуализации Catapult.
Найдите в начале трассировки строку, содержащую tracing_mark_sync. Пример:
```
<5134>-5134  (-----) [003] ...1    68.104349: tracing_mark_write: trace_event_clock_sync: parent_ts=68.104286
```
Если этой строки нет (или вы использовали ftrace без atrace), то время будет отсчитываться от первого события в журнале ftrace.
1. Добавьте относительную временную метку (в миллисекундах) к значению в parent_ts (в секундах).
2. Найдите новую временную метку.

Вы должны оказаться на месте проведения мероприятия или очень близко к нему.

Как использовать динамическую трассировку функций

Если возможностей systrace и стандартного ftrace недостаточно, можно воспользоваться динамическим ftrace. Динамическая трассировка ftrace предполагает перезапись кода ядра после загрузки, поэтому она недоступна в рабочих ядрах из соображений безопасности. Однако все сложные ошибки производительности в версиях 2015 и 2016 годов были в конечном итоге выявлены с помощью динамической трассировки ftrace. Это особенно полезно для отладки непрерывных спящих режимов, поскольку вы можете получать трассировку стека в ядре каждый раз, когда вы нажимаете функцию, запускающую непрерывный спящий режим. Вы также можете отлаживать разделы с отключенными прерываниями и вытеснениями, что может быть очень полезно для подтверждения проблем.

Чтобы включить динамическую трассировку ftrace, измените файл defconfig ядра:

Удалите CONFIG_STRICT_MEMORY_RWX (если он есть). Если у вас версия 3.18 или более новая и архитектура arm64, его там нет.
Добавьте следующие строки: CONFIG_DYNAMIC_FTRACE=y, CONFIG_FUNCTION_TRACER=y, CONFIG_IRQSOFF_TRACER=y, CONFIG_FUNCTION_PROFILER=y и CONFIG_PREEMPT_TRACER=y.
Пересоберите и загрузите новое ядро.
Чтобы проверить доступные трассировщики, выполните следующую команду:
```
cat /sys/kernel/tracing/available_tracers
```
Убедитесь, что команда возвращает значения function, irqsoff, preemptoff и preemptirqsoff.
Чтобы убедиться, что динамическая трассировка ftrace работает, выполните следующую команду:
```
cat /sys/kernel/tracing/available_filter_functions | grep <a function you care about>
```

После выполнения этих шагов вам будут доступны динамическая трассировка ftrace, профилировщик функций, профилировщик irqsoff и профилировщик preemptoff. Мы настоятельно рекомендуем ознакомиться с документацией по ftrace, прежде чем использовать эти инструменты, поскольку они мощные, но сложные. irqsoff и preemptoff в основном полезны для подтверждения того, что драйверы могут оставлять прерывания или вытеснение отключенными слишком долго.

Профайлер функций лучше всего подходит для решения проблем с производительностью и часто используется для определения того, где вызывается функция.

Проблема: HDR-фото + поворот видоискателя

В этом случае при съемке фотографии в режиме HDR+ на Pixel XL и последующем повороте видоискателя изображение каждый раз дергалось. Мы использовали профилировщик функций, чтобы устранить проблему менее чем за час. Чтобы повторить действия из примера, скачайте ZIP-архив с трассировками (в нем также есть другие трассировки, упомянутые в этом разделе), распакуйте его и откройте файл trace_30898724.html в браузере.

В трассировке показано, что несколько потоков в процессе cameraserver заблокированы в режиме непрерываемого сна на ion_client_destroy. Это дорогостоящая функция, но ее следует вызывать очень редко, поскольку клиенты ion должны охватывать множество распределений. Сначала вину возложили на код Hexagon в Halide, который действительно был одним из виновников (он создавал нового клиента для каждого распределения иона и уничтожал этого клиента, когда распределение освобождалось, что было слишком дорого). Переход на одного клиента ion для всех распределений Hexagon улучшил ситуацию, но проблема не была решена.

На этом этапе нам нужно узнать, кто вызывает ion_client_destroy, поэтому воспользуемся профилировщиком функций:

Поскольку компилятор иногда переименовывает функции, убедитесь, что ion_client_destroy присутствует, с помощью следующей команды:
```
cat /sys/kernel/tracing/available_filter_functions | grep ion_client_destroy
```
После того как вы убедитесь, что он есть, используйте его в качестве фильтра ftrace:
```
echo ion_client_destroy > /sys/kernel/tracing/set_ftrace_filter
```
Включите профилировщик функций:
```
echo function > /sys/kernel/tracing/current_tracer
```
Включите трассировку стека при каждом вызове функции фильтра:
```
echo func_stack_trace > /sys/kernel/tracing/trace_options
```

Увеличьте размер буфера:

echo 64000 > /sys/kernel/tracing/buffer_size_kb

Включите трассировку:
```
echo 1 > /sys/kernel/tracing/trace_on
```
Запустите тест и получите трассировку:
```
cat /sys/kernel/tracing/trace > /data/local/tmp/trace
```

Посмотрите трассировку, чтобы увидеть множество трассировок стека:

    cameraserver-643   [003] ...1    94.192991: ion_client_destroy <-ion_release
    cameraserver-643   [003] ...1    94.192997: <stack trace>
 => ftrace_ops_no_ops
 => ftrace_graph_call
 => ion_client_destroy
 => ion_release
 => __fput
 => ____fput
 => task_work_run
 => do_notify_resume
 => work_pending

Проверка драйвера ion показала, что ion_client_destroy спамит функция пользовательского пространства, закрывающая дескриптор файла для /dev/ion, а не случайный драйвер ядра. Поиск по кодовой базе Android по запросу \"/dev/ion\" показывает, что некоторые драйверы поставщиков делают то же самое, что и драйвер Hexagon, и открывают/закрывают /dev/ion (создают и уничтожают нового клиента ion) каждый раз, когда им нужно новое выделение ion. Проблема была решена, когда мы перешли на использование одного клиента ion на протяжении всего процесса.

Если данные из профилировщика функций недостаточно конкретны, вы можете объединить точки трассировки ftrace с профилировщиком функций. События ftrace можно включить точно так же, как обычно, и они будут чередоваться с вашей трассировкой. Это удобно, если в определенной функции, которую вы хотите отладить, иногда происходит длительный непрерывный переход в спящий режим: задайте фильтр ftrace для нужной функции, включите точки трассировки и выполните трассировку. Вы можете проанализировать полученную трассировку с помощью trace2html, найти нужное событие, а затем получить ближайшие трассировки стека в необработанной трассировке.

Как использовать lockstat

Иногда ftrace недостаточно, и вам действительно нужно отладить то, что выглядит как конфликт блокировок ядра. Есть ещё один параметр ядра, который стоит попробовать: CONFIG_LOCK_STAT. Это крайняя мера, поскольку ее очень сложно реализовать на устройствах Android, так как она увеличивает размер ядра до значений, которые большинство устройств не могут обработать.

Однако lockstat использует инфраструктуру блокировки отладки, которая полезна для многих других приложений. Каждый, кто работает над запуском устройства, должен найти способ включить эту функцию на каждом устройстве, потому что наступит момент, когда вы подумаете: "Если бы я мог включить LOCK_STAT, я бы подтвердил или опроверг эту проблему за пять минут, а не за пять дней".

Показать проблему: задержка в SCHED_FIFO, когда ядра максимально загружены не SCHED_FIFO

В этой версии поток SCHED_FIFO зависал, когда все ядра были максимально загружены потоками, отличными от SCHED_FIFO. Мы обнаружили следы значительного конфликта блокировок на дескрипторе файла в приложениях виртуальной реальности, но не смогли легко определить, какой именно дескриптор используется. Чтобы повторить действия из примера, скачайте ZIP-архив с файлами трассировки (в нем также есть другие файлы трассировки, упомянутые в этом разделе), распакуйте его и откройте файл trace_30905547.html в браузере.

Мы предположили, что источник конфликта блокировок – сама функция ftrace, когда поток с низким приоритетом начинает запись в канал ftrace, а затем прерывается до того, как сможет освободить блокировку. Это худший сценарий, который усугублялся сочетанием потоков с очень низким приоритетом, записывающих данные в маркер ftrace, и потоков с более высоким приоритетом, которые выполнялись на ЦП, чтобы имитировать полностью загруженное устройство.

Поскольку мы не могли использовать ftrace для отладки, мы запустили LOCK_STAT, а затем отключили все остальные функции отслеживания в приложении. Результаты показали, что конфликт блокировки был вызван ftrace, поскольку в журнале блокировок не было конфликтов, когда ftrace не был запущен.

Если вы можете загрузить ядро с параметром config, то отслеживание блокировок будет похоже на ftrace:

Включить трассировку:
```
echo 1 > /proc/sys/kernel/lock_stat
```
Запустите тест.
Отключить трассировку:
```
echo 0 > /proc/sys/kernel/lock_stat
```

Выгрузите трассировку:

cat /proc/lock_stat > /data/local/tmp/lock_stat

Чтобы узнать, как интерпретировать полученные результаты, ознакомьтесь с документацией по lockstat на странице <kernel>/Documentation/locking/lockstat.txt.

Как использовать точки трассировки поставщиков

Сначала используйте точки трассировки upstream, но иногда вам придется использовать точки трассировки поставщика:

  { "gfx",        "Graphics",         ATRACE_TAG_GRAPHICS, {
        { OPT,      "events/mdss/enable" },
        { OPT,      "events/sde/enable" },
        { OPT,      "events/mali_systrace/enable" },
    } },

Точки трассировки можно расширять с помощью сервиса HAL, добавляя точки трассировки и категории, относящиеся к определенному устройству. Точки трассировки интегрированы с perfetto, atrace/systrace и приложением для трассировки системы на устройстве.

Для реализации точек трассировки и категорий используются следующие API:

listCategories()generates (vec<TracingCategory> categories);
enableCategories(vec<string> categories) generates (Status status);
disableAllCategories() generates (Status status);

Дополнительную информацию можно найти в определении HAL и реализации по умолчанию в AOSP:

Как использовать ftrace Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.