Расширьте ядро ​​с помощью eBPF

Расширенный фильтр пакетов Беркли (eBPF) — это встроенная в ядро ​​виртуальная машина, которая запускает пользовательские программы eBPF для расширения функциональности ядра. Эти программы можно подключать к датчикам или событиям в ядре и использовать для сбора полезной статистики ядра, мониторинга и отладки. Программа загружается в ядро ​​с помощью системного вызова bpf(2) и предоставляется пользователем в виде двоичного блока машинных инструкций eBPF. Система сборки Android поддерживает компиляцию программ на языке C в eBPF с использованием простого синтаксиса файла сборки, описанного в этом документе.

Более подробную информацию о внутреннем устройстве и архитектуре eBPF можно найти на странице Брендана Грегга, посвященной eBPF .

Android включает загрузчик eBPF и библиотеку, которая загружает программы eBPF во время загрузки.

Загрузчик Android BPF

Во время загрузки Android загружаются все программы eBPF, расположенные в каталоге /system/etc/bpf/ . Эти программы представляют собой двоичные объекты, создаваемые системой сборки Android из программ на языке C и сопровождаемые файлами Android.bp в дереве исходного кода Android. Система сборки сохраняет сгенерированные объекты в каталоге /system/etc/bpf , и эти объекты становятся частью образа системы.

Формат программы Android eBPF C

Программа eBPF C должна иметь следующий формат:

#include <bpf_helpers.h>

/* Define one or more maps in the maps section, for example
 * define a map of type array int -> uint32_t, with 10 entries
 */
DEFINE_BPF_MAP(name_of_my_map, ARRAY, int, uint32_t, 10);

/* this also defines type-safe accessors:
 *   value * bpf_name_of_my_map_lookup_elem(&key);
 *   int bpf_name_of_my_map_update_elem(&key, &value, flags);
 *   int bpf_name_of_my_map_delete_elem(&key);
 * as such it is heavily suggested to use lowercase *_map names.
 * Also note that due to compiler deficiencies you cannot use a type
 * of 'struct foo' but must instead use just 'foo'.  As such structs
 * must not be defined as 'struct foo {}' and must instead be
 * 'typedef struct {} foo'.
 */

DEFINE_BPF_PROG("PROGTYPE/PROGNAME", AID_*, AID_*, PROGFUNC)(..args..) {
   <body-of-code
    ... read or write to MY_MAPNAME
    ... do other things
   >
}

LICENSE("GPL"); // or other license

Где:

• name_of_my_map — имя переменной вашей карты. Это имя сообщает загрузчику BPF тип создаваемой карты и её параметры. Определение этой структуры содержится во включённом заголовочном файле bpf_helpers.h .

• PROGTYPE/PROGNAME представляет тип и имя программы. Тип программы может быть любым из перечисленных в следующей таблице. Если тип программы не указан, для неё нет строгих правил именования; имя должно быть известно только процессу, который её подключает.

• PROGFUNC — это функция, которая при компиляции помещается в раздел результирующего файла.

Дополнительные типы можно найти в исходном коде загрузчика .

Например, следующая программа myschedtp.c добавляет информацию о PID последней задачи, выполненной на конкретном процессоре. Эта программа достигает своей цели, создавая карту и определяя функцию tp_sched_switch , которую можно присоединить к событию трассировки sched:sched_switch . Подробнее см. в разделе «Присоединение программ к точкам трассировки» .

#include <linux/bpf.h>
#include <stdbool.h>
#include <stdint.h>
#include <bpf_helpers.h>

DEFINE_BPF_MAP(cpu_pid_map, ARRAY, int, uint32_t, 1024);

struct switch_args {
    unsigned long long ignore;
    char prev_comm[16];
    int prev_pid;
    int prev_prio;
    long long prev_state;
    char next_comm[16];
    int next_pid;
    int next_prio;
};

DEFINE_BPF_PROG("tracepoint/sched/sched_switch", AID_ROOT, AID_SYSTEM, tp_sched_switch)
(struct switch_args *args) {
    int key;
    uint32_t val;

    key = bpf_get_smp_processor_id();
    val = args->next_pid;

    bpf_cpu_pid_map_update_elem(&key, &val, BPF_ANY);
    return 1; // return 1 to avoid blocking simpleperf from receiving events
}

LICENSE("GPL");

Макрос LICENSE используется для проверки совместимости программы с лицензией ядра, когда программа использует вспомогательные функции BPF, предоставляемые ядром. Укажите название лицензии вашей программы в строковом формате, например LICENSE("GPL") или LICENSE("Apache 2.0") .

Формат файла Android.bp

Чтобы система сборки Android могла собрать программу eBPF .c , необходимо создать запись в файле Android.bp проекта. Например, чтобы собрать программу eBPF на языке C с именем bpf_test.c , добавьте следующую запись в файл Android.bp вашего проекта:

bpf {
    name: "bpf_test.o",
    srcs: ["bpf_test.c"],
    cflags: [
        "-Wall",
        "-Werror",
    ],
}

Эта запись компилирует программу на языке C, создавая объект /system/etc/bpf/bpf_test.o . При загрузке система Android автоматически загружает программу bpf_test.o в ядро.

Файлы, доступные в sysfs

Во время загрузки система Android автоматически загружает все объекты eBPF из /system/etc/bpf/ , создаёт необходимые программе карты и закрепляет загруженную программу с её картами в файловой системе BPF. Эти файлы затем можно использовать для дальнейшего взаимодействия с программой eBPF или чтения карт. В этом разделе описываются соглашения об именовании этих файлов и их расположение в файловой системе sysfs.

Создаются и закрепляются следующие файлы:

• Для всех загруженных программ, предполагая, что PROGNAME — это имя программы, а FILENAME — это имя файла eBPF C, загрузчик Android создает и закрепляет каждую программу в /sys/fs/bpf/prog_FILENAME_PROGTYPE_PROGNAME .

  Например, для предыдущего примера точки трассировки sched_switch в myschedtp.c создается программный файл и закрепляется в /sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch .

• Для всех созданных карт, предполагая, что MAPNAME — это имя карты, а FILENAME — это имя файла eBPF C, загрузчик Android создает и закрепляет каждую карту в /sys/fs/bpf/map_FILENAME_MAPNAME .

  Например, для предыдущего примера точки трассировки sched_switch в myschedtp.c создается файл карты и закрепляется в /sys/fs/bpf/map_myschedtp_cpu_pid_map .

• bpf_obj_get() в библиотеке Android BPF возвращает файловый дескриптор из закреплённого файла /sys/fs/bpf . Этот файловый дескриптор можно использовать для дальнейших операций, таких как чтение карт или присоединение программы к точке трассировки.

Библиотека Android BPF

Библиотека Android BPF называется libbpf_android.so и входит в состав образа системы. Эта библиотека предоставляет пользователю низкоуровневые возможности eBPF, необходимые для создания и чтения карт, создания зондов, точек трассировки и буферов производительности.

Прикрепите программы к точкам трассировки

Программы трассировки загружаются автоматически при загрузке системы. После загрузки программу трассировки необходимо активировать, выполнив следующие действия:

1. Вызовите функцию bpf_obj_get() , чтобы получить fd программы из закреплённого файла. Подробнее см. в разделе «Файлы, доступные в sysfs» .
2. Вызовите функцию bpf_attach_tracepoint() в библиотеке BPF, передав ей fd программы и имя точки трассировки.

В следующем примере кода показано, как присоединить точку трассировки sched_switch , определенную в предыдущем исходном файле myschedtp.c (проверка ошибок не показана):

  char *tp_prog_path = "/sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch";
  char *tp_map_path = "/sys/fs/bpf/map_myschedtp_cpu_pid";

  // Attach tracepoint and wait for 4 seconds
  int mProgFd = bpf_obj_get(tp_prog_path);
  int mMapFd = bpf_obj_get(tp_map_path);
  int ret = bpf_attach_tracepoint(mProgFd, "sched", "sched_switch");
  sleep(4);

  // Read the map to find the last PID that ran on CPU 0
  android::bpf::BpfMap<int, int> myMap(mMapFd);
  printf("last PID running on CPU %d is %d\n", 0, myMap.readValue(0));

Читать карты

Карты BPF поддерживают произвольные сложные структуры и типы ключей и значений. Библиотека BPF для Android включает класс android::BpfMap , который использует шаблоны C++ для создания экземпляра BpfMap на основе типа ключа и значения рассматриваемой карты. В предыдущем примере кода показано использование BpfMap с ключом и значением в виде целых чисел. Целые числа также могут иметь произвольные структуры.

Таким образом, шаблонизированный класс BpfMap позволяет определить пользовательский объект BpfMap , подходящий для конкретной карты. Доступ к карте можно получить с помощью специально сгенерированных функций, учитывающих тип, что приводит к более чистому коду.

Более подробную информацию о BpfMap можно найти в источниках Android .

Проблемы отладки

Во время загрузки регистрируется несколько сообщений, связанных с загрузкой BPF. Если процесс загрузки по какой-либо причине завершается неудачей, в logcat выводится подробное сообщение. Фильтрация журналов logcat по bpf позволяет вывести все сообщения и подробные сведения об ошибках, возникших во время загрузки, например, об ошибках верификатора eBPF.

Примеры eBPF в Android

Следующие программы в AOSP предоставляют дополнительные примеры использования eBPF:

• Программа netd eBPF на языке C используется сетевым демоном (netd) в Android для различных целей, таких как фильтрация сокетов и сбор статистики. Чтобы узнать, как используется эта программа, ознакомьтесь с источниками мониторинга трафика eBPF .

• Программа time_in_state eBPF на языке C вычисляет количество времени, которое приложение Android проводит на разных частотах процессора, что используется для расчета мощности.

• В Android 12 программа gpu_mem eBPF на языке C отслеживает общее использование памяти графического процессора для каждого процесса и всей системы. Эта программа используется для профилирования памяти графического процессора.