Bộ lọc gói Berkeley mở rộng (eBPF) là một máy ảo trong nhân chạy các chương trình eBPF do người dùng cung cấp để mở rộng chức năng của nhân. Các chương trình này có thể được nối với các đầu dò hoặc sự kiện trong nhân và được dùng để thu thập số liệu thống kê hữu ích về nhân, giám sát và gỡ lỗi. Chương trình được tải vào hạt nhân bằng lệnh gọi hệ thống bpf(2) và do người dùng cung cấp dưới dạng một blob nhị phân gồm các lệnh máy eBPF. Hệ thống xây dựng Android hỗ trợ biên dịch các chương trình C sang eBPF bằng cú pháp tệp bản dựng đơn giản được mô tả trong tài liệu này.
Bạn có thể xem thêm thông tin về nội bộ và cấu trúc của eBPF trên trang eBPF của Brendan Gregg.
Android có một trình tải và thư viện eBPF để tải các chương trình eBPF tại thời điểm khởi động.
Trình tải BPF Android
Trong quá trình khởi động Android, tất cả chương trình eBPF tại /system/etc/bpf/ đều được tải. Đây là các đối tượng nhị phân do hệ thống xây dựng Android tạo từ các chương trình C và đi kèm với các tệp Android.bp trong cây nguồn Android. Hệ thống xây dựng lưu trữ các đối tượng được tạo tại /system/etc/bpf và các đối tượng đó trở thành một phần của hình ảnh hệ thống.
Định dạng của chương trình C eBPF trên Android
Chương trình C eBPF phải có định dạng sau:
#include <bpf_helpers.h>
/* Define one or more maps in the maps section, for example
* define a map of type array int -> uint32_t, with 10 entries
*/
DEFINE_BPF_MAP(name_of_my_map, ARRAY, int, uint32_t, 10);
/* this also defines type-safe accessors:
* value * bpf_name_of_my_map_lookup_elem(&key);
* int bpf_name_of_my_map_update_elem(&key, &value, flags);
* int bpf_name_of_my_map_delete_elem(&key);
* as such it is heavily suggested to use lowercase *_map names.
* Also note that due to compiler deficiencies you cannot use a type
* of 'struct foo' but must instead use just 'foo'. As such structs
* must not be defined as 'struct foo {}' and must instead be
* 'typedef struct {} foo'.
*/
DEFINE_BPF_PROG("PROGTYPE/PROGNAME", AID_*, AID_*, PROGFUNC)(..args..) {
<body-of-code
... read or write to MY_MAPNAME
... do other things
>
}
LICENSE("GPL"); // or other licenseTrong trường hợp:
name_of_my_maplà tên của biến bản đồ. Tên này thông báo cho trình tải BPF về loại bản đồ cần tạo và các tham số. Định nghĩa cấu trúc này được cung cấp bởi tiêu đềbpf_helpers.hđi kèm.PROGTYPE/PROGNAMEbiểu thị loại chương trình và tên chương trình. Loại chương trình có thể là bất kỳ loại nào được liệt kê trong bảng sau. Khi một loại chương trình không có trong danh sách, thì không có quy ước đặt tên nghiêm ngặt nào cho chương trình đó; tên chỉ cần được biết đến trong quy trình đính kèm chương trình.PROGFUNClà một hàm mà khi được biên dịch, hàm này sẽ được đặt trong một phần của tệp kết quả.
| kprobe | Kết nối PROGFUNC với một lệnh kernel bằng cơ sở hạ tầng kprobe. PROGNAME phải là tên của hàm hạt nhân đang được kprobed. Tham khảo tài liệu về nhân kprobe để biết thêm thông tin về kprobe.
|
|---|---|
| điểm theo dõi | Liên kết PROGFUNC với một tracepoint. PROGNAME phải có định dạng SUBSYSTEM/EVENT. Ví dụ: một phần điểm theo dõi để đính kèm các hàm vào sự kiện chuyển đổi ngữ cảnh của trình lập lịch biểu sẽ là SEC("tracepoint/sched/sched_switch"), trong đó sched là tên của hệ thống con theo dõi và sched_switch là tên của sự kiện theo dõi. Hãy xem tài liệu về nhân sự kiện theo dõi để biết thêm thông tin về các điểm theo dõi.
|
| skfilter | Chương trình hoạt động như một bộ lọc cổng mạng. |
| schedcls | Chương trình hoạt động như một trình phân loại lưu lượng truy cập mạng. |
| cgroupskb, cgroupsock | Chương trình chạy bất cứ khi nào các quy trình trong CGroup tạo một ổ cắm AF_INET hoặc AF_INET6. |
Bạn có thể tìm thấy các loại khác trong mã nguồn của Trình tải.
Ví dụ: chương trình myschedtp.c sau đây sẽ thêm thông tin về PID của tác vụ mới nhất đã chạy trên một CPU cụ thể. Chương trình này đạt được mục tiêu bằng cách tạo bản đồ và xác định hàm tp_sched_switch có thể được đính kèm vào sự kiện theo dõi sched:sched_switch. Để biết thêm thông tin, hãy xem bài viết Đính kèm chương trình vào điểm theo dõi.
#include <linux/bpf.h> #include <stdbool.h> #include <stdint.h> #include <bpf_helpers.h> DEFINE_BPF_MAP(cpu_pid_map, ARRAY, int, uint32_t, 1024); struct switch_args { unsigned long long ignore; char prev_comm[16]; int prev_pid; int prev_prio; long long prev_state; char next_comm[16]; int next_pid; int next_prio; }; DEFINE_BPF_PROG("tracepoint/sched/sched_switch", AID_ROOT, AID_SYSTEM, tp_sched_switch) (struct switch_args *args) { int key; uint32_t val; key = bpf_get_smp_processor_id(); val = args->next_pid; bpf_cpu_pid_map_update_elem(&key, &val, BPF_ANY); return 1; // return 1 to avoid blocking simpleperf from receiving events } LICENSE("GPL");
Macro LICENSE được dùng để xác minh xem chương trình có tương thích với giấy phép của nhân hay không khi chương trình sử dụng các hàm trợ giúp BPF do nhân cung cấp. Chỉ định tên giấy phép của chương trình dưới dạng chuỗi, chẳng hạn như LICENSE("GPL") hoặc LICENSE("Apache 2.0").
Định dạng của tệp Android.bp
Để hệ thống xây dựng Android tạo chương trình .c eBPF, bạn phải tạo một mục trong tệp Android.bp của dự án. Ví dụ: để tạo một chương trình C eBPF có tên là bpf_test.c, hãy tạo mục sau trong tệp Android.bp của dự án:
bpf {
name: "bpf_test.o",
srcs: ["bpf_test.c"],
cflags: [
"-Wall",
"-Werror",
],
}Mục này biên dịch chương trình C, tạo ra đối tượng /system/etc/bpf/bpf_test.o. Khi khởi động, hệ thống Android sẽ tự động tải chương trình bpf_test.o vào nhân hệ điều hành.
Các tệp có trong sysfs
Trong quá trình khởi động, hệ thống Android sẽ tự động tải tất cả các đối tượng eBPF từ /system/etc/bpf/, tạo các bản đồ mà chương trình cần và ghim chương trình đã tải cùng với các bản đồ của chương trình vào hệ thống tệp BPF. Sau đó, bạn có thể dùng các tệp này để tương tác thêm với chương trình eBPF hoặc đọc bản đồ. Phần này mô tả các quy ước dùng để đặt tên cho các tệp này và vị trí của chúng trong sysfs.
Các tệp sau đây sẽ được tạo và ghim:
Đối với mọi chương trình đã tải, giả sử
PROGNAMElà tên của chương trình vàFILENAMElà tên của tệp eBPF C, thì trình tải Android sẽ tạo và ghim từng chương trình tại/sys/fs/bpf/prog_FILENAME_PROGTYPE_PROGNAME.Ví dụ: đối với ví dụ về điểm theo dõi
sched_switchtrước đó trongmyschedtp.c, một tệp chương trình sẽ được tạo và ghim vào/sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch.Đối với mọi bản đồ được tạo, giả sử
MAPNAMElà tên của bản đồ vàFILENAMElà tên của tệp eBPF C, trình tải Android sẽ tạo và ghim từng bản đồ vào/sys/fs/bpf/map_FILENAME_MAPNAME.Ví dụ: đối với ví dụ về điểm theo dõi
sched_switchtrước đó trongmyschedtp.c, một tệp bản đồ sẽ được tạo và ghim vào/sys/fs/bpf/map_myschedtp_cpu_pid_map.bpf_obj_get()trong thư viện BPF của Android trả về một chỉ số mô tả tệp từ tệp/sys/fs/bpfđược ghim. Bạn có thể dùng chỉ số mô tả tệp này cho các thao tác khác, chẳng hạn như đọc bản đồ hoặc đính kèm một chương trình vào điểm theo dõi.
Thư viện BPF của Android
Thư viện BPF của Android có tên là libbpf_android.so và là một phần của hình ảnh hệ thống. Thư viện này cung cấp cho người dùng các chức năng eBPF cấp thấp cần thiết để tạo và đọc các bản đồ, tạo các chương trình dò tìm, điểm theo dõi và vùng đệm perf.
Đính kèm chương trình vào điểm theo dõi
Các chương trình điểm theo dõi sẽ tự động tải khi khởi động. Sau khi tải, bạn phải kích hoạt chương trình điểm theo dõi bằng các bước sau:
- Gọi
bpf_obj_get()để lấy chương trìnhfdtừ vị trí của tệp được ghim. Để biết thêm thông tin, hãy tham khảo phần Các tệp có trong sysfs. - Gọi
bpf_attach_tracepoint()trong thư viện BPF, truyền chương trìnhfdvà tên điểm theo dõi.
Mã mẫu sau đây cho biết cách đính kèm điểm theo dõi sched_switch được xác định trong tệp nguồn myschedtp.c trước đó (không hiển thị quy trình kiểm tra lỗi):
char *tp_prog_path = "/sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch"; char *tp_map_path = "/sys/fs/bpf/map_myschedtp_cpu_pid"; // Attach tracepoint and wait for 4 seconds int mProgFd = bpf_obj_get(tp_prog_path); int mMapFd = bpf_obj_get(tp_map_path); int ret = bpf_attach_tracepoint(mProgFd, "sched", "sched_switch"); sleep(4); // Read the map to find the last PID that ran on CPU 0 android::bpf::BpfMap<int, int> myMap(mMapFd); printf("last PID running on CPU %d is %d\n", 0, myMap.readValue(0));
Đọc từ bản đồ
Bản đồ BPF hỗ trợ các cấu trúc hoặc loại khoá và giá trị phức tạp tuỳ ý. Thư viện BPF của Android bao gồm một lớp android::BpfMap sử dụng các mẫu C++ để tạo thực thể BpfMap dựa trên loại khoá và giá trị cho bản đồ được đề cập. Mã mẫu trước đó minh hoạ cách sử dụng BpfMap với khoá và giá trị là số nguyên. Các số nguyên cũng có thể là cấu trúc tuỳ ý.
Do đó, lớp BpfMap theo mẫu cho phép bạn xác định một đối tượng BpfMap tuỳ chỉnh phù hợp với bản đồ cụ thể. Sau đó, bạn có thể truy cập vào bản đồ bằng các hàm được tạo tuỳ chỉnh, có nhận biết kiểu, giúp mã gọn gàng hơn.
Để biết thêm thông tin về BpfMap, hãy tham khảo các nguồn Android.
Gỡ lỗi
Trong thời gian khởi động, một số thông báo liên quan đến việc tải BPF sẽ được ghi lại. Nếu quá trình tải không thành công vì bất kỳ lý do gì, thì thông điệp nhật ký chi tiết sẽ được cung cấp trong logcat. Việc lọc nhật ký logcat theo bpf sẽ in tất cả các thông báo và mọi lỗi chi tiết trong thời gian tải, chẳng hạn như lỗi trình xác minh eBPF.
Ví dụ về eBPF trong Android
Các chương trình sau đây trong AOSP cung cấp thêm ví dụ về cách sử dụng eBPF:
Trình nền mạng (netd) trong Android sử dụng
netdchương trình eBPF C cho nhiều mục đích, chẳng hạn như lọc ổ cắm và thu thập số liệu thống kê. Để xem cách sử dụng chương trình này, hãy kiểm tra các nguồn giám sát lưu lượng truy cập eBPF.time_in_stateChương trình eBPF C tính toán khoảng thời gian mà một ứng dụng Android dành cho các tần số CPU khác nhau, được dùng để tính toán mức tiêu thụ điện năng.Trong Android 12,
gpu_memchương trình C eBPF theo dõi tổng mức sử dụng bộ nhớ GPU cho từng quy trình và cho toàn bộ hệ thống. Chương trình này được dùng để lập hồ sơ bộ nhớ GPU.
Để biết thêm thông tin về cách sử dụng eBPF để thu thập biểu đồ tần suất về độ trễ nguồn và quản lý bộ nhớ hạt nhân có mức hao tổn thấp cho statsd, hãy xem bài viết Thu thập dữ liệu đo từ xa của hạt nhân bằng eBPF.