Sviluppare il codice del kernel per GKI

L'immagine del kernel generico (GKI) riduce la frammentazione del kernel allineandosi strettamente al kernel Linux upstream. Tuttavia, esistono motivi validi per cui alcune patch non possono essere accettate upstream e ci sono pianificazioni dei prodotti che devono essere rispettate, quindi alcune patch vengono mantenute nelle origini del kernel comune Android (ACK) da cui viene creato il GKI.

Gli sviluppatori devono inviare le modifiche al codice upstream utilizzando la mailing list del kernel Linux (LKML) come prima scelta e inviare le modifiche al codice al ramo ACK android-mainline solo quando esiste un motivo valido per cui l'upstream non è fattibile. Di seguito sono elencati esempi di motivi validi e come gestirli.

  • La patch è stata inviata a LKML, ma non è stata accettata in tempo per il rilascio di un prodotto. Per gestire questa patch:

    • Fornisci la prova che la patch è stata inviata a LKML e i commenti ricevuti per la patch o un tempo stimato entro il quale la patch viene inviata upstream.
    • Decidi un corso d'azione per inserire la patch in ACK, ottenerne l'approvazione upstream e poi rimuoverla da ACK quando la versione upstream finale viene unita ad ACK.

  • La patch definisce EXPORT_SYMBOLS_GPL() per un modulo fornitore, ma non è stato possibile inviarla upstream perché non esistono moduli in-tree che utilizzano questo simbolo. Per gestire questa patch, fornisci dettagli sul motivo per cui il tuo modulo non può essere inviato upstream e sulle alternative che hai preso in considerazione prima di effettuare questa richiesta.

  • La patch non è sufficientemente generica per l'upstream e non c'è tempo per refactorizzarla prima del rilascio di un prodotto. Per gestire questa patch, fornisci un tempo stimato entro il quale viene inviata una patch sottoposta a refactoring upstream (la patch non verrà accettata in ACK senza un piano per inviare una patch sottoposta a refactoring upstream per la revisione).

  • La patch non può essere accettata dall'upstream perché… <insert reason here>. Per gestire questa patch, contatta il team del kernel Android e collabora con noi per trovare opzioni per refactorizzare la patch in modo che possa essere inviata per la revisione e accettata upstream.

Esistono molte altre potenziali giustificazioni. Quando invii il bug o la patch, includi una giustificazione valida e preparati a qualche iterazione e discussione. Ci rendiamo conto che l'ACK contiene alcune patch, soprattutto nelle prime fasi di GKI, mentre tutti imparano a lavorare upstream, ma non possono posticipare le pianificazioni dei prodotti per farlo. Prevediamo che i requisiti di upstreaming diventeranno più rigorosi nel tempo.

Requisiti delle patch

Le patch devono essere conformi agli standard di codifica del kernel Linux descritti nell'albero dei sorgenti Linux, indipendentemente dal fatto che vengano inviate upstream o ad ACK. Lo script scripts/checkpatch.pl viene eseguito nell'ambito del test di pre-invio di Gerrit, quindi eseguilo in anticipo per assicurarti che venga superato. Per eseguire lo script checkpatch con la stessa configurazione del test di pre-invio, utilizza //build/kernel/static_analysis:checkpatch_presubmit. Per maggiori dettagli, consulta build/kernel/kleaf/docs/checkpatch.md.

Patch ACK

Le patch inviate ad ACK devono essere conformi agli standard di codifica del kernel Linux e alle linee guida per i contributi. Devi includere un tag Change-Id nel messaggio di commit. Se invii la patch a più rami (ad esempio android-mainline e android12-5.4), devi utilizzare lo stesso Change-Id per tutte le istanze della patch.

Invia prima le patch a LKML per una revisione upstream. Se la patch è:

  • Accettato upstream, viene unito automaticamente a android-mainline.
  • Non accettato a monte, invialo a android-mainline con un riferimento all'invio a monte o una spiegazione del motivo per cui non è stato inviato a LKML.

Una volta accettata una patch upstream o in android-mainline, può essere portata all'ACK basato su LTS appropriato (ad esempio android12-5.4 e android11-5.4 per le patch che correggono il codice specifico di Android). L'invio a android-mainline consente di eseguire test con i nuovi candidati per le release upstream e garantisce che la patch sia nel prossimo ACK basato su LTS. Le eccezioni includono i casi in cui una patch upstream viene eseguita il backporting su android12-5.4 (perché è probabile che sia già presente in android-mainline).

Patch upstream

Come specificato nelle linee guida per i contributi, le patch upstream destinate ai kernel ACK rientrano nei seguenti gruppi (elencati in ordine di probabilità di accettazione).

  • UPSTREAM: - Le patch selezionate da "android-mainline" hanno maggiori probabilità di essere accettate in ACK se esiste un caso d'uso ragionevole.
  • BACKPORT: - È probabile che vengano accettate anche le patch upstream che non vengono selezionate in modo pulito e che richiedono modifiche se esiste un caso d'uso ragionevole.
  • FROMGIT: - Le patch selezionate da un ramo del manutentore in preparazione per l'invio alla versione principale di Linux potrebbero essere accettate se è imminente una scadenza. Questi devono essere giustificati sia per i contenuti che per la programmazione.
  • FROMLIST: - È improbabile che vengano accettate le patch inviate a LKML ma non ancora accettate in un ramo di manutenzione, a meno che la giustificazione non sia abbastanza convincente da far accettare la patch indipendentemente dal fatto che venga inclusa o meno nel kernel Linux upstream (presumiamo che non lo sarà). Deve essere presente un problema associato alle patch FROMLIST per facilitare la discussione con il team del kernel Android.

Patch specifiche per Android

Se non riesci a eseguire le modifiche richieste a monte, puoi provare a inviare patch out-of-tree direttamente ad ACK. L'invio di patch out-of-tree richiede che tu crei un problema nell'IT che cita la patch e la motivazione per cui la patch non può essere inviata upstream (vedi l'elenco precedente per esempi). Tuttavia, esistono alcuni casi in cui il codice non può essere inviato upstream. Questi casi sono trattati come segue e devono rispettare le linee guida per i contributi per le patch specifiche per Android e devono essere contrassegnati con il prefisso ANDROID: nell'oggetto.

Modifiche a gki_defconfig

Tutte le modifiche a CONFIG in gki_defconfig devono essere applicate sia alle versioni arm64 che x86, a meno che CONFIG non sia specifico per l'architettura. Per richiedere una modifica a un'impostazione CONFIG, crea un problema nel reparto IT per discutere della modifica. Qualsiasi modifica CONFIG che influisce sulla Kernel Module Interface (KMI) dopo il blocco viene rifiutata. Nei casi in cui i partner richiedono impostazioni in conflitto per una singola configurazione, risolviamo i conflitti tramite discussione sui bug correlati.

Codice che non esiste a monte

Le modifiche al codice già specifico per Android non possono essere inviate upstream. Ad esempio, anche se il driver binder viene gestito upstream, le modifiche alle funzionalità di ereditarietà della priorità del driver binder non possono essere inviate upstream perché sono specifiche di Android. Spiega in modo esplicito il bug e la patch perché il codice non può essere inviato upstream. Se possibile, dividi le patch in parti che possono essere inviate upstream e parti specifiche di Android che non possono essere inviate upstream per ridurre al minimo la quantità di codice out-of-tree gestito in ACK.

Altri cambiamenti in questa categoria sono aggiornamenti a file di rappresentazione KMI, elenchi di simboli KMI, gki_defconfig, script di build o configurazione o altri script che non esistono a monte.

Moduli out-of-tree

Linux upstream sconsiglia attivamente il supporto per la creazione di moduli out-of-tree. Si tratta di una posizione ragionevole, dato che i manutentori di Linux non forniscono garanzie sulla compatibilità binaria o del codice sorgente in-kernel e non vogliono supportare codice che non si trova nell'albero. Tuttavia, il GKI fornisce garanzie ABI per i moduli del fornitore, assicurando che le interfacce KMI siano stabili per la durata supportata di un kernel. Pertanto, esiste una classe di modifiche per supportare i moduli dei fornitori accettabili per ACK ma non per l'upstream.

Ad esempio, considera una patch che aggiunge macro EXPORT_SYMBOL_GPL() in cui i moduli che utilizzano l'esportazione non si trovano nell'albero delle origini. Sebbene tu debba tentare di richiedere EXPORT_SYMBOL_GPL() upstream e fornire un modulo che utilizzi il simbolo appena esportato, se esiste una giustificazione valida per cui il modulo non viene inviato upstream, puoi inviare la patch ad ACK. Devi includere la motivazione per cui il modulo non può essere caricato nell'issue. Non richiedere la variante non GPL, EXPORT_SYMBOL().

Configurazioni nascoste

Alcuni moduli in-tree selezionano automaticamente configurazioni nascoste che non possono essere specificate in gki_defconfig. Ad esempio, CONFIG_SND_SOC_TOPOLOGY viene selezionato automaticamente quando viene configurato CONFIG_SND_SOC_SOF=y. Per supportare la creazione di moduli out-of-tree, GKI include un meccanismo per abilitare le configurazioni nascoste.

Per attivare una configurazione nascosta, aggiungi un'istruzione select in init/Kconfig.gki in modo che venga selezionata automaticamente in base alla configurazione del kernel CONFIG_GKI_HACKS_TO_FIX, che è abilitata in gki_defconfig. Utilizza questo meccanismo solo per le configurazioni nascoste; se la configurazione non è nascosta, deve essere specificata in gki_defconfig in modo esplicito o come dipendenza.

Governatori caricabili

Per i framework del kernel (come cpufreq) che supportano i governor caricabili, puoi eseguire l'override del governor predefinito (come il governor schedutil di cpufreq). Per framework (come il framework termico) che non supportano governor o driver caricabili, ma richiedono comunque un'implementazione specifica del fornitore, crea un problema nel sistema IT e consulta il team del kernel Android.

Collaboreremo con te e con i manutentori upstream per aggiungere il supporto necessario.

Hook del fornitore

Nelle versioni precedenti, potevi aggiungere modifiche specifiche del fornitore direttamente nel kernel principale. Ciò non è possibile con GKI 2.0 perché il codice specifico del prodotto deve essere implementato nei moduli e non verrà accettato nei kernel principali upstream o in ACK. Per attivare funzionalità a valore aggiunto su cui i partner fanno affidamento con un impatto minimo sul codice del kernel principale, GKI accetta hook del fornitore che consentono di richiamare i moduli dal codice del kernel principale. Inoltre, le strutture di dati chiave possono essere riempite con campi di dati del fornitore disponibili per archiviare dati specifici del fornitore per implementare queste funzionalità.

Gli hook del fornitore sono disponibili in due varianti (normale e con limitazioni) basate su tracepoint (non eventi di traccia) a cui i moduli del fornitore possono essere collegati. Ad esempio, invece di aggiungere una nuova funzione sched_exit() per eseguire una contabilità all'uscita dell'attività, i fornitori possono aggiungere un hook in do_exit() a cui un modulo fornitore può collegarsi per l'elaborazione. Un'implementazione di esempio include i seguenti hook del fornitore.

  • Gli hook del fornitore normali utilizzano DECLARE_HOOK() per creare una funzione di punto di traccia con il nome trace_name, dove name è l'identificatore univoco della traccia. Per convenzione, i nomi degli hook dei fornitori normali iniziano con android_vh, quindi il nome dell'hook sched_exit() sarebbe android_vh_sched_exit.
  • Gli hook del fornitore con limitazioni sono necessari per casi come gli hook dello scheduler in cui la funzione collegata deve essere chiamata anche se la CPU è offline o richiede un contesto non atomico. Gli hook del fornitore con limitazioni non possono essere scollegati, quindi i moduli che si collegano a un hook con limitazioni non possono mai essere scaricati. I nomi degli hook dei fornitori con limitazioni iniziano con android_rvh.

Per aggiungere un hook del fornitore, segnala un problema nel reparto IT e invia le patch (come per tutte le patch specifiche di Android, deve esistere un problema e devi fornire una giustificazione). Il supporto per gli hook del fornitore è disponibile solo in ACK, quindi non inviare queste patch a Linux upstream.

Aggiungere campi dei fornitori alle strutture

Puoi associare i dati dei fornitori alle strutture di dati chiave aggiungendo i campi android_vendor_data utilizzando le macro ANDROID_VENDOR_DATA(). Ad esempio, per supportare funzionalità a valore aggiunto, aggiungi campi alle strutture come mostrato nell'esempio di codice seguente.

Per evitare potenziali conflitti tra i campi necessari ai fornitori e quelli necessari agli OEM, questi ultimi non devono mai utilizzare i campi dichiarati utilizzando le macro ANDROID_VENDOR_DATA(). I produttori OEM devono invece utilizzare ANDROID_OEM_DATA() per dichiarare i campi android_oem_data.

#include <linux/android_vendor.h>
...
struct important_kernel_data {
  [all the standard fields];
  /* Create vendor data for use by hook implementations. The
   * size of vendor data is based on vendor input. Vendor data
   * can be defined as single u64 fields like the following that
   * declares a single u64 field named "android_vendor_data1" :
   */
  ANDROID_VENDOR_DATA(1);

  /*
   * ...or an array can be declared. The following is equivalent to
   * u64 android_vendor_data2[20]:
   */
  ANDROID_VENDOR_DATA_ARRAY(2, 20);

  /*
   * SoC vendors must not use fields declared for OEMs and
   * OEMs must not use fields declared for SoC vendors.
   */
  ANDROID_OEM_DATA(1);

  /* no further fields */
}

Definisci gli hook del fornitore

Aggiungi hook del fornitore al codice del kernel come punti di traccia dichiarandoli utilizzando DECLARE_HOOK() o DECLARE_RESTRICTED_HOOK() e poi aggiungendoli al codice come punto di traccia. Ad esempio, per aggiungere trace_android_vh_sched_exit() alla funzione kernel do_exit() esistente:

#include <trace/hooks/exit.h>
void do_exit(long code)
{
    struct task_struct *tsk = current;
    ...
    trace_android_vh_sched_exit(tsk);
    ...
}

La funzione trace_android_vh_sched_exit() inizialmente controlla solo se è presente un allegato. Tuttavia, se un modulo fornitore registra un gestore utilizzando register_trace_android_vh_sched_exit(), viene chiamata la funzione registrata. Il gestore deve essere consapevole del contesto in relazione ai blocchi mantenuti, allo stato RCS e ad altri fattori. L'hook deve essere definito in un file di intestazione nella directory include/trace/hooks.

Ad esempio, il seguente codice fornisce una possibile dichiarazione per trace_android_vh_sched_exit() nel file include/trace/hooks/exit.h.

/* SPDX-License-Identifier: GPL-2.0 */
#undef TRACE_SYSTEM
#define TRACE_SYSTEM sched
#define TRACE_INCLUDE_PATH trace/hooks

#if !defined(_TRACE_HOOK_SCHED_H) || defined(TRACE_HEADER_MULTI_READ)
#define _TRACE_HOOK_SCHED_H
#include <trace/hooks/vendor_hooks.h>
/*
 * Following tracepoints are not exported in tracefs and provide a
 * mechanism for vendor modules to hook and extend functionality
 */

struct task_struct;

DECLARE_HOOK(android_vh_sched_exit,
             TP_PROTO(struct task_struct *p),
             TP_ARGS(p));

#endif /* _TRACE_HOOK_SCHED_H */

/* This part must be outside protection */
#include <trace/define_trace.h>

Per creare un'istanza delle interfacce richieste per l'hook del fornitore, aggiungi il file di intestazione con la dichiarazione dell'hook a drivers/android/vendor_hooks.c ed esporta i simboli. Ad esempio, il seguente codice completa la dichiarazione dell'hook android_vh_sched_exit().

#ifndef __GENKSYMS__
/* struct task_struct */
#include <linux/sched.h>
#endif

#define CREATE_TRACE_POINTS
#include <trace/hooks/vendor_hooks.h>
#include <trace/hooks/exit.h>
/*
 * Export tracepoints that act as a bare tracehook (i.e. have no trace
 * event associated with them) to allow external modules to probe
 * them.
 */
EXPORT_TRACEPOINT_SYMBOL_GPL(android_vh_sched_exit);

NOTA: le strutture di dati utilizzate all'interno della dichiarazione dell'hook devono essere completamente definite per garantire la stabilità dell'ABI. In caso contrario, non è sicuro dereferenziare i puntatori opachi o utilizzare la struct in contesti dimensionati. L'include che fornisce la definizione completa di queste strutture di dati deve essere inserito nella sezione #ifndef __GENKSYMS__ di drivers/android/vendor_hooks.c. I file di intestazione in include/trace/hooks non devono includere il file di intestazione del kernel con le definizioni dei tipi per evitare modifiche CRC che interrompono il KMI. Invece, dichiara i tipi in anticipo.

Allegare agli hook del fornitore

Per utilizzare gli hook del fornitore, il modulo del fornitore deve registrare un gestore per l'hook (in genere durante l'inizializzazione del modulo). Ad esempio, il seguente codice mostra l'handler del modulo foo.ko per trace_android_vh_sched_exit().

#include <trace/hooks/sched.h>
...
static void foo_sched_exit_handler(void *data, struct task_struct *p)
{
    foo_do_exit_accounting(p);
}
...
static int foo_probe(..)
{
    ...
    rc = register_trace_android_vh_sched_exit(foo_sched_exit_handler, NULL);
    ...
}

Utilizzare gli hook del fornitore dai file di intestazione

Per utilizzare gli hook del fornitore dai file di intestazione, potresti dover aggiornare il file di intestazione dell'hook del fornitore per annullare la definizione di TRACE_INCLUDE_PATH ed evitare errori di compilazione che indicano che non è stato possibile trovare un file di intestazione del punto di traccia. Ad esempio,

In file included from .../common/init/main.c:111:
In file included from .../common/include/trace/events/initcall.h:74:
.../common/include/trace/define_trace.h:95:10: fatal error: 'trace/hooks/initcall.h' file not found
   95 | #include TRACE_INCLUDE(TRACE_INCLUDE_FILE)
      |          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.../common/include/trace/define_trace.h:90:32: note: expanded from macro 'TRACE_INCLUDE'
   90 | # define TRACE_INCLUDE(system) __TRACE_INCLUDE(system)
      |                                ^~~~~~~~~~~~~~~~~~~~~~~
.../common/include/trace/define_trace.h:87:34: note: expanded from macro '__TRACE_INCLUDE'
   87 | # define __TRACE_INCLUDE(system) __stringify(TRACE_INCLUDE_PATH/system.h)
      |                                  ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.../common/include/linux/stringify.h:10:27: note: expanded from macro '__stringify'
   10 | #define __stringify(x...)       __stringify_1(x)
      |                                 ^~~~~~~~~~~~~~~~
.../common/include/linux/stringify.h:9:29: note: expanded from macro '__stringify_1'
    9 | #define __stringify_1(x...)     #x
      |                                 ^~
<scratch space>:14:1: note: expanded from here
   14 | "trace/hooks/initcall.h"
      | ^~~~~~~~~~~~~~~~~~~~~~~~
1 error generated.

Per correggere questo tipo di errore di compilazione, applica la correzione equivalente al file di intestazione dell'hook del fornitore che stai includendo. Per ulteriori informazioni, consulta https://r.android.com/3066703.

diff --git a/include/trace/hooks/mm.h b/include/trace/hooks/mm.h
index bc6de7e53d66..039926f7701d 100644
--- a/include/trace/hooks/mm.h
+++ b/include/trace/hooks/mm.h
@@ -2,7 +2,10 @@
 #undef TRACE_SYSTEM
 #define TRACE_SYSTEM mm

+#ifdef CREATE_TRACE_POINTS
 #define TRACE_INCLUDE_PATH trace/hooks
+#define UNDEF_TRACE_INCLUDE_PATH
+#endif

La definizione di UNDEF_TRACE_INCLUDE_PATH indica a include/trace/define_trace.h di annullare la definizione di TRACE_INCLUDE_PATH dopo la creazione dei punti di traccia.

Funzionalità principali del kernel

Se nessuna delle tecniche precedenti ti consente di implementare una funzionalità di un modulo, devi aggiungere la funzionalità come modifica specifica di Android al kernel principale. Crea un problema nel tracker dei problemi (IT) per iniziare la conversazione.

Interfaccia di programmazione dell'applicazione utente (UAPI)

  • File di intestazione UAPI. Le modifiche ai file di intestazione UAPI devono essere apportate a monte, a meno che non riguardino interfacce specifiche di Android. Utilizza file di intestazione specifici del fornitore per definire le interfacce tra i moduli del fornitore e il codice dello spazio utente del fornitore.
  • sysfs nodes. Non aggiungere nuovi nodi sysfs al kernel GKI (queste aggiunte sono valide solo nei moduli del fornitore). I nodi sysfs utilizzati dalle librerie e dal codice Java indipendenti dal SoC e dal dispositivo che compongono il framework Android possono essere modificati solo in modo compatibile e devono essere modificati upstream se non sono nodi sysfs specifici di Android. Puoi creare nodi sysfs specifici del fornitore da utilizzare nello spazio utente del fornitore. Per impostazione predefinita, l'accesso ai nodi sysfs da parte di userspace viene negato utilizzando SELinux. Spetta al fornitore aggiungere le etichette SELinux appropriate per consentire l'accesso da parte del software del fornitore autorizzato.
  • Nodi DebugFS. I moduli del fornitore possono definire nodi in debugfs solo per il debug (in quanto debugfs non è montato durante il normale funzionamento del dispositivo).