Il gestore del framework di input TV (TIF) funziona con l'API di instradamento audio per supportare modifiche flessibili del percorso audio. Quando un System on Chip (SoC) implementa il livello di astrazione hardware (HAL) della TV, ogni ingresso TV (HDMI IN, Tuner e così via) fornisce TvInputHardwareInfo
che specifica le informazioni di AudioPort per il tipo di audio e l'indirizzo.
- I dispositivi di input/output audio fisici hanno una porta audio corrispondente.
- Gli stream di input/output audio software sono rappresentati come AudioMixPort (classe secondaria di AudioPort).
Il TIF utilizza quindi le informazioni di AudioPort per l'API di routing audio.
Figura 1. TV Input Framework (TIF)
Requisiti
Un SoC deve implementare l'HAL audio con il seguente supporto dell'API di routing audio:
Porte audio |
|
---|---|
Input predefinito | AudioRecord (creato con l'origine di input DEFAULT) deve acquisire l'origine di input virtuale nulla per l'acquisizione di AUDIO_DEVICE_IN_DEFAULT su Android TV. |
Loopback del dispositivo | Richiede il supporto di un input AUDIO_DEVICE_IN_LOOPBACK che sia un mix completo di tutta l'uscita audio di tutta l'uscita della TV (11 KHz, 16 bit mono o 48 KHz, 16 bit mono). Utilizzato solo per l'acquisizione audio. |
Dispositivi audio TV
Android supporta i seguenti dispositivi audio per l'ingresso/l'uscita audio della TV.
system/media/audio/include/system/audio.h
Nota: in Android 5.1 e versioni precedenti, il percorso di questo file è: system/core/include/system/audio.h
/* output devices */ AUDIO_DEVICE_OUT_AUX_DIGITAL = 0x400, AUDIO_DEVICE_OUT_HDMI = AUDIO_DEVICE_OUT_AUX_DIGITAL, /* HDMI Audio Return Channel */ AUDIO_DEVICE_OUT_HDMI_ARC = 0x40000, /* S/PDIF out */ AUDIO_DEVICE_OUT_SPDIF = 0x80000, /* input devices */ AUDIO_DEVICE_IN_AUX_DIGITAL = AUDIO_DEVICE_BIT_IN | 0x20, AUDIO_DEVICE_IN_HDMI = AUDIO_DEVICE_IN_AUX_DIGITAL, /* TV tuner input */ AUDIO_DEVICE_IN_TV_TUNER = AUDIO_DEVICE_BIT_IN | 0x4000, /* S/PDIF in */ AUDIO_DEVICE_IN_SPDIF = AUDIO_DEVICE_BIT_IN | 0x10000, AUDIO_DEVICE_IN_LOOPBACK = AUDIO_DEVICE_BIT_IN | 0x40000,
Estensione HAL audio
L'estensione HAL audio per l'API di routing audio è definita come segue:
system/media/audio/include/system/audio.h
Nota: in Android 5.1 e versioni precedenti, il percorso di questo file è: system/core/include/system/audio.h
/* audio port configuration structure used to specify a particular configuration of an audio port */ struct audio_port_config { audio_port_handle_t id; /* port unique ID */ audio_port_role_t role; /* sink or source */ audio_port_type_t type; /* device, mix ... */ unsigned int config_mask; /* e.g. AUDIO_PORT_CONFIG_ALL */ unsigned int sample_rate; /* sampling rate in Hz */ audio_channel_mask_t channel_mask; /* channel mask if applicable */ audio_format_t format; /* format if applicable */ struct audio_gain_config gain; /* gain to apply if applicable */ union { struct audio_port_config_device_ext device; /* device specific info */ struct audio_port_config_mix_ext mix; /* mix specific info */ struct audio_port_config_session_ext session; /* session specific info */ } ext; }; struct audio_port { audio_port_handle_t id; /* port unique ID */ audio_port_role_t role; /* sink or source */ audio_port_type_t type; /* device, mix ... */ unsigned int num_sample_rates; /* number of sampling rates in following array */ unsigned int sample_rates[AUDIO_PORT_MAX_SAMPLING_RATES]; unsigned int num_channel_masks; /* number of channel masks in following array */ audio_channel_mask_t channel_masks[AUDIO_PORT_MAX_CHANNEL_MASKS]; unsigned int num_formats; /* number of formats in following array */ audio_format_t formats[AUDIO_PORT_MAX_FORMATS]; unsigned int num_gains; /* number of gains in following array */ struct audio_gain gains[AUDIO_PORT_MAX_GAINS]; struct audio_port_config active_config; /* current audio port configuration */ union { struct audio_port_device_ext device; struct audio_port_mix_ext mix; struct audio_port_session_ext session; } ext; };
hardware/libhardware/include/hardware/audio.h
struct audio_hw_device { : /** * Routing control */ /* Creates an audio patch between several source and sink ports. * The handle is allocated by the HAL and should be unique for this * audio HAL module. */ int (*create_audio_patch)(struct audio_hw_device *dev, unsigned int num_sources, const struct audio_port_config *sources, unsigned int num_sinks, const struct audio_port_config *sinks, audio_patch_handle_t *handle); /* Release an audio patch */ int (*release_audio_patch)(struct audio_hw_device *dev, audio_patch_handle_t handle); /* Fills the list of supported attributes for a given audio port. * As input, "port" contains the information (type, role, address etc...) * needed by the HAL to identify the port. * As output, "port" contains possible attributes (sampling rates, formats, * channel masks, gain controllers...) for this port. */ int (*get_audio_port)(struct audio_hw_device *dev, struct audio_port *port); /* Set audio port configuration */ int (*set_audio_port_config)(struct audio_hw_device *dev, const struct audio_port_config *config);
Test di DEVICE_IN_LOOPBACK
Per testare DEVICE_IN_LOOPBACK per il monitoraggio della TV, utilizza il seguente codice di test. Dopo aver eseguito il
test, l'audio acquisito viene salvato in /sdcard/record_loopback.raw
, dove puoi ascoltarlo
utilizzando FFmpeg
.
<uses-permission android:name="android.permission.MODIFY_AUDIO_ROUTING" /> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /> AudioRecord mRecorder; Handler mHandler = new Handler(); int mMinBufferSize = AudioRecord.getMinBufferSize(RECORD_SAMPLING_RATE, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);; static final int RECORD_SAMPLING_RATE = 48000; public void doCapture() { mRecorder = new AudioRecord(MediaRecorder.AudioSource.DEFAULT, RECORD_SAMPLING_RATE, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, mMinBufferSize * 10); AudioManager am = (AudioManager) getSystemService(Context.AUDIO_SERVICE); ArrayList<AudioPort> audioPorts = new ArrayList<AudioPort>(); am.listAudioPorts(audioPorts); AudioPortConfig srcPortConfig = null; AudioPortConfig sinkPortConfig = null; for (AudioPort audioPort : audioPorts) { if (srcPortConfig == null && audioPort.role() == AudioPort.ROLE_SOURCE && audioPort instanceof AudioDevicePort) { AudioDevicePort audioDevicePort = (AudioDevicePort) audioPort; if (audioDevicePort.type() == AudioManager.DEVICE_IN_LOOPBACK) { srcPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_IN_DEFAULT, AudioFormat.ENCODING_DEFAULT, null); Log.d(LOG_TAG, "Found loopback audio source port : " + audioPort); } } else if (sinkPortConfig == null && audioPort.role() == AudioPort.ROLE_SINK && audioPort instanceof AudioMixPort) { sinkPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_OUT_DEFAULT, AudioFormat.ENCODING_DEFAULT, null); Log.d(LOG_TAG, "Found recorder audio mix port : " + audioPort); } } if (srcPortConfig != null && sinkPortConfig != null) { AudioPatch[] patches = new AudioPatch[] { null }; int status = am.createAudioPatch( patches, new AudioPortConfig[] { srcPortConfig }, new AudioPortConfig[] { sinkPortConfig }); Log.d(LOG_TAG, "Result of createAudioPatch(): " + status); } mRecorder.startRecording(); processAudioData(); mRecorder.stop(); mRecorder.release(); } private void processAudioData() { OutputStream rawFileStream = null; byte data[] = new byte[mMinBufferSize]; try { rawFileStream = new BufferedOutputStream( new FileOutputStream(new File("/sdcard/record_loopback.raw"))); } catch (FileNotFoundException e) { Log.d(LOG_TAG, "Can't open file.", e); } long startTimeMs = System.currentTimeMillis(); while (System.currentTimeMillis() - startTimeMs < 5000) { int nbytes = mRecorder.read(data, 0, mMinBufferSize); if (nbytes <= 0) { continue; } try { rawFileStream.write(data); } catch (IOException e) { Log.e(LOG_TAG, "Error on writing raw file.", e); } } try { rawFileStream.close(); } catch (IOException e) { } Log.d(LOG_TAG, "Exit audio recording."); }
Individua il file audio acquisito in /sdcard/record_loopback.raw
e ascoltalo utilizzando
FFmpeg
:
adb pull /sdcard/record_loopback.raw
ffmpeg -f s16le -ar 48k -ac 1 -i record_loopback.raw record_loopback.wav
ffplay record_loopback.wav
Casi d'uso
Questa sezione include casi d'uso comuni per l'audio della TV.
Sintonizzatore TV con uscita altoparlante
Quando un sintonizzatore TV diventa attivo, l'API di instradamento audio crea un patch audio tra il sintonizzatore e l'uscita predefinita (ad es. lo speaker). L'uscita del sintonizzatore non richiede decodifica, ma l'uscita audio finale viene miscelata con lo stream output_stream del software.

Figura 2. Audio Patch per sintonizzatore TV con uscita altoparlante.
HDMI OUT durante la TV in diretta
Un utente sta guardando la TV in diretta e passa all'uscita audio HDMI (Intent.ACTION_HDMI_AUDIO_PLUG). Il dispositivo di output di tutti gli output_stream diventa la porta HDMI_OUT e il gestore TIF cambia la porta di destinazione della patch audio del sintonizzatore esistente in HDMI_OUT.

Figura 3. Audio Patch per HDMI OUT dalla TV in diretta.