Menedżer TV Input Framework (TIF) współpracuje z interfejsem API do kierowania dźwięku, aby umożliwić elastyczne zmiany ścieżki dźwięku. Gdy system na chipie (SoC) implementuje warstwę abstrakcji sprzętowej telewizora (HAL), każde wejście telewizora (HDMI IN, tuner itp.) zapewnia TvInputHardwareInfo, który określa informacje AudioPort dla typu i adresu audio.
- Urządzenia wejściowe i wyjściowe audio mają odpowiedni port audio.
- Oprogramowanie wyjścia/wejścia audio są reprezentowane jako AudioMixPort (klasa podrzędna AudioPort).
Następnie TIF używa informacji z AudioPort do interfejsu API do kierowania dźwięku.
Rysunek 1. Framework TIF (TV Input Framework)
Wymagania
SoC musi implementować HAL audio z obsługą tych interfejsów API do kierowania dźwięku:
| Porty audio |
|
|---|---|
| Domyślne dane wejściowe | AudioRecord (utworzony przy użyciu domyślnego źródła danych wejściowych) musi przejąć wirtualne puste źródło danych wejściowych na potrzeby przechwytywania AUDIO_DEVICE_IN_DEFAULT na Android TV. |
| Sprzężenie zwrotne z urządzenia | Wymaga obsługi wejścia AUDIO_DEVICE_IN_LOOPBACK, które jest pełnym miksem wszystkich sygnałów wyjściowych telewizora (11 kHz, mono 16-bitowe lub 48 kHz, mono 16-bitowe). Służy tylko do przechwytywania dźwięku. |
Urządzenia audio telewizora
Android obsługuje te urządzenia audio do przesyłania dźwięku do telewizora i z niego:
system/media/audio/include/system/audio.h
Uwaga: w Androidzie 5.1 i starszych ścieżka do tego pliku to: system/core/include/system/audio.h
/* output devices */ AUDIO_DEVICE_OUT_AUX_DIGITAL = 0x400, AUDIO_DEVICE_OUT_HDMI = AUDIO_DEVICE_OUT_AUX_DIGITAL, /* HDMI Audio Return Channel */ AUDIO_DEVICE_OUT_HDMI_ARC = 0x40000, /* S/PDIF out */ AUDIO_DEVICE_OUT_SPDIF = 0x80000, /* input devices */ AUDIO_DEVICE_IN_AUX_DIGITAL = AUDIO_DEVICE_BIT_IN | 0x20, AUDIO_DEVICE_IN_HDMI = AUDIO_DEVICE_IN_AUX_DIGITAL, /* TV tuner input */ AUDIO_DEVICE_IN_TV_TUNER = AUDIO_DEVICE_BIT_IN | 0x4000, /* S/PDIF in */ AUDIO_DEVICE_IN_SPDIF = AUDIO_DEVICE_BIT_IN | 0x10000, AUDIO_DEVICE_IN_LOOPBACK = AUDIO_DEVICE_BIT_IN | 0x40000,
Rozszerzenie HAL dźwięku
Rozszerzenie warstwy HAL odtwarzania dźwięku dla interfejsu API kierowania dźwięku jest zdefiniowane przez:
system/media/audio/include/system/audio.h
Uwaga: w Androidzie 5.1 i starszych ścieżka do tego pliku to: system/core/include/system/audio.h
/* audio port configuration structure used to specify a particular configuration of an audio port */
struct audio_port_config {
audio_port_handle_t id; /* port unique ID */
audio_port_role_t role; /* sink or source */
audio_port_type_t type; /* device, mix ... */
unsigned int config_mask; /* e.g. AUDIO_PORT_CONFIG_ALL */
unsigned int sample_rate; /* sampling rate in Hz */
audio_channel_mask_t channel_mask; /* channel mask if applicable */
audio_format_t format; /* format if applicable */
struct audio_gain_config gain; /* gain to apply if applicable */
union {
struct audio_port_config_device_ext device; /* device specific info */
struct audio_port_config_mix_ext mix; /* mix specific info */
struct audio_port_config_session_ext session; /* session specific info */
} ext;
};
struct audio_port {
audio_port_handle_t id; /* port unique ID */
audio_port_role_t role; /* sink or source */
audio_port_type_t type; /* device, mix ... */
unsigned int num_sample_rates; /* number of sampling rates in following array */
unsigned int sample_rates[AUDIO_PORT_MAX_SAMPLING_RATES];
unsigned int num_channel_masks; /* number of channel masks in following array */
audio_channel_mask_t channel_masks[AUDIO_PORT_MAX_CHANNEL_MASKS];
unsigned int num_formats; /* number of formats in following array */
audio_format_t formats[AUDIO_PORT_MAX_FORMATS];
unsigned int num_gains; /* number of gains in following array */
struct audio_gain gains[AUDIO_PORT_MAX_GAINS];
struct audio_port_config active_config; /* current audio port configuration */
union {
struct audio_port_device_ext device;
struct audio_port_mix_ext mix;
struct audio_port_session_ext session;
} ext;
};
hardware/libhardware/include/hardware/audio.h
struct audio_hw_device {
:
/**
* Routing control
*/
/* Creates an audio patch between several source and sink ports.
* The handle is allocated by the HAL and should be unique for this
* audio HAL module. */
int (*create_audio_patch)(struct audio_hw_device *dev,
unsigned int num_sources,
const struct audio_port_config *sources,
unsigned int num_sinks,
const struct audio_port_config *sinks,
audio_patch_handle_t *handle);
/* Release an audio patch */
int (*release_audio_patch)(struct audio_hw_device *dev,
audio_patch_handle_t handle);
/* Fills the list of supported attributes for a given audio port.
* As input, "port" contains the information (type, role, address etc...)
* needed by the HAL to identify the port.
* As output, "port" contains possible attributes (sampling rates, formats,
* channel masks, gain controllers...) for this port.
*/
int (*get_audio_port)(struct audio_hw_device *dev,
struct audio_port *port);
/* Set audio port configuration */
int (*set_audio_port_config)(struct audio_hw_device *dev,
const struct audio_port_config *config);
Testowanie DEVICE_IN_LOOPBACK
Aby przetestować DEVICE_IN_LOOPBACK na potrzeby monitorowania telewizora, użyj tego kodu testowego. Po przeprowadzeniu testu nagrany dźwięk zostanie zapisany w miejscu /sdcard/record_loopback.raw, gdzie możesz go odsłuchać za pomocą FFmpeg.
<uses-permission android:name="android.permission.MODIFY_AUDIO_ROUTING" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
AudioRecord mRecorder;
Handler mHandler = new Handler();
int mMinBufferSize = AudioRecord.getMinBufferSize(RECORD_SAMPLING_RATE,
AudioFormat.CHANNEL_IN_MONO,
AudioFormat.ENCODING_PCM_16BIT);;
static final int RECORD_SAMPLING_RATE = 48000;
public void doCapture() {
mRecorder = new AudioRecord(MediaRecorder.AudioSource.DEFAULT, RECORD_SAMPLING_RATE,
AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, mMinBufferSize * 10);
AudioManager am = (AudioManager) getSystemService(Context.AUDIO_SERVICE);
ArrayList<AudioPort> audioPorts = new ArrayList<AudioPort>();
am.listAudioPorts(audioPorts);
AudioPortConfig srcPortConfig = null;
AudioPortConfig sinkPortConfig = null;
for (AudioPort audioPort : audioPorts) {
if (srcPortConfig == null
&& audioPort.role() == AudioPort.ROLE_SOURCE
&& audioPort instanceof AudioDevicePort) {
AudioDevicePort audioDevicePort = (AudioDevicePort) audioPort;
if (audioDevicePort.type() == AudioManager.DEVICE_IN_LOOPBACK) {
srcPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_IN_DEFAULT,
AudioFormat.ENCODING_DEFAULT, null);
Log.d(LOG_TAG, "Found loopback audio source port : " + audioPort);
}
}
else if (sinkPortConfig == null
&& audioPort.role() == AudioPort.ROLE_SINK
&& audioPort instanceof AudioMixPort) {
sinkPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_OUT_DEFAULT,
AudioFormat.ENCODING_DEFAULT, null);
Log.d(LOG_TAG, "Found recorder audio mix port : " + audioPort);
}
}
if (srcPortConfig != null && sinkPortConfig != null) {
AudioPatch[] patches = new AudioPatch[] { null };
int status = am.createAudioPatch(
patches,
new AudioPortConfig[] { srcPortConfig },
new AudioPortConfig[] { sinkPortConfig });
Log.d(LOG_TAG, "Result of createAudioPatch(): " + status);
}
mRecorder.startRecording();
processAudioData();
mRecorder.stop();
mRecorder.release();
}
private void processAudioData() {
OutputStream rawFileStream = null;
byte data[] = new byte[mMinBufferSize];
try {
rawFileStream = new BufferedOutputStream(
new FileOutputStream(new File("/sdcard/record_loopback.raw")));
} catch (FileNotFoundException e) {
Log.d(LOG_TAG, "Can't open file.", e);
}
long startTimeMs = System.currentTimeMillis();
while (System.currentTimeMillis() - startTimeMs < 5000) {
int nbytes = mRecorder.read(data, 0, mMinBufferSize);
if (nbytes <= 0) {
continue;
}
try {
rawFileStream.write(data);
} catch (IOException e) {
Log.e(LOG_TAG, "Error on writing raw file.", e);
}
}
try {
rawFileStream.close();
} catch (IOException e) {
}
Log.d(LOG_TAG, "Exit audio recording.");
}
Odszukaj przechwycony plik audio w folderze /sdcard/record_loopback.raw i wysłuchaj go za pomocą FFmpeg:
adb pull /sdcard/record_loopback.rawffmpeg -f s16le -ar 48k -ac 1 -i record_loopback.raw record_loopback.wavffplay record_loopback.wav
Przykłady zastosowań
Ta sekcja zawiera typowe przypadki użycia dźwięku w telewizorze.
Tuner TV z wyjściem na głośnik
Gdy tuner telewizyjny staje się aktywny, interfejs API kierowania dźwięku tworzy ścieżkę audio między tunerem a domyślnym wyjściem (np. głośnikiem). Dane wyjściowe tunera nie wymagają dekodowania, ale ostateczne dane wyjściowe audio są miksowane z danymi wyjściowymi oprogramowania output_stream.
Rysunek 2. Przekierowanie audio dla tunera TV z wyjściem na głośnik.
HDMI OUT podczas transmisji na żywo
Użytkownik ogląda telewizję na żywo, a następnie przełącza się na wyjście audio HDMI (Intent.ACTION_HDMI_AUDIO_PLUG). Urządzenie wyjściowe wszystkich strumieni wyjściowych zmienia się na port HDMI_OUT, a menedżer TIF zmienia port sink dotychczasowego łata audio tunera na port HDMI_OUT.
Rysunek 3. Przesyłanie dźwięku przez HDMI OUT z telewizji na żywo.