Âm thanh TV

Trình quản lý Khung đầu vào TV (TIF) hoạt động với API định tuyến âm thanh để hỗ trợ âm thanh linh hoạt các thay đổi về đường dẫn. Khi một Hệ thống trên chip (SoC) triển khai lớp trừu tượng phần cứng TV (HAL), mỗi Đầu vào TV (HDMI IN, Bộ dò, v.v.) cung cấp TvInputHardwareInfo chỉ định thông tin AudioPort cho loại và địa chỉ âm thanh.

  • Thiết bị đầu vào/đầu ra âm thanh thực có một Cổng Audio tương ứng.
  • Luồng đầu ra/đầu vào âm thanh Phần mềm được biểu thị dưới dạng AudioMixPort (lớp con của Cổng âm thanh).

Sau đó, TIF sử dụng thông tin AudioPort cho API định tuyến âm thanh.

Khung đầu vào Android TV (TIF)

Hình 1. Khung đầu vào TV (TIF)

Yêu cầu

SoC phải triển khai HAL âm thanh có hỗ trợ API định tuyến âm thanh như sau:

Cổng âm thanh
  • Đầu vào âm thanh TV có cách triển khai cổng nguồn âm thanh tương ứng.
  • Đầu ra âm thanh TV có cách triển khai cổng bồn lưu trữ âm thanh tương ứng.
  • Có thể tạo bản vá âm thanh giữa mọi cổng âm thanh đầu vào TV và bất kỳ cổng âm thanh đầu ra TV nào.
Phương thức nhập mặc định AudioRecord (được tạo bằng nguồn đầu vào DEFAULT) phải thu thập nguồn đầu vào rỗng ảo cho Chuyển đổi AUDIO_DEVICE_IN_DEFAULT trên Android TV.
Loopback thiết bị Yêu cầu hỗ trợ đầu vào AUDIO_DEVICE_IN_LOOPBACK là một kết hợp hoàn chỉnh của tất cả đầu ra âm thanh của tất cả đầu ra TV (11Khz, 16bit mono hoặc 48Khz, 16bit mono). Chỉ dùng để ghi âm.

Thiết bị âm thanh TV

Android hỗ trợ các thiết bị âm thanh sau đây cho đầu vào/đầu ra âm thanh của TV.

system/media/audio/include/system/audio.h

Lưu ý: Trong Android 5.1 trở xuống, đường dẫn đến tệp này là: system/core/include/system/audio.h

/* output devices */
AUDIO_DEVICE_OUT_AUX_DIGITAL  = 0x400,
AUDIO_DEVICE_OUT_HDMI   = AUDIO_DEVICE_OUT_AUX_DIGITAL,
/* HDMI Audio Return Channel */
AUDIO_DEVICE_OUT_HDMI_ARC   = 0x40000,
/* S/PDIF out */
AUDIO_DEVICE_OUT_SPDIF    = 0x80000,
/* input devices */
AUDIO_DEVICE_IN_AUX_DIGITAL   = AUDIO_DEVICE_BIT_IN | 0x20,
AUDIO_DEVICE_IN_HDMI      = AUDIO_DEVICE_IN_AUX_DIGITAL,
/* TV tuner input */
AUDIO_DEVICE_IN_TV_TUNER    = AUDIO_DEVICE_BIT_IN | 0x4000,
/* S/PDIF in */
AUDIO_DEVICE_IN_SPDIF   = AUDIO_DEVICE_BIT_IN | 0x10000,
AUDIO_DEVICE_IN_LOOPBACK    = AUDIO_DEVICE_BIT_IN | 0x40000,

Tiện ích HAL âm thanh

Tiện ích HAL âm thanh cho API định tuyến âm thanh được xác định bằng cách sau đây:

system/media/audio/include/system/audio.h

Lưu ý: Trong Android 5.1 trở xuống, đường dẫn đến tệp này là: system/core/include/system/audio.h

/* audio port configuration structure used to specify a particular configuration of an audio port */
struct audio_port_config {
    audio_port_handle_t      id;           /* port unique ID */
    audio_port_role_t        role;         /* sink or source */
    audio_port_type_t        type;         /* device, mix ... */
    unsigned int             config_mask;  /* e.g. AUDIO_PORT_CONFIG_ALL */
    unsigned int             sample_rate;  /* sampling rate in Hz */
    audio_channel_mask_t     channel_mask; /* channel mask if applicable */
    audio_format_t           format;       /* format if applicable */
    struct audio_gain_config gain;         /* gain to apply if applicable */
    union {
        struct audio_port_config_device_ext  device;  /* device specific info */
        struct audio_port_config_mix_ext     mix;     /* mix specific info */
        struct audio_port_config_session_ext session; /* session specific info */
    } ext;
};
struct audio_port {
    audio_port_handle_t      id;                /* port unique ID */
    audio_port_role_t        role;              /* sink or source */
    audio_port_type_t        type;              /* device, mix ... */
    unsigned int             num_sample_rates;  /* number of sampling rates in following array */
    unsigned int             sample_rates[AUDIO_PORT_MAX_SAMPLING_RATES];
    unsigned int             num_channel_masks; /* number of channel masks in following array */
    audio_channel_mask_t     channel_masks[AUDIO_PORT_MAX_CHANNEL_MASKS];
    unsigned int             num_formats;       /* number of formats in following array */
    audio_format_t           formats[AUDIO_PORT_MAX_FORMATS];
    unsigned int             num_gains;         /* number of gains in following array */
    struct audio_gain        gains[AUDIO_PORT_MAX_GAINS];
    struct audio_port_config active_config;     /* current audio port configuration */
    union {
        struct audio_port_device_ext  device;
        struct audio_port_mix_ext     mix;
        struct audio_port_session_ext session;
    } ext;
};

hardware/libhardware/include/hardware/audio.h

struct audio_hw_device {
  :
    /**
     * Routing control
     */

    /* Creates an audio patch between several source and sink ports.
     * The handle is allocated by the HAL and should be unique for this
     * audio HAL module. */
    int (*create_audio_patch)(struct audio_hw_device *dev,
                               unsigned int num_sources,
                               const struct audio_port_config *sources,
                               unsigned int num_sinks,
                               const struct audio_port_config *sinks,
                               audio_patch_handle_t *handle);

    /* Release an audio patch */
    int (*release_audio_patch)(struct audio_hw_device *dev,
                               audio_patch_handle_t handle);

    /* Fills the list of supported attributes for a given audio port.
     * As input, "port" contains the information (type, role, address etc...)
     * needed by the HAL to identify the port.
     * As output, "port" contains possible attributes (sampling rates, formats,
     * channel masks, gain controllers...) for this port.
     */
    int (*get_audio_port)(struct audio_hw_device *dev,
                          struct audio_port *port);

    /* Set audio port configuration */
    int (*set_audio_port_config)(struct audio_hw_device *dev,
                         const struct audio_port_config *config);

Đang kiểm traDEVICE_IN_LOOPBACK

Để kiểm traDEVICE_IN_LOOPBACK đối với tính năng giám sát TV, hãy dùng mã kiểm tra sau đây. Sau khi chạy kiểm tra, âm thanh thu được sẽ lưu vào /sdcard/record_loopback.raw để bạn có thể nghe nó bằng cách sử dụng FFmpeg.

<uses-permission android:name="android.permission.MODIFY_AUDIO_ROUTING" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

   AudioRecord mRecorder;
   Handler mHandler = new Handler();
   int mMinBufferSize = AudioRecord.getMinBufferSize(RECORD_SAMPLING_RATE,
           AudioFormat.CHANNEL_IN_MONO,
           AudioFormat.ENCODING_PCM_16BIT);;
   static final int RECORD_SAMPLING_RATE = 48000;
   public void doCapture() {
       mRecorder = new AudioRecord(MediaRecorder.AudioSource.DEFAULT, RECORD_SAMPLING_RATE,
               AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, mMinBufferSize * 10);
       AudioManager am = (AudioManager) getSystemService(Context.AUDIO_SERVICE);
       ArrayList<AudioPort> audioPorts = new ArrayList<AudioPort>();
       am.listAudioPorts(audioPorts);
       AudioPortConfig srcPortConfig = null;
       AudioPortConfig sinkPortConfig = null;
       for (AudioPort audioPort : audioPorts) {
           if (srcPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SOURCE
                   && audioPort instanceof AudioDevicePort) {
               AudioDevicePort audioDevicePort = (AudioDevicePort) audioPort;
               if (audioDevicePort.type() == AudioManager.DEVICE_IN_LOOPBACK) {
                   srcPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_IN_DEFAULT,
                           AudioFormat.ENCODING_DEFAULT, null);
                   Log.d(LOG_TAG, "Found loopback audio source port : " + audioPort);
               }
           }
           else if (sinkPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SINK
                   && audioPort instanceof AudioMixPort) {
               sinkPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_OUT_DEFAULT,
                       AudioFormat.ENCODING_DEFAULT, null);
               Log.d(LOG_TAG, "Found recorder audio mix port : " + audioPort);
           }
       }
       if (srcPortConfig != null && sinkPortConfig != null) {
           AudioPatch[] patches = new AudioPatch[] { null };
           int status = am.createAudioPatch(
                   patches,
                   new AudioPortConfig[] { srcPortConfig },
                   new AudioPortConfig[] { sinkPortConfig });
           Log.d(LOG_TAG, "Result of createAudioPatch(): " + status);
       }
       mRecorder.startRecording();
       processAudioData();
       mRecorder.stop();
       mRecorder.release();
   }
   private void processAudioData() {
       OutputStream rawFileStream = null;
       byte data[] = new byte[mMinBufferSize];
       try {
           rawFileStream = new BufferedOutputStream(
                   new FileOutputStream(new File("/sdcard/record_loopback.raw")));
       } catch (FileNotFoundException e) {
           Log.d(LOG_TAG, "Can't open file.", e);
       }
       long startTimeMs = System.currentTimeMillis();
       while (System.currentTimeMillis() - startTimeMs < 5000) {
           int nbytes = mRecorder.read(data, 0, mMinBufferSize);
           if (nbytes <= 0) {
               continue;
           }
           try {
               rawFileStream.write(data);
           } catch (IOException e) {
               Log.e(LOG_TAG, "Error on writing raw file.", e);
           }
       }
       try {
           rawFileStream.close();
       } catch (IOException e) {
       }
       Log.d(LOG_TAG, "Exit audio recording.");
   }

Xác định vị trí tệp âm thanh đã ghi trong /sdcard/record_loopback.raw rồi nghe tệp đó bằng FFmpeg:

adb pull /sdcard/record_loopback.raw
ffmpeg -f s16le -ar 48k -ac 1 -i record_loopback.raw record_loopback.wav
ffplay record_loopback.wav

Trường hợp sử dụng

Phần này trình bày các trường hợp sử dụng phổ biến đối với âm thanh TV.

Bộ dò TV với đầu ra loa

Khi một bộ dò TV hoạt động, API định tuyến âm thanh sẽ tạo một bản vá âm thanh giữa bộ dò và đầu ra mặc định (ví dụ: loa). Đầu ra của bộ dò không yêu cầu giải mã, nhưng cuối cùng đầu ra âm thanh kết hợp với output_stream của phần mềm.

Bản vá âm thanh cho bộ dò Android TV

Hình 2. Bản vá âm thanh cho bộ dò TV có đầu ra loa.

HDMI OUT trong khi truyền hình trực tiếp

Một người dùng đang xem truyền hình trực tuyến thì chuyển sang đầu ra âm thanh HDMI (Intent.ACTION_HDMI_AUDIO_PLUG) của Google. Thiết bị đầu ra của tất cả output_streams sẽ thay đổi thành cổng HDMI_OUT còn trình quản lý TIF sẽ thay đổi cổng bồn lưu trữ dữ liệu của bản vá âm thanh bộ dò hiện có với cổng HDMI_OUT.

Bản vá âm thanh HDMI-OUT cho Android TV

Hình 3. Miếng dán âm thanh cho HDMI OUT từ truyền hình trực tuyến.