Âm thanh TV

Trình quản lý Khung đầu vào TV (TIF) hoạt động với API định tuyến âm thanh để hỗ trợ các thay đổi linh hoạt về đường dẫn âm thanh. Khi một Hệ thống trên chip (SoC) triển khai lớp trừu tượng phần cứng TV (HAL), mỗi đầu vào TV (HDMI IN, Bộ thu, v.v.) sẽ cung cấp TvInputHardwareInfo chỉ định thông tin AudioPort cho loại âm thanh và địa chỉ.

  • Các thiết bị đầu vào/đầu ra âm thanh thực có một AudioPort tương ứng.
  • Luồng đầu ra/đầu vào âm thanh phần mềm được biểu thị dưới dạng AudioMixPort (lớp con của AudioPort).

Sau đó, TIF sẽ sử dụng thông tin AudioPort cho API định tuyến âm thanh.

Khung đầu vào Android TV (TIF)

Hình 1. Khung đầu vào TV (TIF)

Yêu cầu

SoC phải triển khai HAL âm thanh với khả năng hỗ trợ API định tuyến âm thanh sau:

Cổng âm thanh
  • Đầu vào âm thanh TV có cách triển khai cổng nguồn âm thanh tương ứng.
  • Đầu ra âm thanh của TV có cách triển khai cổng âm thanh tương ứng.
  • Có thể tạo bản vá âm thanh giữa bất kỳ cổng âm thanh đầu vào nào của TV và bất kỳ cổng âm thanh đầu ra nào của TV.
Đầu vào mặc định AudioRecord (được tạo bằng nguồn đầu vào DEFAULT) phải chiếm nguồn đầu vào rỗng ảo để thu thập AUDIO_DEVICE_IN_DEFAULT trên Android TV.
Vòng lặp thiết bị Yêu cầu hỗ trợ đầu vào AUDIO_DEVICE_IN_LOOPBACK là một bản phối hoàn chỉnh của tất cả đầu ra âm thanh của tất cả đầu ra TV (11Khz, 16 bit đơn âm hoặc 48Khz, 16 bit đơn âm). Chỉ dùng để ghi âm.

Thiết bị âm thanh TV

Android hỗ trợ các thiết bị âm thanh sau đây để nhập/xuất âm thanh TV.

system/media/audio/include/system/audio.h

Lưu ý: Trong Android 5.1 trở xuống, đường dẫn đến tệp này là: system/core/include/system/audio.h

/* output devices */
AUDIO_DEVICE_OUT_AUX_DIGITAL  = 0x400,
AUDIO_DEVICE_OUT_HDMI   = AUDIO_DEVICE_OUT_AUX_DIGITAL,
/* HDMI Audio Return Channel */
AUDIO_DEVICE_OUT_HDMI_ARC   = 0x40000,
/* S/PDIF out */
AUDIO_DEVICE_OUT_SPDIF    = 0x80000,
/* input devices */
AUDIO_DEVICE_IN_AUX_DIGITAL   = AUDIO_DEVICE_BIT_IN | 0x20,
AUDIO_DEVICE_IN_HDMI      = AUDIO_DEVICE_IN_AUX_DIGITAL,
/* TV tuner input */
AUDIO_DEVICE_IN_TV_TUNER    = AUDIO_DEVICE_BIT_IN | 0x4000,
/* S/PDIF in */
AUDIO_DEVICE_IN_SPDIF   = AUDIO_DEVICE_BIT_IN | 0x10000,
AUDIO_DEVICE_IN_LOOPBACK    = AUDIO_DEVICE_BIT_IN | 0x40000,

Tiện ích Audio HAL

Tiện ích Audio HAL cho API định tuyến âm thanh được xác định theo cách sau:

system/media/audio/include/system/audio.h

Lưu ý: Trong Android 5.1 trở xuống, đường dẫn đến tệp này là: system/core/include/system/audio.h

/* audio port configuration structure used to specify a particular configuration of an audio port */
struct audio_port_config {
    audio_port_handle_t      id;           /* port unique ID */
    audio_port_role_t        role;         /* sink or source */
    audio_port_type_t        type;         /* device, mix ... */
    unsigned int             config_mask;  /* e.g. AUDIO_PORT_CONFIG_ALL */
    unsigned int             sample_rate;  /* sampling rate in Hz */
    audio_channel_mask_t     channel_mask; /* channel mask if applicable */
    audio_format_t           format;       /* format if applicable */
    struct audio_gain_config gain;         /* gain to apply if applicable */
    union {
        struct audio_port_config_device_ext  device;  /* device specific info */
        struct audio_port_config_mix_ext     mix;     /* mix specific info */
        struct audio_port_config_session_ext session; /* session specific info */
    } ext;
};
struct audio_port {
    audio_port_handle_t      id;                /* port unique ID */
    audio_port_role_t        role;              /* sink or source */
    audio_port_type_t        type;              /* device, mix ... */
    unsigned int             num_sample_rates;  /* number of sampling rates in following array */
    unsigned int             sample_rates[AUDIO_PORT_MAX_SAMPLING_RATES];
    unsigned int             num_channel_masks; /* number of channel masks in following array */
    audio_channel_mask_t     channel_masks[AUDIO_PORT_MAX_CHANNEL_MASKS];
    unsigned int             num_formats;       /* number of formats in following array */
    audio_format_t           formats[AUDIO_PORT_MAX_FORMATS];
    unsigned int             num_gains;         /* number of gains in following array */
    struct audio_gain        gains[AUDIO_PORT_MAX_GAINS];
    struct audio_port_config active_config;     /* current audio port configuration */
    union {
        struct audio_port_device_ext  device;
        struct audio_port_mix_ext     mix;
        struct audio_port_session_ext session;
    } ext;
};

hardware/libhardware/include/hardware/audio.h

struct audio_hw_device {
  :
    /**
     * Routing control
     */

    /* Creates an audio patch between several source and sink ports.
     * The handle is allocated by the HAL and should be unique for this
     * audio HAL module. */
    int (*create_audio_patch)(struct audio_hw_device *dev,
                               unsigned int num_sources,
                               const struct audio_port_config *sources,
                               unsigned int num_sinks,
                               const struct audio_port_config *sinks,
                               audio_patch_handle_t *handle);

    /* Release an audio patch */
    int (*release_audio_patch)(struct audio_hw_device *dev,
                               audio_patch_handle_t handle);

    /* Fills the list of supported attributes for a given audio port.
     * As input, "port" contains the information (type, role, address etc...)
     * needed by the HAL to identify the port.
     * As output, "port" contains possible attributes (sampling rates, formats,
     * channel masks, gain controllers...) for this port.
     */
    int (*get_audio_port)(struct audio_hw_device *dev,
                          struct audio_port *port);

    /* Set audio port configuration */
    int (*set_audio_port_config)(struct audio_hw_device *dev,
                         const struct audio_port_config *config);

Kiểm thử DEVICE_IN_LOOPBACK

Để kiểm thử DEVICE_IN_LOOPBACK cho tính năng theo dõi TV, hãy sử dụng mã kiểm thử sau. Sau khi chạy kiểm thử, âm thanh đã ghi sẽ lưu vào /sdcard/record_loopback.raw. Tại đây, bạn có thể nghe âm thanh đó bằng FFmpeg.

<uses-permission android:name="android.permission.MODIFY_AUDIO_ROUTING" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

   AudioRecord mRecorder;
   Handler mHandler = new Handler();
   int mMinBufferSize = AudioRecord.getMinBufferSize(RECORD_SAMPLING_RATE,
           AudioFormat.CHANNEL_IN_MONO,
           AudioFormat.ENCODING_PCM_16BIT);;
   static final int RECORD_SAMPLING_RATE = 48000;
   public void doCapture() {
       mRecorder = new AudioRecord(MediaRecorder.AudioSource.DEFAULT, RECORD_SAMPLING_RATE,
               AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, mMinBufferSize * 10);
       AudioManager am = (AudioManager) getSystemService(Context.AUDIO_SERVICE);
       ArrayList<AudioPort> audioPorts = new ArrayList<AudioPort>();
       am.listAudioPorts(audioPorts);
       AudioPortConfig srcPortConfig = null;
       AudioPortConfig sinkPortConfig = null;
       for (AudioPort audioPort : audioPorts) {
           if (srcPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SOURCE
                   && audioPort instanceof AudioDevicePort) {
               AudioDevicePort audioDevicePort = (AudioDevicePort) audioPort;
               if (audioDevicePort.type() == AudioManager.DEVICE_IN_LOOPBACK) {
                   srcPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_IN_DEFAULT,
                           AudioFormat.ENCODING_DEFAULT, null);
                   Log.d(LOG_TAG, "Found loopback audio source port : " + audioPort);
               }
           }
           else if (sinkPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SINK
                   && audioPort instanceof AudioMixPort) {
               sinkPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_OUT_DEFAULT,
                       AudioFormat.ENCODING_DEFAULT, null);
               Log.d(LOG_TAG, "Found recorder audio mix port : " + audioPort);
           }
       }
       if (srcPortConfig != null && sinkPortConfig != null) {
           AudioPatch[] patches = new AudioPatch[] { null };
           int status = am.createAudioPatch(
                   patches,
                   new AudioPortConfig[] { srcPortConfig },
                   new AudioPortConfig[] { sinkPortConfig });
           Log.d(LOG_TAG, "Result of createAudioPatch(): " + status);
       }
       mRecorder.startRecording();
       processAudioData();
       mRecorder.stop();
       mRecorder.release();
   }
   private void processAudioData() {
       OutputStream rawFileStream = null;
       byte data[] = new byte[mMinBufferSize];
       try {
           rawFileStream = new BufferedOutputStream(
                   new FileOutputStream(new File("/sdcard/record_loopback.raw")));
       } catch (FileNotFoundException e) {
           Log.d(LOG_TAG, "Can't open file.", e);
       }
       long startTimeMs = System.currentTimeMillis();
       while (System.currentTimeMillis() - startTimeMs < 5000) {
           int nbytes = mRecorder.read(data, 0, mMinBufferSize);
           if (nbytes <= 0) {
               continue;
           }
           try {
               rawFileStream.write(data);
           } catch (IOException e) {
               Log.e(LOG_TAG, "Error on writing raw file.", e);
           }
       }
       try {
           rawFileStream.close();
       } catch (IOException e) {
       }
       Log.d(LOG_TAG, "Exit audio recording.");
   }

Tìm tệp âm thanh đã ghi trong /sdcard/record_loopback.raw và nghe tệp đó bằng FFmpeg:

adb pull /sdcard/record_loopback.raw
ffmpeg -f s16le -ar 48k -ac 1 -i record_loopback.raw record_loopback.wav
ffplay record_loopback.wav

Trường hợp sử dụng

Phần này bao gồm các trường hợp sử dụng phổ biến đối với âm thanh trên TV.

Bộ thu TV có đầu ra loa

Khi bộ thu truyền hình hoạt động, API định tuyến âm thanh sẽ tạo một bản vá âm thanh giữa bộ thu và đầu ra mặc định (ví dụ: loa). Đầu ra của bộ dò không yêu cầu giải mã, nhưng đầu ra âm thanh cuối cùng được kết hợp với output_stream phần mềm.

Bản vá âm thanh của bộ dò TV Android

Hình 2. Bản vá âm thanh cho bộ dò TV có đầu ra loa.

HDMI OUT trong khi xem truyền hình trực tiếp

Người dùng đang xem truyền hình trực tiếp rồi chuyển sang đầu ra âm thanh HDMI (Intent.ACTION_HDMI_AUDIO_PLUG). Thiết bị đầu ra của tất cả output_streams thay đổi thành cổng HDMI_OUT và trình quản lý TIF thay đổi cổng bồn lưu trữ của bản vá âm thanh bộ thu hiện có thành cổng HDMI_OUT.

Bản vá âm thanh HDMI-OUT của Android TV

Hình 3. Bản vá âm thanh cho HDMI OUT từ TV trực tiếp.