TV sesi

TV Giriş Çerçevesi (TIF) yöneticisi, esnek ses yolu değişikliklerini desteklemek için ses yönlendirme API'siyle çalışır. Bir çip üzerinde sistem (SoC), TV donanım soyutlama katmanını (HAL) uyguladığında her TV girişi (HDMI GİRİŞİ, Tuner vb.), ses türü ve adresi için AudioPort bilgilerini belirten TvInputHardwareInfo sağlar.

  • Fiziksel ses giriş/çıkış cihazlarının karşılık gelen bir AudioPort'u vardır.
  • Yazılım ses çıkışı/giriş akışları AudioMixPort (AudioPort'un alt sınıfı) olarak temsil edilir.

Ardından TIF, ses yönlendirme API'si için AudioPort bilgilerini kullanır.

Android TV Giriş Çerçevesi (TIF)

Şekil 1. TV Giriş Çerçevesi (TIF)

Şartlar

SoC, ses HAL'ini aşağıdaki ses yönlendirme API desteğiyle uygulamalıdır:

Ses Bağlantı Noktaları
  • TV ses girişinin karşılık gelen bir ses kaynağı bağlantı noktası uygulaması vardır.
  • TV ses çıkışında, karşılık gelen bir ses alıcı bağlantı noktası uygulaması vardır.
  • Herhangi bir TV giriş ses bağlantı noktası ile herhangi bir TV çıkış ses bağlantı noktası arasında ses bağlantısı oluşturabilir.
Varsayılan Giriş Android TV'de AUDIO_DEVICE_IN_DEFAULT edinimi için AudioRecord (DEFAULT giriş kaynağıyla oluşturulur) sanal null giriş kaynağını ele almalıdır.
Cihaz Loopback Tüm TV çıkışının tüm ses çıkışının (11 Khz, 16 bit mono veya 48 Khz, 16 bit mono) tam bir karışımı olan bir AUDIO_DEVICE_IN_LOOPBACK girişinin desteklenmesi gerekir. Yalnızca ses kaydı için kullanılır.

TV ses cihazları

Android, TV ses girişi/çıkışı için aşağıdaki ses cihazlarını destekler.

system/media/audio/include/system/audio.h

Not: Android 5.1 ve önceki sürümlerde bu dosyanın yolu: system/core/include/system/audio.h

/* output devices */
AUDIO_DEVICE_OUT_AUX_DIGITAL  = 0x400,
AUDIO_DEVICE_OUT_HDMI   = AUDIO_DEVICE_OUT_AUX_DIGITAL,
/* HDMI Audio Return Channel */
AUDIO_DEVICE_OUT_HDMI_ARC   = 0x40000,
/* S/PDIF out */
AUDIO_DEVICE_OUT_SPDIF    = 0x80000,
/* input devices */
AUDIO_DEVICE_IN_AUX_DIGITAL   = AUDIO_DEVICE_BIT_IN | 0x20,
AUDIO_DEVICE_IN_HDMI      = AUDIO_DEVICE_IN_AUX_DIGITAL,
/* TV tuner input */
AUDIO_DEVICE_IN_TV_TUNER    = AUDIO_DEVICE_BIT_IN | 0x4000,
/* S/PDIF in */
AUDIO_DEVICE_IN_SPDIF   = AUDIO_DEVICE_BIT_IN | 0x10000,
AUDIO_DEVICE_IN_LOOPBACK    = AUDIO_DEVICE_BIT_IN | 0x40000,

Ses HAL uzantısı

Ses yönlendirme API'si için ses HAL uzantısı aşağıdaki şekilde tanımlanır:

system/media/audio/include/system/audio.h

Not: Android 5.1 ve önceki sürümlerde bu dosyanın yolu: system/core/include/system/audio.h

/* audio port configuration structure used to specify a particular configuration of an audio port */
struct audio_port_config {
    audio_port_handle_t      id;           /* port unique ID */
    audio_port_role_t        role;         /* sink or source */
    audio_port_type_t        type;         /* device, mix ... */
    unsigned int             config_mask;  /* e.g. AUDIO_PORT_CONFIG_ALL */
    unsigned int             sample_rate;  /* sampling rate in Hz */
    audio_channel_mask_t     channel_mask; /* channel mask if applicable */
    audio_format_t           format;       /* format if applicable */
    struct audio_gain_config gain;         /* gain to apply if applicable */
    union {
        struct audio_port_config_device_ext  device;  /* device specific info */
        struct audio_port_config_mix_ext     mix;     /* mix specific info */
        struct audio_port_config_session_ext session; /* session specific info */
    } ext;
};
struct audio_port {
    audio_port_handle_t      id;                /* port unique ID */
    audio_port_role_t        role;              /* sink or source */
    audio_port_type_t        type;              /* device, mix ... */
    unsigned int             num_sample_rates;  /* number of sampling rates in following array */
    unsigned int             sample_rates[AUDIO_PORT_MAX_SAMPLING_RATES];
    unsigned int             num_channel_masks; /* number of channel masks in following array */
    audio_channel_mask_t     channel_masks[AUDIO_PORT_MAX_CHANNEL_MASKS];
    unsigned int             num_formats;       /* number of formats in following array */
    audio_format_t           formats[AUDIO_PORT_MAX_FORMATS];
    unsigned int             num_gains;         /* number of gains in following array */
    struct audio_gain        gains[AUDIO_PORT_MAX_GAINS];
    struct audio_port_config active_config;     /* current audio port configuration */
    union {
        struct audio_port_device_ext  device;
        struct audio_port_mix_ext     mix;
        struct audio_port_session_ext session;
    } ext;
};

hardware/libhardware/include/hardware/audio.h

struct audio_hw_device {
  :
    /**
     * Routing control
     */

    /* Creates an audio patch between several source and sink ports.
     * The handle is allocated by the HAL and should be unique for this
     * audio HAL module. */
    int (*create_audio_patch)(struct audio_hw_device *dev,
                               unsigned int num_sources,
                               const struct audio_port_config *sources,
                               unsigned int num_sinks,
                               const struct audio_port_config *sinks,
                               audio_patch_handle_t *handle);

    /* Release an audio patch */
    int (*release_audio_patch)(struct audio_hw_device *dev,
                               audio_patch_handle_t handle);

    /* Fills the list of supported attributes for a given audio port.
     * As input, "port" contains the information (type, role, address etc...)
     * needed by the HAL to identify the port.
     * As output, "port" contains possible attributes (sampling rates, formats,
     * channel masks, gain controllers...) for this port.
     */
    int (*get_audio_port)(struct audio_hw_device *dev,
                          struct audio_port *port);

    /* Set audio port configuration */
    int (*set_audio_port_config)(struct audio_hw_device *dev,
                         const struct audio_port_config *config);

DEVICE_IN_LOOPBACK parametresini test etme

TV izleme için DEVICE_IN_LOOPBACK parametresini test etmek üzere aşağıdaki test kodunu kullanın. Test çalıştırıldıktan sonra kaydedilen ses /sdcard/record_loopback.raw'e kaydedilir. Burada FFmpeg'u kullanarak sesi dinleyebilirsiniz.

<uses-permission android:name="android.permission.MODIFY_AUDIO_ROUTING" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

   AudioRecord mRecorder;
   Handler mHandler = new Handler();
   int mMinBufferSize = AudioRecord.getMinBufferSize(RECORD_SAMPLING_RATE,
           AudioFormat.CHANNEL_IN_MONO,
           AudioFormat.ENCODING_PCM_16BIT);;
   static final int RECORD_SAMPLING_RATE = 48000;
   public void doCapture() {
       mRecorder = new AudioRecord(MediaRecorder.AudioSource.DEFAULT, RECORD_SAMPLING_RATE,
               AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, mMinBufferSize * 10);
       AudioManager am = (AudioManager) getSystemService(Context.AUDIO_SERVICE);
       ArrayList<AudioPort> audioPorts = new ArrayList<AudioPort>();
       am.listAudioPorts(audioPorts);
       AudioPortConfig srcPortConfig = null;
       AudioPortConfig sinkPortConfig = null;
       for (AudioPort audioPort : audioPorts) {
           if (srcPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SOURCE
                   && audioPort instanceof AudioDevicePort) {
               AudioDevicePort audioDevicePort = (AudioDevicePort) audioPort;
               if (audioDevicePort.type() == AudioManager.DEVICE_IN_LOOPBACK) {
                   srcPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_IN_DEFAULT,
                           AudioFormat.ENCODING_DEFAULT, null);
                   Log.d(LOG_TAG, "Found loopback audio source port : " + audioPort);
               }
           }
           else if (sinkPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SINK
                   && audioPort instanceof AudioMixPort) {
               sinkPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_OUT_DEFAULT,
                       AudioFormat.ENCODING_DEFAULT, null);
               Log.d(LOG_TAG, "Found recorder audio mix port : " + audioPort);
           }
       }
       if (srcPortConfig != null && sinkPortConfig != null) {
           AudioPatch[] patches = new AudioPatch[] { null };
           int status = am.createAudioPatch(
                   patches,
                   new AudioPortConfig[] { srcPortConfig },
                   new AudioPortConfig[] { sinkPortConfig });
           Log.d(LOG_TAG, "Result of createAudioPatch(): " + status);
       }
       mRecorder.startRecording();
       processAudioData();
       mRecorder.stop();
       mRecorder.release();
   }
   private void processAudioData() {
       OutputStream rawFileStream = null;
       byte data[] = new byte[mMinBufferSize];
       try {
           rawFileStream = new BufferedOutputStream(
                   new FileOutputStream(new File("/sdcard/record_loopback.raw")));
       } catch (FileNotFoundException e) {
           Log.d(LOG_TAG, "Can't open file.", e);
       }
       long startTimeMs = System.currentTimeMillis();
       while (System.currentTimeMillis() - startTimeMs < 5000) {
           int nbytes = mRecorder.read(data, 0, mMinBufferSize);
           if (nbytes <= 0) {
               continue;
           }
           try {
               rawFileStream.write(data);
           } catch (IOException e) {
               Log.e(LOG_TAG, "Error on writing raw file.", e);
           }
       }
       try {
           rawFileStream.close();
       } catch (IOException e) {
       }
       Log.d(LOG_TAG, "Exit audio recording.");
   }

Kaydedilen ses dosyasını /sdcard/record_loopback.raw'te bulun ve FFmpeg'ü kullanarak dinleyin:

adb pull /sdcard/record_loopback.raw
ffmpeg -f s16le -ar 48k -ac 1 -i record_loopback.raw record_loopback.wav
ffplay record_loopback.wav

Kullanım örnekleri

Bu bölümde, TV seslerinin yaygın kullanım alanları yer almaktadır.

Hoparlör çıkışlı TV tarayıcısı

Bir TV tuner etkinleştiğinde ses yönlendirme API'si, tuner ile varsayılan çıkış (ör. hoparlör) arasında bir ses yaması oluşturur. Tuner çıkışı için kod çözme gerekmez ancak nihai ses çıkışı, yazılım output_stream ile karıştırılır.

Android TV Tuner Audio Patch

Şekil 2. Hoparlör çıkışlı TV tarayıcısı için ses yaması.

Canlı TV sırasında HDMI ÇIKIŞI

Bir kullanıcı canlı TV izliyor ve ardından HDMI ses çıkışına (Intent.ACTION_HDMI_AUDIO_PLUG) geçiyor. Tüm output_stream'lerin çıkış cihazı HDMI_OUT bağlantı noktasına, TIF yöneticisi ise mevcut tuner ses yamasının alıcı bağlantı noktasını HDMI_OUT bağlantı noktasına değiştirir.

Android TV HDMI-OUT Ses Yaması

Şekil 3. Canlı TV'den HDMI ÇIKIŞ için ses bağlantısı.