אודיו מהטלוויזיה

מנהל TV Input Framework‏ (TIF) פועל עם Audio Routing API כדי לתמוך בשינויים גמישים של נתיב האודיו. כשמערכת על שבב (SoC) מטמיעה את שכבת ההפשטה של חומרת הטלוויזיה (HAL), כל קלט של הטלוויזיה (HDMI IN, Tuner וכו') מספק את TvInputHardwareInfo שמציין את פרטי AudioPort לסוג האודיו ולכתובת שלו.

  • למכשירי קלט/פלט אודיו פיזיים יש AudioPort תואם.
  • מקורות הקלט/פלט של אודיו בתוכנה מיוצגים כ-AudioMixPort (כיתת הצאצא של AudioPort).

לאחר מכן, ה-TIF משתמש במידע של AudioPort ל-API של ניתוב האודיו.

Android TV Input Framework‏ (TIF)

איור 1. TV Input Framework‏ (TIF)

דרישות

מעבד SoC חייב להטמיע את HAL האודיו עם התמיכה הבאה ב-API לניתוב אודיו:

שקעי אודיו
  • לקלט האודיו של הטלוויזיה יש הטמעה תואמת של יציאת מקור אודיו.
  • לפלט האודיו של הטלוויזיה יש הטמעה תואמת של יציאת אודיו ליצירת אודיו.
  • אפשר ליצור תיקון אודיו בין כל יציאת אודיו של קלט בטלוויזיה לבין כל יציאת אודיו של פלט בטלוויזיה.
קלט ברירת המחדל AudioRecord (שנוצר באמצעות מקור קלט DEFAULT) צריך לתפוס מקור קלט וירטואלי אפס לצורך רכישת AUDIO_DEVICE_IN_DEFAULT ב-Android TV.
לולאה חוזרת (loopback) במכשיר נדרש תמיכה בקלט AUDIO_DEVICE_IN_LOOPBACK שהוא שילוב מלא של כל פלט האודיו של כל פלט הטלוויזיה (11Khz, ‏ 16bit מונו או 48Khz, ‏ 16bit מונו). משמש רק לצילום אודיו.

מכשירי אודיו לטלוויזיה

Android תומך במכשירי האודיו הבאים להזנת אודיו/פלט אודיו בטלוויזיה.

system/media/audio/include/system/audio.h

הערה: בגרסאות Android 5.1 וגרסאות קודמות, הנתיב לקובץ הזה הוא: system/core/include/system/audio.h

/* output devices */
AUDIO_DEVICE_OUT_AUX_DIGITAL  = 0x400,
AUDIO_DEVICE_OUT_HDMI   = AUDIO_DEVICE_OUT_AUX_DIGITAL,
/* HDMI Audio Return Channel */
AUDIO_DEVICE_OUT_HDMI_ARC   = 0x40000,
/* S/PDIF out */
AUDIO_DEVICE_OUT_SPDIF    = 0x80000,
/* input devices */
AUDIO_DEVICE_IN_AUX_DIGITAL   = AUDIO_DEVICE_BIT_IN | 0x20,
AUDIO_DEVICE_IN_HDMI      = AUDIO_DEVICE_IN_AUX_DIGITAL,
/* TV tuner input */
AUDIO_DEVICE_IN_TV_TUNER    = AUDIO_DEVICE_BIT_IN | 0x4000,
/* S/PDIF in */
AUDIO_DEVICE_IN_SPDIF   = AUDIO_DEVICE_BIT_IN | 0x10000,
AUDIO_DEVICE_IN_LOOPBACK    = AUDIO_DEVICE_BIT_IN | 0x40000,

תוסף HAL של אודיו

התוסף Audio HAL לממשק ה-API לניתוב אודיו מוגדר באופן הבא:

system/media/audio/include/system/audio.h

הערה: ב-Android 5.1 וגרסאות קודמות, הנתיב לקובץ הזה הוא: system/core/include/system/audio.h

/* audio port configuration structure used to specify a particular configuration of an audio port */
struct audio_port_config {
    audio_port_handle_t      id;           /* port unique ID */
    audio_port_role_t        role;         /* sink or source */
    audio_port_type_t        type;         /* device, mix ... */
    unsigned int             config_mask;  /* e.g. AUDIO_PORT_CONFIG_ALL */
    unsigned int             sample_rate;  /* sampling rate in Hz */
    audio_channel_mask_t     channel_mask; /* channel mask if applicable */
    audio_format_t           format;       /* format if applicable */
    struct audio_gain_config gain;         /* gain to apply if applicable */
    union {
        struct audio_port_config_device_ext  device;  /* device specific info */
        struct audio_port_config_mix_ext     mix;     /* mix specific info */
        struct audio_port_config_session_ext session; /* session specific info */
    } ext;
};
struct audio_port {
    audio_port_handle_t      id;                /* port unique ID */
    audio_port_role_t        role;              /* sink or source */
    audio_port_type_t        type;              /* device, mix ... */
    unsigned int             num_sample_rates;  /* number of sampling rates in following array */
    unsigned int             sample_rates[AUDIO_PORT_MAX_SAMPLING_RATES];
    unsigned int             num_channel_masks; /* number of channel masks in following array */
    audio_channel_mask_t     channel_masks[AUDIO_PORT_MAX_CHANNEL_MASKS];
    unsigned int             num_formats;       /* number of formats in following array */
    audio_format_t           formats[AUDIO_PORT_MAX_FORMATS];
    unsigned int             num_gains;         /* number of gains in following array */
    struct audio_gain        gains[AUDIO_PORT_MAX_GAINS];
    struct audio_port_config active_config;     /* current audio port configuration */
    union {
        struct audio_port_device_ext  device;
        struct audio_port_mix_ext     mix;
        struct audio_port_session_ext session;
    } ext;
};

hardware/libhardware/include/hardware/audio.h

struct audio_hw_device {
  :
    /**
     * Routing control
     */

    /* Creates an audio patch between several source and sink ports.
     * The handle is allocated by the HAL and should be unique for this
     * audio HAL module. */
    int (*create_audio_patch)(struct audio_hw_device *dev,
                               unsigned int num_sources,
                               const struct audio_port_config *sources,
                               unsigned int num_sinks,
                               const struct audio_port_config *sinks,
                               audio_patch_handle_t *handle);

    /* Release an audio patch */
    int (*release_audio_patch)(struct audio_hw_device *dev,
                               audio_patch_handle_t handle);

    /* Fills the list of supported attributes for a given audio port.
     * As input, "port" contains the information (type, role, address etc...)
     * needed by the HAL to identify the port.
     * As output, "port" contains possible attributes (sampling rates, formats,
     * channel masks, gain controllers...) for this port.
     */
    int (*get_audio_port)(struct audio_hw_device *dev,
                          struct audio_port *port);

    /* Set audio port configuration */
    int (*set_audio_port_config)(struct audio_hw_device *dev,
                         const struct audio_port_config *config);

בדיקה של DEVICE_IN_LOOPBACK

כדי לבדוק את DEVICE_IN_LOOPBACK למעקב אחר טלוויזיה, משתמשים בקוד הבדיקה הבא. אחרי שתפעילו את הבדיקה, האודיו שצילמתם יישמר ב-/sdcard/record_loopback.raw, ותוכלו להאזין לו באמצעות FFmpeg.

<uses-permission android:name="android.permission.MODIFY_AUDIO_ROUTING" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

   AudioRecord mRecorder;
   Handler mHandler = new Handler();
   int mMinBufferSize = AudioRecord.getMinBufferSize(RECORD_SAMPLING_RATE,
           AudioFormat.CHANNEL_IN_MONO,
           AudioFormat.ENCODING_PCM_16BIT);;
   static final int RECORD_SAMPLING_RATE = 48000;
   public void doCapture() {
       mRecorder = new AudioRecord(MediaRecorder.AudioSource.DEFAULT, RECORD_SAMPLING_RATE,
               AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, mMinBufferSize * 10);
       AudioManager am = (AudioManager) getSystemService(Context.AUDIO_SERVICE);
       ArrayList<AudioPort> audioPorts = new ArrayList<AudioPort>();
       am.listAudioPorts(audioPorts);
       AudioPortConfig srcPortConfig = null;
       AudioPortConfig sinkPortConfig = null;
       for (AudioPort audioPort : audioPorts) {
           if (srcPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SOURCE
                   && audioPort instanceof AudioDevicePort) {
               AudioDevicePort audioDevicePort = (AudioDevicePort) audioPort;
               if (audioDevicePort.type() == AudioManager.DEVICE_IN_LOOPBACK) {
                   srcPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_IN_DEFAULT,
                           AudioFormat.ENCODING_DEFAULT, null);
                   Log.d(LOG_TAG, "Found loopback audio source port : " + audioPort);
               }
           }
           else if (sinkPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SINK
                   && audioPort instanceof AudioMixPort) {
               sinkPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_OUT_DEFAULT,
                       AudioFormat.ENCODING_DEFAULT, null);
               Log.d(LOG_TAG, "Found recorder audio mix port : " + audioPort);
           }
       }
       if (srcPortConfig != null && sinkPortConfig != null) {
           AudioPatch[] patches = new AudioPatch[] { null };
           int status = am.createAudioPatch(
                   patches,
                   new AudioPortConfig[] { srcPortConfig },
                   new AudioPortConfig[] { sinkPortConfig });
           Log.d(LOG_TAG, "Result of createAudioPatch(): " + status);
       }
       mRecorder.startRecording();
       processAudioData();
       mRecorder.stop();
       mRecorder.release();
   }
   private void processAudioData() {
       OutputStream rawFileStream = null;
       byte data[] = new byte[mMinBufferSize];
       try {
           rawFileStream = new BufferedOutputStream(
                   new FileOutputStream(new File("/sdcard/record_loopback.raw")));
       } catch (FileNotFoundException e) {
           Log.d(LOG_TAG, "Can't open file.", e);
       }
       long startTimeMs = System.currentTimeMillis();
       while (System.currentTimeMillis() - startTimeMs < 5000) {
           int nbytes = mRecorder.read(data, 0, mMinBufferSize);
           if (nbytes <= 0) {
               continue;
           }
           try {
               rawFileStream.write(data);
           } catch (IOException e) {
               Log.e(LOG_TAG, "Error on writing raw file.", e);
           }
       }
       try {
           rawFileStream.close();
       } catch (IOException e) {
       }
       Log.d(LOG_TAG, "Exit audio recording.");
   }

מאתרים את קובץ האודיו שצילמתם ב-/sdcard/record_loopback.raw ומאזינים לו באמצעות FFmpeg:

adb pull /sdcard/record_loopback.raw
ffmpeg -f s16le -ar 48k -ac 1 -i record_loopback.raw record_loopback.wav
ffplay record_loopback.wav

תרחישים לדוגמה

בקטע הזה מפורטים תרחישים נפוצים לשימוש באודיו של הטלוויזיה.

טיונר טלוויזיה עם פלט רמקול

כשמפעילים את ממיר הטלוויזיה, ממשק ה-API לניתוב אודיו יוצר תיקון אודיו בין ממיר הטלוויזיה לבין הפלט שמוגדר כברירת מחדל (למשל, הרמקול). פלט המקלט לא מחייב פענוח, אבל פלט האודיו הסופי מעורבב עם הפלט של התוכנה output_stream.

תיקון אודיו לטיונר של Android TV

איור 2. תיקון אודיו לטיונר טלוויזיה עם פלט רמקול.

HDMI OUT במהלך שידור חי בטלוויזיה

משתמש צופה בטלוויזיה בשידור חי ואז עובר ליציאת האודיו של HDMI (Intent.ACTION_HDMI_AUDIO_PLUG) . מכשיר הפלט של כל ה-output_streams משתנה ליציאת HDMI_OUT, ומנהל ה-TIF משתנה את יציאת ה-sink של תיקון האודיו הקיים של המקלט ליציאת HDMI_OUT.

תיקון אודיו של Android TV HDMI-OUT

איור 3. תיקון אודיו ל-HDMI OUT משידורי טלוויזיה בשידור חי.