صوت التلفزيون

يعمل مدير إطار عمل إدخال التلفزيون (TIF) مع واجهة برمجة التطبيقات لتوجيه الصوت من أجل السماح بتغييرات مرنة في مساره. عندما ينفِّذ نظام على شريحة (SoC) طبقة HAL لأجهزة التلفزيون، يقدّم كل مصدر إدخال TvInputHardwareInfo لتحديد معلومات AudioPort لنوع الصوت وعنوانه.

  • تحتوي أجهزة إدخال/إخراج الصوت الخارجية على منفذ صوت متوافق.
  • يتم تمثيل مصادر إخراج/إدخال الصوت من البرامج على أنّها AudioMixPort (الفئة الفرعية من AudioPort).

بعد ذلك، يستخدم TIF معلومات AudioPort لواجهة برمجة التطبيقات الخاصة بتوجيه الصوت.

إطار عمل إدخال Android TV (TIF)

الشكل 1: إطار عمل إدخال التلفزيون (TIF)

المتطلبات

يجب أن توفّر شريحة النظام على الرقاقة (SoC) وحدة HAL للصوت مع دعم واجهة برمجة التطبيقات التالية لتوجيه الصوت:

منافذ الصوت
  • يحتوي إدخال الصوت في التلفزيون على منفذ مصدر صوت متوافق.
  • يحتوي إخراج الصوت في التلفزيون على منفذ وجهة صوت متوافق.
  • يمكن إنشاء تصحيح صوتي بين أي منفذ صوت لإدخال التلفزيون وأي منفذ صوت لإخراج التلفزيون.
الإدخال التلقائي يجب أن يستولي AudioRecord (الذي تم إنشاؤه باستخدام مصدر الإدخال التلقائي) على مصدر إدخال افتراضي غير فعّال من أجل اكتساب AUDIO_DEVICE_IN_DEFAULT على Android TV.
ميزة "الاستماع إلى صوتك" على الجهاز يتطلب ذلك توفُّر إدخال AUDIO_DEVICE_IN_LOOPBACK الذي يجمع كل مخرجات الصوت من كل مخرجات التلفزيون (11 كيلوهرتز، 16 بت أحادي أو 48 كيلوهرتز، 16 بت أحادي). يُستخدَم هذا الخيار لتسجيل الصوت فقط.

أجهزة الصوت في التلفزيون

يتيح Android استخدام أجهزة الصوت التالية لإدخال/إخراج الصوت في التلفزيون.

system/media/audio/include/system/audio.h

ملاحظة: في الإصدار 5.1 من Android والإصدارات الأقدم، يكون مسار هذا الملف على النحو التالي: system/core/include/system/audio.h

/* output devices */
AUDIO_DEVICE_OUT_AUX_DIGITAL  = 0x400,
AUDIO_DEVICE_OUT_HDMI   = AUDIO_DEVICE_OUT_AUX_DIGITAL,
/* HDMI Audio Return Channel */
AUDIO_DEVICE_OUT_HDMI_ARC   = 0x40000,
/* S/PDIF out */
AUDIO_DEVICE_OUT_SPDIF    = 0x80000,
/* input devices */
AUDIO_DEVICE_IN_AUX_DIGITAL   = AUDIO_DEVICE_BIT_IN | 0x20,
AUDIO_DEVICE_IN_HDMI      = AUDIO_DEVICE_IN_AUX_DIGITAL,
/* TV tuner input */
AUDIO_DEVICE_IN_TV_TUNER    = AUDIO_DEVICE_BIT_IN | 0x4000,
/* S/PDIF in */
AUDIO_DEVICE_IN_SPDIF   = AUDIO_DEVICE_BIT_IN | 0x10000,
AUDIO_DEVICE_IN_LOOPBACK    = AUDIO_DEVICE_BIT_IN | 0x40000,

إضافة Audio HAL

يتم تحديد إضافة Audio HAL لواجهة برمجة التطبيقات Audio Routing API على النحو التالي:

system/media/audio/include/system/audio.h

ملاحظة: في الإصدار 5.1 من Android والإصدارات الأقدم، يكون مسار هذا الملف على النحو التالي: system/core/include/system/audio.h

/* audio port configuration structure used to specify a particular configuration of an audio port */
struct audio_port_config {
    audio_port_handle_t      id;           /* port unique ID */
    audio_port_role_t        role;         /* sink or source */
    audio_port_type_t        type;         /* device, mix ... */
    unsigned int             config_mask;  /* e.g. AUDIO_PORT_CONFIG_ALL */
    unsigned int             sample_rate;  /* sampling rate in Hz */
    audio_channel_mask_t     channel_mask; /* channel mask if applicable */
    audio_format_t           format;       /* format if applicable */
    struct audio_gain_config gain;         /* gain to apply if applicable */
    union {
        struct audio_port_config_device_ext  device;  /* device specific info */
        struct audio_port_config_mix_ext     mix;     /* mix specific info */
        struct audio_port_config_session_ext session; /* session specific info */
    } ext;
};
struct audio_port {
    audio_port_handle_t      id;                /* port unique ID */
    audio_port_role_t        role;              /* sink or source */
    audio_port_type_t        type;              /* device, mix ... */
    unsigned int             num_sample_rates;  /* number of sampling rates in following array */
    unsigned int             sample_rates[AUDIO_PORT_MAX_SAMPLING_RATES];
    unsigned int             num_channel_masks; /* number of channel masks in following array */
    audio_channel_mask_t     channel_masks[AUDIO_PORT_MAX_CHANNEL_MASKS];
    unsigned int             num_formats;       /* number of formats in following array */
    audio_format_t           formats[AUDIO_PORT_MAX_FORMATS];
    unsigned int             num_gains;         /* number of gains in following array */
    struct audio_gain        gains[AUDIO_PORT_MAX_GAINS];
    struct audio_port_config active_config;     /* current audio port configuration */
    union {
        struct audio_port_device_ext  device;
        struct audio_port_mix_ext     mix;
        struct audio_port_session_ext session;
    } ext;
};

hardware/libhardware/include/hardware/audio.h

struct audio_hw_device {
  :
    /**
     * Routing control
     */

    /* Creates an audio patch between several source and sink ports.
     * The handle is allocated by the HAL and should be unique for this
     * audio HAL module. */
    int (*create_audio_patch)(struct audio_hw_device *dev,
                               unsigned int num_sources,
                               const struct audio_port_config *sources,
                               unsigned int num_sinks,
                               const struct audio_port_config *sinks,
                               audio_patch_handle_t *handle);

    /* Release an audio patch */
    int (*release_audio_patch)(struct audio_hw_device *dev,
                               audio_patch_handle_t handle);

    /* Fills the list of supported attributes for a given audio port.
     * As input, "port" contains the information (type, role, address etc...)
     * needed by the HAL to identify the port.
     * As output, "port" contains possible attributes (sampling rates, formats,
     * channel masks, gain controllers...) for this port.
     */
    int (*get_audio_port)(struct audio_hw_device *dev,
                          struct audio_port *port);

    /* Set audio port configuration */
    int (*set_audio_port_config)(struct audio_hw_device *dev,
                         const struct audio_port_config *config);

اختبار DEVICE_IN_LOOPBACK

لاختبار DEVICE_IN_LOOPBACK من أجل مراقبة التلفزيون، استخدِم رمز الاختبار التالي. بعد تنفيذ الاختبار، يتم حفظ المحتوى الصوتي الذي تم تسجيله في /sdcard/record_loopback.raw، حيث يمكنك الاستماع إليه باستخدام FFmpeg.

<uses-permission android:name="android.permission.MODIFY_AUDIO_ROUTING" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

   AudioRecord mRecorder;
   Handler mHandler = new Handler();
   int mMinBufferSize = AudioRecord.getMinBufferSize(RECORD_SAMPLING_RATE,
           AudioFormat.CHANNEL_IN_MONO,
           AudioFormat.ENCODING_PCM_16BIT);;
   static final int RECORD_SAMPLING_RATE = 48000;
   public void doCapture() {
       mRecorder = new AudioRecord(MediaRecorder.AudioSource.DEFAULT, RECORD_SAMPLING_RATE,
               AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, mMinBufferSize * 10);
       AudioManager am = (AudioManager) getSystemService(Context.AUDIO_SERVICE);
       ArrayList<AudioPort> audioPorts = new ArrayList<AudioPort>();
       am.listAudioPorts(audioPorts);
       AudioPortConfig srcPortConfig = null;
       AudioPortConfig sinkPortConfig = null;
       for (AudioPort audioPort : audioPorts) {
           if (srcPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SOURCE
                   && audioPort instanceof AudioDevicePort) {
               AudioDevicePort audioDevicePort = (AudioDevicePort) audioPort;
               if (audioDevicePort.type() == AudioManager.DEVICE_IN_LOOPBACK) {
                   srcPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_IN_DEFAULT,
                           AudioFormat.ENCODING_DEFAULT, null);
                   Log.d(LOG_TAG, "Found loopback audio source port : " + audioPort);
               }
           }
           else if (sinkPortConfig == null
                   && audioPort.role() == AudioPort.ROLE_SINK
                   && audioPort instanceof AudioMixPort) {
               sinkPortConfig = audioPort.buildConfig(48000, AudioFormat.CHANNEL_OUT_DEFAULT,
                       AudioFormat.ENCODING_DEFAULT, null);
               Log.d(LOG_TAG, "Found recorder audio mix port : " + audioPort);
           }
       }
       if (srcPortConfig != null && sinkPortConfig != null) {
           AudioPatch[] patches = new AudioPatch[] { null };
           int status = am.createAudioPatch(
                   patches,
                   new AudioPortConfig[] { srcPortConfig },
                   new AudioPortConfig[] { sinkPortConfig });
           Log.d(LOG_TAG, "Result of createAudioPatch(): " + status);
       }
       mRecorder.startRecording();
       processAudioData();
       mRecorder.stop();
       mRecorder.release();
   }
   private void processAudioData() {
       OutputStream rawFileStream = null;
       byte data[] = new byte[mMinBufferSize];
       try {
           rawFileStream = new BufferedOutputStream(
                   new FileOutputStream(new File("/sdcard/record_loopback.raw")));
       } catch (FileNotFoundException e) {
           Log.d(LOG_TAG, "Can't open file.", e);
       }
       long startTimeMs = System.currentTimeMillis();
       while (System.currentTimeMillis() - startTimeMs < 5000) {
           int nbytes = mRecorder.read(data, 0, mMinBufferSize);
           if (nbytes <= 0) {
               continue;
           }
           try {
               rawFileStream.write(data);
           } catch (IOException e) {
               Log.e(LOG_TAG, "Error on writing raw file.", e);
           }
       }
       try {
           rawFileStream.close();
       } catch (IOException e) {
       }
       Log.d(LOG_TAG, "Exit audio recording.");
   }

حدِّد موقع الملف الصوتي الذي تم تسجيله في /sdcard/record_loopback.raw واستمع إليه باستخدام FFmpeg:

adb pull /sdcard/record_loopback.raw
ffmpeg -f s16le -ar 48k -ac 1 -i record_loopback.raw record_loopback.wav
ffplay record_loopback.wav

حالات الاستخدام

يتضمّن هذا القسم حالات الاستخدام الشائعة لصوت التلفزيون.

أداة استقبال التلفزيون مع مخرج مكبّر الصوت

عندما يصبح مُعدِّل صوت التلفزيون نشطًا، تنشئ واجهة برمجة التطبيقات لتوجيه الصوت تصحيحًا صوتيًا بين المُعدِّل والمخرج التلقائي (مثل مكبّر الصوت). لا يتطلّب ناتج المُعدِّل الترميز، ولكن يتم مزج ناتج المحتوى الصوتي النهائي مع ناتج_البث البرمجي.

تصحيح الصوت في موالف Android TV

الشكل 2: تصحيح الصوت لمُعدِّل صوت التلفزيون مع إخراج مكبّر الصوت

منفذ HDMI OUT أثناء مشاهدة البث التلفزيوني المباشر

يشاهد المستخدم برنامجًا تلفزيونيًا مباشرًا ثم يبدّل إلى إخراج الصوت عبر HDMI (Intent.ACTION_HDMI_AUDIO_PLUG) . يتغيّر جهاز الإخراج لجميع مصادر البث إلى منفذ HDMI_OUT، ويغيّر مدير TIF منفذ الوجهة لوحدة تعديل الصوت الحالية في جهاز الاستقبال إلى منفذ HDMI_OUT.

تصحيح الصوت في منفذ HDMI-OUT في Android TV

الشكل 3: تصحيح الصوت من خلال منفذ HDMI OUT من التلفزيون المباشر