android采用FFmpeg实现音视频合成与分离

上一篇文章谈到音频剪切、混音、拼接与转码,也详细介绍cMake配置与涉及FFmpeg文件的导入: android端采用FFmpeg进行音频混合与拼接剪切。现在接着探讨音视频的合成与分离。

1、音频提取

从多媒体文件中提取音频,关键命令为“-acodec copy -vn”,其中“-acodec copy”是采用音频编码器拷贝音频流,“-vn”是去掉video视频流:

 /**
   * 使用ffmpeg命令行进行抽取音频
   * @param srcFile 原文件
   * @param targetFile 目标文件
   * @return 抽取后的音频文件
 */
  public static String[] extractAudio(String srcFile, String targetFile){
    //-vn:video not
    String mixAudioCmd = "ffmpeg -i %s -acodec copy -vn %s";
    mixAudioCmd = String.format(mixAudioCmd, srcFile, targetFile);
    return mixAudioCmd.split(" ");//以空格分割为字符串数组
  }

2、视频提取

从多媒体文件中提取视频,关键命令为“-vcodec copy -an”,其中“-vcodec copy”是采用视频编码器拷贝视频流,“-an”是去掉audio音频流:

/**
   * 使用ffmpeg命令行进行抽取视频
   * @param srcFile 原文件
   * @param targetFile 目标文件
   * @return 抽取后的视频文件
*/
  public static String[] extractVideo(String srcFile, String targetFile){
    //-an audio not
    String mixAudioCmd = "ffmpeg -i %s -vcodec copy -an %s";
    mixAudioCmd = String.format(mixAudioCmd, srcFile, targetFile);
    return mixAudioCmd.split(" ");//以空格分割为字符串数组
  }

3、音视频合成

把音频和视频文件合成多媒体文件,关键命令是“-i %s -i %s -t”,分别代表输入音频、视频和文件时长。需要注意的是,如果原视频文件包含有音频,先把单独视频流抽取出来,然后再使用独立音频和视频进行合成:

  /**
   * 使用ffmpeg命令行进行音视频合成
   * @param videoFile 视频文件
   * @param audioFile 音频文件
   * @param duration 视频时长
   * @param muxFile 目标文件
   * @return 合成后的文件
   */
  @SuppressLint("DefaultLocale")
  public static String[] mediaMux(String videoFile, String audioFile, int duration, String muxFile){
    //-t:时长 如果忽略音视频时长,则把"-t %d"去掉
    String mixAudioCmd = "ffmpeg -i %s -i %s -t %d %s";
    mixAudioCmd = String.format(mixAudioCmd, videoFile, audioFile, duration, muxFile);
    return mixAudioCmd.split(" ");//以空格分割为字符串数组
  }

单独的视频提取出来后,进行音视频合成:

public void handleMessage(Message msg) {
      super.handleMessage(msg);
      if(msg.what == 100){
        String audioFile = PATH + File.separator + "tiger.mp3";//tiger.mp3
        String muxFile = PATH + File.separator + "media-mux.mp4";

        try {
          //使用MediaPlayer获取视频时长
          MediaPlayer mediaPlayer = new MediaPlayer();
          mediaPlayer.setDataSource(videoFile);
          mediaPlayer.prepare();
          //单位为ms
          int videoDuration = mediaPlayer.getDuration()/1000;
          Log.i(TAG, "videoDuration=" + videoDuration);
          mediaPlayer.release();
          //使用MediaMetadataRetriever获取音频时长
          MediaMetadataRetriever mediaRetriever = new MediaMetadataRetriever();
          mediaRetriever.setDataSource(audioFile);
          //单位为ms
          String duration = mediaRetriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_DURATION);
          int audioDuration = (int)(Long.parseLong(duration)/1000);
          Log.i(TAG, "audioDuration=" + audioDuration);
          mediaRetriever.release();
          //如果视频时长比音频长,采用音频时长,否则用视频时长
          int mDuration = Math.min(audioDuration, videoDuration);
          //使用纯视频与音频进行合成
          String[] commandLine = FFmpegUtil.mediaMux(temp, audioFile, mDuration, muxFile);
          executeFFmpegCmd(commandLine);
          isMux = false;
        } catch (Exception e) {
          e.printStackTrace();
        }
      }
    }

拼接好FFmpeg命令后,调用native方法去执行:

/**
   * 调用ffmpeg处理音视频
   * @param handleType handleType
   */
  private void doHandleMedia(int handleType){
    String[] commandLine = null;
    switch (handleType){
      case 0://音视频合成
        try {
          //视频文件有音频,先把纯视频文件抽取出来
          commandLine = FFmpegUtil.extractVideo(videoFile, temp);
          isMux = true;
        } catch (Exception e) {
          e.printStackTrace();
        }
        break;
      case 1://提取音频
        String extractAudio = PATH + File.separator + "extractAudio.aac";
        commandLine = FFmpegUtil.extractAudio(srcFile, extractAudio);
        break;
      case 2://提取视频
        String extractVideo = PATH + File.separator + "extractVideo.mp4";
        commandLine = FFmpegUtil.extractVideo(srcFile, extractVideo);
        break;
      default:
        break;
    }
    executeFFmpegCmd(commandLine);
  }
FFmpeg执行的回调:
/**
   * 执行ffmpeg命令行
   * @param commandLine commandLine
   */
  private void executeFFmpegCmd(final String[] commandLine){
    if(commandLine == null){
      return;
    }
    FFmpegCmd.execute(commandLine, new FFmpegCmd.OnHandleListener() {
      @Override
      public void onBegin() {
        Log.i(TAG, "handle media onBegin...");
      }

      @Override
      public void onEnd(int result) {
        Log.i(TAG, "handle media onEnd...");
        if(isMux){
          mHandler.obtainMessage(100).sendToTarget();
        }else {
          runOnUiThread(new Runnable() {
            @Override
            public void run() {
              Toast.makeText(MediaHandleActivity.this, "handle media finish...", Toast.LENGTH_SHORT).show();
            }
          });
        }
      }
    });
  }

好了,使用FFmpeg进行音视频合成与分离介绍完毕。如果各位有什么问题或者建议,欢迎交流。

源码:链接地址。如果对您有帮助,麻烦fork和star。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Android中音视频合成的几种方案详析

    前言 最近工作中遇到了音视频处理的需求,Android下音视频合成,在当前调研方案中主要有三大类方法:MediaMux硬解码,mp4parser,FFmepg.三种方法均可实现,但是也有不同的局限和问题,先将实现和问题记录于此,便于之后的总结学习.下面话不多说了,来一起看看详细的介绍吧. 方法一(Fail) 利用MediaMux实现音视频的合成. 效果:可以实现音视频的合并,利用Android原生的VideoView和SurfaceView播放正常,大部分的播放器也播放正常,但是,但是,在上传Y

  • Android Studio应用开发集成百度语音合成使用方法实例讲解

    首先,语音合成是指将文本信息转换成声音.意思就是将文本转化为声音,让你的应用开口说话.国内在业内比较有名的第三方语音合成平台有百度语音和科大讯飞. 本文集成的是百度语音合成,其主要特点是: 完全永久免费 业界首创完全永久免费新形式,为开发者提供最流畅最自然的语音合成服务.完全免费,永久使用,彻底摆脱限制. 离线在线融合模式 SDK可以根据当前网络状况,自动判断使用本地引擎还是云端引擎进行语音合成,再也不用担心流量消耗! 多语言多音色可选 中文普通话.中英文混读.男声.女声任你选,更支持语速.音调

  • Android实现伴奏录音合成MP3

    本文实例为大家分享了Android实现伴奏录音合成MP3的具体代码,供大家参考,具体内容如下 基本实现思路如下: 1.利用android自带的录音类(AudioRecord)实现录音. /** * 播放伴奏 */ private MediaPlayer player; /** * 返回按钮 */ private ImageView btnBack; /** * 切换歌曲 */ private Button btnSwitchSong; /** * 伴唱时长 */ private TextView

  • Android音频编辑之音频合成功能

    前言 音频编辑系列: - android音频编辑之音频转换PCM与WAV -android音频编辑之音频裁剪 - android音频编辑之音频合成 本篇主要讲解音频PCM数据的合成,这里合成包括音频之间的拼接,混合. - 音频拼接:一段音频连接着另一段音频,两段音频不会同时播放,有先后顺序. - 音频混合:一段音频和另一段音频存在相同的区间,两者会有同时播放的区间. 下面是音频拼接,音频混合的效果图: 音频拼接 如果大家理解了android音频编辑之音频转换PCM与WAV和android音频编辑

  • android采用FFmpeg实现音视频合成与分离

    上一篇文章谈到音频剪切.混音.拼接与转码,也详细介绍cMake配置与涉及FFmpeg文件的导入: android端采用FFmpeg进行音频混合与拼接剪切.现在接着探讨音视频的合成与分离. 1.音频提取 从多媒体文件中提取音频,关键命令为"-acodec copy -vn",其中"-acodec copy"是采用音频编码器拷贝音频流,"-vn"是去掉video视频流: /** * 使用ffmpeg命令行进行抽取音频 * @param srcFile

  • C#调用FFmpeg操作音视频的实现示例

    目录 项目背景 FFmpeg介绍 FFmpeg相关教程 博客示例源码 下载FFmpeg.exe安装包 C#进程调用FFmpeg操作音视频 项目背景 因为公司需要对音视频做一些操作,比如说对系统用户的发音和背景视频进行合成,以及对多个音视频之间进行合成,还有就是在指定的源背景音频中按照对应的规则在视频的多少秒钟内插入一段客户发音等一些复杂的音视频操作.本篇文章主要讲解的是使用C#进程(Process)调用FFmpeg.exe进行视频合并,音频合并,音频与视频合并成视频这几个简单的音视频操作,还有些

  • Qt利用ffmpeg实现音视频同步

    目录 一.前言 二.效果图 三.体验地址 四.相关代码 五.功能特点 5.1 基础功能 5.2 特色功能 5.3 视频控件 5.4 内核ffmpeg 一.前言 用ffmpeg来做音视频同步,个人认为这个是ffmpeg基础处理中最难的一个,无数人就卡在这里,怎么也不准,本人也是尝试过网上各种demo,基本上都是渣渣,要么仅仅支持极其少量的视频文件比如收到的数据包是一帧视频一帧音频的,要么根本没法同步歪七八糟的,要么进度跳过去直接蹦蹦蹦崩溃的,其实最完美的音视频同步处理demo就是ffplay,我亲

  • C# 调用FFmpeg处理音视频的示例

    FFmpeg 开源.跨平台.体积小.功能强大,提供了录制.转换以及流化音视频的完整解决方案. 官网:https://www.ffmpeg.org/ 百科:https://baike.baidu.com/item/ffmpeg/2665727?fr=aladdin FFmpeg 应用非常广泛,可以用来播放本地视频甚至网络视频,查看音视频信息,还可以用于从视频中提取音频,转换音视频文件格式等等,本文主要介绍如何调用 FFmpeg 来查看音视频信息.从视频中提取音频.转换音视频格式等. 1. 调用FF

  • C语言结合ffmpeg打印音视频信息

    目录 一.通过此文可以得到什么 二.实现思路 三.实现效果 四.实现源代码  一.通过此文可以得到什么 通过此练习: 1.知道了如何计算一个音频和视频的播放时间: 2.知道了音视频解码的思路的大体流程,之后无非就是在这个流程上进行扩充细节: 3.知道了如何通过C语言或者C++编程语言结合ffmpeg拿到一些音视频的关键信息,例如:帧率等: 二.实现思路 三.实现效果 zhenghui@zh-pc:/data/project/VSCProject/ffmpegStudy$ make make al

  • android采用FFmpeg实现音频混合与拼接剪切

    接触FFmpeg有一段时间了,它是音视频开发的开源库,几乎其他所有播放器.直播平台都基于FFmpeg进行二次开发.本篇文章来总结下采用FFmpeg进行音频处理:音频混合.音频剪切.音频拼接与音频转码. 采用android studio进行开发,配置build.gradle文件: defaultConfig { ...... externalNativeBuild { cmake { cppFlags "" } } ndk { abiFilters "armeabi-v7a&q

  • Javacv使用ffmpeg实现音视频同步播放

    最近用javaCV的ffmpeg包的FFmpegFrameGrabber帧捕捉器对捕捉到的音频帧和视频帧做了同步的播放.采用的同步方法是视频向音频同步. 程序和源码 具体的思路如下: (1)首先介绍ffmpeg是如何捕捉视频文件的图像和声音的 FFmpegFrameGrabber fg = new FFmpegFrameGrabber("a video file path or a url); 得到帧捕捉器对象后,调用它的grab()方法就会返回捕捉到的Frame对象.这个Frame可以是视频帧

  • Android基于腾讯云实时音视频仿微信视频通话最小化悬浮

    最近项目中有需要语音.视频通话需求,看到这个像环信.融云等SDK都有具体Demo实现,但咋的领导对腾讯情有独钟啊,IM要用腾讯云IM,不妙的是腾讯云IM并不包含有音视频通话都要自己实现,没办法深入了解腾讯云产品后,决定自己基于腾讯云实时音视频做去语音.视频通话功能.在这里把实现过程记录下为以后用到便于查阅,另一方面也给有需要的人提供一个思路,让大家少走弯路,有可能我的实现的方法不是最好,但是这或许是一个可行的方案,大家不喜勿喷.基于腾讯云实时音视频SDK 6.5.7272版本,腾讯DEMO下载地

  • Android采用消息推送实现类似微信视频接听

    本文实例为大家分享了Android实现类似微信视频接听的具体代码,供大家参考,具体内容如下 1.背景需求:业务需要接入视频审核功能,在PC 端发起视频通话,移动端显示通话界面点击接听后进行1对1视频通话. 2.解决方案:因为项目没有IM功能.只集成了极光消息推送(极光消息推送接入参考官方文档,经过跟需求沟通,采用消息推送调起通话接听界面.再集成腾讯实时音视频SDK(具体集成方式参考官方文档).最终实现类似微信1对1通话功能. 3.技术实现: A:编写一个广播接收器,并且在 AndroidMani

随机推荐